DEversAI – Training und Visualisierung deutsch lokalisierter direktionalkomplementärer LLMs

Im Projekt DEversAI untersuche ich, ob KI-Sprachmodelle besser funktionieren, wenn sie Texte vorwärts oder rückwärts verarbeiten. Dazu habe ich zwei KI-Modelle auf Deutsch trainiert: eines erzeugt Text vorwärts, das andere rückwärts. Ziel ist es, herauszufinden, ob Rückwärts-Modelle neue Möglichkeiten eröffnen und ob Erkenntnisse aus englischer Forschung im Deutschen gelten.

Die Ergebnisse sind vielversprechend. Das Vorwärts-Modell liefert präzisere Vorhersagen, aber das neue Rückwärts-Modell kann auch gute Texte vom Ende aus verfassen - so bei Kochrezepten, Gesetzen und Bundestagsreden. Eigene komplexe Visualisierungen der Modellstrukturen zeigen, dass beide sprachliche Muster lernen, aber sich in Aufbau und Ausgabe unterscheiden.

In der entwickelten interaktiven Webanwendung kann die KI ausprobiert und getestet werden. Die Resultate belegen, dass Textverarbeitungsrichtung einen wesentlichen Einfluss auf die Leistungsfähigkeit von KI in der Sprachverarbeitung hat.