Künstliche Intelligenz
"Wie können wir LLMs genauso effizient trainieren wie Menschen?"
Forschung & Lehre: Wie verlief Ihr persönlicher wissenschaftlicher Weg zum Thema Künstliche Intelligenz?
Lukas Edman: Ich stamme aus einer Wissenschaftlerfamilie, daher begann mein Interesse an Wissenschaft und Technik schon sehr früh. Dies – und auch meine Schwierigkeiten in der Schulzeit – regte mich an, darüber nachzudenken, wie wir Menschen lernen und wie man Wissen am besten vermittelt. Schließlich führte mich dieser Weg zu einem Masterstudium im Bereich KI in den Niederlanden, dann zur Promotion und nun zur Zusammenarbeit mit Professor Alexander Fraser an der Technischen Universität München.
Mini-Glossar
Große Sprachmodelle (Large Language Models, LLMs):
LLMs sind KI-Systeme, die mit sehr großen Mengen Text trainiert werden. Sie erkennen statistische Muster und Zusammenhänge in der Sprache und erzeugen auf dieser Grundlage passende Texte oder Antworten.
Baby Language Models (Baby-LMs):
Baby-LMs sind kleinere Sprachmodelle, die möglichst effizient aus begrenzten Daten lernen. Durch optimierte Trainingsverfahren und sorgfältig ausgewählte Daten lernen sie aus vergleichsweise wenig sprachlichem Input viel – ähnlich effizient wie kleine Kinder.
Mausmodell:
Beim Mausmodell werden Mäuse verwendet, um Vorgänge im menschlichen Körper besser zu verstehen. Das Modell veranschaulicht das Forschungsprinzip, komplexe Vorgänge zunächst an einem vereinfachten Modell zu untersuchen und durch Überprüfung daraus Erkenntnisse für ein komplexeres System abzuleiten.
F&L: Was unterscheidet die Sprachmodelle, mit denen Sie sich beschäftigen, von allgemein bekannten großen Sprachmodellen (LLMs) auf welchen ChatGPT, Claude oder Gemini basieren?
Lukas Edman: Sie unterscheiden sich eigentlich kaum. Wir nutzen die gleichen Trainingsmethoden und das gleiche Modelldesign. Der Hauptunterschied liegt im Maßstab: Wir trainieren kleinere Modelle – die Baby-LMs – mit weniger Daten, können damit aber dennoch bestimmte Muster nachbilden, die auch bei den Spitzenmodellen – also den sogenannten „Frontier Models“ – zu beobachten sind. Das ist vergleichbar mit dem Mausmodell in der Medizin: Es ist einfacher, kostengünstiger und schneller zu testen – und wenn sich eine Idee bewährt, können wir sie auf einen größeren Maßstab übertragen.
F&L: Mit welchen Fragestellungen beschäftigen Sie sich in Ihrer aktuellen Forschungsarbeit konkret?
Lukas Edman: Im Kern geht es bei meiner Arbeit darum, wie man LLMs am besten trainiert, wenn nur wenige Trainingsdaten zur Verfügung stehen. Das ist in vielen Szenarien relevant, etwa bei Sprachen, die nicht Englisch sind, oder in spezifischen Fachbereichen. Dabei unternehmen wir alles, um die Leistungsfähigkeit der LLMs zu steigern – sei es durch die Entwicklung besserer Trainingsalgorithmen, die Einbindung von Expertenwissen, die Verbesserung der Datenqualität oder Ähnliches.
F&L: Welche Stärken und Schwächen hat das Baby Language Modeling?
Lukas Edman: Die größte Stärke ist die Geschwindigkeit, mit der man neue Ideen ausprobieren kann. Wir können Dinge im kleineren Maßstab innerhalb weniger Stunden auf einer einzigen Grafikkarte testen. Tests im Maßstab der großen Spitzen-LLMs würden hingegen Wochen dauern und die Rechenleistung eines ganzen Rechenzentrums beanspruchen. Eine Schwäche ist, dass nicht alles im kleinen Maßstab genauso funktioniert wie im großen. Manchmal klappen Dinge im Kleinen, aber nicht, wenn wir das Modell vergrößern. Das ist natürlich enttäuschend, aber so ist das eben – man macht einfach weiter.
F&L: Worum geht es bei der Baby-LM-Challenge?
Lukas Edman: Bei der Baby-LM-Challenge geht es darum, Sprachmodelle effizient zu trainieren. Spitzen-LLMs benötigen Billionen von Wörtern, um eine Sprache zu beherrschen, während wir Menschen mit weitaus weniger auskommen. Wie können wir LLMs genauso effizient trainieren wie Menschen? Genau das wollen wir herausfinden.
F&L: Wofür sind Sie bei der Conference on Empirical Methods in Natural Language Processing (EMNLP) im chinesischen Suzhou mit dem ersten Preis der Baby-LM-Challenge ausgezeichnet worden?
Lukas Edman: Wir haben das Trainingsverfahren effizienter gestaltet. Normalerweise lernen diese Modelle, indem sie versuchen, fehlende Wörter in einem bestimmten Kontext zu erraten. Unser Ansatz bestand darin, gezielt bestimmte Wörter auszuwählen – abhängig von ihrem Schwierigkeitsgrad. Wenn man zum Beispiel im Satz "I like to cook" das Wort "to" ausblendet, ist es sehr einfach, das fehlende Wort zu erraten. Blendet man hingegen "cook" aus, kommen viele Möglichkeiten infrage. Hier bräuchte man mehr Kontext aus vorangegangenen Sätzen, um zu verstehen, was fehlt. Im Grunde haben wir uns zu Beginn des Trainings auf einfache Wörter wie "to" konzentriert und uns später schwierigeren Wörtern wie "cook" zugewandt. Die Methode ist dem menschlichen Lernen sehr ähnlich.
"Normalerweise lernen diese Modelle, indem sie versuchen, fehlende Wörter in einem bestimmten Kontext zu erraten."
F&L: Inwiefern könnten Ihre wissenschaftlichen Erkenntnisse relevant für andere Forschende sein, die KI-Tools für Ihre Arbeit einsetzen?
Lukas Edman: Zugegebenermaßen werden unsere Ergebnisse die wissenschaftliche Praxis wahrscheinlich nicht sofort beeinflussen, aber die Richtung unserer Forschung wird im weiteren Verlauf große Auswirkungen haben. Eine höhere Effizienz der Modelle bedeutet weniger Bedarf an riesigen Rechenzentren, einen geringeren Energie- und Wasserverbrauch sowie einen kleineren CO₂-Fußabdruck. Zudem eröffnet sich die Möglichkeit, ein LLM selbst auf dem heimischen oder beruflichen Computer zu trainieren.
F&L: Wie wichtig ist Ihnen persönlich der Aspekt Ihrer Arbeit, durch geringere Mengen an Trainingsdaten den Energie- und Wasserverbrauch zu reduzieren?
Lukas Edman: Das ist mir persönlich sehr wichtig. KI kann enorm nützlich sein, aber ich glaube nicht, dass die Welt noch mehr Rechenzentren braucht, die die Preise für alle in die Höhe treiben und gleichzeitig die Umwelt zerstören. Ich freue mich, dass wir den Großteil unserer Experimente am Leibniz-Rechenzentrum durchführen können, das zu 100 Prozent mit erneuerbarer Energie betrieben wird.
"KI kann enorm nützlich sein, aber ich glaube nicht, dass die Welt noch mehr Rechenzentren braucht, die die Preise für alle in die Höhe treiben und gleichzeitig die Umwelt zerstören."
F&L: In letzter Zeit gab es immer wieder Berichte von KI-Systemen, die Sicherheitshürden überwunden und sich unkontrolliert verhalten haben. Wie blicken Sie als KI-Experte auf diese Ereignisse?
Lukas Edman: Ich denke, hier setzen Branchenführer genau das um, was sie predigen: "Schnell vorankommen und Dinge kaputt machen" (Move fast and break things). Sie lassen die nötige Vorsicht vermissen. Auch wenn diese Modelle an sich noch nicht allzu gefährlich sind, sollten wir unbedingt schon jetzt Sicherheitsvorkehrungen für die Zukunft treffen.