Symbolbild mit KI-Agenten aus leuchtenden Punkte in Gestalt von Personen mit Sprechblasen, während eine in der Mitte in Größe und Farbe dominiert.  dominant. Die anderen scheinen samt ihrer Meinungen zu verschwimmen.
KI-generiert

Künstliche Intelligenz
Wie man manipulative KI-Agenten eindämmt

Manche Forschende arbeiten mit kooperierenden KI-Agenten. Eine Studie zeigt, welche Mechanismen Ergebnisse verzerren und was dagegen hilft.

Von Christine Vallbracht 07.10.2026

Ein manipulativer KI-Agent kann unter bestimmten Bedingungen die gemeinsame Entscheidung eines Multi-Agenten-Systems (MAS) in seine Richtung lenken, wenn die Netzwerkarchitektur das nicht verhindert. Zu diesem Ergebnis kommen Forschende des Helmholtz-Zentrums für Informationssicherheit CISPA laut einer Presseerklärung von Ende September. 

Multi-Agenten-Systeme, die auf großen Sprachmodellen (Large Language Models, LLMs) basieren, kommen demnach für Anwendungsbereiche wie Softwareentwicklung zum Einsatz: Ein Agent plant, ein anderer programmiert und ein dritter überprüft den Code. CISPA-Forscherin Samira Abedini stellte auf Anfrage von Forschung & Lehre ein weiteres Einsatzgebiet vor: "Sie werden auch als wissenschaftliche Assistenten entwickelt. Googles Co-Scientist nutzt beispielsweise Agenten, um Forschungshypothesen zu entwickeln und zu verfeinern." 

Damit die Agenten effektiv zusammenarbeiten könnten, müssten sie untereinander Informationen austauschen und ihre eigene Einschätzung aufgrund der Ergebnisse der anderen Agenten verändern können. Genau darin liege eine mögliche Schwachstelle: "Wenn wir ein offenes Netzwerk haben, können darin zum Beispiel KI-Agenten verschiedener Anbieter zusammenarbeiten. Einer dieser Anbieter könnte versuchen, sich einen Vorteil zu verschaffen, indem er seinen Agenten so konfiguriert, dass er die gemeinsame Entscheidung des Netzwerks in eine bestimmte Richtung lenkt", erklärte Abedini. 

KI-Agenten brauchen zum Manipulieren keine falschen Daten

Gemeinsam mit Kolleginnen und Kolleginnen des CISPA hat Abedini untersucht, wie sich der Einfluss eines einzelnen Agenten ausbreitet und unter welchen Bedingungen er die gemeinsame Entscheidung der Gruppe manipulieren kann. 

Der jüngste Vorfall im Zusammenhang mit OpenAI und Hugging Face stellt laut Abedini ein Beispiel für unerwartete Zusammenarbeit zwischen Agenten dar. Laut OpenAI richteten Agenten, die unabhängig voneinander arbeiten sollten, ein nicht autorisiertes gemeinsames Nachrichtenforum ein und koordinierten ein Eindringen in die Systeme von Hugging Face. "Obwohl dieser Vorfall nicht Teil unserer Studie war, sehe ich einen Zusammenhang: Das Verhalten eines Agenten kann durch andere Agenten beeinflusst werden, wodurch sich schädliche Einflüsse über die Kommunikation ausbreiten können. Deshalb reicht es nicht aus, einzelne Agenten zu bewerten. Wir müssen auch verstehen, was geschieht, wenn sie miteinander interagieren", so die CISPA-Forscherin gegenüber Forschung & Lehre. 

Dass manipulative Angriffe von KI-Agenten grundsätzlich erfolgreich sein können, haben frühere Forschungsarbeiten bereits gezeigt. Dazu zählt die Arbeit von Assistenzprofessorin Insaf Kraida und ihrem Team, die im April 2026 bei scientific reports veröffentlicht wurde. Die Ergebnisse deuten darauf hin, dass ein einzelner, strategisch konzipierter, "böswilliger" KI-Agent die Gesamtgenauigkeit des Multi-Agenten-Systems um zehn bis 40 Prozent senken und gleichzeitig den Konsens über fehlerhafte Antworten um mehr als 30 Prozent erhöhen kann. 

Unter den Forschungsarbeiten besonders interessant ist die Erkenntnis der Autorengruppe um Dr. Junwei Hu. Sie kam mit ihrer im Juli 2026 veröffentlichten Arbeit "Lying with Truths" zu dem Ergebnis, dass manipulative KI-Agenten keine gefälschten Dokumente und keine einzige falsche Einzelbehauptung verwenden mussten, um die Schlussfolgerungen anderer KI-Agenten zu verfälschen. Es sei lediglich die "Neigung von LLMs zu übermäßigem Grübeln ("Overthinking")" ausgenutzt worden, um sie zur Abweichung von vorherigen Schlussfolgerungen und zur Verinnerlichung irreführender Narrative zu bringen. Die Erfolgsquote der Angriffe hat demnach bei über 70 Prozent gelegen. Das Team spricht hier von einer "soziotechnischen Schwachstelle in der Interaktion von LLM-basierten Agenten mit dynamischen Informationsumgebungen". 

"Der bisherige Blick auf das Problem war: In der ersten Verhandlungsrunde haben wir eine Antwort und in der letzten Runde eine andere, also war der Angriff erfolgreich", sagt Abedini. "Für uns war die wichtige Frage aber, was dazwischen passiert." 

Die argumentative Manipulation mathematisch dargestellt 

Um die argumentative Manipulation wissenschaftlich zu beschreiben, griffen die Forschenden der CISPA-Studie auf das Friedkin-Johnsen-Modell aus den Sozialwissenschaften zurück. Es beschreibt mathematisch, wie sich Meinungen innerhalb eines sozialen Netzwerks verändern. Dabei berücksichtigt es, wie stark jemand an einer ursprünglichen Überzeugung festhält, wie leicht diese durch andere verändert wird und wie viel Einfluss die Beteiligten aufeinander haben. Diese Größen übertrugen die Forschenden auf KI-Agenten. 

Überraschend sei gewesen, wie gut das Modell die in Experimenten beobachtete Dynamik zwischen LLM-Agenten beschreiben konnte. Damit könnten Forschende nicht nur beobachten, dass ein Angriff funktioniert, sondern auch mathematisch beschreiben, unter welchen Bedingungen er erfolgreich sein würde. Die Studie zeigt, dass ein manipulativer Agent unter bestimmten Bedingungen die gemeinsame Entscheidung des Netzwerks in seine Richtung lenken kann. 

Zum einen müsse der KI-Agent selbst hartnäckig an seiner Position festhalten. Diese Eigenschaft wird als "Stubbornness", zu Deutsch Sturheit, bezeichnet. "Wie ausgeprägt dieses Verhalten ist, kann unter anderem vom verwendeten Sprachmodell, der Aufgabe und den Prompts abhängen", erklärt Abedini. Der Agent müsse zudem genügend Einfluss auf andere Agenten haben, die bereit seien, ihre eigene Einschätzung zu verändern. 

"Damit wird schon die Architektur eines Multi-Agenten-Systems selbst zu einer Sicherheitsfrage."
CISPA-Forscherin Samira Abedini 

Wie groß der Einfluss von Agenten sei, hänge darüber hinaus von der Netzwerkarchitektur ab. In einem sternförmigen Netzwerk kommuniziert ein zentraler Hub mit allen anderen Agenten. Sitze dort der Angreifer, sei seine Position besonders mächtig. In einem vollständig verbundenen Netzwerk, in dem jeder Agent mit jedem anderen kommuniziert, gibt es eine solche Schlüsselposition nicht. Hier komme es vor allem darauf an, wie viel Gewicht die anderen den Aussagen des Angreifers geben Zudem zeigten die Berechnungen: Je größer das Netzwerk, desto mehr Einfluss benötige ein einzelner Angreifer, um die Entscheidung zu manipulieren. "Damit wird schon die Architektur eines Multi-Agenten-Systems selbst zu einer Sicherheitsfrage", sagt Abedini. 

Abedini erläuterte gegenüber Forschung & Lehre, welche dieser Netzwerktypen in der wissenschaftlichen Praxis mit MAS vorkommen: "Ein Forschungsassistent hat beispielsweise eine sternförmige Netzwerktopologie, wenn ein zentraler Agent spezialisierte Agenten für Literaturrecherche, Datenanalyse und Programmierung koordiniert und diese ausschließlich über ihn kommunizieren. Eine vollständig verbundene Topologie kann eine Gruppe von Agenten beschreiben, die eine Forschungsfrage diskutieren, wobei jeder Agent die Argumente aller anderen lesen und darauf reagieren kann." Zentrale, koordinierende Agenten verdienten besondere Aufmerksamkeit, da ihre Position die Folgen einer Kompromittierung verstärken könne. 

Drei Mechanismen für verbesserte Sicherheit 

Laut Abstract der Studie identifiziert die theoretische Analyse von Abedini und ihrem Team drei Mechanismen zur Erhöhung der Systemsicherheit: 

  1. Erhöhung der Anzahl gutartiger Agenten,
  2. Steigerung der inhärenten Hartnäckigkeit oder Widerstandsfähigkeit der Agenten gegenüber externer Beeinflussung sowie
  3. Verringerung des Vertrauens in potentielle Angreifer. 

Das Forschungsteam schlägt einen neuen Mechanismus zur Risikominderung vor: eine adaptive Verteidigung, die das Vertrauen zwischen den Agenten dynamisch anpasst, um den Einfluss von Angreifern zu begrenzen und gleichzeitig die kooperative Leistungsfähigkeit zu erhalten. Umfangreiche Experimente bestätigen laut Forschungsteam, dass dieser Mechanismus wirksam vor Manipulation schützt. 

"Darüber hinaus ist weitere Forschung nötig, um LLM-basierte Multi-Agenten-Systeme robust gegen Manipulation zu machen. Dafür müssen wir verstehen, wie Agenten miteinander kommunizieren und wie sich ihre Überzeugungen entwickeln", führt Abedini gegenüber Forschung & Lehre aus. Diese Erkenntnisse könnten dazu beitragen, Schutzmaßnahmen und Systemdesigns zu entwickeln, die schädliche Einflussnahme begrenzen und zugleich eine effektive Zusammenarbeit ermöglichten.

Beispiele für Forschung mit MAS im Einsatz 

  • Das im Mai 2026 vorgestellte Multi-Agenten-System Robin kombiniert spezialisierte KI-Agenten für unterschiedliche Schritte des Forschungsprozesses. Dem Forschungsteam geht es dabei ausdrücklich um die Automatisierung des wissenschaftlichen Erkenntnisgewinns in der Biologie: "Durch die Integration von Agenten für die Literatursuche mit solchen für die Datenanalyse kann Robin Hypothesen aufstellen, Experimente vorschlagen, Ergebnisse interpretieren und aktualisierte Hypothesen generieren – und ermöglicht so einen teilautonomen Ansatz zur wissenschaftlichen Erkenntnisgewinnung." 
     
  • Das Multi-Agenten-System AutoLabs wurde 2026 in Scientific Reports beschrieben. Es soll natürlichsprachliche Anweisungen selbstständig in Protokolle für Laborautomaten im Hochdurchsatz-Liquid-Handling umwandeln. Damit nähert sich Multi-Agenten-KI dem Konzept des vollautomatisierten Labors (self-driving laboratory) an. Ausdrücklich vorgesehen ist auch eine Selbstkorrektur bei Fehlern. 
     
  • Für das Fach Archäologie diskutieren zwei Forschende in ihrer Studie vom August 2026 agentische Systeme als Methode zur Überprüfung konkurrierender Interpretationen archäologischer Evidenz. Sie sehen darin eine "weitgehende Automatisierung mit minimalem menschlichem Eingriff", um ein besseres Verständnis potentieller vergangener Realitäten zu erlangen, das über langjährige theoretische Debatten nicht erzielt werden könne.