Beliebt
Studie
Studie
Zahl falscher KI-Referenzen in Forschungsarbeiten nimmt zu
Knapp 150.000 fehlerhafte Zitate hat ein internationales Forschungsteam in 2,5 Millionen Artikeln allein für das Publikationsjahr 2025 gefunden. Bestehende Schutzmechanismen wie die Preprint-Moderation und Fachjournalprüfungsprozesse seien diesbezüglich machtlos und überholt.
Das Forschungsteam hat wissenschaftliche Artikel mit insgesamt 111 Millionen Zitaten untersucht und seine Ergebnisse im Open-Access-Repositorium arXiv zur Verfügung gestellt. Veröffentlicht waren die untersuchten Arbeiten auf den Publikationsplattformen arXiv, bioRxiv, Social Science Research Network (SSRN) und PubMed Central. Analysiert wurden Artikel aus den Fachbereichen Mathematik, Physik, Informatik, Biologie, Lebenswissenschaften, Sozialwissenschaften, Rechtswissenschaften und Geisteswissenschaften.
Unbedarfte KI-Zitation ist bei jungen Teams üblicher
Zu den herausragendsten Fehlern gehören demnach von KI-gestützten Großen Sprachmodellen (Large Language Models, LLM) generierte Falschinformationen, sogenannte KI-Halluzinationen. Diese seien in der Lage, durch ihre Integration in relevante Dokumente wie Regierungsberichte, Gerichtsakten und wissenschaftliche Publikationen die faktische Grundlage für wichtige Entscheidungen zu untergraben.
"Diese Fehler sind in vielen Artikeln verstreut, treten aber besonders häufig in Bereichen mit rascher KI-Nutzung, in Manuskripten mit sprachlichen Merkmalen KI-gestützten Schreibens sowie bei kleinen und jungen Autorenteams auf. Gleichzeitig weisen die fehlerhaften Referenzen überproportional viele bereits etablierte und männliche Wissenschaftler aus", erläutert das Autorenteam seine Erkenntnisse. Letzteres weise darauf hin, dass Fehler aus KI-gestützten LLM-Modellen die bestehenden Ungleichheiten zwischen Männern und Frauen in der wissenschaftlichen Anerkennung verstärken könnten.
Insbesondere weniger erfahrene Forschende, bei denen die Wahrscheinlichkeit am höchsten ist, Halluzinationen in den wissenschaftlichen Publikationsbestand einzubringen, könnten durch den KI-Einsatz ihren wissenschaftlichen Output steigern. Dadurch könne eine große Menge fehlerhafter Arbeiten Verbreitung finden. Insgesamt zeigen die Ergebnisse dem Forschungsteam zufolge, dass Halluzinationen generativer KI (GenKI) "die Wissensproduktion in großem Umfang unterwandern und sowohl die Zuverlässigkeit als auch die Gerechtigkeit zukünftiger wissenschaftlicher Erkenntnisse gefährden", da menschliche und KI-Systeme auf die vorhandene Literatur zurückgreifen.
Eigenschaften der KI-halluzinierten Zitationen
Nach Erkenntnis der Forschungsgruppe zeichnen sich halluzinierte Publikationstitel dadurch aus, dass sie überproportional häufig tatsächlich existierenden Autorinnen und Autoren mit hoher bisheriger Produktivität (68,8 Prozent mehr Publikationen) und hoher Zitationswirkung (58,3 Prozent mehr Zitationen) zugeordnet sind.
Zudem schrieben diese halluzinierten Zitationen Leistungen überproportional häufig Autoren mit männlichen Namen zu. Dies decke sich mit neueren Erkenntnissen zu soziodemografischen Verzerrungen in den Ausgaben von GenKI. Darüber hinaus tendierten die falschen Literaturangaben zur Nennung kleinerer Teams und wichen von etablierten Konventionen zur Reihenfolge der Autorenschaft ab.
Fortgeschrittene Infiltration mit falschen Daten
Die Untersuchungen deuten darauf hin, dass die meisten Zeitschriften – einschließlich vieler mit relativ hohem Einfluss – anfällig für dieses Problem sind. Halluzinierte Zitationen würden über das gesamte Spektrum der wissenschaftlichen Einflussstärken von Fachjournalen hinweg auftreten.
"Von den in den Preprints enthaltenen Halluzinationen finden sich 85,3 % auch in der veröffentlichten Version wieder", erläutert das Autorenteam ihre Studienergebnisse. Dies lasse vermuten, dass auch die aktuellen Prüfungsverfahren der Fachzeitschriften das Problem nicht zuverlässig eindämmten.
Falsche Quellen gingen als eigenständige bibliografische Einträge auch in den dauerhaften Datenbestand wissenschaftlicher Suchmaschinen und Zitationsdatenbanken über. Dazu komme, dass LLMs häufig mit denselben Open-Access-Korpora trainiert würden, so dass eine Rückkopplungsschleife entstehe, in der die Modelle von morgen die heutigen Fehlinterpretationen lernten.
Ausblick: Stagnation des Prozesses nicht in Sicht
Anzeichen der Stagnation seien nicht erkennbar, die Anzahl der festgestellten Zitationshalluzinationen sei trotz neuer GenKI-Modelle bis Ende 2025 konstant angestiegen, stellt das Team fest.
Dabei ist die Wissenschaft nach Ansicht des Autorenteams "wohl der beste Anwendungsfall für die Erkennung fehlerhafter Zitate: Sie verfügt über umfangreiche Indexierungssysteme, große bibliografische Datenbanken, strenge Zitationsnormen, mehrstufige redaktionelle Prüfverfahren und mittlerweile über ein sich rasant entwickelndes Werkzeugset automatisierter Verifizierer". Es gebe Bereiche, in denen eine vergleichbare Verifizierungsinfrastruktur gänzlich fehle: Regierungsberichte, juristische Schriftsätze, klinische Dokumentationen, unternehmerische Wissensdatenbanken und journalistische Texte.
"Ein wachsendes Ökosystem von Werkzeugen zur agentenbasierten Verifizierung – automatisierte Referenzvalidatoren, Beobachtbarkeitsplattformen und Bewertungsrahmen – bietet vorsichtigen Optimismus für die spezifische Fehlerklasse", gibt die Forschungsgruppe einen vorsichtig optimistischen Ausblick für den Wissenschaftssektor. Diese Werkzeuge und zuverlässigen Erkennungsmethoden könnten die Anzahl fehlerhafter Zitate erheblich reduzieren, falls sie von Verlagen und Institutionen eingesetzt würden.
cva
