Beliebt
KI-Forschung
KI-Forschung
KI macht wissenschaftliche Publikationen schwerer lesbar
Ein Effekt der Nutzung von Künstlicher Intelligenz (KI) im Wissenschaftsbereich ist, dass Publikationen unverständlicher werden. Das ist das Ergebnis einer im vergangenen Juni als Preprint veröffentlichten Studie. Die Lesbarkeit der untersuchten Fachartikel nimmt demnach ab. Anhand von Faktoren wie beispielsweise der Wortwahl und der Satzlänge beschreibt die Lesbarkeit, wie schnell der Inhalt eines Textes verarbeitet werden kann.
Bereits im Herbst 2024 hatten Forschende des Max-Planck-Instituts für Bildungsforschung ein Preprint veröffentlicht, in dem sie den Einfluss von KI auf die gesprochene Sprache von Akademikerinnen und Akademikern untersuchten. Die Analyse von YouTube-Videos akademischer Einrichtungen ergab, dass Wissenschaftlerinnen und Wissenschaftler dort mehr sogenannte KI-Wörter nutzten. Das war bereits wenige Monate, nachdem ChatGPT am 30. November 2022 kostenfrei der Öffentlichkeit zur Verfügung gestellt worden war, feststellbar. Bei KI-Wörtern handelt es sich um Ausdrücke, die Studien zufolge überproportional oft von KI-Chatbots verwendet werden. Da die analysierten Sprecherinnen und Sprecher frei sprachen und nicht ablasen, wurde daraus geschlossen, dass die Nutzung von KI bereits Auswirkungen auf die gesprochene Sprache hatte.
Ein Jahr mehr Bildung zum Verständnis nötig
Mit ihrer Studie zur Lesbarkeit haben Professorin Marie Dutordoir von der University of Manchester und der Universität Utrecht und Dr. Thomas Walther von der Technischen Universität Dresden und der Universität Utrecht den Einfluss von generativer KI auf das akademische Schreiben untersucht. Dazu haben sie über 41.000 englischsprachige Artikel aus 34 verschiedenen wissenschaftlichen Fachzeitschriften aus dem Bereich Finanzwissenschaft (Finance) analysiert, die zwischen Januar 2000 und April 2025 veröffentlicht wurden.
Sie haben nicht nur festgestellt, dass die Lesbarkeit der Finance-Artikel abgenommen hat, seit ChatGPT öffentlich zur Verfügung steht. Die Lesbarkeit quantifizieren die Forschenden mit Indices, die diese als Anzahl von Bildungsjahren ausgeben, die notwendig sind, um einen Text bei der ersten Lektüre zu verstehen. Ihren Berechnungen zufolge werden zum Verständnis der Fachartikel nun etwa zwischen 0.95 und 1,15 Jahre zusätzlicher Bildung benötigt. Leserinnen und Leser müssten nun Bachelorstudierende im zweiten und nicht mehr im ersten Jahr sein, um die Texte problemlos lesen zu können.
Eine weitere Aufschlüsselung ergab darüber hinaus, dass diese Veränderung nicht durch längere Sätze, sondern durch eine höhere Komplexität der verwendeten Wörter zustande kam. Als komplexe Wörter beschreibt die Studie solche, die über drei und mehr Silben verfügen. Vor generativer KI habe der Anteil der komplexen Wörter bei 23,6 Prozent gelegen, danach bei 26,4 Prozent.
Von großen Sprachmodellen präferierte Wörter nehmen zu
Auch Dutordoir und Walther zeigen, dass die Verwendung von KI-Wörtern in ihrer Stichprobe zugenommen hat. Zu diesen zählen sie Ausdrücke wie "delve" (ergründen) und "meticulous" (akribisch). Schon in der Studie des Max-Planck-Instituts für Bildungsforschung war auf die häufige Nutzung des Worts "delve" hingewiesen worden, dessen Verwendung beispielsweise um 48 Prozent gestiegen war. Die Forschenden hatten dazu gegenüber der ZEIT angemerkt, dass es sich dabei wohl um eine unbeabsichtigte Folge des Trainingsverfahrens handle.
Erstautorin Dr. Hiromu Yakura, hatte allerdings herausgestellt, dass dies zeige, "dass fremde und uns möglicherweise feindlich gesonnene Institutionen Sprachmodelle absichtlich manipulieren und damit den Sprachgebrauch der Weltbevölkerung und so vielleicht auch den öffentlichen Diskurs steuern können".
Texte von Nicht-Muttersprachlern eher betroffen
Die bei der Analyse der Finance-Publikationen festgestellten Trends sind besonders deutlich bei Autorinnen und Autoren, die aus nicht-englischsprachigen Ländern stammen und in Fachzeitschriften veröffentlichen, die über ein eher geringes Ansehen verfügen, schreiben Dutordoir und Walther. Die Effekte waren ebenso stärker bei Autorinnen und Autoren erkennbar, die an Institutionen beschäftigt sind, die weniger Interesse an Kreativität zeigten, an denen eine geringer ausgeprägte Skepsis gegenüber Technologien bestand und an denen eine stärkere Unsicherheit darüber herrschte, was moralisch oder ethisch geboten ist.
Zwar erhöht Dutordoir und Walther zufolge die Nutzung von großen Sprachmodellen die Quantität der veröffentlichten Publikationen, aber weder ihre Qualität noch ihr Impact verbesserten sich.
Wie die Probleme umgangen werden
Während die Einführung von generativer KI teilweise als Mittel zur Demokratisierung von Bildung und Wissen angepriesen wurde, verweisen die Forschenden damit auf unbeabsichtigte Schattenseiten. Sie schlagen vor, dass bei akademischen Zeitschriften über strengere Regeln für die KI-Nutzung nachgedacht werden sollte, etwa durch verpflichtende Erklärungen, mit denen die Verwendung von generativer KI standardmäßig offenzulegen ist. Zumindest aber sollten von KI erzeugte Inhalte von Menschen auf gute Lesbarkeit überprüft werden, so das Forschungsteam.
Forschende selbst weisen Dutordoir und Walther darauf hin, dass sie mit der Nutzung von generativer KI den Nachteil von schlechterer Verständlichkeit – vielleicht unbemerkt – in Kauf nehmen. Um das zu vermeiden, sollten Prompts so gestaltet sein, dass sie die generative KI explizit angewiesen wird, auf Lesbarkeit zu achten.
cpy
