Integrität der Wissenschaft
"Der menschliche Anteil geht zusehends zurück"

KI-Technologie agiert bereits wie eine Forschungsassistenz im Wissenschaftsbetrieb. Wird sie womöglich überschätzt?

Wissenschaftlerinnen und Wissenschaftler weltweit malen sich aus, wie der Einsatz Künstlicher Intelligenz (KI) die Forschung verbessern könnte. Sie entwerfen wissenschaftliche Zukunftsvisionen, in denen KI-gesteuerte, "selbstfahrende" Labore menschliches Agieren weitestgehend überflüssig machen und KI ein selbstständiger Teil des Forschungsteams ist, die Forschungsarbeiten schreibt, während sie Nobelpreis-würdige Entdeckungen macht. 

Unbestritten ist: Die Wissenschaft ist eine wichtige Faktenlieferantin. Künstliche Intelligenz kann ein sinnvolles Werkzeug dafür sein. 

Wissenschaftsassistenz beim Schreiben, Forschen und Prüfen

"Wir haben nicht nur einen Schreibpartner, sondern auch einen Forschungspartner per Knopfdruck, der eine andere Perspektive einnehmen kann, dem wir eine Rolle zuweisen können, der in dieser Rolle agiert und uns in nahezu beliebiger Form unterstützen kann – sogar bei der Qualitätssicherung. Und das sind Möglichkeiten, die wir noch nie zuvor hatten. Auch die Arbeit mit riesigen Datenmengen ist durch diese Technologie sehr viel einfacher geworden. In der mathematischen Forschung könnten damit beispielsweise Beweise gelingen, die uns bisher als Menschheit noch gar nicht gelungen sind.", fasst Doris Weßels, Professorin für Wirtschaftsinformatik an der Fachhochschule Kiel, die vielfältigen Einsatzmöglichkeiten von KI-Tools in der Wissenschaft im Gespräch mit "Forschung & Lehre" beispielhaft zusammen. 

"Wir haben nicht nur einen Schreibpartner, sondern auch einen Forschungspartner per Knopfdruck"
Doris Weßels, Professorin für Wirtschaftsinformatik an der Fachhochschule Kiel

Sind Forschende zu gutgläubig gegenüber KI-Technologie? 

Laut einer aktuellen Studie, die Anfang März bei "nature" veröffentlicht wurde, sei es aufgrund des Vertrauens in KI-Tools wahrscheinlich, dass Forschung, die auf diesen Tools beruht, stark zunehme und sich soziale Praktiken der wissenschaftlichen Wissensproduktion veränderten. Diese Entwicklung berge das Risiko, wissenschaftliche Monokulturen entstehen zu lassen, in denen bestimmte Formen der Wissensproduktion alle anderen dominierten, was zu Fehlern, Voreingenommenheit und verpassten Chancen für Innovationen führen könnte. Das hohe Vertrauen in die KI-Technologie bezüglich ihrer Produktivität und Objektivität verhindere dabei, dass Forschende erkennen würden, wie sich ihr Blickwinkel verengt habe. 

Die beiden Studien-Autorinnen Lisa Messeri, Assistenz-Professorin in soziokultureller Anthropologie an der Yale Universität, und Molly J. Crockett, außerordentliche Professorin am psychologischen Institut der Princeton Universität, stellen in ihrer Arbeit zur Diskussion, ob KI-Lösungen uns nicht auch anfällig machen für "Verständnis-Illusionen", in denen wir glauben, mehr von der Welt zu verstehen, als wir es tatsächlich tun: "Die Verbreitung von KI-Werkzeugen in der Wissenschaft birgt das Risiko, eine Phase wissenschaftlicher Untersuchungen einzuführen, in der wir mehr produzieren, aber weniger verstehen." Schlussfolgernd kommen die beiden in ihrer Analyse zu dem Ergebnis: "Es bedarf eines bewussten Umgangs mit KI, um sicherzustellen, dass sie die Vielfalt der Wissensproduktion fördert und nicht einschränkt". 

"Es bedarf eines bewussten Umgangs mit KI, um sicherzustellen, dass sie die Vielfalt der Wissensproduktion fördert und nicht einschränkt"
Studie "Artificial intelligence and illusions of understanding in scientific research"

Diese mahnende Einschätzung teilt auch Professor Santiago Iñiguez de Onzoño, Präsident der spanischen IE Universität, Philosoph und Experte für strategisches Management, der mit "Times Higher Education" über die Verwendung von KI in Forschung und Lehre sprach. "Der generativen KI fehlt etwas, nämlich die Fähigkeit, über den Tellerrand zu schauen oder unerwartete Erkenntnisse zu liefern", räumt er Unzulänglichkeiten der KI-Werkzeuge ein. 

KI ist kein Ersatz für autonome, kompetente Individuen 

KI-Expertin Weßels sieht das Problem im mangelnden Verständnis für die Funktionsweise von KI-Technologien wie beispielsweise ChatGPT: "Wenn ich mir Umfrageergebnisse zum Einsatz von ChatGPT ansehe und auf Platz 1 die Informationssuche steht, ist klar, dass viele Anwenderinnen und Anwender auch heute noch auf sogenannte 'Halluzinationen' hereinfallen. Sucht man beispielsweise nach Literaturquellen, generieren diese KI-Textgeneratoren – ohne die Möglichkeit der Internetsuche – häufig wunderbare Quellen, vermeintlich hochwertige mit vollständigen bibliographischen Angaben. Wer die Funktionsweise dieser Systeme nicht in ihrem Wesen als probabilistische Algorithmen verstanden hat, der oder die kommt gar nicht auf die Idee, dass das Fake-Quellen sein könnten". 

"Wer die Funktionsweise dieser Systeme nicht in ihrem Wesen als probabilistische Algorithmen verstanden hat, der oder die kommt gar nicht auf die Idee, dass das Fake-Quellen sein könnten."
Doris Weßels, Professorin für Wirtschaftsinformatik an der Fachhochschule Kiel 

Laut einer aktuellen Studie des Bayerischen Forschungsinstituts für Digitale Transformation (bidt) der Bayerischen Akademie der Wissenschaften ist der Nachholbedarf beim Risikobewusstsein groß: "Nicht mehr als 50 Prozent der betrachteten Schülerinnen und Schüler und 56 Prozent der Studierenden sind sich bewusst, dass erzeugte Ergebnisse faktisch falsch sein können". "Ein erheblicher Anteil der Lernenden ist sich nicht bewusst, dass generative KI unvollständige, unausgewogene oder widersprüchliche Ergebnisse liefern kann", betont Antonia Schlude, wissenschaftliche Referentin des bidt Think Tank. "Umso wichtiger ist es, diese Grenzen aufzuzeigen und die Technologie- und Medienkompetenzen von Lernenden und Lehrenden zu fördern." 

Mit dem Fazit "Eine kritische Haltung ist entscheidend", ordnet auch Nobelpreisträger Ben Feringa beim Nobelpreis-Dialog Anfang März in Brüssel den Umgang mit KI und eventuell produzierter Fake-Fakten als aus seiner Sicht als notwendigerweise besonnen und verantwortungsvoll ein. Unterstützt wird er während des Dialogs von Vera Jourová, Vizepräsidentin für Werte und Transparenz der Europäischen Kommission, die die kritische Denkfähigkeit autonomer Individuen im Umgang mit der Technologie als "äußerst wichtig" deklariert. Unter den KI-Regeln, die Europa mit dem neuen Gesetz teste, gebe es laut Jourovà eine, die besage, dass von KI produzierte Texte, Bilder oder anderes Material gekennzeichnet werden müsse, damit die Bürgerinnen und Bürger erkennen könnten, ob es sich bei etwas um eine KI-Produktion handle oder nicht. 

Fördern KI-Technologien übereilte und gefälschte Publikationen? 

"Der Anteil verdächtiger Publikationen liegt grob geschätzt bei 11 Prozent. Das sind etwa 400.000 von weltweit über 4 Millionen Publikationen pro Jahr! Autoren kommen vor allem aus dem Mittleren Osten und Asien, insbesondere aus China, aber auch aus Indien. Deutschland liegt im Messfehlerbereich bei unter drei Prozent mit rund 5.700 Fakes unter rund 190.000 Publikationen insgesamt", schätzt Professor Bernhard Sabel vom Institut für Medizinische Psychologie an der Otto-von-Guericke-Universität (OVGU) Magdeburg gegenüber "Forschung & Lehre" das Ausmaß an KI-gestützten Fake-Publikationen ein. Diese würden oftmals in sogenannten "paper mills" – Fälschungsagenturen – gegen Bezahlung auf Basis von KI-generierten Fake-Daten produziert und dann mittels Fake- oder Leih-Autorenschaften und Impact-Factor-Manipulation wissenschaftlichen Fachpublikationen angeboten. 

Sabel beruft sich bei seiner Schätzung auf eine Untersuchung, die er selbst in Zusammenarbeit mit drei weiteren Forschenden unternommen hat. Anhand von zuvor ermittelten typischen Fälschungsmerkmalen bei medizinischen Arbeiten analysierten sie insgesamt rund 15.000 zufällig ausgewählte wissenschaftliche Publikationen. Die erzielten Zahlen zu Fake-Verdachtsfällen und nachgewiesenen Fake-Artikeln rechnete er für seine Schätzung auf die weltweiten Wissenschafts-Publikationen hoch. 

Laut Sabel hat der weltweite Wissenschaftsbetrieb es hier mit einer wahrhaften Glaubwürdigkeitskrise zu tun: "Fake-Publikationen sind nicht nur wissenschaftlich wertlos und verschwenden Forschungsmittel von geschätzt über 10 Milliarden Euro jährlich. Sie verstärken zudem die Reproduzierbarkeitskrise, führen zu falschen Entscheidungen, beispielsweise bei Therapien, oder Investitionen in der Forschung und Industrie. Sie können gar gefährlich werden und verseuchen das Weltwissen des 'Permanent Scientific Record' in rasanter Geschwindigkeit". Es sei gemäß Sabel der größte Wissenschaftsbetrug aller Zeiten. Es müsse etwas dagegen unternommen werden – Nichts-Tun oder Ignorieren sei keine Option. 

"Fake-Publikationen sind wissenschaftlich wertlos und verschwenden Forschungsmittel von geschätzt über 10 Milliarden Euro jährlich."
Professor Bernhard Sabel, Institut für Medizinische Psychologie, Otto-von-Guericke-Universität Magdeburg

KI-Expertin Weßels schätzt die Situation ähnlich ein: "Der Publikationsdruck wird immer größer. Gleichzeitig wird es immer leichter, KI-gestützt wissenschaftliche Beiträge in kurzer Zeit zu generieren. Diese immer größere Verführung führt dazu, dass viele Fachzeitschriften mit Einreichungen geflutet werden, bei denen man in einigen Bereichen sogar befürchten muss, dass sie von sogenannten paper mills produziert wurden, die mit KI-Technologien im Vergleich zu früher ihre Produktivität noch weiter gesteigert haben dürften. Es gibt immer mehr Fälle, bei denen nachgewiesen wurde, dass die Daten, die dieser Forschung zugrunde lagen, Fake-Daten waren – punktgenau mit KI-Einsatz produziert, um das gewünschte Forschungsergebnis zu erzielen. Das heißt, es wird immer schwieriger, die Qualität von Einreichungen zu bewerten und das führt für den gesamten Wissenschaftsbetrieb weltweit natürlich zu sehr vielen Turbulenzen". 

Aber selbst wenn keine explizite Fälschungsabsicht vorliege, so Weßels, sei die Versuchung groß, KI-Ergebnisse zu überschätzen und 1:1 zu übernehmen: "Wenn ich umfangreiche Datensätze hochlade, und mir wird automatisch ein Chart, ein Kurvenverlauf oder ähnliches angezeigt, dann bin ich als Forscherin in diesem Bereich der Versuchung ausgesetzt, diese Visualisierung als korrekt zu interpretieren. Genau genommen müsste ich die Darstellung nach 'guter wissenschaftlicher Praxis' sorgfältig prüfen. Aber kann ich das dann noch mit einem vertretbaren Aufwand? Die Gefahr, dass wir fehlgeleitet werden, dass wir Opfer von sogenannten Halluzinationen werden, ist schon sehr groß. Leider sind wir auch häufig sehr maschinen- und technologiegläubig. Erschwerend wirkt immer der Zeit- und Erfolgsdruck. In diesen Situationen den bequemen Weg zu wählen und zu sagen 'Wird schon stimmen', ist verlockend".

Dem undeklarierten KI-Einsatz und Fake-Fakten auf der Spur 

"Auf Textebene ist die Erkennung von Fälschungen weitaus schwieriger als bei Bild-, Ton- oder Videodaten. Dies liegt daran, dass Texte eine sehr niedrige Dimensionalität aufweisen: Ein Bild in Full-HD kann beispielsweise über 2 Millionen Pixel enthalten, während ein Satz weit weniger als 100 Buchstaben umfasst. Deshalb stellt die Erkennung von KI-generierten Texten eine besondere Herausforderung dar", erklärt Dr. Nicolas Müller vom "Department Cognitive Security Technologies" am Fraunhofer-Institut für Angewandte und Integrierte Sicherheit (AISEC) gegenüber "Forschung & Lehre". In der Sendung "alles wissen" (7.3.) vom Hessischen Rundfunk wurde demonstriert, wie einfach und schnell eine Fake-Publikation mit einer KI erzeugt werden kann. 

"Auf Textebene ist die Erkennung von Fälschungen weitaus schwieriger als bei Bild-, Ton- oder Videodaten."
Dr. Nicolas Müller, Fraunhofer-Institut für Angewandte und Integrierte Sicherheit

Müller hält es für kritisch, dass KI derzeit in Forschung und Lehre noch recht unreguliert und ohne ausreichendes Hintergrundwissen über deren Funktionsweise genutzt werde: "KI kann beispielsweise bei Orthographie und Formulierung, aber auch bei der Übersetzung oder Transkription unterstützen. Besorgniserregend ist jedoch der Trend, dass zum Beispiel Haus- oder Seminararbeiten teilweise von Schülern oder Studierenden mithilfe von ChatGPT verfasst werden, was den Lernerfolg untergräbt. Zudem ist es möglich, dass generative KI 'halluziniert', das heißt Fakten und Tatsachen frei erfindet". 

Anhand von Mustererkennung könne "Supervised Machine Learning" laut Müller dazu beitragen, Fake-Inhalte zu erkennen. Aber die Erkennung von "Deepfakes" – das heißt mithilfe von Künstlicher Intelligenz (KI) erstellte Bild-, Ton- oder Videoaufnahmen – stelle einen ständigen Wettlauf zwischen den Erstellenden und den Erkennenden dar, erläutert Müller gegenüber "Forschung & Lehre". Ähnlich wie bei einem Virenscanner versuche der Angreifer, den Verteidiger mit zunehmend raffinierteren Methoden zu überlisten. Die Verteidigungsseite sei wiederum bestrebt, die Täuschungsangriffe effektiver zu erkennen. Die Deepfake-Erkennung erfolge durch den Einsatz von "Supervised Machine Learning-Techniken": Dabei lerne die KI anhand zahlreicher Beispiele von echten und KI-generierten Inhalten, was echt sei und was nicht. 

Weßels sieht die Problematik des KI-Einsatzes in Prozessketten, bei denen ein KI-generierter Baustein im nachfolgenden Prozessschritt wieder von KI bewertet wird. Diese Herausforderung sei schon heute beim Umgang mit Haus- und Studienarbeiten spürbar: "Wenn wir eine geschlossene Prozesskette für den KI-Einsatz haben, die vorne mit der 'maßgeschneiderten', KI-gestützten Produktion von Texten beginnt, optimiert für die späteren Bewertungskriterien, und hinten damit endet, dass Lehrende den Text auf Basis genau dieser Kriterien KI-gestützt bewerten lassen, stellt sich die Frage, ob wir das wirklich wollen oder ob es nicht die gesamte Prozesskette ad absurdum führt. Der menschliche Anteil geht zusehends zurück. Mein Plädoyer ist, bei diesen Betrachtungen die ganzheitliche Sicht auf die Prozesskette zu wählen und dann auch den Mut zu haben, diese grundsätzlich in Frage zu stellen." Sie hält KI-Detektoren im Bereich textlicher Arbeit für unzuverlässig und setzt sich für neue Prüfungsmethoden sowie eine transparente Kennzeichnungspflicht bei schriftlichen Arbeiten ein. 

Neue Qualitätssicherungs- und Bewertungskonzepte 

Sabel, selbst Herausgeber einer wissenschaftlichen Fachpublikation, proklamiert gegenüber "Forschung & Lehre" grundlegende Anpassungen im Wissenschaftsbetrieb, um Fake-Publikationen nachhaltig einzudämmen: "Zunächst wäre wünschenswert, dass die 'publish-or-perish'-Kultur, die Kultur des 'veröffentlichen oder untergehen', selbst verschwindet und durch modern gedachte Belohnungssysteme ersetzt werden würde. Zusätzlich sollten die Produktion und der Vertrieb von Fake-Publikationen als strafrechtlicher Tatbestand normiert werden. Diese Maßnahme müsste ergänzt werden durch die Entwicklung von Fake-Detektionsmethoden, welche auch den Einsatz von Künstlicher Intelligenz sichtbar macht, und einer Regulierung beziehungsweise Qualitätsprüfung von Verlagen und Wissenschaftsbetrieben durch einige unabhängige Prüfungsinstanz, also einer Art Wissenschafts-TÜV“. Seien Fake-Agenturen erst einmal offiziell illegal, müssten sie ins Darknet abwandern, was für ihre Kundinnen und Kunden aus der Wissenschaft wohl ein zu hohes Risiko wäre. 

"Zunächst wäre wünschenswert, dass die 'publish-or-perish'-Kultur selbst verschwindet und durch modern gedachte Belohnungssysteme ersetzt werden würde."
Berhard Sabel, Neuropsychologe und Herausgeber einer wissenschaftlichen Fachzeitschrift

Professorin Weßels hat gemeinsam mit ihren Studierenden das von ihr so genannte "3P-Bewertungssystem" genutzt: "Das 3P-System ist eine Erweiterung des üblichen Prozesses zur Bewertung von schriftlichen Ausarbeitungen, wie zum Beispiel Studienarbeiten, und steht für das Tripel Produkt, Präsentation und Prozess". Dieser Ansatz basiere auf der Annahme, dass im KI-Zeitalter eine umfassende Bewertung der Studienleistungen nicht nur das Endprodukt – die schriftliche Arbeit selbst – berücksichtigen sollte, sondern auch den Prozess, der zu diesem Produkt geführt hat, sowie die Präsentation der Arbeit einschließlich der Verteidigung der Ergebnisse. 

"Der Bewertungsbaustein 'Prozess' ist das eigentlich Novum. Dort stehen die Art und Weise der Entstehung des Produkts im Fokus", erläutert Weßels das Vorgehen. Bewertet würden sowohl das wissenschaftliche wie auch das technische Design. "Beim technischen Design sollen die Studierenden ihre digitale Kompetenz beim Einsatz von IT- und KI-Lösungen unter Beweis stellen", so Weßels weiter. 

KI-Hochschulrichtlinien im Aufbau und Wandel 

Nach und nach veröffentlichen immer mehr Hochschulen eigene KI-Leitlinien, die interne Handlungsempfehlungen und Vorgaben enthalten. Die im Februar erschienenen "Leitlinien zum Umgang mit generativer KI" vom "Hochschulforum Digitalisierung" (HFD) fassen den Stand der Regelungen an deutschen Hochschulen zusammen und geben weiterführende Tipps für deren Weiterentwicklung. Laut der Leitlinien ließen sich aus den 27 Einreichungen bereits konstruktive Ansätze, blinde Flecken, Muster und Unterschiede erkennen. 

"Es gibt bis heute viele deutsche Hochschulen, die gar keine oder uneinheitliche Regelungen haben, wie KI-Tools einzusetzen sind, und damit Studierende und Lehrende gleichermaßen verunsichern", resümiert Weßels gegenüber "Forschung & Lehre" ihr Wissen und ihre Erfahrungen aus dem Dialog mit Hochschuleinrichtungen. Dabei werde die Verantwortung oftmals von den Hochschulleitungen mit dem Hinweis auf die "Freiheit von Forschung und Lehre" weitergereicht an die Fakultätsleitungen, von dort etwa weiter an Studiengangsleitungen oder Modulverantwortliche. 

"Es gibt bis heute viele deutsche Hochschulen, die gar keine oder uneinheitliche Regelungen haben, wie KI-Tools einzusetzen sind."
Doris Weßels, Professorin für Wirtschaftsinformatik an der Fachhochschule Kiel

Im Rahmen der Bayerischen bidt-Studie zur Verbreitung und Akzeptanz generativer KI an Schulen und Hochschulen wurde ermittelt, dass es bei 54 Prozent der Schülerinnen und Schüler und 41 Prozent der Studierenden keine Leitlinien an der Bildungseinrichtung gebe. 44 Prozent der Schülerinnen und Schüler und 57 Prozent der Studierenden wünschten sich ebensolche. Auch sprechen sich immerhin 47 Prozent der Studierenden für mehr kontrollierte Prüfungsformate aus. 

"Wir verlieren immer mehr Zeit und laufen Gefahr, dass sich die digitale Spaltung in den Kreisen der Kollegien zwischen denen, die digital sehr affin sind und denjenigen, die auch zuvor nicht gerne mit digitalen Tools gearbeitet haben, weiter verschärft", so Weßels. "Diese Gefahr des 'digital divide' sehe ich nicht nur als gesellschaftliches Risiko, sondern auch in den Organisationen. Es ist aus meiner Sicht eine Führungsaufgabe, hier wieder eine Verbindung herzustellen. Die erste und wichtigste Maßnahme sind flächendeckende KI-Qualifikationsmaßnahmen für Lehrende und Lernende, um Berührungsängste abzubauen, die Diskursfähigkeit der Organisation rund um den KI-Einsatz zu fördern und den kompetenten Umgang mit den Tools zu schulen". 

Auch die "Leitlinien zum Umgang mit generativer KI" vom HFD fassen etwas ernüchternd zusammen, dass viele KI-Richtlinien noch in Ausarbeitung oder bereits veraltet seien. Es gebe noch sehr viele offene Fragen und nur "wenige rechtliche Ankerpunkte". Die "Baustelle Prüfungen" sei in den meisten Leitlinien der Hochschulen Thema. Ein Drittel der Leitlinien gehe laut HFD auf relevante Kompetenzen und Qualifikationen ein: "Kritisches Denken wird hier am häufigsten genannt. Es schließen sich Konzepte wie AI Literacy an. Weniger häufig kommen Kompetenzen vor, die gerade deshalb an Relevanz gewinnen, weil sie nicht gänzlich durch KI-Tools substituierbar sind (zum Beispiel Kreativität, Entscheidungsfähigkeit, Teamwork). Anwendungsbezogen werden Kompetenzen wie die Interaktion mit KI-Technologie und Prompt Engineering aufgeführt". Als good practices gelobt werden die Handreichungen der TU Hamburg, der Goethe-Universität Frankfurt, der TU Dortmund sowie der Leuphana Universität Lüneburg.