Wissenschaftliche Integrität
"Wir brauchen eine gemeinsame Kraftanstrengung"
Forschung & Lehre: Vor rund fünf Jahren haben Sie Unregelmäßigkeiten bei der Zeitschrift Talent Development and Excellence aufgedeckt. Seitdem hat das Ausmaß des kommerziellen Betrugs in der Wissenschaft laut Studien drastisch zugenommen. Wie blicken Sie auf die Entwicklung in den vergangenen Jahren und die aktuelle Lage?
Anna Abalkina: Der Schwerpunkt des wissenschaftlichen Betrugs hat sich verlagert: Vor fünf Jahren lag das Hauptproblem noch bei sogenannten Predatory Journals, also fragwürdigen oder betrügerischen Zeitschriften, sowie sogenannten Hijacked Journals, gestohlenen oder nachgeahmten Journal-Webseiten, sowie anderen problematischen Fachzeitschriften. Diese Probleme existieren nach wie vor, doch heute stammt ein großer Teil der Fälschungen aus sogenannten Paper Mills – Unternehmen, die gegen Bezahlung massenhaft gefälschte "wissenschaftliche" Arbeiten produzieren und verkaufen. Die Zahl der von ihnen produzierten Studien wächst sowohl länder- als auch disziplinübergreifend.
Die Methoden und Instrumente der Unternehmen werden dabei immer professioneller. Eine gemeinsame Studie aus dem Jahr 2022 von STM, der International Association of Scientific, Technical and Medical Publishers, und COPE, dem Committee on Publication Ethics, hat systematisiert, wie Paper Mills vorgehen: Sie vervielfältigen zum Beispiel Einreichungen, um die Chancen auf eine Veröffentlichung zu erhöhen, oder sie nutzen spezielle Themenausgaben, um mehr Arbeiten unterzubringen. Sie schlagen Gutachterinnen oder Gutachter vor, die voraussichtlich überwiegend positive Bewertungen abgeben, oder erstellen gefälschte Peer Reviews, um den Begutachtungsprozess zu unterwandern.
"In den Augen ihrer Kundschaft und auch denen der wissenschaftlichen Gemeinschaft wirken Paper Mills oft wie legitime Unternehmen."
Inzwischen bieten Paper Mills auch Co-Autorenschaften bei Patenten an und verkaufen Zitationen oder Positionen in Herausgebergremien. Auch machen sie Lobbyarbeit für einzelne Personen – etwa, damit diese ein US-Talentvisum erhalten. Viele Firmen sind zudem Mitglied bei Crossref, eine der größten Registrierungsstellen für Digital Object Identifier (DOI). Sie besitzen eigene Fachzeitschriften, erhalten Wirtschaftspreise und vieles mehr. In den Augen ihrer Kundschaft und auch denen der wissenschaftlichen Gemeinschaft wirken sie oft wie legitime Unternehmen.
F&L: Die Folgen sind gravierend. Gefälschte Studien behindern wissenschaftlichen Fortschritt, können Forschungsgelder in die falsche Richtung lenken und gar Menschenleben gefährden – wenn beispielsweise medizinisches Personal auf falsche Erkenntnisse vertraut. Was haben wir dem entgegenzusetzen?
Anna Abalkina: Noch zu wenig. Das Bewusstsein für das Ausmaß und die daraus resultierenden Folgen ist zu gering – sowohl in der Gesamtbevölkerung als auch in der Wissenschaft selbst. Es gibt einzelne Wissenschaftlerinnen und Wissenschaftler oder auch Initiativen, Verlage und Unternehmen, die Betrug nachgehen. Aber all das sind verglichen mit dem Ausmaß nur punktuelle Bemühungen. Wir brauchen eine gemeinsame Kraftanstrengung, um dem systematischen kommerziellen Betrug etwas entgegenzusetzen.
F&L: Was halten Sie für den größten Hebel?
Anna Abalkina: Den größten Hebel sehe ich in einer grundsätzlichen Reform des Wissenschaftssystems. Wissenschaftlerinnen und Wissenschaftler brauchen mehr Zeit und Sicherheit für ihre Arbeit. Nur so haben sie die Kapazitäten, auf Fälschungen aufmerksam zu werden, und laufen nicht Gefahr, auf unseriöse Angebote aus Druck und Sorge vor Nachteilen für die eigene Karriere einzugehen. Das Gleiche gilt für Gutachterinnen und Gutachter. Kürzlich noch wurde ich angefragt, ein Gutachten innerhalb von wenigen Tagen anzufertigen. Das ist in guter Qualität parallel zum Hochschulalltag kaum möglich.
F&L: Was müsste sich aus Ihrer Sicht konkret ändern?
Anna Abalkina: Wir brauchen unter anderem eine neue Forschungsevaluation, die der Qualität von Arbeiten mehr Bedeutung schenkt. So wichtig eine gewisse Anzahl von Veröffentlichungen in renommierten Zeitschriften auch ist – die Tendenz geht meiner Meinung nach zu stark in Richtung einer quantitativen Berücksichtigung von Forschungsleistungen.
Wir sollten außerdem das Publikationsmodell optimieren und mehr Veröffentlichungen erlauben, bei denen Studien sowohl für die Urheberinnen und Urheber als auch für die Leserinnen und Leser kostenlos zugänglich sind. Wenn ich mit ehemaligen Kommilitoninnen und Kommilitonen spreche, von denen viele in der Finanzbranche tätig sind, schütteln sie den Kopf, wenn ich ihnen von der Logik des Finanzierungsmodells in der Wissenschaft erzähle: Wissenschaftlerinnen und Wissenschaftler geben ihre Arbeit kostenlos einer Zeitschrift und dann müssen die Universitäten diese Verlage bezahlen, damit eine Studie veröffentlicht wird und sie Zugang zu diesen Veröffentlichungen erhalten.
Auch Gutachten werden kostenlos erstellt, Redakteurinnen und Redakteure arbeiten oft ohne Bezahlung. So erzielen Fachzeitschriften und Verlage Rendite aufgrund des Prestiges ihrer Zeitschriften und des Publikationsdrucks. Das muss sich ändern. Doch statt solche systematische Fehler entschlossen anzugehen, sprechen wir immer noch zu viel über individuelles Fehlverhalten.
F&L: Strukturellen Reformen wie die von Ihnen beschriebenen Maßnahmen sind komplex und erfordern Zeit. Was halten Sie für einen sinnvollen ersten Schritt, um der Entwicklung kurzfristig etwas entgegenzusetzen?
Anna Abalkina: Zunächst brauchen wir mehr Aufklärung über das Problem und dessen Ausmaß. Dann braucht es eine schlagkräftige Gesetzgebung, die gegen das Geschäft von Paper Mills vorgeht. Bislang fehlt eine solche Gesetzgebung. So können Firmen oft lange Zeit wie vermeintlich seriöse Unternehmen agieren. Ich habe erlebt, wie Paper Mills ihre Strategien anpassen, sobald sie identifiziert werden. In einem Fall reagierte eine Paper Mill auf eine Untersuchung, indem sie rund 100.000 Abstracts von echten Autorinnen und Autoren in einem Archiv auf ihrer Website veröffentlichte – fälschlicherweise mit dem Hinweis, dass diese Arbeiten bei ihnen gekauft worden seien, um so von ihren betrügerischen Geschäften abzulenken.
Parallel müssen mehr Anreize gesetzt werden. Viele Open-Access-Zeitschriften erheben eine Publikationsgebühr, sogenannte Article Processing Charges (APCs). Wird ein Artikel wegen schweren wissenschaftlichen Fehlverhaltens zurückgezogen, bleibt diese Gebühr in der Regel beim Verlag. Das schafft negative Anreize, da der Verlag auch dann profitiert, wenn er unseriöse Arbeiten veröffentlicht. Stattdessen sollte das Geld, wie es der Verlag IOP Publishing aus Großbritannien bereits seit 2023 macht, gespendet und in die Förderung von wissenschaftlicher Integrität investiert werden.
"Paper Mills"
Ein rechtliches Vorgehen gegen sogenannte Paper Mills – Unternehmen, die gegen Bezahlung massenhaft gefälschte "wissenschaftliche" Arbeiten produzieren und verkaufen – erweist sich in der Praxis als schwierig.
Die Inanspruchnahme der Angebote von Paper Mills widerspricht den Grundsätzen der guten wissenschaftlichen Praxis. Diese geben bereits klar vor, dass die Manipulation von Daten und Bildern ein wissenschaftliches Fehlverhalten ist, wie die Leiterin der Geschäftsstelle des Ombudsgremiums für die wissenschaftliche Integrität in Deutschland (OWID), Dr. Hjördis Czesnick, einordnet. Weder dürfen fremde Texte ohne korrekte Quellenangabe noch KI-Tools ohne entsprechende Kenntlichmachung genutzt werden. Auch Falschangaben in der Liste von Autorinnen und Autoren sind unzulässig. Diese Grundsätze sind für Wissenschaftlerinnen und Wissenschaftler – sofern sie an einer wissenschaftlichen Einrichtung tätig sind – über die Satzung der Hochschule oder über den Arbeitsvertrag mit der wissenschaftlichen Einrichtung rechtlich bindend.
Einen von einer Paper Mill generierten Artikel zu publizieren, ist Wissenschaftlerinnen und Wissenschaftlern in Deutschland damit schon jetzt untersagt. Es dürfen laut OWID "nur eigene wissenschaftliche Ergebnisse beziehungsweise wissenschaftserhebliche Beiträge unter eigenem Namen (in Teams entsprechend den disziplinspezifischen Vorgaben) publiziert werden".
F&L: Ihre und die Studien anderer Forscherinnen und Forscher haben ergeben, dass gefälschte Artikel oftmals noch lange nach ihrer Erkennung in Datenbanken zu finden sind. Was wissen Sie zu den Umständen?
Anna Abalkina: Dr. Elisabeth M. Bik hat in einer Studie von 2024 Bildmanipulationen und -duplikate untersucht und festgestellt, dass lediglich rund 50 Prozent der Studien innerhalb von zehn Jahren zurückgezogen worden sind. Das bedeutet, dass die übrigen 50 Prozent weiterhin in der wissenschaftlichen Fachcommunity diskutiert und als Grundlage für wissenschaftliche Schlussfolgerungen herangezogen werden können.
Es gibt inzwischen vermutlich keinen Verlag mehr, der keinen gefälschten Artikel veröffentlicht habt. Das heißt, sie sind überall: in unseriösen Journalen, in seriösen Journalen, in solchen mit niedrigem und in solchen mit hohem Impact-Faktor. Die Verlage reagieren darauf sehr unterschiedlich. Manche sind sehr langsam, wenn es um den Rückzug von Studien geht. Die entsprechenden wissenschaftlichen Artikel werden weder geprüft noch zurückgezogen. Andere sind proaktiv und optimieren ihre Prozesse so, dass unseriöse Studien bestenfalls erst gar nicht in Umlauf kommen.
"Paper Mills beobachten, wo Arbeiten von der Konkurrenz erfolgreich platziert werden konnten."
Das halte ich für sehr wichtig, denn Paper Mills beobachten, wo Arbeiten von der Konkurrenz erfolgreich platziert werden konnten, und versuchen es ebenfalls. Oftmals fehlen jedoch die Kapazitäten, um dem Ausmaß an betrügerischen Machenschaften zu begegnen; und eben auch die Anreize.
F&L: Welcher Betrugsfall ist Ihnen zuletzt besonders in Erinnerung geblieben – sei es wegen seines Ausmaßes oder weil er besonders schwer zu erkennen war?
Anna Abalkina: Ich bin kürzlich auf eine Paper Mill in Indien gestoßen. Diese Firma reicht immer über denselben Typ von E-Mail-Adressen vermeintlich wissenschaftliche Arbeiten von Autorinnen und Autoren ein. Mir ist aufgefallen, dass die Arbeiten immer im gleichen Stil verfasst sind und problematische Daten enthalten. Ich lasse die Arbeiten automatisiert in ein Dashbord einfließen. Man sieht deutlich, dass die Zahl der veröffentlichten Arbeiten kontinuierlich steigt, insbesondere im Jahr 2024, was ich mit dem Einfluss von KI erkläre.
Trotz meiner Kontaktaufnahme mit den Verlagen wurden nur wenige Studien zurückgezogen. Das zeigt aus meiner Sicht, wie leicht gefälschte Daten veröffentlicht werden können und dass dieses Problem von Verlagen sowie von Gutachterinnen und Gutachtern noch unzureichend erkannt oder ernstgenommen wird.
Methoden zur Quantifizierung von Manipulationen
F&L: Für wie groß halten Sie das Ausmaß des Betrugs?
Anna Abalkina: Massenbetrug lässt sich nur schwer exakt quantifizieren, da die Formen der Manipulationen je nach Fachdisziplin, Land und dem jeweiligen Modell einer Paper Mill unterschiedlich sind und sich nicht mit einer einheitlichen Methode verifizieren lassen. Die einzige universelle Methode, die ich kenne und die aus meiner Sicht gut funktioniert, stammt von Adam Day, dem Gründer der Clear Skies Company. Day war zuvor Redakteur bei Sage Publications und Analyst, bevor er sein eigenes Unternehmen gründete. Die Zahl der Paper Mills wächst laut seinen Erkenntnissen schneller als das durchschnittliche Wachstum der wissenschaftlichen Arbeiten in der Literatur. Das bedeutet, dass der Anteil gefälschter Publikationen an der Literatur insgesamt wächst.
Seine Methode basiert auf maschinellem Lernen und großen Sprachmodellen (LLMs), die mit Abstracts nachgewiesener Paper-Mill-Arbeiten trainiert wurden. Da Paper Mills oft dieselben Verfahren zur Texterstellung verwenden, liegt es auf der Hand, dass sich sprachliche Ähnlichkeiten erkennen lassen. Nach seiner Methode und einer konservativen Schätzung existieren aktuell mindestens 400.000 solcher Arbeiten in der wissenschaftlichen Literatur, die zwischen 2000 und 2022 veröffentlicht wurden. Das entspricht – je nach zugrunde gelegter Gesamtzahl von veröffentlichten Artikeln – etwa zwei Prozent aller Publikationen. In der Biomedizin sind es laut der Studie sogar drei Prozent. In manchen Fachbereichen kann der Anteil noch höher liegen. Insgesamt ist von einer konservativen Schätzung auszugehen.
Rene Aquarius und seine Mitautorinnen und Mitautoren haben beispielsweise Arbeiten überprüft, die in der Fachzeitschrift Bioengineered veröffentlicht wurden, und festgestellt, dass 25,7 Prozent davon manipulierte oder duplizierte Bilder enthielten. Die Zeitschrift hat als Reaktion einen temporären Einsendestopp verhängt, um bereits veröffentlichte Arbeiten zu prüfen.
"Ich stoße auf Ungereimtheiten und dann finde ich eine weitere und schaue genauer hin."
F&L: Wie gehen Sie selbst vor, wenn Sie nach Betrugsfällen suchen?
Anna Abalkina: Ich gehe intuitiv vor. Ich stoße auf Ungereimtheiten und dann finde ich eine weitere und schaue genauer hin. Mir fällt zum Beispiel auf, dass in einer Studie immer von "mini" und "maxi" die Rede ist – wie bei Rocklängen – anstelle von Mindestwerten und Höchstwerten, oder dass ein Mittelwert größer als der Maximalwert ist. Parallel überlege ich mir, wie ich meinen Prüfprozess optimieren kann, weil es schwierig ist, alle Arbeiten manuell zu überprüfen.
F&L: Was raten Sie Forschenden, um unseriöse Arbeiten möglichst schnell zu erkennen?
Anna Abalkina: Wissenschaftlerinnen und Wissenschaftler sollten beim Lesen von Arbeiten ihren gesunden Menschenverstand einsetzen – so selbstverständlich das auch klingen mag. Ich würde zudem empfehlen, die PubPeer-Erweiterung für den Browser zu installieren. PubPeer ist eine Art Journal Club, in dem Forschende nach der Veröffentlichung Kommentare zu wissenschaftlichen Arbeiten abgeben können. Viele dieser Kommentare weisen darauf hin, dass eine Arbeit zurückgezogen wurde oder problematische Aspekte enthält. Die PubPeer-Erweiterung markiert Arbeiten beim Öffnen im Browser, wenn Kommentare vorhanden sind.
Betrug im Publikationswesen erkennen
Wissenschaftliche Studien zum Betrug im Publikationswesen geben Ansatzpunkte, wie Wissenschaftlerinnen und Wissenschaftler unseriöse Veröffentlichungen erkennen können. Ein Forschungsteam um Professor Bernhard Sabel vom Universitätsklinikum Magdeburg fand 2023 etwa heraus, dass die Kombination aus einer privaten E-Mail-Adresse und fehlenden internationalen Ko-Autorinnen und Ko-Autoren ebenso ein Indiz für eine unseriöse Publikation sein kann wie die Kombination aus einer privaten E-Mail-Adresse und einem vermeintlichen beruflichen Bezug zur Forschung für ein Krankenhaus. Auch Dr. Anna Abalkina stellte in einer Studie von 2023 fest, dass Arbeiten aus Paper Mills auffällige Anomalien aufweisen – zum Beispiel eine große Vielfalt an institutionellen Zugehörigkeiten innerhalb eines einzelnen Artikels oder eine Diskrepanz zwischen der fachlichen Spezialisierung der Autorinnen und Autoren und dem im Manuskript behandelten Thema.
F&L: Durch Künstliche Intelligenz haben seriöse wie betrügerische Firmen neue Möglichkeiten hinzugewonnen, um ihre Arbeit zu professionalisieren und zu skalieren. Wie hat das die Situation rund um den Betrug im Publikationswesen konkret verändert?
Anna Abalkina: Ich beobachte eine zunehmende Zahl von Manuskripten mit kurzen Abschnitten, Aufzählungspunkten und Literaturüberblicken, die KI-generiert erscheinen. Nicht gekennzeichnet halte ich das für unethisch. Das größere Problem liegt jedoch in der Erzeugung gefälschter Daten und Bilder. Deren Anzahl ist enorm und immer schwieriger nachzuvollziehen. Ich habe beim Verdacht auf einen Betrug schon mal Tabellen von ChatGPT erstellen lassen und ein ähnliches Ergebnis wie in der vermutlich gefälschten Arbeit erhalten.
Es sind aber auch viele Arbeiten auf den Markt, in denen ich keinen unmittelbaren Betrug sehe, sondern einfach eine ähnliche Art im Vorgehen oder eine sehr oberflächliche Analyse. Vor einigen Wochen wurde eine Studie veröffentlicht, die sich mit genau diesem Problem beschäftigt. Sie zeigt, dass in den vergangenen Jahren eine enorme Zunahme von Ein-Faktor-Analysen zu beobachten ist, ohne dass Kontrollvariablen vorliegen. Das Forscherteam stellt die Hypothese auf, dass es sich bei diesen Veröffentlichungen um KI-generierte Studien handelt oder um Arbeiten, die von Paper Mills hergestellt wurden.
F&L: Inwieweit machen Sie sich KI zunutze?
"Wir brauchen mehr Aufklärung darüber, wie man KI ethisch korrekt nutzt."
Anna Abalkina: Ich nutze häufig KI. In meiner eigenen Forschung setze ich sie beispielsweise ein, um wissenschaftliche Artikel verschiedenen Fachdisziplinen zuzuordnen. Die Ergebnisse überprüfe ich jedes Mal und mache den Einsatz von KI transparent. Außerdem schreibe ich mit ChatGPT Codes für verschiedene Aufgaben. Das funktioniert ziemlich gut.
Wenn ich betrügerischen Machenschaften im Publikationswesen nachgehe, nutze ich KI nur, um nachzuprüfen, ob Arbeiten mit ihr erstellt wurden oder indem ich Algorithmen für verschiedene Suchfilter erstelle. Ich finde KI-Tools großartig, aber wir brauchen mehr Aufklärung darüber, wie man sie ethisch korrekt nutzt.
F&L: Sie haben die aktuelle Lage, bestehende Herausforderungen und Chancen skizziert. Blicken wir nun fünf Jahre voraus: Was muss aus Ihrer Sicht bis dahin passiert sein, damit Betrug wirksam eingedämmt werden, und die Integrität der Forschung gewahrt bleiben kann?
Anna Abalkina: Wissenschaft basiert auf Innovation, Transparenz, Vertrauen, Rechenschaftspflicht und Integrität. In fünf Jahren muss ein gemeinsames Vorgehen aller Akteurinnen und Akteure – darunter Universitäten, Förderorganisationen und Verlage – gelungen sein, um gegen massiven wissenschaftlichen Betrug vorzugehen. Die heutigen Methoden sind nicht nur unzureichend, um die Literatur und den Betrug zu korrigieren, sondern auch, um weitere Einsendungen von Paper Mills zu verhindern. Das müssen wir jetzt angehen.
Initiativen zur Stärkung der wissenschaftlichen Integrität im Publikationswesen
Die Initiative United2Act setzt sich für die Stärkung der wissenschaftlichen Integrität ein. Ihre Veröffentlichung gibt Einblicke in die Herausforderungen durch Paper Mills und betont, warum gemeinsames Handeln wichtig ist. Anna Abalkina ist Mitglied in zwei Arbeitsgruppen dieser Initiative.
