Akademische Praxis
"Wettbewerb lässt sich in andere Bahnen lenken"

Warum wird Forschungsqualität zunehmend an Publikationszahlen gemessen? Ein Gespräch mit Paul Rainey über die Belohnung des Quantifizierbaren.

English Version (Interview with Paul Rainey, "Competition can be redirected", PDF) 

In der Bewertung von Forschungsleistungen sollte weniger Wert auf Publikationszahlen, Zeitschriftennamen oder Drittmittel gelegt werden als vielmehr auf die inhaltliche Qualität. Dafür haben sich Professorinnen und Professoren verschiedener europäischer Forschungsreinrichtungen und Universitäten kürzlich in einem von ihnen verfassten Artikel bei Times Higher Education ausgesprochen. Im Interview mit Forschung & Lehre spricht Professor Paul Rainey, Direktor der Abteilung für Mikrobielle Populationsbiologie am Max Planck Institut für Evolutionsbiologie und Mitautor des Artikels, über wissenschaftliche Bewertungskriterien und die Frage, wie akademische Systeme ihre Abhängigkeiten von Ersatzgrößen wie Publikationszahlen abschütteln können.

Rainey und seine Kolleginnen und Kollegen argumentieren in ihrem Artikel, dass es ein Bewusstsein für die Problematik gebe, man praktisch jedoch hinterherhinke. Derzeit schlage sich vorrangig ein Wandel im institutionellen Vokabular nieder und Wissenschaftsorganisationen verwiesen oftmals auf Offenheit, Zusammenarbeit, Integrität, Mentoring und verantwortungsbewusste Bewertung. Sie fordern, die Unterschiede zwischen wissenschaftlicher Arbeit und Karrierestrategie offen anzusprechen.  

Forschung & Lehre: In einem neuen Artikel haben Sie und einige Kolleginnen und Kollegen Überlegungen zur Reform akademischer Praktiken veröffentlicht. Können Sie kurz erklären, wo Sie Probleme im Wissenschaftssystem sehen?

Paul Rainey: Das Grundproblem besteht darin, dass akademische Systeme zunehmend den Anschein von Wissenschaftlichkeit belohnen und nicht die Wissenschaftlichkeit selbst. Universitäten und Forschungseinrichtungen betonen oft, dass sie Originalität, Tiefe, intellektuelle Unabhängigkeit, Sorgfalt und langfristige Leistungen schätzen. In der Praxis werden viele Entscheidungen jedoch von Publikationszahlen, Fachzeitschriften, eingeworbenen Fördermitteln, Rankings und anderen, sichtbaren Indikatoren bestimmt. Diese Indikatoren sind zwar nicht bedeutungslos, sie sind aber nur "Proxys", also Ersatzgrößen. Wenn sie die Bewertung wissenschaftlicher Projekte dominieren, verzerrt sich nach und nach auch das Forschungsverhalten.

Daraus ergeben sich erhebliche Probleme: Forschende in frühen Karrierephasen stehen unter dem Druck, frühzeitig und häufig zu publizieren. Kurzfristige Verträge erschweren es, intellektuelle Risiken einzugehen. Einstellungs- und Beförderungssysteme nützen oft denjenigen, die bereits gut aufgestellt sind, um beeindruckende Leistungen vorzuweisen. Fördersysteme laufen Gefahr, "sichere" Projekte zu begünstigen, die als Durchbrüche dargestellt werden. Gleichzeitig sind erfahrene Wissenschaftlerinnen und Wissenschaftler sowie Institutionen oft überlastet und greifen auf Evaluationskriterien zurück, die wenig Zeit kosten.

F&L: Beobachten Sie diese Entwicklungen überall oder unterscheiden sie sich in verschiedenen akademischen Systemen?

F&L: Können Sie das näher erläutern?

Paul Rainey: Meine Erfahrung mit manchen Antragsverfahren ist, dass es im akademischen System viele hervorragende Menschen und fundiertes Urteilsvermögen gibt. Dennoch können die strukturellen Bedingungen Projekte begünstigen, die leicht verständlich, inkrementell und weniger risikoreich sind. Beispielsweise lässt sich ein Antrag, der eine etablierte Forschungsrichtung fortführt, oft leichter bewerten und verteidigen als einer, der intellektuell gewagter, aber schwieriger einzuordnen ist. Das liegt nicht daran, dass es den Gutachterinnen und Gutachtern an Vorstellungskraft mangelt, sondern daran, dass wettbewerbsorientierte Fördersysteme Vorhersehbarkeit, Plausibilität und sichtbare Ergebnisse belohnen.

Mein eigenes institutionelles Umfeld ist in vielerlei Hinsicht ungewöhnlich günstig. Die Max-Planck-Gesellschaft bietet ein hohes Maß an Vertrauen, Zeit, Stabilität und intellektueller Freiheit. Aus einer solchen Position heraus ist das übergeordnete Problem umso deutlicher sichtbar. Wenn sich selbst Institutionen, die wissenschaftliches Arbeiten nachdrücklich fördern, nicht vollständig von Publikationskennzahlen, wettbewerbsorientierter Förderung, beruflicher Unsicherheit und internationalen Prestigesystemen freimachen können, dann ist das Problem eindeutig struktureller Natur.

F&L: Was steckt hinter diesen Entwicklungen? Warum verlässt sich die akademische Welt so sehr auf "Proxys", wie Sie sie nennen?

Paul Rainey: Die Abhängigkeit ist teilweise nachvollziehbar. Wissenschaftliche Beurteilungen sind schwierig. Gute Forschungsarbeit ist nicht immer auf den ersten Blick erkennbar. Sie kann sehr technisch oder zeitaufwendig, aus der Mode gekommen oder fächerübergreifend schwer vergleichbar sein. Ausschüsse müssen oft Hunderte von Bewerbungen bearbeiten. Förderer haben mehr Anträge zu bewerten, als sie gründlich lesen können. Institutionen müssen ihren Wert gegenüber Regierungen, Steuerzahlenden und in internationalen Rankings nachweisen. In diesem Umfeld werden einfache Indikatoren attraktiv, da sie schnell zu ermitteln, sortierbar und scheinbar objektiv sind.

"Wissenschaftliche Beurteilungen sind schwierig. Gute Forschungsarbeit ist nicht immer auf den ersten Blick erkennbar."

F&L: Warum sind Ihrer Meinung nach quantitative Indikatoren für Wissenschaftlichkeit und wissenschaftlichen Erfolg problematisch?

Paul Rainey: Das Problem ist, dass solche Indikatoren niemals neutral sind. Publikationszahlen, das Ansehen einer Zeitschrift, Zitierzahlen und Fördermittel können zwar ein gewisses Maß an Informationen liefern, geben jedoch keinen verlässlichen Aufschluss über intellektuelle Qualität. Sobald die Menschen aber wissen, dass sie anhand dieser Maßstäbe beurteilt werden, passen sie ihr Verhalten entsprechend an. Sie könnten beispielsweise anfangen, mehr zu veröffentlichen, die Arbeit in kleinere Abschnitte zu teilen, sicherere Projekte auszuwählen, den Innovationsgrad zu übertreiben, "trendige" Themen zu bearbeiten oder die Platzierung in einer Zeitschrift als Ersatz für inhaltliche Substanz zu betrachten.

Dazu kommt ein noch bedeutenderer kultureller Aspekt. Moderne Universitäten agieren in einem wettbewerbsorientierten Umfeld. Sie konkurrieren um Studierende, Geld, Ansehen, Personal und politische Aufmerksamkeit. Mithilfe von Kennzahlen können sie sich als erfolgreich präsentieren. Dabei wird eine komplexe Welt auf Zahlen reduziert, die dargestellt, verglichen und verwaltet werden können. Doch die Eigenschaften, auf die es in der Wissenschaft am meisten ankommt – wie Originalität, Sorgfalt, Skepsis, intellektueller Mut und umfassendes Verständnis –, lassen sich nicht einfach so in Tabellen erfassen. Das Problem ist letztlich nicht, dass "Proxys" insgesamt nutzlos sind. Das Problem ist, dass sie zu mächtig geworden sind. Sie sollten das Urteilsvermögen unterstützen, ersetzen es aber allzu oft.

F&L: Inwiefern trägt der Wettbewerb im akademischen System zur Nutzung quantitativer Indikatoren bei?

Paul Rainey: Wettbewerb erschwert Reformen, da Einzelpersonen und Institutionen davor zurückschrecken, den ersten Schritt zu machen. Eine Universität mag zwar erklären, dass sie die Abhängigkeit von "Proxys" verringern möchte, muss aber befürchten, dass Konkurrenten diese Indikatoren weiterhin nutzen und dadurch erfolgreicher erscheinen. Ein Einstellungsausschuss möchte Kandidatinnen und Kandidaten vielleicht eingehender bewerten, greift aber unter Zeitdruck möglicherweise dennoch auf Publikationslisten zurück, um die Auswahl einzugrenzen. Darum reichen Grundsatzerklärungen nicht aus. Viele Institutionen haben sich zu Reformen in der Forschungsbewertung bekannt, und das ist wichtig. Doch es klafft oft eine Lücke zwischen öffentlichen Bekenntnissen und der täglichen Praxis.

"Es klafft oft eine Lücke zwischen öffentlichen Bekenntnissen und der täglichen Praxis."

Ich möchte aber hinzufügen, dass es durchaus Hoffnung gibt. Wettbewerb lässt sich auch in andere Bahnen lenken. Wenn Institutionen beginnen, ihre Bewertungsverfahren transparenter zu gestalten; wenn sie zeigen, dass Tiefe und Originalität tatsächlich zählen, und wenn Förderer das unterstützen, dann kann vorbildliches Handeln als "Good Practice" auch zur Quelle von Renommee werden. Es ist aber notwendig, dass sich Institutionen gemeinsam bewegen, damit verantwortungsbewusstes Handeln nicht wie einseitige Abrüstung wirkt.

F&L: In Ihrem Artikel fordern Sie sowohl "Druck von unten" als auch "Verantwortung von oben", um der Problematik entgegenzutreten. Was können Forschende in frühen Karrierephasen tun?

Paul Rainey: Wissenschaftlerinnen und Wissenschaftler können zu Beginn ihrer Laufbahn mehr tun als manchmal angenommen. Sie können das Problem sichtbar machen und über die Anreize sprechen, mit denen sie konfrontiert sind. Sie können von Institutionen verlangen, zu erklären, wie Einstellungs- und Beförderungsentscheidungen tatsächlich getroffen werden. Sie können sich gemeinsam gegen die Vorstellung wehren, dass akademischer Wert auf eine Liste von Leistungen reduzierbar sei. Und sie können über Netzwerke, Fachverbände und institutionelle Gremien zu Reformen beitragen.

Doch von ihnen sollte nicht erwartet werden, dass sie die Hauptlast tragen. Sie befinden sich in der prekärsten Lage und sind auf Betreuerinnen und Betreuer, Empfehlungsschreiben, Veröffentlichungsmöglichkeiten und Einstellungsgremien angewiesen. Daher ist es unrealistisch und unfair, von ihnen zu erwarten, dass sie sich einfach über die Spielregeln hinwegsetzen.

F&L: Wer trägt Ihrer Meinung nach die größere Verantwortung für einen Wandel in der akademischen Praxis?

Paul Rainey: Die größere Verantwortung liegt bei denjenigen, die über die größten Handlungsmöglichkeiten verfügen: Fachbereichsleitende, Einstellungsgremien, Förderorganisationen, Zeitschriftenherausgeber und Hochschulleitungen. Das sind die Personen und Institutionen, die die Rahmenbedingungen festlegen, unter denen andere arbeiten. Sie entscheiden, worauf es bei der Einstellung ankommt, welche Arten von Forschung gefördert werden, wie Promovierende ausgebildet werden und inwieweit diese intellektuelle Risiken eingehen können.

Auch etablierte Forschende müssen sich ihrer eigenen Rolle stellen. Projektleitende profitieren von der Arbeit Promovierender und Postdocs. Sie bauen Forschungsgruppen auf, sichern Fördermittel und treiben Forschungsprogramme innerhalb desselben Systems voran, das sie möglicherweise kritisieren. Dadurch lastet auf ihren Schultern die Verantwortung. Sie sollten ihre Autorität nutzen, um Bewertungsverfahren zu ändern und Zeit für wissenschaftliche Arbeit zu sichern.

F&L: In Ihrem Artikel schreiben Sie, Forschende in frühen Karrierephasen müssen einbezogen werden, ohne sie zu frustrieren. Wie kann das gelingen?

Paul Rainey: Ich denke, Mentorinnen und Mentoren müssen ehrlicher mit dem Unterschied zwischen wissenschaftlicher Arbeit und Karrierestrategie umgehen. Bei der wissenschaftlichen Arbeit geht es darum, gute Fragen zu stellen, sorgfältig zu arbeiten, tiefgründig nachzudenken, sich kritisch mit Belegen auseinanderzusetzen und einen bleibenden Beitrag zu leisten. Bei der Karrierestrategie geht es darum, in einem System zu bestehen und voranzukommen, das diese Dinge nicht immer direkt belohnt. Junge Forschende müssen beides verstehen.

"Mentorinnen und Mentoren müssen ehrlicher mit dem Unterschied zwischen wissenschaftlicher Arbeit und Karrierestrategie umgehen."

In der Praxis bedeutet dies, konkrete Ratschläge zu geben. Welche Projekte lohnen sich? Welche Arbeiten müssen jetzt verfasst werden, und welche Ideen brauchen noch mehr Zeit? Wann ist es sinnvoll, eine bestimmte Fachzeitschrift anzustreben, und wann wird das zur Ablenkung? Wie lässt sich ein Lebenslauf für Gutachtergremien lesbar gestalten, ohne dass er das intellektuelle Leben der Forschenden bestimmt? Das sind praktische Fragen, die jedoch offen diskutiert werden sollten, anstatt sie hinter vagen Ermutigungen zu verstecken.

Es ist umgekehrt auch wichtig, junge Wissenschaftlerinnen und Wissenschaftler nicht mit Hoffnungslosigkeit zu belasten. Wenn wir ihnen immer nur sagen "Das System ist kaputt!", verstärken wir ihre Ängste. Sie müssen erkennen, dass gute Wissenschaft nach wie vor möglich ist; dass Mentoren und Institutionen versuchen, sie zu schützen; und dass Reformen ein gemeinsames Projekt sind.

F&L: Wie versuchen Sie, Wissenschaftlerinnen und Wissenschaftler in frühen Karrierephasen in dieser Hinsicht anzuleiten?

Paul Rainey: Mein eigener Ansatz besteht darin, Forschende in frühen Berufsphasen dazu zu ermutigen, Ideen ernst zu nehmen, Wert auf wissenschaftliche Stringenz zu legen und die strategischen Realitäten zu verstehen, ohne sich davon vereinnahmen zu lassen. Meiner Meinung nach ist eine substantielle, fundierte Veröffentlichung weitaus mehr wert als mehrere belanglose Beiträge. Ich lehne Promotionssysteme entschieden ab, in denen Doktorandinnen und Doktoranden Veröffentlichungen vorweisen müssen, bevor sie ihre Dissertation verteidigen können. Publikationen können wertvoll sein, sollten aber das Ergebnis einer ausgereiften Arbeit sein und keine bürokratische Voraussetzung für die wissenschaftliche Qualifikation. Solche Anforderungen bergen die Gefahr, dass Ausbildung mit Produktivität verwechselt wird und Studierende zu verfrühten Veröffentlichungen gedrängt werden. Das Ziel sollte sein, jungen Forschenden dabei zu helfen, intellektuell ehrgeizig, neugierig und beharrlich zu bleiben, und ihnen gleichzeitig genügend praktisches Verständnis zu vermitteln, um sich im Forschungsalltag zu behaupten.

Die Fragen sowie die Übersetzung ins Deutsche erstellte Anne Hänisch, Online-Redakteurin bei Forschung & Lehre