Forschungsfinanzierung
Gute Forschungs-Förderung braucht Erforschung!

Peer-Review-Verfahren kommen immer wieder zu suboptimalen, verzerrten Entscheidungen. Wie lässt sich die Vergabe von Forschungsmitteln verbessern?

Das Ziel der kompetitiven Forschungsförderung ist klar: Die besten Ideen durch Wettbewerb zu Tage fördern. Allerdings wird die Praxis der Forschungsmittelvergabe diesem Anspruch nicht unbedingt gerecht. Gelder werden nicht fair verteilt und wichtige Ressourcen werden im Peer-Review-Prozess verschluckt, während es nur wenig systematische Rezeption von Forschung zum Design angemessener Vergabeverfahren gibt. Wo bleibt aber der Wettbewerb um die bestmögliche Gestaltung der Vergabeprozesse?

Wer in Deutschland im öffentlichen Sektor forschen will, hat entweder Glück und eine Stellenausstattung, die dem Bedarf für die eigenen Projekte entspricht (zum Beispiel in außeruniversitären Forschungseinrichtungen mit entsprechender Grundfinanzierung), oder muss sich bemühen, Forschungsgelder in kompetitiven Verfahren zu verdienen. Das Gros der Forschenden stellt also regelmäßig Anträge für Drittmittel, begutachtet die Anträge anderer und hofft darauf, dass bestenfalls die Qualität ihrer Ideen, schlimmstenfalls aber wenigstens die Gesetze der Wahrscheinlichkeit dazu führen werden, dass einer ihrer Anträge erfolgreich ist. Dabei steigt der Anteil an durch Drittmittel geförderter Forschung. Deshalb verbringen Forschende zunehmend Zeit damit, für ihre Arbeit unerlässliche Mittel in kompetitiven Verfahren einzuwerben.

Zweifel am Goldstandard Peer-Review-Verfahren

Nur wird die Hoffnung bestimmter Gruppen von Forschenden, dass ihre Anträge erfolgreich sein könnten, häufiger enttäuscht. In Deutschland gehen Fördermittel der Deutschen Forschungsgemeinschaft beispielsweise seltener an Projekte, die von weiblichen Projektleitenden eingereicht werden. Dies gilt über alle Forschungsbereiche hinweg, also auch in den Geistes- und Sozialwissenschaften, wo der Frauenanteil ungefähr paritätisch sein dürfte. Ob das daran liegt, dass Frauen grundsätzlich weniger gute Anträge einreichen, dürfen wir wohl bezweifeln. Wie es um die Förderchancen von Personen anderer marginalisierter Gruppen steht, dazu gibt es oft keine belastbaren Daten. Auch Forschende mit riskanten Projekten und interdisziplinären Arbeiten haben es schwerer.

"Obwohl keine Ressourcen gescheut werden, kommt es in Peer-Revew-Verfahren immer wieder zu suboptimalen, verzerrten Entscheidungen."

Dabei setzen Vergabeverfahren für Drittmittel doch größtenteils auf den oft als Goldstandard bezeichneten Prozess der Forschungsevaluation: das Peer-Review-Verfahren. Fachleute mit entsprechender Expertise begutachten unabhängig voneinander die Einreichungen, Panels von gestandenen Forschenden diskutieren über die Anträge auf Basis der Gutachten und beschließen die Förderwürdigkeit. Obwohl keine Ressourcen gescheut werden – im Gegenteil sind die Peer-Review-Verfahren enorm aufwändig –, kommt es immer wieder zu suboptimalen, verzerrten Entscheidungen. Wie lassen sich diese Prozesse verbessern? 

Alternativen: Losverfahren und KI-gestützte Verfahren

Eine Hypothese: Lotterien könnten, an den richtigen Stellen eingesetzt, Peer-Review-Verfahren verbessern. Bei einigen Förderlinien werden unter einer großen Zahl Antragsberechtigter diejenigen ausgelost, die einen zu begutachtenden Vollantrag stellen können. Andere Verfahren nutzen das Los um zwischen qualitativ gleichwertigen, begutachteten Anträgen eine finale Entscheidung zu treffen. Solche schlankeren Verfahren können Barrieren für die Einreichung von Anträgen senken und schließlich zu faireren Verteilungen führen.

Vielfach wird auch der Vorschlag diskutiert, ob KI-gestützte Verfahren helfen könnten. Angenommen, Sprachmodelle könnten Forschungsanträge hinsichtlich ihrer Qualität zuverlässig begutachten, würden auf einen Schlag kritische Ressourcen frei. Es blieben allerdings ethische Bedenken, das geistige Eigentum anderer in undurchsichtige, energieintensive Modelle zu füttern. Aufgrund von in den Maschinen eingebauten Biases aus der historischen Datenlage würde aber das Grundproblem der unfairen Fördermittel-Vergabe nicht notwendigerweise gelöst.

Woran erkennt man eine gute Forschungsidee?

Dabei ist das eigentliche Ziel doch klar: Gute Ideen sollen gefunden und gefördert werden. Aber was ist überhaupt eine gute Forschungsidee oder ein guter Projektantrag und woran kann man deren Qualität erkennen? Wenn gelernte Forschende Projekte einreichen, kann man in aller Regel darauf vertrauen, dass diese handwerklich gut gemacht sind. Unter dadurch relativ homogenen Anträgen die besten zu finden, ist schwierig. Was, wenn mehr gute Ideen eingereicht werden als Fördergelder verfügbar sind? Umso überraschender also, dass zentrale Erkenntnisse aus Psychologie und Entscheidungsforschung in der Praxis der Forschungsevaluation noch kaum Anwendung finden.

Beispielsweise ist die Übereinstimmung zweier Gutachtenden zur Qualität eines Antrags nicht notwendigerweise ein tatsächliches Signal für dessen Qualität: Beide könnten falsch liegen, zum Beispiel weil sie nicht die spezifischen Kriterien der Förderlinie angelegt hatten, sondern informelle, subjektive (oder schlicht falsche) Kriterien als Urteilsgrundlage verwendeten. Hier könnte Standardisierung helfen: Welche Evaluationsdimensionen sollten in welcher Reihenfolge wie eingeschätzt werden? 

"Die Eignung von Antragstellenden wird insbesondere anhand des vorherigen Publikationsoutputs eingeschätzt."

Auch das Einschätzen der Eignung von Antragstellenden unterliegt heftiger Kritik. Gelegentlich setzen Auswahlverfahren auf persönliche Interviews, um spätere Leistungen von Bewerbenden durch ganzheitliche Betrachtungen vorauszusagen. Im Rahmen der Forschungsförderung wird Eignung aber meist anhand des Lebenslaufs und insbesondere anhand des vorherigen Publikationsoutputs eingeschätzt. Entsprechend muss immer schneller und in möglichst angesehenen Journalen publiziert werden, um beim nächsten Projektantrag für den müden Blick überarbeiteter Gutachtender ein möglichst überzeugend wirkendes Portfolio an Publikationen vorzulegen. Dass dabei die Qualität der Forschung nicht mehr im Vordergrund steht – stehen kann –, ist eine systemimmanente Schwäche und Folge fehldesignter Incentives. 

Zugleich zementiert dieses Vorgehen existierende Ungleichheiten beim Fördererfolg. In einer selbsterfüllenden Prophezeiung generiert vorheriger Erfolg beim Einwerben von Forschungsmitteln mehr Publikationen, die wiederum wieder mehr Erfolg beim Einwerben von Forschungsmitteln erzeugen.

Forschung über Forschungsförderung

Wie gut sind wir also wirklich darin, qualitativ hochwertige Forschung zu identifizieren und zu fördern? Um zu überprüfen, ob Peer Review seinem guten Ruf gerecht wird, wären empirische und experimentelle Untersuchungen notwendig. Bisher gibt es nur wenige belastbare und öffentlich verfügbare Daten. Evidenzbasierte Entscheidungen darüber, wie Förderlinien aufgebaut und Förderentscheidungen getroffen werden, sind offenbar rar oder werden als solche nicht zeitnah und transparent zugänglich. 

Damit in Verbindung steht auch, dass die Fachdiskurse in Wissenschaftspolitik und Wissenschaft an sich wenig Überlappungsbereiche zu haben scheinen. Forschende untersuchen, wie schwer greifbare Konzepte wie Qualität messbar gemacht, wie Urteile verzerrt und entzerrt, wie robuste Entscheidungen in Gruppen (Panels) gefällt werden können. Trotzdem gibt es noch wenig merkliche Aufnahme dieser Forschung in die Praxis der Forschungsförderung. 

"Verantwortliche in der Wissenschaftspolitik stellen die Weichen dafür, welche Forschung gefördert werden soll."

Verantwortliche in der Wissenschaftspolitik stellen die Weichen dafür, welche Forschung gefördert werden soll – und müssen dabei die Weichen so stellen, dass die Freiheit der Forschung erhalten bleibt. Dabei sollten sie sich an der Forschung orientieren, die über solche schwierigen Entscheidungsprozesse bereits vorliegt, und weitere Forschung in diesem Bereich anstoßen. Im besten Fall entstünden vermehrte Begleitforschung zur Forschungsförderung, wissenschaftliche Beratung von Förderinstitutionen zum Design von Auswahlprozessen, sowie ein klares Bekenntnis zur Anwendung wissenschaftlicher Erkenntnisse in der öffentlichen und privatwirtschaftlichen Forschungsförderung und -politik.