Exzellenz
Homophilie in der Forschungsförderung

Wie unabhängig sind Begutachtungen in der Forschungsförderung? Eine Studie zeigt, dass persönliche Faktoren die Bewertung beeinflussen können.

Drittmittel aus Förderprogrammen sind entscheidend für wissenschaftliche Karrieren. Sie ermöglichen die Einrichtung von Forschungsgruppen, die Anschaffung teurer Geräte, wissenschaftliche Unabhängigkeit und internationale Sichtbarkeit. Besonders prestigeträchtige Grants gelten als Signal wissenschaftlicher Exzellenz und beeinflussen Karrieren ähnlich stark wie Publikationen. In vielen Fällen werden öffentliche Steuergelder eingesetzt, was die Objektivität des Begutachtungsprozesses noch einmal essentieller macht. Zugleich ist die Begutachtung zukünftiger Forschungsprojekte besonders anspruchsvoll. 

Begutachtungsverfahren 

Alle diese Gründe gebieten es, dass Förderentscheidungen fachlich überzeugend, fair und nachvollziehbar sind. Maßgeblich sollte allein die wissenschaftliche Qualität von Projekt und Bewerber sein. Entsprechend ist im Prinzip irrelevant, welcher Gutachter einen Antrag bewertet. Unsere Studie im Auftrag des ERC zeigt jedoch: Auch in einem professionalisierten Begutachtungsverfahren beeinflusst die Zusammensetzung der Gutachter die Erfolgsaussichten. Konkret weisen wir in unserer in Nature Human Behaviour publizierten Studie nach, dass ERC-Gutachter tendenziell bessere Bewertungen vergeben, wenn sie bestimmte demografische Merkmale mit den Bewerbern teilen (Fuchs-Schündeln, N., Holub, F. Homophily in grant evaluations. Nat Hum Behav, 2026). 

"Auch in einem professionalisierten Begutachtungsverfahren beeinflusst die Zusammensetzung der Gutachter die Erfolgsaussichten." 

Dieses Verhalten wird als Homophilie bezeichnet: Personen bewerten oder behandeln andere positiver, wenn sie bestimmte Merkmale mit ihnen teilen. Im Kontext der Forschungsförderung steht Homophilie der erwünschten Meritokratie im Wege. Unsere Studie untersucht keine informellen Netzwerke, sondern klar messbare Übereinstimmungen zwischen Bewerbern und Gutachtern: gleiches Geschlecht, gleiche Staatsangehörigkeit oder gleiches Sitzland der Forschungsinstitution.

Das Begutachtungsverfahren des ERC ist zweistufig. Ein Antrag wird in einem von knapp 30 fachlich passenden Panels eingereicht; jedes besteht aus etwa 15 renommierten Wissenschaftlern. In der ersten Stufe wird eine Kurzfassung des Antrags bewertet. Mehrere Panelmitglieder begutachten unabhängig voneinander sowohl das Projekt als auch den Bewerber schriftlich und vergeben dafür zwei separate Noten. Anschließend entscheidet das Panel in einer gemeinsamen Diskussion, welche Anträge die zweite Stufe erreichen. Dies ist im Durchschnitt bei 32 Prozent der Anträge der Fall. In der zweiten Runde wird der vollständige Antrag nach derselben Systematik erneut bewertet, hinzu kommen Einschätzungen externer Gutachter. Danach führt das Panel Interviews mit den Bewerbern und entscheidet über die endgültigen Förderzusagen. 

In unserer Studie analysierten wir alle 37.073 ERC-Bewerbungen für Starting-, Consolidator- und Advanced- Grants der Jahre 2019 bis 2023. Für Bewerber und Panelmitglieder liegen Angaben zu Geschlecht, Staatsangehörigkeit und Sitzland der Forschungsinstitution vor. Zudem enthalten die Daten die individuellen Benotungen der Panelmitglieder sowie die gemeinsamen Panelentscheidungen. 

Konsistente Ergebnisse 

Entscheidend für die kausale Analyse der Einzelbewertungen ist, dass jeder Antrag von mehreren Panelmitgliedern bewertet wird. So lässt sich prüfen, ob derselbe Antrag bessere Noten erhält, wenn Gutachter und Bewerber Geschlecht, Staatsangehörigkeit oder Institutionsland teilen. Zugleich lässt sich berücksichtigen, dass manche Gutachter generell strenger oder großzügiger bewerten. Damit können wir Homophilie kausal nachweisen und ausschließen, dass die selektive Zuteilung von Anträgen an Gutachter die Ergebnisse erklärt. 

Unsere Ergebnisse sind über beide Stufen des Bewertungsverfahrens sowie für Bewerber- und Projektnoten weitestgehend konsistent. Panelmitglieder benoten Anträge von Bewerbern desselben Geschlechts im Durchschnitt etwas besser. Dieser Effekt ist jedoch sehr klein und dürfte für sich genommen selten entscheidend dafür sein, ob ein Antrag die zweite Runde erreicht oder gefördert wird. 

Anders liegen die Ergebnisse bei Staatsangehörigkeit und Institutionsland. Panelmitglieder vergeben höhere Bewertungen, wenn Bewerber im gleichen Land arbeiten oder die gleiche Staatsangehörigkeit wie sie haben. Besonders hoch fallen sie aus, wenn beide Merkmale übereinstimmen. Dann steigt in der ersten Stufe die Projektbewertung um rund 0,16 Standardabweichungen und die Bewertung des Bewerbers um rund 0,09 Standardabweichungen. In der zweiten Stufe zeigen sich ähnliche Muster. 

Eine mögliche Erklärung wäre, dass Gutachter aus demselben Land fachlich näher an den Bewerbern sind. Zusätzliche Analysen, die diese fachliche Nähe berücksichtigen, erklären das Muster jedoch nicht. Wir prüften außerdem, ob höhere Bewertungen darauf zurückzuführen sind, dass Gutachter aus demselben Land besser über die Antragsteller informiert sind. Dann müssten sie für ihre Landsleute allerdings nicht nur häufiger sehr gute, sondern auch häufiger sehr schlechte Bewertungen vergeben, weil sie deren Qualität präziser einschätzen können. Dieses Muster finden wir allerdings nicht.

Letztlich sind aber für den Bewerber nicht die individuellen Bewertungen einzelner Panelmitglieder entscheidend, sondern die gemeinsam getroffenen Entscheidungen eines Panels nach der Diskussion. Unsere Ergebnisse der Panelentscheidungen sind mit größerer Vorsicht zu interpretieren, weil jeder Antrag in jedem Schritt nur eine Panelentscheidung erhält, sodass wir nicht für die unbeobachtete Antragsqualität kontrollieren können. Dennoch zeigt sich in der ersten Stufe ein ähnliches Muster wie in den Einzelbewertungen: Anträge haben eine höhere Chance, die zweite Stufe zu erreichen, wenn mehr Panelmitglieder oder der Panel-Chair die Staatsangehörigkeit oder das Institutionsland des Bewerbers teilen. 

"Die erste Stufe bleibt aber entscheidend: Wer dort ausscheidet, kann später keine Förderzusage erhalten."

Ein zusätzliches Panelmitglied mit gleicher Staatsangehörigkeit und gleichem Land der Forschungsinstitution korreliert mit einer um etwa 1,7 Prozentpunkte höheren Wahrscheinlichkeit, die zweite Stufe zu erreichen, was bei einer durchschnittlichen Wahrscheinlichkeit von 32 Prozent erheblich ist. Für die endgültige Förderzusage finden wir keine solchen Zusammenhänge. Die erste Stufe bleibt aber entscheidend: Wer dort ausscheidet, kann später keine Förderzusage erhalten. Über beide Stufen hinweg korreliert ein zusätzliches Panelmitglied mit beiden Übereinstimmungen mit einer um ungefähr einen Prozentpunkt höheren endgültigen Förderwahrscheinlichkeit, bei einer durchschnittlichen Förderquote von nur 14 Prozent. 

Nötige Folgen 

Problematisch ist vor allem, dass solche Übereinstimmungen nicht gleich verteilt zwischen den Bewerbern sind. Forschende aus großen Wissenschaftsnationen sind häufiger in Panels vertreten. Bewerber aus Deutschland, Großbritannien, Frankreich, Italien und Spanien treffen daher häufiger auf Panelmitglieder mit derselben Nationalität oder demselben Arbeitsland als Bewerber aus kleineren oder historisch weniger forschungsstarken Ländern. Bleiben diesen Ländern die finanziellen und ruffördernden Effekte solcher Grants verwehrt, ist es auch unwahrscheinlicher, dass sich die Forschungssysteme dort weiterentwickeln. Für das Wissenschaftssystem bedeutet dies, dass es zum ineffizienten Einsatz von finanziellen Mitteln kommt und dass sich strukturelle Nachteile verstärken. 

Unsere Befunde stellen das ERCVerfahren nicht grundsätzlich infrage. Insbesondere zeigen sie, dass die Paneldiskussionen ein entscheidender Faktor sind, um die Homophilie-Effekte in Einzelbewertungen abzuschwächen oder sogar zu eliminieren. Gerade weil das ERC-Verfahren strukturiert, international und vergleichsweise transparent ist, sind die Ergebnisse jedoch relevant: Wenn solche Muster dort auftreten, dürften sie in weniger formalisierten Verfahren noch stärker sein. 

"Auch Teil-Lotterien für ähnlich stark bewertete Anträge könnten helfen."

Was folgt daraus für Begutachtungsverfahren? Internationale Förderorganisationen, aber auch wissenschaftliche Zeitschriften sollten prüfen, ob Gutachter nicht nur für Anträge aus der eigenen Institution, sondern auch aus dem eigenen Land als befangen gelten sollten. Für nationale Förderinstitutionen spielt das keine Rolle, dort könnten aber andere Homophilie-Muster relevant sein. Für Anträge nahe der Fördergrenze könnten zusätzliche Bewertungen in Betracht gezogen werden, weil kleine Bewertungsunterschiede dort besonders folgenreich sind. Auch Teil-Lotterien für ähnlich stark bewertete Anträge könnten helfen, minimale Unterschiede im Begutachtungsverfahren zu neutralisieren. 

Peer-Review-Verfahren bleiben für die Wissenschaft unverzichtbar. Gerade deshalb sollten sie nicht als automatisch neutral angesehen, sondern regelmäßig empirisch überprüft werden. Förderinstitutionen verfügen über hervorragende Daten, um ihre Prozesse zu evaluieren. Eine ernsthafte Bereitschaft dazu, wie sie der ERC zeigt, würde das Wissenschaftssystem insgesamt stärken.