Begutachtung
02 | Februar 2016 Artikel versenden Artikel drucken

Würfeln in der Wissenschaft?

Über die Verbindung von Expertenurteilen und Zufall | Bruno S. Frey | Margit Osterloh

In der Wissenschaft sind Gutachten unverzichtbar. Allerdings hat sich das Gutachterwesen mit dem Virus „Evaluitis“ angesteckt. Um dem entgegenzusteuern, schlagen die Autoren zwei Verfahren vor und bringen den Zufall ins Spiel.*

Gutachten der „scientific community“ sind die Basis der wissenschaftlichen Qualitätsbeurteilung. Leider funktioniert dies aber nur mangelhaft (zur empirischen Evidenz vgl. Osterloh und Frey 2015). Erstens gibt es eine nur geringe Übereinstimmung von Gutachterurteilen. Zweitens ist die prognostische Qualität von Gutachten gering. Die Einschätzungen der Gutachter korrelieren nur mit 0.25 bis 0.37 mit späteren Zitationen. Drittens ist die zeitliche Konsistenz von Gutachterurteilen niedrig. Viele von sog. A-Journals zurückgewiesene Artikel wurden später berühmt und haben Preise gewonnen, inklusive des Nobel-Preises. Viertens erstellen beim doppelt-blinden Verfahren anonyme Gutachtende oft wenig hilfreiche Berichte. Vielmehr werden die Autoren erheblich unter Druck gesetzt. Das Ergebnis ist „Publishing as Prostitution“ (Frey 2003).

Trotz dieser Mängel sind Gutachten unverzichtbar, sie kommen bei Stellenbesetzungen, bei der Vergabe von Forschungsmitteln, bei Veröffentlichungen und bei der Evaluation ganzer Forschungseinrichtungen zum Einsatz. Jedoch hat sich das Gutachterwesen zu einer „Evaluitis“ entwickelt. Wie kann man angesichts der geschilderten Probleme damit umgehen?

Wir schlagen zwei Verfahren vor.

Erstens soll die „Evaluitis“ abgebaut werden. Die Anlässe für Evaluationen sollten sich auf wenige karriererelevante Entscheidungen beschränken. Eine sorgfältige Eingangskontrolle ersetzt dauernde Evaluationen. Sie hat die Aufgabe, das Innovationspotenzial, die Motivation für selbstorganisiertes Arbeiten und die Identifikation mit dem „taste of science“ (Merton 1973) zu überprüfen. Wer das „Eintrittsticket“ aufgrund einer rigorosen Prüfung erworben hat, sollte weitgehende Autonomie einschließlich einer angemessenen Grundausstattung erhalten. Dieses Vorgehen wird z.B. an der Harvard-Universität praktiziert.

Zweitens soll die wissenschaftliche Vielfalt verstärkt werden. Damit werden Risiken diversifiziert und die Chancen für innovative Ideen erhöht.

»Bei Zufallsentscheidungen lohnt es sich nicht,
in Bestechung oder andere Einflussversuche zu investieren.«

Partielle Zufallsauswahl von Personen oder Forschungs­programmen

Unbeabsichtigter Zufall bestimmt heute schon wesentliche Teile der Wissenschaft, z.B. bei der Auswahl von Zeitschriften-Artikeln (Siler, Lee & Bero 2015; Bornmann & Daniel 2009) und der Vergabe von Forschungsmitteln (Ioannidis 2011), jedoch nicht gezielt und kontrolliert. An der Universität Basel wurden im 18. Jahrhundert Lehrstühle per Zufallsauswahl aus einer Liste von drei Kandidaten ausgewählt.

„Zufall“ wird hier im Sinne einer statistischen Wahrscheinlichkeit verwendet. Es hat somit nichts mit Willkür zu tun. Wie alle Entscheidungsverfahren haben Zufallsprozeduren Vor- und Nachteile (Zeitoun, Osterloh & Frey 2014).

Vorteile

Die wichtigsten Vorteile sind die folgenden:

Erstens lohnt es sich bei Zufallsentscheidungen nicht, in Bestechung oder andere Einflussversuche zu investieren.
Zweitens werden Kandidierende ermutigt, die sonst nicht in Betracht gezogen, übersehen oder marginalisiert würden. Zufallsauswahl erlaubt, neue Talente aufzuspüren.
Drittens fördert Zufall neue Perspektiven zutage, die im herkömmlichen Betrieb wenige Chancen haben.
Viertens verlieren bei der Zufallsauswahl die Verlierer der Wahl nicht das Gesicht, was ebenfalls zu einer Vergrößerung des Kandidierenden-Pools führt.
Fünftens bewirkt Zufall, dass die Grundgesamtheit repräsentiert wird. Damit kommen auch Personenkreise zum Zuge, die sonst leicht übersehen werden. Im Gegensatz zu Quoten müssen die Dimensionen (etwa Geschlecht, Alter, Nationalität) nicht von vornherein festgelegt werden.

Nachteile

Diesen Vorteilen stehen auch Nachteile gegenüber. Der erste und wichtigste Nachteil besteht darin, dass nicht zwischen guter und schlechter Qualität unterschieden wird. Aus diesem Grund gibt es selten reine Zufallsverfahren, sondern diese werden fast immer mit einer Vorauswahl nach herkömmlichen Kriterien kombiniert.

Ein zweiter Nachteil besteht darin, dass Zufallsauswahl manchmal als irrational angesehen wird. Allerdings sind intendiert rationale Entscheidungsprozesse oft genug faktisch irrational. Eine an mathematischen Wahrscheinlichkeiten ausgerichtete Zufallsauswahl ist im Vergleich dazu weitaus rationaler.

Da gemäß empirischer Befunde Gutachterurteile bei negativen Entscheidungen verlässlicher sind (Siler, Lee & Bero, 2015), lässt sich mittels Gutachten eine Vorauswahl treffen, welche Kandidierenden oder Anträge auf Forschungsmittel nicht in Frage kommen. Gleich kann man in den (selteneren) Fällen verfahren, in denen unter allen Gutachtenden Übereinstimmung im positiven Sinne herrscht. Bei all den anderen Fällen, in denen Dissens herrscht, könnte dann eine Zufallsauswahl erfolgen. Nicht selten wird es sich dabei um neuartige und ungewöhnliche Personen oder Beiträge handeln, die ansonsten wenige Chancen haben, sich im etablierten Wissenschaftsbetrieb durchzusetzen.

Dieser Vorschlag findet vermutlich für die Förderung von Forschungsprojekten leichter Akzeptanz als für die Auswahl von Personen oder von Veröffentlichungen. Die Verbindung von Expertenurteilen und Zufall könnte deshalb experimentell für einen Teil der Forschungsmittel angewendet werden. Nach einigen Jahren ließe sich empirisch ermitteln, ob die (partiell) zufällig ausgewählten Forschungsprojekte den wissenschaftlichen Diskurs besser oder schlechter befruchtet haben als die nach konventionellen Verfahren ausgewählten.

* Gekürzte Fassung eines Beitrages in der „Ökonomenstimme“ http://www.oekonomenstimme.org/artikel/2015/12/zufallsauswahl-in-der-wissenschaft/

 

A U T O R E N

Margit Osterloh ist ständige Gastprofessorin an der Universität Basel und Professorin (em.) an der Universität Zürich. Bruno S. Frey ist ständiger Gastprofessor an der Universität Basel. Beide sind Forschungsdirektoren von CREMA – Center for Research in Eco­nomics, Management and the Arts, Switzerland.


Zurück | Artikel versenden Artikel versenden | Artikel drucken Artikel drucken