Wissenschaftliche Studien
Entscheidungen von Forschenden beeinflussen Ergebnisse

Die Antworten auf eine Forschungsfrage fallen unter Umständen unterschiedlich aus. Ausschlaggebend sind methodische Entscheidungen.

Wie können zwei Forschende mit demselben Datensatz und derselben Fragestellung zu unterschiedlichen Ergebnissen kommen? Dem sind die Psychologen Professor Balázs Aczél von der Eötvös Loránd Universität Budapest und Dr. Barnabás Szászi von der Corvinus Universität Budapest in einer groß angelegten Studie unter Mitarbeit von über 450 Analystinnen und Analysten weltweit nachgegangen. Die Untersuchung wurde so angelegt, dass jeweils fünf Forschende denselben Datensatz mit zugehöriger Fragestellung aus 100 bereits veröffentlichten Studien bekamen. Ihnen blieb freigestellt, wie sie die Daten analysieren. Das Fachmagazin Nature hat die Ergebnisse am 1. April veröffentlicht.

Abweichungen nicht auf mangelnde Fachkenntnisse zurückzuführen

Die Wahl der Methodik, die von der Entscheidung der einzelnen Forschenden abhängt, beeinflusste die Ergebnisse der Kontrollstudien erheblich. Das heißt, welche statistischen Modelle oder Software sie angewandt haben, wie sie beim Bereinigen von Daten vorgegangen sind, wie sie Variablen definiert und Ergebnisse interpretiert haben, verursachte erhebliche Diskrepanzen zu den originalen Veröffentlichungen.

Zwar bestätigten die meisten neuen Untersuchungen (74 Prozent) die grundlegenden ursprünglichen Hauptthesen. Zu denselben statistischen Ergebnissen kamen jedoch nur 34 Prozent. Die Unsicherheitsgrade, Effektgrößen und statistischen Schätzungen wichen deutlich von den Originalergebnissen ab. Dieser Effekt trat bei Beobachtungsstudien mit komplexeren Datenstrukturen mit 72 Prozent Abweichungen häufiger ein als bei experimentellen Untersuchungen (56 Prozent).

Die Autorinnen und Autoren der Studie führen das Resultat nicht auf möglicherweise mangelnde Fachkenntnisse zurück. Abweichende Ergebnisse seien sowohl von Forschenden erzielt worden, die sich mit den jeweiligen Fachgebieten und Methoden gut auskennen, als auch von jenen, die zuvor keine Berührungspunkte mit der entsprechenden Studie hatten.

Transparente Kommunikation als Lösungsansatz

Laut Aczél stellen die Ergebnisse der Studie nicht die Glaubwürdigkeit bisheriger Forschung infrage: "Vielmehr machen sie darauf aufmerksam, dass die Darstellung einer einzigen Analyse oft nicht das tatsächliche Ausmaß der empirischen Unsicherheit widerspiegelt." Allerdings besteht – so formuliert es das Autorenteam – das Risiko, dass Forschende ihre methodische Freiheit nutzen und den Analyseweg wählen, der die Auswertung der Daten in eine gewünschte Richtung lenken könnte. Eine Lösung sehen sie in offener und transparenter wissenschaftlicher Kommunikation, beispielsweise indem Forschungsdaten, Codebücher und Analyseskripts zugänglich gemacht werden.

Auch Jan Landwehr – Professor für Betriebswirtschaftslehre der Goethe-Universität Frankfurt und an der Studie beteiligt, weist in einer Pressemeldung auf die Bedeutung für die Interpretation von Forschungsergebnissen hin. Diese müsse sowohl auf Ergebnissen als auch auf dem Weg dahin beruhen: "Nur wenn unterschiedliche, gut begründbare Analyseansätze ein konsistentes Muster zeigen, erscheint ein empirisches Ergebnis wirklich belastbar zu sein." Zielführend sei demnach eine verstärkte Zusammenarbeit verschiedener Forschungsgruppen und ein intensivierter wissenschaftlicher Austausch.

hae