Replikation (Wissenschaft)

Replikation bezeichnet in der Wissenschaftstheorie die Wiederholung einer wissenschaftlichen Studie. Das Ziel ist dabei die Kontrolle und Überprüfung der berichteten Forschungsergebnisse. Im Endeffekt wird durch Replikation zweierlei erreicht: Zum einen steigt die Akzeptanz der erfolgreich replizierten Studie und zum anderen diszipliniert sie Forscher, in ihrer Studie sorgfältig zu arbeiten und Betrug und Fälschung in der Wissenschaft zu unterlassen. Replizierbarkeit ist kein generelles Kriterium wissenschaftlicher Erkenntnis.^[1]

Die Replikation ist zu unterscheiden von der Reproduktion, welche von den Daten der vorhandenen Studie ausgeht und ihre Analyse überprüft.^[2] Der Begriff Reproduzierbarkeit wird oft allgemeiner verwendet, der auch die Replizierbarkeit einschließt.

Replikationstypen

Es wird zwischen zwei Replikationstypen unterschieden: Replikation im engeren Sinne, das heißt unter gleichen Versuchsbedingungen, und Replikation im weiteren Sinne, also unter veränderten Versuchsbedingungen.^[3]

Replikation unter gleichen Versuchsbedingungen (direkte Replikation)

Bei einer Replikation unter gleichen Versuchsbedingungen wird ein Experiment so genau wie möglich unter den Bedingungen eines Vorgängerversuchs durchgeführt. Handelt es sich nicht um ein Experiment, sondern um Feld- und empirische Studien, ist das Ziel, die Effekte erneut nachzuweisen. Nur wenn die gleichen Daten oder die der Datengenerierung zugrunde liegenden Prozesse verwendet werden, lässt sich die Reproduzierbarkeit der ersten Studie nachweisen. Direkte Replizierbarkeit ist ein wichtiges Kriterium der Glaubwürdigkeit, Verlässlichkeit und Nützlichkeit Wissenschaftlicher Forschung.^[4]

Anlass kann Zweifel an den Ergebnissen einer vorangegangenen empirischen Studie sein. Eine professionell erstellte Studie im Rahmen der empirischen Sozialforschung weist in ihrem Beschreibungstext immer die Bedingungen und Instrumente / Methoden aus, die letztlich zum Versuchsergebnis führten.^[5] So fällt es einem nachfolgenden Wissenschaftler leichter, den „Ur-Versuch“ durch Replikation zu überprüfen.

Replikation unter veränderten Versuchsbedingungen (konzeptionelle Replikation)

Bei einer Replikation unter veränderten Versuchsbedingungen wird ein Experiment in (meist leicht) abgewandelter Form eines Vorgängerversuchs durchgeführt.

Es wird geprüft, ob z. B. Abwandlungen im Untersuchungsdesign (z. B. Labor vs. Feld) oder Populationseigenschaften (z. B. Erwachsenen vs. Jugendlichen) den Studienbefund kritisch beeinflussen bzw. moderieren. Das Erkenntnisziel besteht insbesondere darin, die Generalisierbarkeit vs. Spezifität von Befunden zu bestimmen.^[4]

In der Psychologie werden Versuchs-Replikationen auch oft von den Wissenschaftlern, die den „Erstversuch“ durchführten, unternommen. Ein Beispiel ist das Milgram-Experiment zur Gehorsamkeit gegenüber Autoritäten von Stanley Milgram. Milgram leitete den Versuch unter verschiedenen Bedingungen, wobei u. a. der Grad der Autorität des Versuchsleiters variiert wurde.

Innovation versus Replikation

Im Wissenschaftsbetrieb besteht eine inhärente Tendenz zum Neuen. Entsprechend geschwächt ist oft das Interesse an replikativer Forschungsarbeit. Zur ausdrücklichen Unterstützung replikations-orientierter Studien wurde 2016 in den Niederlanden ein 3 Mio. Euro-Förderprogramm eingerichtet.^[6]

Problematik

Die Replikation gilt als langweilige, routinemäßige Aufräumarbeit der Wissenschaft. Diese Fehlwahrnehmung führt dazu, dass Geldgeber zögern, sie zu finanzieren, Zeitschriften sie ungern veröffentlichen, und Institutionen zögern sie zu belohnen. Diese Fehlanreize für die Replikation sind wahrscheinlich ein Grund für die bestehenden Probleme mit der Glaubwürdigkeit und Replizierbarkeit veröffentlichter Aussagen^[7].

Weiterhin zeigt eine Studie, dass Papers in großen wissenschaftlichen Fachzeitschriften mit nicht replizierbaren Ergebnissen – oder einer nicht nachvollziehbaren, ausreichend transparenten Art und Weise – mehr zitiert werden als reproduzierbare, fehlerfreiere Wissenschaft. Diese Praxis erhöht die Wahrscheinlichkeit von Mängeln oder Fehlern und könnte Fortschritt verlangsamen. Die Autoren liefern mögliche Erklärungen für diesen Zustand.^[8][9] Es wurde vorgeschlagen, dass „eine einfache Möglichkeit benötigt wird, um zu überprüfen, wie oft Studien wiederholt wurden und ob die ursprünglichen Ergebnisse bestätigt wurden oder nicht“.^[8] Kategorisierungen oder Bewertungen der Reproduzierbarkeit auf Studien- und/oder Ergebnisebene sowie das Hinzufügen von Links zu und die Bewertung von Bestätigungen durch Dritte könnten von den Peer-Reviewern, der wissenschaftlichen Zeitschrift oder von Lesern in Kombination mit neuartigen digitalen Plattformen oder Tools durchgeführt werden.

Verbreitung in den Sozialwissenschaften

Replikation durch Dritte hat in den Sozialwissenschaften keinen hohen Stellenwert, obwohl sie für glaubwürdige Wissenschaft unerlässlich ist. So wies eine im American Economic Review bereits 1986 veröffentlichte Metastudie nach, dass Nicht-Replizierbarkeit eher die Regel denn die Ausnahme in der volkswirtschaftlichen Forschung sei.^[10]

Grundvoraussetzung für Replikation ist ein hinreichendes Maß an Transparenz, also die Daten für die interessierte Öffentlichkeit zu hinterlegen. Obwohl als Problem erkannt, verlangen nur wenige Fachzeitschriften von Autoren die Einsendung der in ihrer Studie verwendeten Daten (inklusive der Verarbeitung). Selbst in Fällen, in denen ein Daten-Archiv vorhanden ist, gelingt es nur selten, die dazugehörigen Studien zu replizieren.^[2]

In einer strukturierten Auswertung fanden Wissenschaftler aus den USA in den Gebieten Wirtschaft, Psychologie, Gesundheitswissenschaften, Bildung und Biomedizin zwischen 2018 und 2019 Berichte über 177 Studien zur Replikation. Die meisten kamen aus der Psychologie (48 %) und den Gesundheitswissenschaften (24 %). Etwa 54 % bestätigten die Aussagen der primären Studie, während 20 % diese nicht bestätigten. Der Rest erbrachte eine gemischte Übereinstimmung^[11].

Nur wenige wissenschaftliche Journale wie das International Journal for Re-Views in Empircal Economics (IREE) spezialisieren sich auf Replikation oder stellen wie das Journal of Applied Econometrics zumindest einen Teil des Bandes der Replikationen zur Verfügung. Das Zentrum für Statistik der Georg-August-Universität Göttingen bietet mit den Replication Working Papers eine Arbeitspapier-Serie für replizierte Studien an.^[12]

In der psychologischen Wissenschaft setzt zunehmend ein Umdenken bezüglich der Replikationen von Ergebnissen ein. Ursache ist hierfür die Replikationskrise, welche den Umstand beschreibt, dass viele Befunde in aufwendigen Replikationsversuchen nicht repliziert werden konnten. In diesem Sinne wird vermehrt auf die Umsetzung von Open-Science-Praktiken (z. B. Verfügbarkeit von Studienmaterialien) gesetzt, um Replikationen in der Psychologie zu fördern und zu erleichtern.

Replikation in der Psychologie

Methodisch ist zwischen verschiedenen Verfahren der Replikation zu unterscheiden (siehe auch Schmidt 2009^[13], Schweizer 1989):

• Die direkte (genaue) Replikation ist die Wiederholung (Duplikation) einer bestimmten Untersuchung; sie wird auch als identische oder exakte Replikation bezeichnet. Streng genommen handelt es sich um eine gleichartige Wiederholung nur mit anderen Teilnehmern. Die genaue Wiederholung ist – abgesehen von computer-unterstützen Experimenten mit hochgradiger Standardisierung einfacher Abläufe – höchstens in demselben Labor möglich. Selbst wenn das Experiment sehr genau protokolliert und die Erhebung der unabhängigen und der abhängigen Variablen standardisiert sind, gibt es in der Regel spezielle technische Fertigkeiten der Untersucher und Eigenheiten des Untersuchungsstils, Besonderheiten der Versuchsleiter-Versuchspersonen-Interaktion und andere, eventuell wichtige Kontextvariablen (siehe Reaktivität (Sozialwissenschaften)). Knappe Zeitschriftenartikel enthalten in der Regel keine hinreichenden Angaben für eine direkte Replikation.

• Die Reanalyse des eventuell zugänglichen Datensatzes einer publizierten wissenschaftlichen Arbeit wird durch unabhängige Wissenschaftler unternommen.

• Die näherungsweise (approximative) Replikation versucht, so gut wie möglich die originale Untersuchung zu wiederholen. Wie gut dies erreicht wird, ist wegen der zahlreichen methodischen Aspekte nicht leicht zu bewerten.

• Bei der partiellen Replikation wird nur eine der wichtigen Untersuchungsbedingungen verändert: die Personenauswahl oder nur die Darbietung der unabhängigen Variable (nach Dauer, Intensität, Qualität usw.) oder die Erhebung der abhängigen Variable durch eine vielleicht neu entwickelte Mess- oder Testmethode.

• Die systematische Replikation unternimmt die planmäßige Variation von zwei oder mehr wichtigen Untersuchungsbedingungen auf einmal. Dieses Verfahren scheint ökonomischer zu sein, denn es könnte im positiven Fall eine breitere Erfahrungsbasis schaffen; im negativen Fall bleibt jedoch ungeklärt, weshalb es zu einem anderen Ausgang kam.

• Die Generalisierbarkeitsstudie dehnt die systematische Replikation in mehrere Richtungen aus (vgl. Psychologisches Experiment). Wegen des großen Aufwandes stammen Forschungsbeispiele jedoch vorwiegend aus der Differenziellen Psychologie aufgrund von Erhebungen mittels Tests und Fragebogen.

• Die konstruktive (konzeptuelle) Replikation besteht in einer neu angelegten Untersuchung, die zwar den allgemeinen theoretischen Ansatz und die Untersuchungshypothese übernimmt, jedoch methodisch andere, aber theoretisch als adäquat angesehene Definitionen (Methoden) der unabhängigen und der abhängigen Variablen auswählt. Die Zielsetzung wird übernommen, die methodische Durchführung mehr oder minder neu angelegt. Konzeptuelle Replikationen sind häufiger zu finden, jedoch nicht unter dieser Bezeichnung, sondern als mehr oder minder freie Anlehnungen an vorausgegangene Untersuchungen. Auf diese Weise zeigt sich, ob das interessierende Phänomen über unterschiedliche Bereiche stabil ist. Fraglich bleibt aber, ob das methodisch anders erfasste Phänomen „dasselbe“ ist (Siri Carpenter, 2012).

Die von Asendorpf u. a. (2013) vorgeschlagene Unterscheidung von Reproducibility d. h. identische Ergebnisse bei unabhängiger Auswertung desselben Datensatzes, Replicability, d. h. Verallgemeinerbarkeit in mehreren Dimensionen, und Generalizability, d. h. Ausschließen von bestimmten Moderatoreffekten, ist unglücklich, da sie nicht dem verbreiteten Begriffsgebrauch sowie Lee J. Cronbachs Konzept der Generalizability Theory folgt.

Eine funktional gliedernde Klassifikation von Replikationsansätzen schlägt Stefan Schmidt (2009) vor, indem er nach der leitenden Absicht fragt: zur Kontrolle von Zufallseffekten, zur Kontrolle möglicher Artefakte (Mängel der inneren Validität), zur Kontrolle von Fälschungen, zur Generalisierung auf eine andere Population sowie zur Bestätigung der dem ursprünglichen Experiment zugrunde liegenden Hypothesen. Ist der Mangel an Replikationsversuchen ein blinder Fleck der Psychologie und der Sozialwissenschaften wie Schmidt meint? Er fordert deshalb eine gründlichere methodologische Diskussion, stärkere Berücksichtigung in Lehrbüchern und Änderung der Herausgeberpolitik.

Literatur

• Milgram, S. (2007). Das Milgram-Experiment – Zur Gehorsamsbereitschaft gegenüber Autorität (15. Auflage). Reinbek bei Hamburg: Rowohlt.
• Nicola Döring und Jürgen Bortz Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften Springer-Verlag Berlin Heidelberg 2016 doi:10.1007/978-3-642-41089-5

Themengebiet Psychologie

• Karl Schweizer: Eine Analyse der Konzepte, Bedingungen und Zielsetzungen von Replikationen. In: Archiv für Psychologie. 141, 1989, S. 85–97.
• Stefan Schmidt: Shall we really do it again? The powerful concept of replication is neglected in the social sciences. In: Review of General Psychology. 2009, 13 (2), S. 90–100, doi:10.1037/a0015108
• Jens Asendorpf, Mark Connor, Filip de Fruyt, Jan de Houwer, Jaap J. A. Denissen, Klaus Fiedler, Susann Fiedler, David C. Funder, Reinhold Kliegl, Brian A. Nosek, Marco Perugini, Brent W. Roberts, Manfred Schmitt, Marcel A. G. Vanaken, Hannelore Weber, Jelte M. Wicherts: Recommendations for increasing replicaility in psychology. In: European Journal of Personality. Vol. 27, 2013, S. 108–119.(online)
• Siri Carpenter: Psychology’s bold initiative. In an unusual attempt at scientific elf-examination, psychology researchers are scrutinizing their field’s reproducibility. In: Science, 335, 30 March 2012, S. 1558–1561. (online)

Weblinks

• Replikations-Wiki der Universität Göttingen (englisch)
• Replikationskrise