Registrierter Bericht
Ein registrierter Bericht (engl. registered report) ist eine spezielle Einreichungsform in wissenschaftlichen Zeitschriften, bei welcher zunächst nur die methodische Vorgehensweise begutachtet wird. Die Datenerhebung und konkrete Datenauswertung erfolgt dann im zweiten Schritt, nachdem bereits die prinzipielle Zusage (engl. in-principle acceptance) zur Veröffentlichung des finalen Manuskripts gefällt wurde. Durch die Offenlegung der wissenschaftlichen Vorgehensweise und der Publikationsannahme unabhängig von den Studienresultaten sollen der Publikationsbias und daraus resultierende fragwürdige wissenschaftliche Praktiken wie HARKing und p-Hacking unterbunden werden.[1]
Ein registrierter Bericht ist eine spezielle Form der Präregistrierung von Studien, welche ein zentrales Element der Open-Science-Paktiken darstellt.[2]
Hintergrund
Das Ziel beim empirisch-quantitativen Testen von Theorie (vgl. statistischer Test) ist es, die Anwendbarkeit einer Theorie zu überprüfen. Der traditionelle Begutachtungsprozess bevorzugt jedoch teilweise Ergebnisse, die eine Theorie stützen, sowie solche Ergebnisse, die besonders neuartig sind und herkömmlichen Theorien widersprechen. Durchgeführte Studien, welche die aufgestellten Hypothesen nicht nachweisen konnten, werden Nullresultat genannt und sind meist viel schwieriger zu publizieren bzw. werden auch einfach häufig gar nicht publiziert (vgl. Publikationsbias). Der Einfluss solcher Erwartungen an die Studienergebnisse führt zu falschen Anreizen für fragwürdige wissenschaftliche Praktiken wie etwa HARKing und p-Hacking.
Ein verwandter Problemfall ist, wenn Gutachter oder Herausgeber von Autoren im Rahmen des Begutachtungsverfahren fordern, eine „passendere“ Theorie zu verwenden als ursprünglich geplant – häufig, um die vorgenannten Erwartungen an Studienergebnisse zu erfüllen. Solche Forderungen führen dazu, dass Autoren nun im Nachgang solange nach einer „passenden“ Theorie suchen, bis diese von den Daten bestätigt wird. Diese Theorie ersetzt dann im Manuskript die ursprüngliche Theorie und die Reihenfolge Hypothesenbildung–Hypothesentest wird damit unzulässigerweise verkehrt. Dies hat zur Folge, dass sich letztlich Theorien in Veröffentlichungen immer so verhalten, wie es von den Gutachtern bzw. Herausgebern ohnehin erwartet wurde. Die ursprünglich nicht zum Testen dieser Theorie erhobenen Daten stützen nun scheinbar diese Erwartungen. Dadurch etablieren sich Theorien, die eigentlich nutzloser sind, als es derartige veröffentlichte Artikel suggerieren. Auch dieser Problemfall macht das Testen von Theorien praktisch nutzlos.
Verfahren
Bei einem registrierten Bericht erstellen Autoren einer geplanten Studie ein erstes Manuskript mit dem theoretischen und empirischen Hintergrund, Hypothesen, Forschungsdesign, geplanten Datenanalysen sowie ggf. Pilotdaten. Nach Einsendung bei der Fachzeitschrift wird dieses erste Manuskript begutachtet, noch bevor die eigentlichen Daten erhoben werden. Im Falle einer positiven Begutachtung wird das nach Datenerhebung zu erstellende Manuskript unabhängig von den Studienergebnissen bereits prinzipiell angenommen.[3] Nach Abschluss der Studie wird das Manuskript mit den Resultaten und Auswertungen erweitert und wieder eingereicht. Die zweite Begutachtungsrunde dient dann vor allem der Prüfung auf die Einhaltung des präregistrierten Studienprotokolls.[4][5]
Bei registrierten Berichten, bei dem insbesondere auch negative Ergebnisse publiziert werden können, ist wichtig, dass die durchgeführten Tests eine niedrige falsch negativ Rate haben (also eine hohe richtig negativ Rate, bzw. Trennschärfe eines Tests)[6].
Weblinks
- Webseite zu Registered Reports (auf Englisch) beim Open Science Framework (OSF)
- Webseite zu Präregistrierung mit Abschnitt zu Registered Reports beim Leibniz-Zentrum für Psychologische Information und Dokumentation
Einzelnachweise
- ↑ Promoting reproducibility with registered reports. In: Nature Human Behaviour. 1, 2017, S. 34, doi:10.1038/s41562-016-0034.
- ↑ Markus Wirtz: Präregistrierung. In: Dorsch: Lexikon der Psychologie. 19. Auflage. Hogrefe, Göttingen 2019 (hogrefe.com [abgerufen am 1. November 2020]).
- ↑ Streamlined review and registered reports soon to be official at EJP – ejp-blog.com (englisch)
- ↑ Werner Greve, Arndt Bröder, Edgar Erdfelder: Result-Blind Peer Reviews and Editorial Decisions. In: European Psychologist. Band 18, Nr. 4, 2013, ISSN 1016-9040, S. 286–294, doi:10.1027/1016-9040/a000144.
- ↑ Rolf Ulrich, Edgar Erdfelder, Roland Deutsch, Bernhard Strauß, Anne Brüggemann: Inflation von falsch-positiven Befunden in der psychologischen Forschung. In: Psychologische Rundschau. Band 67, Nr. 3. Hogrefe, 1. Juli 2016, ISSN 0033-3042, S. 163–174, doi:10.1026/0033-3042/a000296.
- ↑ Anne M. Scheel, Mitchell Schijen, Daniel Lakens: An excess of positive results: Comparing the standard Psychology literature with Registered Reports. 5. Februar 2020, doi:10.31234/osf.io/p6e9c.
