Sie wollen abnehmen? Warum nicht mit Schokolade. Deren Wirksamkeit für die Zwecke der Gewichtsreduktion ist endlich durch wissenschaftliche Studien erwiesen. So lauteten kürzlich Schlagzeilen mehrerer populärer Medien, die sich auf Ergebnisse des "Institute for Health and Diet" in Mainz um den deutschen Molekularbiologen Dr. John Bohannon stützen. Erst nach einiger Zeit und umfangreichen Recherchen wurde die Studie als Farce entlarvt. Denn was im wissenschaftlich-seriösen Mäntelchen daherkam, war in Wirklichkeit ein Versuch der Forschergruppe, auf die erschreckende Häufigkeit falsch positiver Forschungsergebnisse und deren unkritische Rezeption in Populärmedien aufmerksam zu machen. Mit vollem Erfolg.
Die Pointe eines Experiments
Was war passiert? Dr. Bohannon und sein Team, bestehend aus den zwei Fernsehjournalisten Diana Löbl und Peter Onneken, hatten getrickst allerdings, und hier liegt die eigentliche Pointe des Experiments, mit wissenschaftlichen Mitteln. Allein durch Veränderungen im Studiendesign konnten die Forscher eine Wahrscheinlichkeit von 60 Prozent für ein signifikantes Ergebnis erreichen, etwa, indem sie mit stolzen 18 Variablen wie Körpergewicht, Cholesterinwerten oder Schlafqualität mehr Variablen untersuchten, als Versuchspersonen an der Studie teilgenommen hatten. Ein "Rezept für ein falsch positives Ergebnis", wie Bohannon nachträglich auf seiner Website erklärte er vergleicht seine Vorgehensweise mit dem Kauf von Lotterietickets. "Jedes Ticket hat eine kleine Chance, sich in Form eines signifikanten Ergebnisses auszuzahlen, das wir dann nachträglich erklären und den Medien verkaufen können. Je mehr Tickets man kauft, desto eher gewinnt man."
Auf den ersten Blick klingt dies, als wollten die Forscher seriöse Wissenschaft ad absurdum führen und deren Ergebnisse in der öffentlichen Diskussion diskreditieren ein sehr viel gefährlicheres und fragwürdigeres Experiment als die Untersuchung des Schokoladenkonsums während einer Diät. Doch erst die pseudowissenschaftliche Arbeitsweise des Teams ermöglichte es, auf ein sehr grundsätzliches Problem aufmerksam zu machen, das in den schnelllebigen Massenmedien äußerst selten diskutiert wird: das Problem falsch positiver Forschungsergebnisse.
Der Trick mit den Smarties
Was solche falsch positiven Ergebnisse in der Wissenschaft anrichten können, hat sich in der Psychologie im Rahmen der sogenannten Replikationskrise innerhalb der letzten Jahre eindrucksvoll gezeigt. Der Psychologie wurde allerdings nicht nur Schokolade zum Verhängnis, sondern ausgerechnet einer ihrer prominentesten Forscher. Die Rede ist von Diederik Stapel, einem Mann, über den die "Zeit" titelte, er habe "der Wissenschaft die Smarties geklaut". Tatsächlich hatte Stapel für ein psychologisches Experiment, das er mit seinen Doktoranden entworfen hatte, tütenweise Smarties gekauft – seine Hypothese: Probanden würden aus einer Tasse mit der Aufschrift "Kapitalismus" mehr Smarties essen als aus einem Gefäß ohne vergleichbaren Hinweisreiz. Stapel packte also die Smarties in den Kofferraum seines Autos und machte sich von der Universität Groningen auf den Weg zu seiner Arbeitsgruppe in Tilburg. Mit dem pikanten Detail, dass er dieser die umgekehrte Version der Geschichte erzählt hatte, derzufolge er das Experiment in Groningen durchführen würde. Schließlich aß er die Smarties selbst auf und füllte in seinem Büro die Datentabelle mit fiktiven Zahlen. Diederik Stapel konnte jahrelang unbemerkt und in großem Stil Daten fälschen, und auch er fand in den Medien dankbare Abnehmer. Zumindest, bis nach Jahren der Datenmanipulation Doktoranden misstrauisch wurden und ihren Rektor informierten.
Ein falsch postives Ergebnis
Der Fall Stapel wurde für die Psychologie zum Beginn einer beispiellosen Identitätskrise. Misstrauisch durch den spektakulären Betrug wagte sich ein Team aus 270 Wissenschaftlern unter dem Namen "Open Science Collaboration" (OSC) an eine systematische Untersuchung der Replizierbarkeit, also Wiederholbarkeit psychologischer Studien ein zentrales Kriterium, denn die Wissenschaft ist auf den Nachweis kausaler Gesetzmäßigkeiten angewiesen, um die Welt begreifbar und vorhersagbar zu machen. Wird experimentell ein solcher kausaler Zusammenhang, etwa eine positive Auswirkung von Schokoladenkonsum auf den Gewichtsverlust, nachgewiesen, dient innerhalb der Psychologie eine statistische Prüfung dazu, auszuschließen, dass es sich um einen reinen Zufallsbefund handelt, der nur auf die vorliegende Stichprobe von Versuchspersonen beschränkt wäre. Handelt es sich um ein signifikantes Ergebnis, kann davon ausgegangen werden, dass der Effekt auch in der Population vorliegt und sich somit problemlos an einer weiteren Stichprobe wiederholen lassen sollte. Bleibt bei dieser Wiederholung der Effekt aus, handelt es sich um ein sogenanntes falsch positives Ergebnis. Und hier förderte die OSC Erschreckendes zutage: Je nach Zeitschrift konnten in der Studie nur ein Drittel bis die Hälfte aller Befunde repliziert werden.
Datenmanipulation ist kein Kavaliersdelikt
Die Frage nach dem Warum offenbart Abgründe. Denn auch wenn es sich um ein eher unbekanntes Phänomen handelt, ist Datenmanipulation in der Forschung kein Kavaliersdelikt. In einer Umfrage von Fiedler und Schwarz aus dem Jahr 2016 gaben 47 Prozent der Befragten zu, bereits mindestens einmal im Laufe ihrer Forschungskarriere sogenanntes "p-hacking" betrieben zu haben, ein Sammelbegriff für verschiedene Strategien der Datenmanipulation, bei der der Fantasie keine Grenzen gesetzt sind. Die Eingriffe in den Forschungsprozess reichen von simpler Trickserei am Studiendesign wie in der Schokoladenstudie über die Streichung von sogenannten "Ausreißern", also Fällen, die der Hypothese entgegenstehen hier wird etwa eine Person, die innerhalb der Schokoladendiät zugenommen hat, aus fadenscheinigen Gründen von der Teilnahme ausgeschlossen und bei der Publikation verschwiegen, bis hin zu komplexeren Strategien zur Manipulation der Signifikanz des Ergebnisses.
Forscher stehen unter Druck
Die Gründe für solche Vorgehensweisen sind dabei meist simpel. Denn wenn der Fall Stapel etwas wirklich lehrt, dann, wie stark Forscher heute unter Druck stehen. Nach wie vor ist der entscheidende Faktor für Publikationen in hochkarätigen Wissenschaftszeitschriften oft die statistische Signifikanz der Studienergebnisse ein Phänomen, das unter dem Begriff des "Publication Bias" zusammengefasst wird. Weil ohne Veröffentlichungen für viele Forscher eine Abwärtsspirale droht, sind sie auf signifikante Ergebnisse angewiesen. Ein zu starker Wettbewerb in der Wissenschaft motiviert also auf sehr subtile Weise zu Datenbetrug, der im schlimmsten Fall die Aussagekraft einer ganzen Wissenschaftsdisziplin in Frage stellen kann. Kann man der Psychologie wirklich nicht mehr über den Weg trauen? Jein denn die Studie der Open Science Collaboration stammt aus dem Jahr 2015. Und seitdem hat sich Einiges getan.
Was für die Forscher der OSC anfänglich ein Mittel zum Zweck war, wurde zu einer Bewegung. Inzwischen ist das Schlagwort "Open Science" in aller Munde, eine der größten Erfolge der Bewegung ist die Idee der sogenannten Präregistrierung, die als besonderes Qualitätsmerkmal wissenschaftlicher Arbeiten inzwischen Eingang in die Praxis aller wichtigen Wissenschaftszeitschriften gefunden hat. Dabei tritt der Forscher nicht mit einer fertigen Studie, sondern lediglich dem Design und Hypothesen an die Zeitschrift heran diese entscheidet dann bereits vor der Datenerhebung, ob die Studie, unabhängig von ihrem Ergebnis, veröffentlicht wird. Das nimmt dem individuellen Forscher den Druck, ein signifikantes Ergebnis zu "liefern" und erhöht nachweislich die Motivation, eine methodisch einwandfreie Vorgehensweise einzuhalten.
Die Forderungen der Open Access-Bewegung
Die sogenannte "Open Access"-Bewegung geht sogar noch einen Schritt weiter und fordert, wissenschaftliche Forschungsergebnisse nicht nur besser zu dokumentieren, sondern auch stärker als je zuvor der Öffentlichkeit zugänglich zu machen. Auf europäischer Ebene wurde zu diesem Zweck im November 2018 bereits eine "Open Science Cloud" (EOSC) ins Leben gerufen, die sich der Förderung des wissenschaftlichen Datenaustausches und der Schaffung einer technologischen Basis für den "Open Access" widmet. Die Zukunft der Forschung ist also digital, vernetzt und aller Voraussicht nach öffentlich eine qualitative Verbesserung kann allerdings auch hier erst im engen Zusammenspiel mit der "Open Science"-Bewegung entstehen. Insofern stellt die Replikationskrise die Forschungsöffentlichkeit in der Psychologie und darüber hinaus vor eine vielleicht nie dagewesene Herausforderung, aber auch eine Chance zur Selbstkritik und gemeinsamen Anstrengung für ethische und methodische Grundsätze, die der Forschung ihre Glaubwürdigkeit gegenüber der Gesellschaft zurückverleihen könnten in Zeiten einer globalen Pandemie und des immer wieder aufflackernden Populismus gibt es kaum ein lohnenswerteres Ziel.
Kurz gefasst
Psychologische Forschungsergebnisse müssen innerhalb der Forschung, aber auch in den Medien stärker als je zuvor auf den Prüfstand gestellt werden. Denn innerhalb der sogenannten "Replikationskrise" konnten viele ursprünglich signifikante Studienergebnisse nicht bestätigt werden. Die "Open Science"-Bewegung setzt sich gegen Datenmanipulation und für transparente, methodisch einwandfreie Forschung ein und hat mit der Präregistrierung von Studien und regelmäßigen Überprüfungen der Replizierbarkeit wichtige neue Standards gesetzt.
Die Printausgabe der Tagespost vervollständigt aktuelle Nachrichten auf die-tagespost.de mit Hintergründen und Analysen. Kostenlos erhalten Sie die aktuelle Ausgabe
