Reproduzierbarkeit von StudienEin einmaliges Ergebnis

Wie solide sind die Resultate von sozialpsychologischen Studien? Unter Forschern ist ein heftiger Streit entbrannt. von 

Der "Florida-Effekt" gilt als Klassiker der psychologischen Literatur. Er geht auf ein schlagendes Experiment des US-amerikanischen Sozialpsychologen John Bargh aus dem Jahr 1996 zurück. Dieser ließ seine Versuchspersonen zunächst Sätze aus lauter Wörtern bilden, die mit dem Alter assoziiert werden – "grau", "Falte", "vergesslich", "Glatze", "Florida". Danach mussten die Probanden durch einen Korridor in einen anderen Raum gehen (wobei Bargh heimlich ihr Gehtempo maß). Ergebnis: Sie liefen in der Regel deutlich langsamer als andere Studienteilnehmer, die mit "neutralen" Wörtern jongliert hatten.

Seither wird Barghs Studie als Paradebeispiel für den Effekt des "Priming" zitiert: Durch subtile Beeinflussungen (wie etwa stimmungserzeugende Wörter) kann man implizite Gedächtnisinhalte aktivieren, die das Verhalten beeinflussen.

Anzeige

Die Frage ist nur: Stimmt Barghs Ergebnis überhaupt? Seit einiger Zeit plagen die Psychologen Zweifel. Gesät hat sie Stéphane Doyen von der Freien Universität Brüssel, der Barghs Studie wiederholte – und keinen "Florida-Effekt" fand. Als Doyen dieses Nichtergebnis vergangenes Jahr in einer Fachzeitschrift beschrieb, reagierte Bargh mit einem wütenden Blogbeitrag, und viele Sozialpsychologen horchten auf.

Seitdem quält die Branche die tiefgründige Frage: Wie solide sind die Forschungsergebnisse in ihrem Fach überhaupt? Was sind Studien wert, wenn sie nicht wiederholbar sind? Replikationsversuche sind schließlich die wissenschaftliche Feuerprobe. Wenn sie nicht gelingen, ist das zwar noch keine Widerlegung. Aber ein Fragezeichen.

Nun hat die schwelende Debatte neuen Zunder bekommen: Im Fachmagazin Plos One beschreibt der Londoner Psychologe David Shanks, wie er – vergeblich – einen anderen Priming-Effekt zu wiederholen versuchte. Im Originalexperiment hatte Ap Dijksterhuis an der Universität Nijmegen 1998 einen Teil seiner Probanden gebeten, sich einen typischen Professor vorzustellen, und ihnen danach Wissensfragen gestellt (Wer malte Guernica? Wie heißt die Hauptstadt von Bangladesch?) Dabei schnitten jene, die zuvor an einen Professor gedacht hatten, besser ab. Nun, 15 Jahre später, zeigte sich in Shanks’ Wiederholungsstudie nichts dergleichen.

Das ist Wasser auf die Mühlen des Nobelpreisträgers Daniel Kahneman. Der Psychologe hatte schon im vergangenen Herbst in einem offenen Brief an seine Kollegen gewarnt: Die Priming-Forschung sei zum "Paradebeispiel für Zweifel an der Integrität psychologischer Forschung geworden", er sehe "eine Katastrophe heraufziehen". Als Gegenmittel schlug er den Forschern eine Art Replikations-Karussell vor: Mehrere Top-Institute sollten je eine Studie auswählen, die dann eines der anderen zu replizieren versuchen solle. Gelinge dies, sei das Forschungsfeld rehabilitiert.

Die Debatte um das Ergebnis von David Shanks zeigt, wie rau der Ton mittlerweile geworden ist. "Shanks hat grundlegende Fehler gemacht", erregt sich Ap Dijksterhuis, der Autor der ursprünglichen Professoren-Studie. "Dijksterhuis ist nicht sehr entgegenkommend", hält Shanks dagegen, "er gibt die Protokolle zum Originalversuch nicht heraus." Dijksterhuis betont, dass sein Ergebnis vor Shanks von mehreren Forschern bestätigt worden sei; Shanks sagt, genau darüber gebe es Uneinigkeit. Das Fachmagazin Nature wiederum veröffentlichte jüngst einen Artikel, der eher Shanks’ Sichtweise widerspiegelte, rudert jetzt aber auf Intervention von Dijksterhuis hin zurück.

Leserkommentare
  1. Vielleicht könnte der Floridaeffekt durch eine Hypnosebegabung erklärt werden, die im wWiederholungs-Test nicht gegeben war?

    Reaktionen auf diesen Kommentar anzeigen

    Vielleicht wurde die Studie von einem Postboten wiederholt. Bei uns hat auch schon zwei Jahre lang ein Postbote eine psychiatrische Abteilung geleitet (er flog wegen einer Krankenschwester auf die ihn von früher kannte). Inklusive Vorträgen vor Kollegen also anderen Ärzten aus dem Bereich Psychiatrie. Einfach mal googlen gibt auch ein Video wo er über die Zeit erzählt. Wirft ein ziemlich schlechtes Licht auf die Zunft...

  2. die zunehmende Fokussierung der Wissenschaftler auf den Wow- Effekt hat eine ganze Menge Halbwahrheiten generiert und gefestigt. So etwas muss mit allen Mitteln bekämpft werden.

    Neben dem Florida- Effekt gibt es noch eine ganze Menge andere Phänomene, die im Volksmund als wahr gelten, obwohl sich entsprechende Studien seit Jahren teilweise vollkommen widersprechen. Aber Hauptsache Aufmerksamkeit...

    6 Leserempfehlungen
    • porph
    • 03. Juni 2013 21:22 Uhr

    Vorweg, ich bin kein Wissenschaftstheoretiker, Philosoph oder Vergleichbares, aber wo ist da jetzt eigentlich die wirkliche Kontroverse? Wissenschaft braucht doch meines Wissens nacht Reproduzierbarkeit. Wenn diese nicht gegeben ist, lässt sich keine fundierte wissenschaftliche Aussage tätigen und damit ist eine Hypothese mehr oder wenig wertlos. Reproduzierbarkeit ist doch kein "nice to have" sondern irgendwie etwas ziemlich fundamentales, sonst kann ich mir ja alle möglichen kruden Theorien zusammenlegen und auf anekdotische Evidenz verweisen.

    Wie kann es denn sein, dass man als Sozialpsychologie darauf verzichten kann?

    Davon abgesehen ist an der Kontroverse um einzelne Hypothesen (und eventuelle negative Reproduktionsstudien) ja nichts schlechtes, dies bringt die Wissenschaft weiter. Das muss dann eben auf einem sachlichen, argumentativen Level passieren und braucht dafür - richtig - Reproduzierbarkeit.

    Wenn Ergebnisse nicht richtig reproduzierbar sind, u.A. weil Kontrollgruppen schlecht gewählt wurden, die Datenbasis zu gering ist, oder ähnliche Gründe, dann ist es halt eine vielleicht interessante Hypothese, aber einfach schlechte Wissenschaft.

    Wer vom Fach ist, darf mich gerne aufklären, würde mir eine interessante Diskussion wünschen!

    10 Leserempfehlungen
    Reaktionen auf diesen Kommentar anzeigen
    • Oyamat
    • 04. Juni 2013 0:07 Uhr

    Zitat: "Wissenschaft braucht doch meines Wissens nacht Reproduzierbarkeit."

    In der Theorie ja. In der Praxis kann man nur "reproduzieren", was einem zufällig bekannt ist. Und das kann bei weitem zu wenig sein.
    Unter Leuten, die im Labor stehen, kursieren sich in jedem Labor Anekdötchen und Histörchen zu diesem Thema. Warum klappt etwas, wenn..., aber nicht bei ...? Liegt's daran, daß die Uhrzeit eine Rolle spielt? Denn die Laborumgebung ist in gar nicht wenigen Aspekten uhrzeitabhängig. Wenn immer von 10.00 bis 14.00 Uhr bestimmte Geräte laufen, weil das am besten in die Arbeitszeit passt, macht es unter Umständen einen Unterschied, ob man ein anderes Experiment um 11.00 Uhr oder um 15.00 Uhr macht.

    Und wenn menschliche Probanden ins Spiel kommen, wird es uferlos. Man bekommt jede Person nur genau ein einziges Mal ohne Vorwissen. Beim zweiten Mal kann die Erinnerung ans erste Mal einen Unterschied machen.

    Reproduzierbarkeit... adé, wär' nett gewesen, soll aber nicht sein. Meist hofft man darauf, daß alle *wesentlichen* Aspekte einigermaßen erfasst und protokolliert werden konnten, aber das weiß man nie genau. Wenn es in anderen Laboren auch klappt, ist das erfreulich, aber selbst das ist noch kein Beweis, daß es reproduziert wurde: vielleicht haben sich nur Zufallsfaktoren just ausgeglichen.

    Wissenschaftliche Praxis ist halt keine 1:1-Abbildung der Theorie. Nicht in *dieser* Welt.

    MGv Oyamat

    • wauz
    • 03. Juni 2013 21:45 Uhr

    Für die allermeisten Soziologen und leider auch die meisten Sozialpsychologen erscheint es genug, im Studium eine Einführungsveranstaltung besucht zu haben. Am schönsten ist dabei ein Leistungsnachweis per Bulimie-Klausur. Ein paar Fakten reinstopfen, auf's Blatt erbrechen und dann alles wieder vergessen...
    Wer es nicht glauben mag, dass es so ist frage einfach mal nach, wie solche "Forschungsvorhaben" laufen. "Lass uns mal einen Fragebogen machen!" und "ich habe eine Idee zu einem Experiment". Der Rest wird dann drumherum gestrickt. "Ok, wir brauchen eine Literaturliste, damit wir uns nachher ein paar schöne Zitate suchen können." Und wenn man dann auf diese Weise bis zum Abschluss vorgerückt ist, diesen wundersamer Weise auch noch bestanden hat 8"Einen schönen Gruß vom Herrn Papa, Her Professor!") dann wird munter so weiter gearbeitet. Die einen an der Hochschule (ad infinitum), die anderen in der freien Wirtschaft (bis zum ersten Rausschmiss). Danach kommen in der Wirtschaft neue Absolventen zum Zuge, die bei der Methodenlehre (dem bisschen) auch nicht zugehört haben.
    Zwei Drittel aller solchen Studien ergeben das erwünschte Resultat. Und zwei Drittel aller Studien sind Bockmist. Die Schnittmenge ist groß.

    2 Leserempfehlungen
  3. ... ich wusste es doch schon immer das die angewandte Praktik der Psychologen oft auf Halbwahrheiten und Gefühlsduselei beruht ... schön das es nun auch amtlich ist :-)

    via ZEIT ONLINE plus App

  4. Statistik, und das ist das verwendete mathematische Modell, geht doch von linearen Zusammenhangskonstruktionen aus. Da gibt es dann eine (vermutete) Ursache, eine (vernutete) Wirkung und Moderatoren, die diese Vermutungen noch beeinflussen können.

    Was wäre, wenn das mathematische Modell gar nicht zum Problem passt. Rekursiv vernetzten Systemen kann man mit linearen Modellen nicht gerecht werden ... oder wie soll das gehen?

    Eine Leserempfehlung
    Reaktionen auf diesen Kommentar anzeigen
    • wauz
    • 03. Juni 2013 22:30 Uhr

    Kausale Beziehungen können nicht mit Statistik bewiesen werden. Man kann nur eine Behauptung aufstellen, und diese mit Statistik mit einer gewissen Wahrscheinlichkeit widerlegen. (Wenn diese Behauptung stimmte, dann sind unsere Daten aber reichlich seltsam").
    Mit bestimmten Zusammenhangsmaßen bis hin zur Regressionsanalyse kann man Schein-Zusammenhänge entdecken.
    Der Glaube an die Statistik (vor allem an die, deren einziges Mittel das arithmetische Mittel ist) ist hierzulande unendlich. Ein bisschen Exploration und dann ganz viel "SPSS" ist die gängige Vorgehensweise.

  5. 7. […]

    Entfernt. Bitte diskutieren Sie mit klaren Argumenten den konkreten Artikelinhalt. Danke, die Redaktion/jp

    • wauz
    • 03. Juni 2013 22:30 Uhr

    Kausale Beziehungen können nicht mit Statistik bewiesen werden. Man kann nur eine Behauptung aufstellen, und diese mit Statistik mit einer gewissen Wahrscheinlichkeit widerlegen. (Wenn diese Behauptung stimmte, dann sind unsere Daten aber reichlich seltsam").
    Mit bestimmten Zusammenhangsmaßen bis hin zur Regressionsanalyse kann man Schein-Zusammenhänge entdecken.
    Der Glaube an die Statistik (vor allem an die, deren einziges Mittel das arithmetische Mittel ist) ist hierzulande unendlich. Ein bisschen Exploration und dann ganz viel "SPSS" ist die gängige Vorgehensweise.

    Antwort auf "wenn ... dann"
    Reaktionen auf diesen Kommentar anzeigen
    • L0rdi
    • 04. Juni 2013 0:00 Uhr

    Kausale Beziehungen gibt es eh nicht (siehe Russel 1913, on the notion of cause) :D

    Aber grundsätzlich finde ich es löblich, dass sich eine Wissenschaft hier offensichtlich Gedanken über ihre eigene wissenschaftliche Tradition macht. Das täte den meisten Disziplinen ganz gut ... Und dass das im Endeffekt ein offener Prozess ist, dessen Ende sich aus der Stärke der Lösungsmöglichkeit ergibt, scheint - nach Darwinscher Überstrapazierung - nahe zu liegen.

Bitte melden Sie sich an, um zu kommentieren

  • Artikel Auf einer Seite lesen
  • Schlagworte Psychologie | Studie
Service