Wie erhalten Psychologen Daten zur Überprüfung ihrer Theorien? Die traditionelle Methode bestand darin, eine Stichprobe von Studenten an ihrer Universität zu rekrutieren. Das war zwar sehr bequem, hatte aber einen offensichtlichen Nachteil: Studenten sind nicht unbedingt repräsentativ für die Bevölkerung – geschweige denn für die gesamte Menschheit.
✅ So befreist du dich vom Staat: 👉 zum Video
In den letzten Jahren haben sich die Psychologen daher Online-Umfrageplattformen zugewandt – die beliebteste davon ist Amazons Mechanical Turk. Wie funktioniert das? Einzelpersonen melden sich als „MTurk-Arbeiter“ an und können dann für die Teilnahme an wissenschaftlichen Studien rekrutiert werden. Jedes Mal, wenn Teilnehmer an einer Studie teilnehmen, erhalten sie eine kleine Gebühr. Genauer gesagt erhalten sie mindestens 0,01 $ pro „Aufgabe“, wobei eine typische Studie viele „Aufgaben“ umfasst. MTurk ist bei Psychologen und anderen Akademikern sehr beliebt. Über 40 % der Artikel in einigen Fachzeitschriften basieren auf MTurk-Daten – wir sprechen also von Tausenden von Studien. Das Problem ist, dass die meisten dieser Studien möglicherweise fehlerhaft sind. (Vgl. psycnet.apa.org)
Warum?
Immer mehr Beweise deuten darauf hin, dass die Qualität der MTurk-Daten aufgrund des hohen Prozentsatzes an MTurk-Mitarbeitern, die unvorsichtig antworten, sehr gering ist. Mit „hohem Prozentsatz“ meine ich über 75%. Unvorsichtige Antwortende können wahllos Optionen anklicken oder sie können sich auf das so genannte „Straightlining“ einlassen. Hierbei klicken sie die erste Option an, die bei jeder aufeinanderfolgenden Frage erscheint. Beide Arten der Beantwortung ergeben Daten, die wertlos sind. (Vgl. journals.sagepub.com)
In einer neuen Vorabveröffentlichung liefert Cameron Kay eine besonders anschauliche Illustration der Probleme mit MTurk. Seine Methodik war einfach: Er rekrutierte eine Stichprobe von MTurk-Arbeitern und gab ihnen 27 „semantische Antonyme“. Dabei handelt es sich um Paare von Fragen, die eigentlich entgegengesetzte Antworten ergeben sollten: zum Beispiel „Ich bin extrovertiert“ und „Ich bin introvertiert“, oder „Ich rede viel“ und „Ich rede selten“. (Vgl. osf.io)
Wenn die meisten Befragten aufmerksam sind und die Studie ernst nehmen, werden die Aufgaben-Paare negativ korreliert sein. Es besteht die Tendenz, dass Personen, die der Aussage „Ich bin extrovertiert“ zustimmen, der Aussage „Ich bin introvertiert“ nicht zustimmen. Wenn hingegen die meisten Befragten geradeaus gehen, werden die Aufgaben-Paare positiv korreliert sein. Und wenn die meisten Befragten wahllos klicken, sind die Aufgaben-Paare überhaupt nicht korreliert.
Was hat Kay gefunden? 26 von 27 Paaren von Elementen waren positiv korreliert. Mit anderen Worten: Die Befragten, die der Aussage „Ich bin extrovertiert“ zustimmten, neigten dazu, auch der Aussage „Ich bin introvertiert“ zuzustimmen – völliger Blödsinn. Dies ist in der nachstehenden Tabelle dargestellt.
Grafik aus „Extravertierte Introvertierte, vorsichtige Risikoträger und selbstlose Narzissten: Eine Demonstration, warum man den auf MTurk gesammelten Daten nicht trauen kann“.
Um zu sehen, ob die Daten gerettet werden können, hat Kay die Zahlen erneut ausgewertet, nachdem er 47% der Befragten ausgeschlossen hatte, die bei einer oder mehreren Prüfungen für unvorsichtiges Antworten durchgefallen waren: Sie antworteten schneller als 2 Sekunden pro Aufgabe. Sie antworteten auf dieselbe Weise auf die Hälfte der Aufgaben in einer Reihe und/oder sie antworteten falsch auf Aufgaben, bei denen die Antwort vorgegeben war (z. B. „stimme nicht zu“). Selbst nach dem Ausschluss von fast der Hälfte der Befragten waren 24 von 27 Aufgaben immer noch signifikant positiv korreliert – wie in den hellorangenen Balken oben dargestellt.
Interessanterweise wiesen die gleichen Semantik-Antonyme, die er einer Stichprobe von CloudResearch Connect, einer anderen Online-Umfrageplattform, vorlegte, die erwarteten negativen Korrelationen auf. Diese sind in den blauen Balken oben dargestellt. Die gute Nachricht ist also, dass das Problem der unvorsichtigen Beantwortung anscheinend MTurk-spezifisch ist, und nicht alle Online-Umfrageplattformen betrifft.
Die Mitarbeiter von CloudResearch Connect werden in der Regel besser bezahlt, als ihre Kollegen auf MTurk. Daher könnten sie weniger geneigt sein, unvorsichtig zu antworten (obwohl in Kays Studie beide Stichproben mit einem Stundenlohn von umgerechnet 8 Dollar bezahlt wurden).
In der Psychologie und anderen Disziplinen wurde viel von einer „Replikationskrise“ gesprochen, die auf eine Kombination aus Publikationsverzerrungen und fragwürdigen Forschungspraktiken zurückgeführt wurde. Möglicherweise werden wir bald von einer „zweiten Replikationskrise“ hören, die auf den übermäßigen Rückgriff auf MTurk-Daten zurückzuführen ist.
Quelle: Daily Sceptic
Telegram zensiert nicht! Wenn du diese Information wichtig findest, kannst du Legitim auf Telegram kostenlos abonnieren: hier anmelden (Telegram herunterladen)
