Es hat einen Eintrag im Urban Dictionary, wurde in der letzten Woche mit John Oliver besprochen, hat ein Augenzwinkern von Cards Against Humanity erhalten und ist jetzt in einem Hinweis in der TV-Spielshow Jeopardy zu sehen. Metascience-Nerds freuen sich! Der Begriff P-Hacking hat sich durchgesetzt.
Die Ergebnisse einer Studie können auf verschiedene Arten analysiert werden, und p-Hacking bezieht sich auf eine Praxis, bei der Forscher die Analyse auswählen, die ein ansprechendes Ergebnis liefert. Das p bezieht sich auf den p-Wert, eine lächerlich komplizierte statistische Einheit, die im Wesentlichen ein Maß dafür ist, wie überraschend die Ergebnisse einer Studie wären, wenn der gesuchte Effekt nicht vorhanden wäre.
Angenommen, Sie testen eine Pille auf Bluthochdruck und stellen fest, dass der Blutdruck bei den Menschen, die das Medikament eingenommen haben, tatsächlich gesunken ist. Der p-Wert ist die Wahrscheinlichkeit, dass Sie eine Blutdrucksenkung finden, die mindestens so groß ist wie die von Ihnen gemessenen, selbst wenn das Medikament ein Blindgänger ist und nicht wirkt. Ein p-Wert von 0, 05 bedeutet, dass in diesem Szenario nur eine Wahrscheinlichkeit von 5 Prozent besteht. Ein p-Wert von weniger als 0, 05 gibt dem Forscher die Lizenz zu sagen, dass das Medikament „statistisch signifikante“Blutdrucksenkungen hervorrief.
Zeitschriften veröffentlichen im Allgemeinen statistisch signifikante Ergebnisse, sodass Wissenschaftler Anreize haben, Methoden zum Parsen und Analysieren ihrer Daten auszuwählen, die einen p-Wert unter 0, 05 ergeben. Das ist P-Hacking.
„Es ist ein großartiger Name - kurz, süß, einprägsam und ein bisschen lustig“, sagt Regina Nuzzo, freie Wissenschaftsjournalistin und Senior Advisor für Statistikkommunikation bei der American Statistical Association.
P-Hacking als Begriff wurde verwendet, als die Psychologie und einige andere Bereiche der Wissenschaft eine Art existenzielle Krise erlebten. Die bahnbrechenden Ergebnisse konnten nicht repliziert werden. Absurde Ergebnisse (ESP ist real!) Wurden in angesehenen Fachzeitschriften von Fachleuten begutachtet. Es wurden Anstrengungen unternommen, um die Literatur auf falsch positive Ergebnisse zu testen, und die Ergebnisse sahen nicht gut aus. Die Forscher begannen zu begreifen, dass das Problem in einige langjährige und grundlegende Forschungspraktiken verwoben sein könnte.
Die Psychologen Uri Simonsohn, Joseph Simmons und Leif Nelson haben das Problem in einer heute klassischen Zeitung elegant demonstriert. "False-Positive Psychology", veröffentlicht im Jahr 2011, verwendete allgemein anerkannte Methoden, um zu zeigen, dass das Hören des Beatles-Songs "When I'm Sixty-Four" anderthalb Jahre in Anspruch nehmen kann. Begonnen hat alles mit einem Abendessen auf einer Konferenz, bei der eine Gruppe von Forschern einige Ergebnisse diskutierte, die sie kaum glauben konnten. Anschließend entschieden sich Simonsohn, Simmons und Nelson, wie einfach es sein würde, ein unmögliches Ergebnis mit einem p-Wert von weniger als 0, 05 rückzuentwickeln. "Wir haben mit dem Brainstorming begonnen - wenn wir einen Effekt zeigen wollten, der nicht wahr ist, wie würden Sie dann eine Studie durchführen, um dieses Ergebnis zu erzielen, ohne etwas vorzutäuschen?", Sagte Simonsohn.
Sie haben ihre absurde Schlussfolgerung gezogen, indem sie das ausgenutzt haben, was sie als "Freiheitsgrade für Forscher" bezeichneten: die kleinen Entscheidungen, die Wissenschaftler treffen, wenn sie eine Studie entwerfen und Daten sammeln und analysieren. Diese Auswahlmöglichkeiten umfassen Dinge wie die zu messenden Beobachtungen, die zu vergleichenden Variablen, die zu kombinierenden Faktoren und die zu kontrollierenden Faktoren. Sofern sich die Forscher nicht im Voraus durch die Vorregistrierung einer Studie zu einem Methoden- und Analyseplan verpflichtet haben, können sie diese Anrufe in der Praxis jederzeit tätigen (oder sogar ändern).
Das Problem ist, wie das Beatles-Liedexperiment gezeigt hat, dass diese Art des Herumtüftelns es Forschern ermöglicht, ihre Lernbedingungen zu manipulieren, bis sie die gewünschte Antwort erhalten - das Äquivalent von Kindern auf einer Pyjamaparty, die Druck auf die Planchette des Ouija-Boards ausübt, bis es buchstabiert die Wörter, nach denen sie suchen.
Ein Jahr später ging das Team mit seinem neuen und besseren Namen für dieses Phänomen an die Öffentlichkeit. Auf einer Psychologiekonferenz im Jahr 2012 hielt Simonsohn einen Vortrag, in dem er erstmals den Begriff P-Hacking verwendete.
"Wir brauchten ein kürzeres Wort, um dieses Verhalten zu beschreiben, und p-dash-irgendetwas schien Sinn zu ergeben", sagt Simmons. "P-Hacking war definitiv ein besserer Begriff als" Forscherfreiheitsgrade ", weil man es als Substantiv oder Adjektiv verwenden konnte."
Der Satz hatte sein offizielles Debüt in einem Artikel, den das Team 2014 veröffentlichte, in dem es schrieb: "Mit P-Hacking können Forscher die meisten Studien durchführen, um signifikante Beziehungen zwischen wirklich nicht verwandten Variablen aufzudecken."
Sie waren nicht die Ersten, die erkannten, was schief gehen kann, wenn Wissenschaftler die Freiheitsgrade von Forschern ausnutzen, aber Simonsohn, Simmons und Nelson hatten den Forschern eine Sprache gegeben, in der sie darüber sprechen konnten. „Unser vorrangiges Ziel war es, uns die Präsentation unserer Arbeit zu erleichtern. Das ehrgeizige Ziel war es, anderen Menschen das Gespräch über das Thema zu erleichtern “, sagt Nelson. "Die Akzeptanz des Begriffs in der Bevölkerung hat unsere ursprünglichen Ambitionen übertroffen."
"Es ist brillantes Marketing", sagt Brian Nosek, Mitbegründer des Center for Open Science. Der Begriff P-Hacking fasst eine Konstellation von Verhaltensweisen zusammen, die Methodologen lange Zeit als unerwünscht erkannt haben, weist ihnen einen Namen zu und identifiziert ihre Konsequenzen, fügt er hinzu. Nosek spricht sich dafür aus, Forschern dabei zu helfen, „zu organisieren und darüber nachzudenken, wie sich ihr Verhalten auf die Qualität ihrer Beweise auswirkt“.
Als sich ein breiteres Gespräch über Reproduzierbarkeit auf dem Gebiet der Psychologie ausbreitete, fanden auch rivalisierende Arten der Beschreibung von P-Hacking und verwandten Themen Beachtung. Der Statistiker der Columbia University, Andrew Gelman, hat den Begriff „der Garten der Gabelpfade“verwendet, um die Auswahlmöglichkeiten zu beschreiben, aus denen Forscher auswählen können, wenn sie eine Studienanalyse beginnen. Data Mining, Fischereiexpeditionen und Datenbaggerung sind weitere Deskriptoren, die auf den Vorgang des P-Hacking angewendet wurden.
Gelman und sein Kollege Eric Loken interessierten sich nicht für diese Alternativen. 2013 schrieben sie, dass sie "die Verbreitung der Begriffe" Fischen "und" P-Hacking "(und sogar" Freiheitsgrade von Forschern ") bedauern", weil sie die "irreführende Implikation" hervorrufen, dass Forscher bewusst viele verschiedene ausprobieren Analysen auf einem einzigen Datensatz. “Der„ Garten der Gabelpfade “beschreibt hingegen treffender, wie sich Forscher in all den Entscheidungen, die in die Datenanalyse einfließen, verirren und nicht einmal feststellen können, dass sie vom rechten Weg abgekommen sind.
"Die Leute sagen P-Hacking und es klingt wie jemand betrügt", sagt Gelman. „Die Kehrseite ist, dass die Leute wissen, dass sie nicht geschummelt haben, also glauben sie nicht, dass sie etwas falsch gemacht haben. Aber selbst wenn Sie nicht schummeln, ist es immer noch ein moralischer Fehler, Daten zu einem Konsequenzproblem falsch zu analysieren. “
Simmons ist mit dieser Kritik einverstanden. "Wir haben wahrscheinlich nicht genug über die Konnotationen des Wortes 'Hacking' nachgedacht, was Absichten impliziert", sagt er. „Es hört sich schlimmer an, als wir es wollten.“Er und seine Kollegen haben sehr deutlich gemacht, dass P-Hacking nicht unbedingt ein schändliches Unterfangen ist, sondern ein menschliches Unterfangen, an dem sie selbst schuld waren. Im Kern geht es beim P-Hacking wirklich um Bestätigungsvoreingenommenheit - die Tendenz des Menschen, Beweise zu suchen und bevorzugt zu finden, die bestätigen, woran wir glauben möchten, und gleichzeitig die Augen vor Dingen zu verschließen, die unseren bevorzugten Wahrheiten widersprechen könnten.
Der "Hacking" -Teil lässt es wie eine Art unmoralisches Verhalten klingen, und das ist nicht hilfreich, sagt Simmons. „Die Machthaber verstehen die Unvermeidlichkeit von P-Hacking nicht, wenn keine Schutzmechanismen vorhanden sind. Sie denken, dass P-Hacking etwas ist, was böse Menschen tun. Und da wir nicht böse sind, müssen wir uns keine Sorgen machen. “Aber Simmons sagt, dass P-Hacking eine menschliche Vorgabe ist:„ Das wird jeder einzelne tun, das mache ich auch weiterhin, wenn ich es nicht tue. t preregister my studies.”Ohne Vorkehrungen ist es fast unmöglich, dies zu vermeiden.
Trotzdem hat der Begriff P-Hacking einen unbestreitbaren Reiz. „Man kann nicht sagen, dass jemand seine Daten hat und sie als„ Garten der Gabelung “bezeichnet“, fügt Nelson hinzu. "Wir wollten es zu einem einzigen Aktionsbegriff machen."
ABONNIEREN
Abonnieren Sie WIRED und bleiben Sie mit Ihren Lieblingsautoren für Ideen auf dem Laufenden.
Die Entstehung des Begriffs p-Hacking erleichterte es, über dieses Phänomen in verschiedenen Bereichen zu sprechen, indem darauf hingewiesen wurde, dass dies ein Verhalten war - etwas, das Forscher tatsächlich in ihrer Arbeit taten. Obwohl es von Psychologen entwickelt wurde, wurde der Begriff P-Hacking bald von Leuten verwendet, die über Medizin, Ernährung, Biologie oder Genetik sprachen, sagt Nelson. „Jedes dieser Felder hat eine eigene Version und sie waren großartig. Jetzt haben wir einen Begriff, der beschreibt, was auch immer unsere Version der semilegitimen statistischen Praktiken ist. “
Die Tatsache, dass sich p-Hacking inzwischen von der Wissenschaft in die Popkultur ausgebreitet hat, könnte auf einen Wendepunkt im Verständnis der Wissenschaft in der Öffentlichkeit hinweisen und ein wachsendes Bewusstsein dafür, dass Studien nicht immer zum Nennwert bewertet werden können. Aber es ist schwer zu wissen, wie der Begriff überhaupt verstanden wird.
