Efekt odrzucenia
Efekt upadku może wystąpić, gdy twierdzenia naukowe otrzymują z czasem coraz mniejsze poparcie. Termin ten został po raz pierwszy opisany przez parapsychologa Josepha Banksa Rhine'a w latach trzydziestych XX wieku, aby opisać zanik percepcji pozazmysłowej (ESP) eksperymentów psychicznych przeprowadzonych przez Rhine'a w trakcie badań lub w czasie. W bardziej ogólnym ujęciu Cronbach w swoim przeglądowym artykule naukowym „Poza dwiema dyscyplinami psychologii naukowej” odniósł się do tego zjawiska jako „rozpadu uogólnień”. Termin ten został ponownie użyty w artykule Jonaha Lehrera z 2010 roku , opublikowanym w The New Yorker .
Przykłady
W swoim artykule Lehrer podaje kilka przykładów rzekomego występowania efektu spadku. W pierwszym przykładzie rozwój leków przeciwpsychotycznych drugiej generacji ujawnia, że pierwsze testy wykazały dramatyczny spadek objawów psychiatrycznych badanych. Jednak po powtórzeniu testów efekt ten zmalał i ostatecznie nie udało się udokumentować, że leki te miały lepsze działanie niż leki przeciwpsychotyczne pierwszej generacji.
Dobrze znany przykład efektu spadku można zobaczyć we wczesnych eksperymentach przeprowadzonych przez profesora Jonathana Schoolera , badających wpływ werbalizacji na poznanie niewerbalne. W początkowej serii badań Schooler znalazł dowody na to, że werbalne powtarzanie wcześniej widzianych twarzy lub kolorów znacznie osłabiało późniejsze rozpoznawanie. Zjawisko to określane jest mianem werbalnego zacienienia . Chociaż Schooler i inni badacze wielokrotnie obserwowali efekty przyćmienia werbalnego, okazały się one również trudne do odtworzenia. Werbalne efekty przyćmiewania w różnych dziedzinach były początkowo łatwe do znalezienia, ale potem stawały się coraz trudniejsze do odtworzenia, co wskazuje na spadek efektu zjawiska. Schooler stał się teraz jednym z bardziej znanych badaczy badających efekt spadku. Argumentował, że zajęcie się efektem spadku może wymagać poważnej rewizji procesu naukowego, w ramach którego naukowcy rejestrują swoje protokoły przed przeprowadzeniem badań, a następnie, niezależnie od wyniku, zgłaszają swoje odkrycia w ogólnodostępnym repozytorium (takim jak „Project Implicit” firmy Brain Nosek ). Schooler współpracuje obecnie z Fundacją Fetzera w celu zorganizowania ważnego spotkania naukowców z różnych dyscyplin w celu rozważenia alternatywnych opisów efektu upadku i podejść do jego rygorystycznego rozwiązania.
W 1991 roku duński zoolog Anders Møller odkrył związek między symetrią a preferencjami seksualnymi samic ptaków w naturze. Wywołało to ogromne zainteresowanie tematem i opublikowano wiele dalszych badań. W ciągu trzech lat po pierwotnym odkryciu 90% badań potwierdziło hipotezę Møllera. Jednak ten sam wynik został opublikowany w zaledwie czterech z ośmiu artykułów naukowych w 1995 roku i tylko w jednej trzeciej w ciągu następnych trzech lat.
Badanie opublikowane w 2022 roku przyniosło prawdopodobnie jeden z najbardziej uderzających przykładów efektu spadku w dziedzinie ekologii, gdzie rozmiary efektu opublikowanych badań testujących wpływ zakwaszenia oceanów na zachowanie ryb spadły o rząd wielkości w ciągu dekady badań nad ten temat.
Wyjaśnienia
Jednym z wyjaśnień tego efektu jest regresja w kierunku średniej (jest to zjawisko statystyczne występujące, gdy zmienna jest ekstremalna w pierwszych eksperymentach, a w późniejszych eksperymentach ma tendencję do regresu w kierunku średniej), chociaż nie wyjaśnia to, dlaczego kolejne wyniki spadają w sposób liniowy, zamiast wahań wokół prawdziwej średniej, jak można by się spodziewać.
Innym powodem może być stronniczość publikacji : naukowcy i czasopisma naukowe wolą publikować pozytywne wyniki eksperymentów i testów niż wyniki zerowe, zwłaszcza z nowymi pomysłami. W rezultacie czasopisma mogą odmówić publikacji artykułów, które nie dowodzą, że pomysł się sprawdza. Później, gdy pomysł zostanie zaakceptowany, czasopisma mogą odmówić publikacji artykułów, które go wspierają.
W debacie, która nastąpiła po oryginalnym artykule, Lehrer odpowiedział na niektóre pytania, twierdząc, że obserwacje naukowe mogą być kształtowane przez czyjeś oczekiwania i pragnienia, czasem nawet nieświadomie, tworząc w ten sposób uprzedzenia w kierunku pożądanego wyniku.
Istotnym czynnikiem wpływającym na efekt spadku może być również liczebność próby badawczej, ponieważ mniejsza próba z dużym prawdopodobieństwem da bardziej skrajne wyniki, sugerujące znaczący przełom, ale także większe prawdopodobieństwo popełnienia błędu. Typowym przykładem tego efektu są sondaże, w których te z większą liczbą osób są bliższe rzeczywistości niż te z małą pulą respondentów. Wydaje się, że ta sugestia nie wyjaśnia obserwowanego spadku w czasie, niezależnie od wielkości próby. Badacz John Ioannidis oferuje pewne wyjaśnienie. Twierdzi, że wczesne badania są zwykle niewielkie i bardziej podatne na wysoce pozytywne wyniki wspierające pierwotny pomysł, w tym wczesne badania potwierdzające. Później, gdy prowadzone są większe badania, często wykazują one regresję do średniej i brak powtórzenia wczesnych przesadzonych wyników.
Raport z 2012 roku w programie National Public Radio „On The Media” dotyczył naukowców, którzy badają inną opcję: że akt obserwacji wszechświata zmienia wszechświat, a powtarzane pomiary mogą w rzeczywistości unieważniać wcześniejsze wyniki. Innymi słowy, leki przeciwpsychotyczne działały , ale im dokładniej mierzyliśmy ich skuteczność, tym bardziej zmieniały się prawa rządzące tymi lekami, więc przestawały być skuteczne. Geoff Ryman , autor science fiction, bada ten pomysł i jego możliwe konsekwencje w swoim opowiadaniu What We Found z 2012 roku , które zdobyło nagrodę Nebula dla najlepszej powieści w 2012 roku.
Innym powodem niektórych efektów spadkowych może być to, że niektórzy badacze mają tendencję do publikowania większych rozmiarów efektów niż inni. Na przykład, oprócz stronniczości publikacji i efektów wielkości próby, spadek wpływu zakwaszenia oceanów na zachowanie ryb był w dużej mierze spowodowany wyjątkowymi wielkościami efektów zgłoszonymi przez dwóch konkretnych badaczy z tego samego laboratorium, którzy są obecnie badani pod kątem potencjalnego niewłaściwego postępowania naukowego i fabrykowania danych .
Kwestionujące poglądy
Kilku komentatorów zakwestionowało pogląd Jonaha Lehrera, że efekt upadku jest problematyczną stroną zjawiska, jak przedstawiono w jego artykule w New Yorker . „Efekt spadku jest niepokojący, ponieważ przypomina nam, jak trudno jest cokolwiek udowodnić. Lubimy udawać, że nasze eksperymenty określają dla nas prawdę. Ale często tak nie jest. Tylko dlatego, że pomysł jest prawdziwy, nie oznacza, że może być zostać udowodnione. I tylko dlatego, że pomysł można udowodnić, nie oznacza, że jest prawdziwy. Kiedy eksperymenty się zakończą, nadal musimy wybrać, w co wierzyć.
Steven Novella kwestionuje również pogląd Lehrera na temat efektu upadku, argumentując, że Lehrer koncentruje się na nowych odkryciach dotyczących najnowocześniejszych badań naukowych i stosuje wnioski we wszystkich dziedzinach nauki. Novella zwraca uwagę, że większość przykładów użytych przez Lehrera pochodzi z medycyny, psychologii i ekologii, dziedzin naukowych, na które największy wpływ ma złożony aspekt ludzki, i że nie ma zbyt wielu dowodów na efekt upadku w innych dziedzinach nauki, takich jak fizyka.
Inny naukowiec, Paul Zachary Myers , również kwestionuje pogląd Lehrera, że efekt spadku jest zaskakującym zjawiskiem w nauce, twierdząc, że: „To wcale nie jest zaskakujące. Tego się spodziewamy i istnieje wiele bardzo dobrych powodów dla tej zmiany. ”.
Stwierdzenia Lehrera dotyczące trudności w udowodnieniu czegokolwiek i stronniczości publikacji znajdują poparcie Jerry'ego A. Coyne'a . Coyne utrzymuje, że w dziedzinie genetyki i biologii ewolucyjnej prawie żadne badania nie są powtarzane, a publikowanie pozytywnych wyników badań naukowych oferuje dodatkową motywację. Jednak kwestionuje również podejście Lehrera do stosowania wniosków ze wszystkich dziedzin nauki, stwierdzając, że w fizyce, chemii czy biologii molekularnej poprzednie wyniki są nieustannie powtarzane przez innych w celu postępu we własnych badaniach.
Krytyka
Jedną z obaw, którą niektórzy wyrażali, jest to, że artykuł Lehrera może jeszcze bardziej podsycić sceptycyzm ludzi wobec nauki akademickiej. Od dawna uważano, że artykuł Lehrera pierwotnie sugerował, że nauka akademicka nie jest tak sztywna, jak ludzie chcieliby wierzyć. Szczególnie zakończenie artykułu zdenerwowało wielu naukowców i doprowadziło do szerokiej krytyki artykułu. Lehrer kończy artykuł stwierdzeniem: „Tylko dlatego, że pomysł jest prawdziwy, nie oznacza, że można go udowodnić. I tylko dlatego, że pomysł można udowodnić, nie oznacza, że jest prawdziwy. Po zakończeniu eksperymentów nadal musimy wybrać, co wierzyć." To zdenerwowało naukowców w społeczności naukowej. Wielu odpisywało Lehrerowi i kwestionowało jego program. Niektórzy scharakteryzowali twierdzenie Lehrera jako „absurdalne”, podczas gdy inni twierdzą, że Lehrer próbuje wykorzystać stronniczość publikacji jako wymówkę, by w nic nie wierzyć.
W odpowiedzi na wiele komentarzy, które Lehrer otrzymał po opublikowaniu artykułu, Lehrer opublikował komentarz na swoim blogu The Frontal Cortex, w którym zaprzeczył, jakoby pośrednio kwestionował naukę i metody naukowe w jakikolwiek sposób. W tym samym komentarzu na blogu Lehrer stwierdził, że nie kwestionuje fundamentalnych teorii naukowych, takich jak teoria ewolucji drogą doboru naturalnego i globalnego ocieplenia, nazywając je „dwoma z najbardziej solidnych i szeroko testowanych teorii współczesnej nauki”.
Dalsze wyjaśnienie zostało opublikowane jako uwaga uzupełniająca w The New Yorker . W tej notatce, zatytułowanej „Więcej przemyśleń na temat efektu upadku”, Lehrer próbuje głównie odpowiedzieć krytykom, podając przykłady, w których badania naukowe zarówno zawiodły, jak i zakończyły się sukcesem. Jako przykład, Lehrer wykorzystuje przemówienie inauguracyjne Richarda Feynmana w Caltech w 1974 roku jako punkt wyjścia. W swoim przemówieniu inauguracyjnym Feynman wykorzystał eksperyment Roberta Millikana i Harveya Fletchera z kroplą oleju do pomiaru ładunku elektronu, aby zilustrować, w jaki sposób selektywne raportowanie może wpływać na wyniki naukowe. Z drugiej strony Feynman znajduje pocieszenie w fakcie, że inni naukowcy będą powtarzać eksperymenty innych naukowców, a co za tym idzie, prawda ostatecznie zwycięży.
Lehrer po raz kolejny wykorzystuje następującą notatkę, aby zaprzeczyć, że jego pierwotnym zamiarem było wspieranie ludzi zaprzeczających dobrze zweryfikowanym teoriom naukowym, takim jak dobór naturalny i zmiana klimatu. Zamiast tego chciałby, abyśmy „spędzali więcej czasu na rozważaniu wartości leków przeciwpsychotycznych drugiej generacji lub prawdziwości najnowszych badań nad powiązaniami genów”. W innych częściach notatki uzupełniającej Lehrer krótko omawia niektóre kreatywne opinie, które otrzymał, aby zmniejszyć stronniczość publikacji. Nie udziela wyraźnego poparcia żadnemu konkretnemu pomysłowi. Kolejny artykuł kończy się stwierdzeniem Lehrera, że efekt upadku jest problemem dzisiejszej nauki, ale nauka ostatecznie znajdzie narzędzie do poradzenia sobie z tym problemem.