Efekt szukania gdzie indziej
Efekt szukania gdzie indziej to zjawisko w analizie statystycznej eksperymentów naukowych , w którym pozornie istotna statystycznie obserwacja mogła w rzeczywistości powstać przypadkowo z powodu samego rozmiaru przeszukiwanej przestrzeni parametrów .
Gdy zostanie uznana możliwość popełnienia błędu „patrz gdzie indziej” w analizie, można go zrekompensować przez staranne zastosowanie standardowych technik matematycznych.
Bardziej ogólnie znany w statystyce jako problem wielokrotnych porównań , termin ten zwrócił uwagę mediów w 2011 roku w kontekście poszukiwań bozonu Higgsa w Wielkim Zderzaczu Hadronów .
Używać
Wiele testów statystycznych dostarcza wartość p , prawdopodobieństwo, że dany wynik można uzyskać przypadkowo, zakładając, że hipoteza, którą chcemy udowodnić, jest w rzeczywistości fałszywa. Kiedy pytamy „czy X wpływa na Y ?”, Często zmienia się X i sprawdza, czy w rezultacie występuje znacząca zmiana Y. Jeśli ta wartość p jest mniejsza niż pewien z góry określony próg istotności statystycznej α , wynik uważa się za „znaczący”.
Jeśli jednak wykonuje się wiele testów („szukając gdzie indziej”, jeśli pierwszy test się nie powiedzie), wówczas oczekuje się, że wartość p 1/ n wystąpi raz na n testów. Na przykład, gdy nie ma rzeczywistego efektu, zdarzenie o p < 0,05 nadal wystąpi średnio raz na każde 20 przeprowadzonych testów. Aby to zrekompensować, możesz podzielić swój próg α przez liczbę testów n , więc wynik jest znaczący, gdy p < α / n . Lub równoważnie pomnóż obserwowaną p przez liczbę testów (istotne, gdy np < α ).
To jest uproszczony przypadek; liczba n jest w rzeczywistości liczbą stopni swobody w testach lub liczbą faktycznie niezależnych testów. Jeśli nie są w pełni niezależne, liczba może być mniejsza niż liczba testów.
Efekt szukania gdzie indziej jest częstą przyczyną „inflacji istotności”, gdy liczba niezależnych testów n jest niedoszacowana, ponieważ nieudane testy nie są publikowane. Jeden artykuł może nie zawierać wzmianki o rozważanych alternatywnych hipotezach lub artykuł, który nie daje żadnych wyników, może po prostu w ogóle nie zostać opublikowany, co prowadzi do zdominowania czasopism przez statystyczne wartości odstające.
Przykłady
- Szwedzkie badanie przeprowadzone w 1992 roku próbowało ustalić, czy linie energetyczne powodują jakieś złe skutki zdrowotne. Naukowcy przebadali wszystkich mieszkających w promieniu 300 m od linii wysokiego napięcia na przestrzeni 25 lat i szukali statystycznie istotnego wzrostu częstości występowania ponad 800 dolegliwości. Badanie wykazało, że częstość występowania białaczki u dzieci była czterokrotnie wyższa wśród osób mieszkających najbliżej linii energetycznych, co zachęciło szwedzki rząd do podjęcia działań. Problem z wnioskami polegał jednak na tym, że nie udało im się zrekompensować efektu szukania gdzie indziej; w dowolnym zbiorze 800 losowych próbek jest prawdopodobne, że co najmniej jedna będzie miała co najmniej 3 odchylenia standardowe powyżej wartości oczekiwanej, przez przypadek. Późniejsze badania nie wykazały żadnych powiązań między liniami energetycznymi a białaczką dziecięcą, ani w związku przyczynowym, ani nawet w korelacji.
Równoodległe sekwencje liter „wiki” i „Pedia” znalezione w King James Version of Genesis (10: 7-14) - Zjawisko Kodu Biblijnego ma na celu znalezienie nietypowych znaczących grup słów przepowiadających przyszłe wydarzenia, ukrytych w tekście Biblii hebrajskiej, traktowanej jako surowa sekwencja liter bez odstępów i ułożonych w różne siatki o różnych proporcjach. Jednak jako artykuł w Skeptical Inquirer wykazano, że sprowadza się to do generowania ogromnej liczby siatek do zbadania wzorców lub grup poprzez podzielenie pełnego ciągu tekstowego na szerokości od kilku do setek tysięcy liter, powtarzając szerokość dla kolejnych wierszy. Każdą z tych wielu siatek można z kolei dalej przeszukiwać w poszukiwaniu szerokiego zakresu interesujących słów, przeskakując w odstępach, do przodu lub do tyłu, dowolne x liter w tekście (lub x+1, x+2 itd. ), w masywnym produkcie krzyżowym sparametryzowanego możliwości, a powiązanym zbieżnym interesującym słowem może być dowolny pobliski ciąg w dowolnym pominięciu liter x + k lub y + k, do przodu lub do tyłu, tak że objętości permutacyjne stają się ogromne. Tak więc, odkładając na bok powiązane pytania, takie jak błąd potwierdzenia , nawet jeśli w pierwszej siatce nie znaleziono żadnych interesujących lub znaczących grup, następną iterację można wypróbować komputerowo i tak dalej masowo, aż w końcu pojawią się „cudowne” lub „nieprawdopodobne” grupy Na. W efekcie jest to równoznaczne z rozdaniem sobie nieciekawego pokera rękę, kontynuując robienie tego w dowolnych dużych ilościach, aż uzyska się pokera prostego , pokera królewskiego , a nawet wiele takich wydarzeń w sekwencji i wzywając talię natchnioną do umożliwienia takiego wyniku. W ten sposób autor Skeptical Inquirer był w stanie osiągnąć identyczne efekty, po prostu stosując te same algorytmy wyszukiwania zarówno do anglojęzycznego Biblii Króla Jakuba zamiast rzekomo natchnionej przez Boga wersji hebrajskiej, a następnie równie skutecznie do przyziemnego i arbitralnego przykładowego tekstu Biblii. Decyzja Sądu Najwyższego Stanów Zjednoczonych z 1987 r Edwards przeciwko Aguillardowi .
- Komiks XKCD „Significant” stanowi dobry fikcyjny przykład tego problemu .
Zobacz też
- Korekta Bonferroniego
- Pogłębianie danych
- Prawo naprawdę wielkich liczb : przy wystarczająco dużej próbie, każda skandaliczna rzecz może się wydarzyć
- Prawo Littlewooda : każda osoba może spodziewać się „cudu” w tempie około jednego na miesiąc
- Błąd strzelca wyborowego z Teksasu
- Problem z wielokrotnymi porównaniami