Ważność wniosków statystycznych
Trafność wniosków statystycznych to stopień, w jakim wnioski dotyczące związku między zmiennymi oparte na danych są poprawne lub „rozsądne”. Zaczęło się od tego, że chodziło wyłącznie o to, czy wniosek statystyczny dotyczący związku zmiennych był prawidłowy, ale teraz następuje ruch w kierunku przejścia do „rozsądnych” wniosków, które wykorzystują: dane ilościowe, statystyczne i jakościowe. Zasadniczo mogą wystąpić dwa rodzaje błędów: typ I (znalezienie różnicy lub korelacji, gdy ich nie ma) i typ II (nie znajdując żadnej różnicy ani korelacji, jeśli taka istnieje). Trafność wniosków statystycznych dotyczy tych cech badania, które sprawiają, że tego typu błędy są bardziej prawdopodobne. Trafność wniosków statystycznych obejmuje zapewnienie stosowania odpowiednich procedur doboru próby, odpowiednich testów statystycznych i rzetelnych procedur pomiarowych.
Wspólne zagrożenia
Najczęstszymi zagrożeniami dla trafności wniosków statystycznych są:
Niska moc statystyczna
Moc to prawdopodobieństwo prawidłowego odrzucenia hipotezy zerowej , gdy jest ona fałszywa (odwrotność poziomu błędu II rodzaju). Eksperymenty z małą mocą mają większe prawdopodobieństwo błędnego przyjęcia hipotezy zerowej, to znaczy popełnienia błędu II rodzaju i wyciągnięcia wniosku, że nie ma skutku, podczas gdy w rzeczywistości istnieje (tj. istnieje rzeczywista współzmienność między przyczyną a skutkiem). Niska moc występuje, gdy wielkość próby w badaniu jest zbyt mała, biorąc pod uwagę inne czynniki (mała wielkość efektu , duża zmienność grupowa, niewiarygodne pomiary itp.).
Naruszone założenia statystyki testowej
Większość testów statystycznych (zwłaszcza statystyki wnioskowania ) obejmuje założenia dotyczące danych, które sprawiają, że analiza jest odpowiednia do testowania hipotezy . Naruszenie założeń testów statystycznych może prowadzić do błędnych wniosków na temat związku przyczynowo-skutkowego. Odporność testu wskazuje, jak bardzo jest wrażliwy na naruszenia . Naruszenie założeń może sprawić, że testy będą mniej lub bardziej podatne na popełnianie błędów I lub II rodzaju .
Pogłębianie i problem wskaźnika błędów
Każdy test hipotezy wiąże się z ustalonym ryzykiem popełnienia błędu I rodzaju (współczynnik alfa). Jeśli badacz przeszukuje lub „ pogłębia ” swoje dane, testując wiele różnych hipotez, aby znaleźć znaczący efekt, zawyża swój poziom błędu pierwszego rodzaju. Im częściej badacz wielokrotnie testuje dane, tym większa szansa zaobserwowania błędu I rodzaju i wyciągnięcia błędnego wniosku o istnieniu związku.
Nierzetelność środków
Jeśli zmienna zależna i/lub niezależna nie są mierzone w sposób rzetelny (tj. z dużym błędem pomiaru ), można wyciągnąć błędne wnioski.
Ograniczenie zasięgu
Ograniczenie zasięgu, takie jak efekty podłogi i sufitu lub efekty selekcji , zmniejszają moc eksperymentu i zwiększają prawdopodobieństwo popełnienia błędu II rodzaju. Dzieje się tak, ponieważ korelacje są osłabiane (osłabiane) przez zmniejszoną zmienność (patrz na przykład równanie współczynnika korelacji iloczynu Pearsona , które wykorzystuje wariancję wyniku do oszacowania).
Heterogeniczność badanych jednostek
Większa heterogeniczność osób biorących udział w badaniu może również wpływać na interpretację wyników poprzez zwiększenie wariancji wyników lub zaciemnienie prawdziwych zależności (patrz także błąd próbkowania ). To przesłania możliwe interakcje między cechami jednostek i związkiem przyczynowo-skutkowym.
Zagrożenia dla ważności wewnętrznej
Każdy efekt, który może wpłynąć na wewnętrzną ważność badania naukowego, może zniekształcić wyniki i wpłynąć na ważność wyciągniętych wniosków statystycznych. Te zagrożenia dla trafności wewnętrznej obejmują nierzetelność wdrożenia leczenia (brak standaryzacji ) lub brak kontroli zewnętrznych zmiennych .