Kryterium Chauveneta

W teorii statystycznej kryterium Chauveneta (nazwane na cześć Williama Chauveneta ) jest sposobem oceny, czy jeden fragment danych eksperymentalnych — wartość odstająca — ze zbioru obserwacji może być fałszywy.

Pochodzenie

Ideą kryterium Chauveneta jest znalezienie przedziału prawdopodobieństwa, wyśrodkowanego na średniej rozkładu normalnego , który powinien rozsądnie zawierać wszystkie n próbek zbioru danych. W ten sposób wszelkie punkty danych z n próbek, które leżą poza tym przedziałem prawdopodobieństwa, można uznać za odstające, usunięte ze zbioru danych i można obliczyć nową średnią i odchylenie standardowe na podstawie pozostałych wartości i nowej wielkości próby. $i$ odpowiadają granicom pasma prawdopodobieństwa wokół średniej ( ) porównanie tej wartości wartość bezwzględna różnicy między podejrzanymi wartościami odstającymi a średnią podzieloną przez odchylenie standardowe próby (równanie 1).

${\ Displaystyle D _ {\ operatorname {max}} \ geq {\ Frac {| x - {\ bar {x}} |} {s_ {x}}}}$

 

 

 

 

()

Gdzie

• ${\ Displaystyle D _ {\ operatorname {max}}}$ to maksymalne dopuszczalne odchylenie,
• ${\ Displaystyle |\ cdot |}$ to wartość bezwzględna,
• ${\ displaystyle x}$ to wartość podejrzanej wartości odstającej,
• ${\ Displaystyle {\ bar {x}}}$ jest średnią próbki i
• ${\ displaystyle s_ {x}}$ to odchylenie standardowe próbki.

Aby uznać, że obejmuje wszystkie $w$ próbie, przedział prawdopodobieństwa (wyśrodkowany na średniej) musi uwzględniać tylko ${\ displaystyle n - {\ tfrac {1} {2} }}$ próbek (jeśli ${\ displaystyle n = 3}$ to tylko 2,5 próbek należy uwzględnić w przedziale prawdopodobieństwa). W rzeczywistości nie możemy mieć częściowych próbek, więc (2,5 dla $\ Displaystyle$$n = 3}$ ) wynosi w przybliżeniu $}$ . Wszystko mniej niż ${\ Displaystyle n - {\ tfrac {1} {2}}}$ jest w przybliżeniu ${\ Displaystyle n-1}$ (2 jeśli ${\ Displaystyle n = 3}$ ) i nie jest poprawne $,$ ponieważ chcemy znaleźć przedział prawdopodobieństwa, który $obserwacje$ a próbki $}$ szukamy prawdopodobieństwa , które jest równe próbkom ${\ Displaystyle n - {\ tfrac$${1}$ {2} (Równanie 2).

${\ Displaystyle P = {\ Frac {n- {\ tfrac {1} {2}}} {n}} = 1 - {\ tfrac {1} {2n }}}$

 

 

 

 

()

Gdzie

• jest pasmem prawdopodobieństwa wyśrodkowanym na średniej próbki i. ${\ displaystyle P}$
• ${\ displaystyle n}$ to wielkość próbki.

Wielkość odpowiada połączonemu prawdopodobieństwu reprezentowanemu przez dwa ogony rozkładu normalnego, $które$$poza$ . Aby znaleźć poziom odchylenia standardowego związany z $,$ przeanalizować tylko prawdopodobieństwo jednego z ogonów rozkładu normalnego ze względu na jego symetrię (Równanie 3).

${\ Displaystyle P_ {z} = {\ Frac {1} {4n}}}$

 

 

 

 

()

Gdzie

• ${\ displaystyle P_ {z}}$ jest prawdopodobieństwem reprezentowanym przez jeden ogon rozkładu normalnego i
• ${\ displaystyle n}$ = wielkość próbki.

Równanie 1 jest analogiczne do $4$ ).

${\ Displaystyle Z = {\ Frac {x- \ mu} {\ sigma}}}$

 

 

 

 

()

Gdzie

• ${\ displaystyle Z}$ to wynik ${\ displaystyle Z}$ ,
• ${\ displaystyle x}$ to wartość próbki,
• ${\ displaystyle \ mu = 0}$ jest średnią standardowego rozkładu normalnego i
• ${\ displaystyle \ sigma = 1}$ to odchylenie standardowe standardowego rozkładu normalnego.

Opierając się na równaniu 4, aby znaleźć ${\ Displaystyle Z}$ równanie 1) znaleźć wynik z odpowiadający punktowi Z odpowiadającemu $D _ {\ operatorname {max}}$$Displaystyle$ } - tabela wyników. ${\ Displaystyle D _ {\ operatorname {max}}}$ jest równy wynikowi dla ${\ Displaystyle P_ {z}}$ . $.$ tej metody określić dla dowolnej wielkości W Excelu $4$ znaleźć za pomocą następującego wzoru: =ABS (NORM.S.INV(1/( ) .

Obliczenie

Aby zastosować kryterium Chauveneta, najpierw oblicz średnią i odchylenie standardowe obserwowanych danych. W oparciu o to, jak bardzo podejrzane dane różnią się od średniej, użyj rozkładu normalnego (lub jej tabeli), aby określić prawdopodobieństwo , że dany punkt danych będzie miał wartość podejrzanego punktu danych. Pomnóż to prawdopodobieństwo przez liczbę pobranych punktów danych. Jeśli wynik jest mniejszy niż 0,5, podejrzany punkt danych może zostać odrzucony, tj. odczyt może zostać odrzucony, jeśli prawdopodobieństwo uzyskania określonego odchylenia od średniej jest mniejsze niż 1 2 n {\ displaystyle ${1} 2n}}}$ .

Przykład

Załóżmy na przykład, że wartość jest mierzona eksperymentalnie w kilku próbach jako 9, 10, 10, 10, 11 i 50, a my chcemy dowiedzieć się, czy 50 jest wartością odstającą.

Najpierw znajdujemy ${\ displaystyle P_ {z}}$ .

${\ Displaystyle P_ {z} = 1 - {\ Frac {1} {4n}} = 1 - {\ Frac { 1}{4\times 6}}=1-{\frac {1}{24}}\około 0,9583}$

$funkcję$ znajdujemy podłączając do $_$ _ _

${\ Displaystyle D_ {max} = Q (P_ {z}) \ około 1,7317}$

Następnie znajdujemy z-score równy 50.

${\ Displaystyle Z = {\ Frac {50- {\ bar {x}}} {s_ {x}}} = {\ Frac {50-16,67} {16,34}}\około 2,04}$

Stamtąd widzimy, że ${\ displaystyle z> D_ {max}}$ i możemy wywnioskować, że 50 jest wartością odstającą zgodnie z kryterium Chauveneta.

Kryterium Peirce'a

Inną metodą eliminacji fałszywych danych jest kryterium Peirce'a . Został opracowany kilka lat przed opublikowaniem kryterium Chauveneta i jest bardziej rygorystycznym podejściem do racjonalnego usuwania danych odstających. Inne metody, takie jak test Grubbsa dla wartości odstających, są wymienione pod listą wartości Outlier .

Krytyka

Usuwanie danych odstających to kontrowersyjna praktyka, na którą wielu naukowców i wykładowców przedmiotów ścisłych patrzy z dezaprobatą; chociaż kryterium Chauveneta zapewnia obiektywną i ilościową metodę odrzucania danych, nie sprawia, że ​​​​praktyka jest bardziej uzasadniona naukowo lub metodologicznie, zwłaszcza w małych zbiorach lub tam, gdzie nie można założyć rozkładu normalnego . Odrzucenie wartości odstających jest bardziej akceptowalne w obszarach praktyki, w których model leżący u podstaw mierzonego procesu i zwykły rozkład błędu pomiaru są z pewnością znane.

Bibliografia

• Taylor, John R. Wprowadzenie do analizy błędów . 2. wydanie. Sausalito, Kalifornia: University Science Books, 1997. s. 166–8.
•   Barnett, Vic i Lewis, Toby. „Wartości odstające w danych statystycznych”. 3. edycja. Chichester: J.Wiley and Sons, 1994. ISBN 0-471-93094-6 .
• Aicha Zerbet, Michaił Nikulin. Nowe statystyki do wykrywania wartości odstających w przypadku wykładniczym, Communications in Statistics: Theory and Methods, 2003, t. 32, s. 573–584.