Dystans Cooka

W statystyce odległość Cooka lub D Cooka jest powszechnie używanym oszacowaniem wpływu punktu danych podczas przeprowadzania analizy regresji metodą najmniejszych kwadratów . W praktycznej zwykłej analizie metodą najmniejszych kwadratów odległość Cooka może być wykorzystana na kilka sposobów: do wskazania wpływowych punktów danych, które szczególnie warto sprawdzić pod kątem ważności; lub wskazać obszary przestrzeni projektowej, w których dobrze byłoby uzyskać więcej punktów danych. Jej nazwa pochodzi od amerykańskiego statystyka R. Dennisa Cooka , który wprowadził tę koncepcję w 1977 roku.

Definicja

Punkty danych z dużymi wartościami resztowymi ( odstającymi ) i/lub wysoką dźwignią mogą zniekształcić wynik i dokładność regresji. Odległość Cooka mierzy efekt usunięcia danej obserwacji. Uważa się, że punkty o dużej odległości Cooka zasługują na dokładniejsze zbadanie w analizie.

Dla wyrażenia algebraicznego najpierw zdefiniuj

${\ Displaystyle {\ underset {n \ razy 1} {\ mathbf {y}}} = {\ underset {n \ razy p} {\ mathbf {X}}}\quad {\underset {p\times 1}{\boldsymbol {\beta}}}\quad +\quad {\underset {n\times 1}{\boldsymbol {\varepsilon}}}}$

gdzie ${\ Displaystyle {\ boldsymbol {\ varepsilon}} \ sim {\ mathcal {N}} \ lewo (0, \ sigma ^ {2} \ mathbf {I} \ prawej)}$ jest terminem błędu , ${\ Displaystyle {\ boldsymbol {\ beta}} = \ lewo [\ beta _ {0} \, \ beta _ {1} \ kropki \ beta _ {p-1} \ prawej] ^ {\ mathsf {T}}}$ to macierz współczynników, to liczba współzmiennych lub predyktorów dla każdej obserwacji, a $p$$\ displaystyle \ mathbf {X$ to macierz projektu zawierająca stałą. Estymator najmniejszych kwadratów to ${\ Displaystyle \ mathbf {b} = \ lewo (\ mathbf {X} ^ {\ mathsf {T}} \ mathbf {X} \ right ) ^ {- 1} \ mathbf {X} ^ {\ mathsf {T}} \ mathbf {y}} ,$ aw konsekwencji dopasowane (przewidywane) wartości średniej z ${\ Displaystyle \ mathbf {y}}$

${\ Displaystyle \ mathbf {\ widehat {y}} = \ mathbf {X} \ mathbf {b} = \ mathbf {X} \ left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y} =\mathbf { H} \mathbf {y} }$

gdzie ${\ Displaystyle \ mathbf {H} \ równoważnik \ mathbf {X} (\ mathbf {X} ^ {\ mathsf {T}} \ mathbf {X}) ^ { -1}\mathbf {X} ^{\mathsf {T}}}$ to macierz projekcji (lub macierz kapelusza). Ja ${\ Displaystyle i}$${\ Displaystyle h_ {ii} \equiv \mathbf {x} _{i}^{\mathsf {T}}(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {x} _ {i}} ,$ element przekątnej $\,}$ , dany przez $-tej$ znany jako dźwignia obserwacji . Podobnie ${\ Displaystyle i}$ -ty element wektora resztkowego ${\ Displaystyle \ mathbf {e} = \ mathbf {y} - \ mathbf {\ widehat { y \,}} = \ lewo (\ mathbf {I} - \ mathbf {H} \ prawej) \ mathbf {y}}$ jest oznaczony przez ${\ displaystyle e_ {i}}$ .

$obserwacji$ Cooka ${\ Displaystyle i \; ({\ tekst {dla}} i = 1, \ kropki,$ n } zdefiniowane jako suma wszystkich zmian w modelu regresji po usunięciu z niego obserwacji ${\ displaystyle i}$

${\ Displaystyle D_ {i} = {\ Frac {\ suma _ {j = 1} ^ {n} \ lewo ({\widehat {y\,}}_{j}-{\widehat {y\,}}_{j(i)}\right)^{2}}{ps^{2}}}}$

gdzie $_$ dopasowaną ${\ Displaystyle s ^ {2} = {\ Frac {\ mathbf {e} ^ {\ top} \ mathbf {e} }{np}}} to błąd średniokwadratowy$ odpowiedzi $mi$ modelu regresji .

Równoważnie można to wyrazić za pomocą dźwigni ( ${\ displaystyle h_ {ii}}$ ):

${\ Displaystyle D_ {i} = {\ Frac {e_ {i} ^ {2}} {ps ^ {2}}} \ lewo [{\ Frac {h_ {ii}} {(1-h_ {ii}) ^{2}}}\prawo].}$

Wykrywanie bardzo wpływowych obserwacji

Istnieją różne opinie na temat tego, jakich wartości odcięcia należy użyć do wykrywania punktów o dużym wpływie . Ponieważ odległość Cooka $}$ metryką rozkładu F z i ( $\ displaystyle$ definicją dla macierzy projektu powyżej) stopniami swobody, $p$ punkt środkowy $być$ punkt $Ponieważ$$ta$ bliska 1 dla dużych , zasugerowano operacyjną Należy zauważyć, że miara odległości Cooka nie zawsze poprawnie identyfikuje wpływowe obserwacje.

Związek z innymi miarami wpływu (i interpretacja)

$i}}$$\$ { można wyrazić za pomocą dźwigni ${\ Displaystyle 0 \ równoważnik t_ {i} ^ {2}}$ i wewnętrznie studenckiej ), jak następuje:

${\ Displaystyle {\ rozpocząć {wyrównane} D_ {i} & = {\ Frac {e_ {i} ^ {2}} {ps ^ {2}}} \ lewo [{\ Frac {h_ {ii}} {( 1-h_{ii})^{2}}}\right]={\frac {1}{p}}{\frac {e_{i}^{2}}{{1 \over np}\sum _ {j=1}^{n}{\widehat {\varepsilon \,}}_{j}^{\,2}(1-h_{ii})}}\left[{\frac {h_{ii} }{1-h_{ii}}}\right]\\&=\left[{\frac {1}{p}}\right]t_{i}^{2}{\frac {h_{ii}} {1-h_{ii}}}.\end{wyrównane}}}$

Zaletą ostatniego sformułowania jest to, że wyraźnie pokazuje związek między i $}}$$}$$2$${2}}$ ^ (podczas gdy p i n są takie same dla wszystkich obserwacji). Jeśli $^$${2}} }$ to (dla wartości innych niż ekstremalne $\ displaystyle t_ {i}$ wzrośnie . ${\ displaystyle h_ {ii}}$ ja jest bliski 0, to $będzie$${\ displaystyle D_ {i}}$ a jeśli jest bliski 1, to $ii}}$ stanie się bardzo duży (o ile ${\ displaystyle t_ {i} ^ {2}> 0}$ , tj. że obserwacja nie jest dokładnie ${\ displaystyle i}$ na linii regresji, która została dopasowana bez obserwacji ${\ displaystyle i}$ ).

${\ Displaystyle D_ {i}}$ jest powiązany z DFFITS poprzez następujący związek (zauważ, że ${\ Displaystyle {{\ widehat {\ sigma}} \ ponad {\ widehat {\ sigma}} _ {(i)}} t_ {i} = t_ {i (i)}} jest$ zewnętrzną studentyzowaną resztą i ${\ Displaystyle {\ widehat { \sigma }},{\widehat {\sigma }}_ {(i)}}$ są zdefiniowane tutaj ):

${\ displaystyle {\begin{wyrównane}D_{i}&=\lewo[{\frac {1}{p}}\prawo]t_{i}^{2}{\frac {h_{ii}}{1-h_ {ii}}}\\&=\left[{\frac {1}{p}}\right]{{\widehat {\sigma }}_{(i)}^{2} \over {\widehat { \sigma }}^{2}}{{\widehat {\sigma}}^{2} \over {\widehat {\sigma}}_{(i)}^{2}}t_{i}^{2 }{\frac {h_{ii}}{1-h_{ii}}}=\left[{\frac {1}{p}}\right]{{\widehat {\sigma}}_{(i) }^{2} \over {\widehat {\sigma }}^{2}}\left(t_{i(i)}{\sqrt {\frac {h_{ii}}{1-h_{ii}} }}\right)^{2}\\&=\left[{\frac {1}{p}}\right]{{\widehat {\sigma }}_{(i)}^{2} \over {\widehat {\sigma}}^{2}}{\text{DFFITS}}^{2}\end{wyrównane}}}$

$,$ która reprezentuje obszar prawdopodobnych wartości parametrów. Pokazuje to alternatywna, ale równoważna reprezentacja odległości Cooka pod względem zmian oszacowań parametrów regresji między przypadkami, w których dana obserwacja jest albo uwzględniona, albo wyłączona z analizy regresji.

Zaproponowano alternatywę dla ${\ displaystyle D_ {i}}$ Zamiast rozważać wpływ pojedynczej obserwacji na ogólny model, statystyki $-tej$ jako miara tego, jak czułe jest przewidywanie $na$ usunięcie każdej obserwacji w oryginalnym zbiorze danych. Można go sformułować jako ważoną liniową kombinację $wszystkich$ . Ponownie macierz projekcji jest zaangażowana w obliczenia w celu uzyskania wymaganych wag:

${\ Displaystyle {\ rozpocząć {wyrównane} S_ {i} = {\ Frac {\ suma _ {j = 1} ^ {n} \ lewo ({\ widehat {y}} _{i}-{{\widehat {y}}_{i}}_{\left(j\right)}\right)^{2}}{ps^{2}h_{ii}}}=\ suma _{j=1}^{n}{\frac {h_{ij}^{2}\cdot D_{j}}{h_{ii}\cdot h_{jj}}}=\suma _{j= 1}^{n}\rho _{ij}^{2}\cdot D_{j}\end{wyrównane}}}$

${\ Displaystyle \ rho _ {ij}}$ jot ( ) przypomina korelację między przewidywaniami ${i}}$$Displaystyle$$\ widehat {y \}}$ i ${\ Displaystyle {\ widehat {y \}} _ {j}}$ . W przeciwieństwie do $predyktorami$ rozkład $jest asymptotycznie$ dla dużych próbek i modeli z W przypadku $braku$$w$ wynosi . Wpływową obserwację można zidentyfikować, jeśli

${\ Displaystyle {\ rozpocząć {wyrównane} \ lewo | S_ {i} -med \ lewo (S \ prawo) \ prawo | \ geq 4,5 \ cdot MAD \ lewo (S \ prawo) \end{wyrównane}}}$

m ${\ Displaystyle med \ lewo (S \ prawej)}$ jako mediana i jako mediana bezwzględnego odchylenia wszystkich ${\ Displaystyle MAD \ lewo (S \ po$$} \ displaystyle S}$ -wartości w oryginalnym zbiorze danych, tj. solidna miara lokalizacji i solidna miara skali dla rozkładu ${\ displaystyle S_ {i}}$ . Współczynnik 4,5 obejmuje ok. 3 odchylenia standardowe wokół $środka$ . W porównaniu z dystansem Cooka, okazało się, że dobrze radzi sobie z wartościami odstającymi o wysokim i średnim lewarowaniu, nawet w obecności $,$$zawiodło$ . ${$ ciekawe, i są $}}$ \ $displaystyle$ \ skutki usunięcia $displaystyle$ punktu danych na -tej prognozie: $i}$

${\ Displaystyle {\ rozpocząć {wyrównane} \ mathbf {T} = \ lewo [{\ rozpocząć {macierz} {\ widehat {y}} _ {1} - {{\ widehat {y }}_{1}}_{\left(1\right)}&{\widehat {y}}_{1}-{{\widehat {y}}_{1}}_{\left(2\ prawo)}&{\widehat {y}}_{1}-{{\widehat {y}}_{1}}_{\left(3\right)}&\cdots &{\widehat {y}} _{1}-{{\widehat {y}}_{1}}_{\left(n-1\right)}&{\widehat {y}}_{1}-{{\widehat {y} }_{1}}_{\left(n\right)}\\{\widehat {y}}_{2}-{{\widehat {y}}_{2}}_{\left(1\ prawo)}&{\widehat {y}}_{2}-{{\widehat {y}}_{2}}_{\left(2\right)}&{\widehat {y}}_{2 }-{{\widehat {y}}_{2}}_{\left(3\right)}&\cdots &{\widehat {y}}_{2}-{{\widehat {y}}_ {2}}_{\left(n-1\right)}&{\widehat {y}}_{2}-{{\widehat {y}}_{2}}_{\left(n\right) )}\\\vdots &\vdots &\vdots &\ddots &\vdots &\vdots \\{\widehat {y}}_{n-1}-{{\widehat {y}}_{n-1 }}_{\left(1\right)}&{\widehat {y}}_{n-1}-{{\widehat {y}}_{n-1}}_{\left(2\right) )}&{\widehat {y}}_{n-1}-{{\widehat {y}}_{n-1}}_{\left(3\right)}&\cdots &{\widehat { y}}_{n-1}-{{\widehat {y}}_{n-1}}_{\left(n-1\right)}&{\widehat {y}}_{n-1 }-{{\widehat {y}}_{n-1}}_{\left(n\right)}\\{\widehat {y}}_{n}-{{\widehat {y}}_ {n}}_{\left(1\right)}&{\widehat {y}}_{n}-{{\widehat {y}}_{n}}_{\left(2\right)} &{\widehat {y}}_{n}-{{\widehat {y}}_{n}}_{\left(3\right)}&\cdots &{\widehat {y}}_{n }-{{\widehat {y}}_{n}}_{\left(n-1\right)}&{\widehat {y}}_{n}-{{\widehat {y}}_{ n}}_{\left(n\right)}\end{macierz}}\right]=\mathbf {H} \mathbf {E} \mathbf {G} =\mathbf {H} \left[{\begin {macierz}e_{1}&0&0&\cdots &0&0\\0&e_{2}&0&\cdots &0&0\\\vdots &\vdots &\vdots &\ddots &\vdots &\vdots \\0&0&0&\cdots &e_{n-1 }&0\\0&0&0&\cdots &0&e_{n}\end{matrix}}\right]\left[{\begin{matrix}{\frac {1}{1-h_{11}}}&0&0&\cdots &0&0\\ 0&{\frac {1}{1-h_{22}}}&0&\cdots &0&0\\\vdots &\vdots &\vdots &\ddots &\vdots &\vdots \\0&0&0&\cdots &{\frac {1 }{1-h_{n-1n-1}}}&0\\0&0&0&\cdots &0&{\frac {1}{1-h_{nn}}}\end{macierz}}\right]\end{wyrównane} }}$

Mając pod ręką, ${\ displaystyle \ mathbf {D}}$ jest podane przez: ${\ displaystyle \ mathbf {T}}$

${\ Displaystyle {\ rozpocząć {wyrównane} \ mathbf {D} = \ lewo [{\ rozpocząć {macierz} D_ {1} \\ D_ {2} \\\ vdots \\ D_ {n-1 }\\D_{n}\end{matrix}}\right]={\frac {1}{ps^{2}}}diag\left(\mathbf {T} ^{\mathsf {T}}\mathbf {T} \right)={\frac {1}{ps^{2}}}diag\left(\mathbf {G} \mathbf {E} \mathbf {H} ^{\mathsf {T}}\mathbf {H} \mathbf {E} \mathbf {G} \right)=diag\left(\mathbf {M} \right)\end{wyrównane}}}$

gdzie ${\ Displaystyle \ mathbf {H} ^ {\ mathsf {T}} \ mathbf {H} = \ mathbf {H}},$ jeśli ${\ Displaystyle \ mathbf {H}}$ jest symetryczny i idempotentny , co niekoniecznie musi mieć miejsce . W przeciwieństwie do tego, można obliczyć jako: ${\ displaystyle \ mathbf {S}}$

${\ Displaystyle {\ rozpocząć {wyrównane} \ mathbf {S} = \ lewo [{\ rozpocząć {macierz} S_ {1} \\ S_ {2} \\\ vdots \\ S_ {n-1} \\ S_{n}\end{matrix}}\right]={\frac {1}{ps^{2}}}\mathbf {F} diag\left(\mathbf {T} \mathbf {T} ^{\ mathsf {T}}\right)={\frac {1}{ps^{2}}}\left[{\begin{matrix}{\frac {1}{h_{11}}}&0&0&\cdots &0&0\ \0&{\frac {1}{h_{22}}}&0&\cdots &0&0\\\vdots &\vdots &\vdots &\ddots &\vdots &\vdots \\0&0&0&\cdots &{\frac {1} {h_{n-1n-1}}}&0\\0&0&0&\cdots &0&{\frac {1}{h_{nn}}}\end{matrix}}\right]diag\left(\mathbf {T} \ mathbf {T} ^{\mathsf {T}}\right)={\frac {1}{ps^{2}}}\mathbf {F} diag\left(\mathbf {H} \mathbf {E} \ mathbf {G} \mathbf {G} \mathbf {E} \mathbf {H} ^{\mathsf {T}}\right)=\mathbf {F} diag\left(\mathbf {P} \right)\end {wyrównany}}}$

gdzie $\ Displaystyle diag \ lewo (\ mathbf {A} \ prawej)}$ wyodrębnia główną przekątną kwadratowej macierzy ${\ Displaystyle \ mathbf {A}}$ . W tym kontekście ${\ Displaystyle \ mathbf {M} = p ^ {-1} s ^ {- 2} \ mathbf {G} \ mathbf {E$ wpływu, podczas gdy ${\ Displaystyle \ mathbf {P} = p ^ {-1} s ^ {-2} \ mathbf {H} \ mathbf {E} \ mathbf {G} \ mathbf {G} \ mathbf {E} \ mathbf {H} ^{\mathsf {T}}}$ przypomina tak zwaną macierz czułości. Analiza wektorów własnych $i$ - które mają te same wartości własne - służy jako narzędzie do wykrywania wartości odstających, chociaż wektory własne macierzy czułości są bardziej M {\ $\ mathbf {M$ } potężny.

Implementacje oprogramowania

Wiele programów i pakietów statystycznych, takich jak R , Python itp., zawiera implementacje odległości Cooka.

Język/Program	Funkcjonować	Notatki
R	kucharze.odległość(model, ...)	Zobacz [1]
Pyton	CooksDistance().fit(X, y)	Zobacz [2]

Rozszerzenia

Wysokowymiarowa miara wpływu (HIM) jest alternatywą dla odległości Cooka, gdy $)$ . Gdy jest więcej predyktorów niż obserwacji Podczas gdy odległość Cooka określa ilościowo wpływ indywidualnej obserwacji na oszacowanie współczynnika regresji metodą najmniejszych kwadratów, HIM mierzy wpływ obserwacji na korelacje krańcowe.

Zobacz też

• Odstający
• Dźwignia (statystyki)
• Częściowa dźwignia finansowa
• DFFITY
• Pozostałość studencka

Dalsza lektura

•   Atkinson, Anthony; Riani, Marco (2000). „Diagnostyka usuwania” . Solidna diagnostyka i analiza regresji . Nowy Jork: Springer. s. 22–25. ISBN 0-387-95017-6 .
•   Heiberger, Richard M.; Holandia, Burt (2013). „Statystyki przypadków” . Analiza statystyczna i wyświetlanie danych . Springer Science & Business Media. s. 312–27. ISBN 9781475742848 .
•   Krasker, William S.; Kuh, Edwin ; Welsch, Roy E. (1983). „Oszacowanie brudnych danych i wadliwych modeli”. Podręcznik ekonometrii . Tom. 1. Elsevier. s. 651–698. doi : 10.1016/S1573-4412(83)01015-6 . ISBN 9780444861856 .
•   Aguinis, Herman; Gottfredson, Ryan K.; Joo, Harry (2013). „Zalecenia dotyczące najlepszych praktyk w zakresie definiowania identyfikowania i obsługi wartości odstających” . Organizacyjne metody badawcze . Szałwia. 16 (2): 270–301. doi : 10.1177/1094428112470848 . S2CID 54916947 . Źródło 4 grudnia 2015 r .