Ponowne próbkowanie scyzoryka

W statystyce scyzoryk (walidacja krzyżowa scyzoryka) jest techniką walidacji krzyżowej , a zatem formą ponownego próbkowania . Jest to szczególnie przydatne do obciążenia i wariancji . Jackknife poprzedza inne popularne metody ponownego próbkowania, takie jak bootstrap . Biorąc pod uwagę próbkę o rozmiarze $rozmiarze$ estymator scyzoryka można zbudować, agregując oszacowania parametrów z każdej podpróbki o ${\ displaystyle (n-1)}$ uzyskane przez pominięcie jednej obserwacji.

Technika scyzoryka została opracowana przez Maurice'a Quenouille'a (1924–1973) od 1949 r. I udoskonalona w 1956 r. John Tukey rozwinął tę technikę w 1958 r. I zaproponował nazwę „scyzoryk”, ponieważ podobnie jak fizyczny scyzoryk (kompaktowy nóż składany), jest to zgrubne i gotowe narzędzie, które może zaimprowizować rozwiązanie różnych problemów, nawet jeśli konkretne problemy można skuteczniej rozwiązać za pomocą specjalnie zaprojektowanego narzędzia.

Nóż pneumatyczny jest liniowym przybliżeniem metody bootstrap .

Prosty przykład: średnie oszacowanie

Estymator parametru typu scyzoryk znajduje się poprzez systematyczne pomijanie każdej obserwacji ze zbioru danych i obliczanie oszacowania parametru na podstawie pozostałych obserwacji, a następnie agregowanie tych obliczeń.

Na przykład, jeśli parametrem do oszacowania jest średnia populacji zmiennej losowej $to$ dla danego zestawu obserwacji iid ${\ Displaystyle x_ {1}, ..., x_ {n}}$ średnia próbki:

${\ Displaystyle {\ bar {x}} = {\ Frac {1} {n}} \ suma _ {i =1}^{n}x_{i}={\frac {1}{n}}\suma _{i\in [n]}x_{i},}$

gdzie ostatnia suma użyła innego sposobu wskazania, że ​​​​indeks $[$ przez zbiór $[n] = \ {1, \ ldots, n \} }$ .

Następnie postępujemy w następujący sposób: Dla każdego obliczamy średnią $x$$}$ podpróbka scyzoryka składająca się ze wszystkich oprócz $}$ punktu danych i nazywa się to -tą repliką scyzoryka: ${\ displaystyle i$

${\ Displaystyle {\ bar {x}} _ {(i)} = {\ Frac {1} {n-1}} \ suma _ {j \ w [n], j \ neq i} x_ {j}, \quad \quad i=1,\kropki ,n.}$

Pomocne może być myślenie, że te $}$ replikują $n)}} daje$$, \ ldots, {\ bar {x}} _ {$$.$ przybliżenie rozkładu średniej próbki i im większe, $przybliżenie$ lepsze to będzie. W końcu, aby uzyskać estymator scyzoryka, bierzemy średnią z nich ${\ displaystyle n}$ replikuje scyzoryk:

${\ Displaystyle {\ bar {x}} _ {\ operatorname {jack}} = {\ Frac {1} {n}} \ suma _ {i = 1} ^ {n} {\ bar {x}} _ { (I)}.}$

Można zapytać o stronniczość i wariancję ${\ Displaystyle {\ bar {x}} _ {\ operatorname {jack}}}$ . Z definicji $\ bar {x}} _ {\ operatorname {jack}}}$ powtórzeń scyzoryka można spróbować obliczyć jawnie, a odchylenie jest trywialnym obliczeniem ale wariancja ${\ Displaystyle {\ bar {x}} _ {\ operatorname {jack}}}$ jest bardziej zaangażowany, ponieważ repliki scyzoryka nie są niezależne.

W szczególnym przypadku średniej można wyraźnie pokazać, że oszacowanie scyzoryka jest równe zwykłemu oszacowaniu:

${\ Displaystyle {\ Frac {1} {n}} \ suma _ {i = 1} ^ {n} {\ bar {x}} _ {(i)} = {\ bar {x}}.}$

To ustala tożsamość $\ Displaystyle {\ bar {x}} _ {\ operatorname {jack}} = {\ bar {x}}}$ . Następnie biorąc pod uwagę oczekiwania, mi $}}] = E [{{ \bar {x}}]=E[x]}$ , więc ${\ Displaystyle {\ bar {x}} _ {\ operatorname {jack}}} jest$${\ Displaystyle V [{\ bar {x}} _ {\ operatorname {jack}}] = V [{\ bar {x}}] = V [x] / n}$ , biorąc wariancję, otrzymujemy . Jednak te właściwości na ogół nie obowiązują dla innych parametrów niż średnia.

Ten prosty przykład dla przypadku estymacji średniej ma jedynie zilustrować konstrukcję estymatora scyzoryka, podczas gdy prawdziwe subtelności (i użyteczność) wyłaniają się w przypadku estymacji innych parametrów, takich jak momenty wyższe od średniej lub inne funkcjonały dystrybucja.

Zauważ, że można $operatorname {jack}}}$ do skonstruowania empirycznego oszacowania odchylenia $k {\ Displaystyle {\ bar {x$ mianowicie ${\ Displaystyle {\ widehat {\ nazwa operatora {odchylenie}}} ({\ bar {x}}) _ {\ operatorname {jack}} = c ({\ bar {x}} _ {\ operatorname {jack}} - {\ bar {x}}}}$ z pewnym odpowiednim współczynnikiem ${\ displaystyle c> 0} , chociaż w$${\ Displaystyle {\ bar {x}} _ {\mathrm {jack} }={\bar {x}}}$ przypadku wiemy, że , więc ta konstrukcja nie dodaje żadnej znaczącej wiedzy, ale uspokajające jest odnotowanie, że daje prawidłowe oszacowanie obciążenia (które wynosi zero).

Oszacowanie wariancji scyzoryka $}}$ obliczyć na podstawie wariancji powtórzeń scyzoryka $i$${\ Displaystyle {\ bar {x}} _ {($ :

${\ Displaystyle {\ widehat {\ nazwa operatora {var}}} ({\ bar {x}}) _ {\ operatorname {jack}} = {\ Frac {n-1} {n}} \ suma _ {i = 1}^{n}({\bar {x}}_{(i)}-{\bar {x}}_{\mathrm {jack}})^{2}={\frac {1}{n (n-1)}}\suma _{i=1}^{n}(x_{i}-{\bar {x}})^{2}.}$

Lewa równość definiuje estymator $\ Displaystyle {\ widehat {\ nazwa operatora {var}}} ({\ bar {x}}) _ {\ operatorname {jack}}$ } słuszna równość to tożsamość, którą można bezpośrednio zweryfikować. Następnie biorąc oczekiwania, otrzymujemy ${\ Displaystyle E [{\ widehat {\ nazwa operatora {var}}} ({\ bar {x}}) _ {\ operatorname {jack}}] = V [x] / n = V [{\ bar {x}}]}$ , więc jest to nieobciążony estymator wariancji ${\ displaystyle {\ bar {x}}}$ .

Szacowanie obciążenia estymatora

Technika scyzoryka może być wykorzystana do oszacowania (i skorygowania) odchylenia estymatora obliczonego dla całej próbki.

Załóżmy $, że$$parametrem$ będącym przedmiotem zainteresowania jest pewien funkcjonał . Na podstawie skończonego zbioru obserwacji ${\ Displaystyle x_ {1}, ..., x_ {n}}$ co zakłada się, że składa się z iid kopii estymatora ${\ Displaystyle x}$ , estymator ${\ Displaystyle {\ hat {\ theta }}}$ jest skonstruowany:

${\ Displaystyle {\ kapelusz {\ teta}} = f_ {n} (x_ {1}, \ ldots, x_ {n}).}$

Wartość zależy od $drugą$ , więc ta wartość będzie się zmieniać z jednej losowej próbki na

Z definicji odchylenie jest następujące: ${\ Displaystyle {\ hat {\ theta}}}$

${\ Displaystyle {\ tekst {odchylenie}} ({\ kapelusz {\ teta}}) = E [{\ kapelusz {\ teta}}] - \ teta.}$

Można chcieć obliczyć kilka wartości z $próbek$ i uśrednić je, aby obliczyć przybliżenie empiryczne mi $displaystyle E [{\ hat { \theta }}]}$ , ale jest to niemożliwe, gdy nie ma „innych próbek”, gdy cały zbiór dostępnych obserwacji $}$ został użyty do obliczenia ${\ Displaystyle {\ kapelusz {\ theta}}}$ . W takiej sytuacji pomocna może być technika ponownego próbkowania scyzoryka.

Konstruujemy repliki scyzoryka:

${\ Displaystyle {\ kapelusz {\ teta}} _ {(1)} = f_ {n-1} (x_ {2} ,x_{3}\ldots ,x_{n})}$

${\ Displaystyle {\ kapelusz {\ theta}} _ {(2)} = f_ {n-1} (x_ {1}, x_ {3}, \ ldots, x_ {n})} ⋮ {\ Displaystyle$

$vdots }$

${\ Displaystyle {\ kapelusz {\ teta}} _ {(n)} = f_ {n-1} ( x_{1},x_{2},\ldkropki,x_{n-1})}$

gdzie każde powtórzenie jest oszacowaniem typu „pomiń jedno” na podstawie podpróby scyzoryka składającej się ze wszystkich punktów danych z wyjątkiem jednego:

${\ Displaystyle {\ kapelusz {\ teta}} _ {(i)} = f_ {n-1} (x_ {1}, \ ldots, x_ {i-1}, x_ {i + 1}, \ ldots, x_{n})\quad \quad i=1,\kropki ,n.}$

Następnie określamy ich średnią:

$\ Displaystyle {\ kapelusz {\ teta}} _ {\ operatorname {jack}} = {\ Frac {1} {n}} \ suma _{i=1}^{n}{\kapelusz {\theta}}_{(i)}}$

Oszacowanie odchylenia scyzorykiem jest podane przez: ${\ Displaystyle {\ hat {\ theta}}}$

${\ Displaystyle {\ widehat {\ tekst {odchylenie}}} ({\ kapelusz {\ teta}} )_ {\mathrm {wallet}}=(n-1)({\kapelusz {\theta}}_{\mathrm {wallet}}-{\kapelusz {\theta}})}$

a wynikowe oszacowanie scyzoryka z korekcją odchylenia jest podane przez: ${\ displaystyle \ theta}$

${\ Displaystyle {\ kapelusz {\ teta}} _ {\ tekst {jack}} ^ {*} = {\ kapelusz {\ teta}} - {\ widehat {\ tekst {odchylenie}}} ({\ kapelusz {\ theta }}) _ {\ operatorname {wallet}} = n {\ kapelusz {\ theta}} - (n-1) {\ kapelusz {\ theta}} _ {\ operatorname {jack}}.}$

Usuwa to odchylenie w szczególnym przypadku, gdy odchylenie wynosi ${\ Displaystyle O (n ^ {- 1})}$ i zmniejsza je do ${\ Displaystyle O (n ^ {- 2})}$ w innych przypadkach.

Szacowanie wariancji estymatora

Technikę scyzoryka można również wykorzystać do oszacowania wariancji estymatora obliczonego na całej próbie.

Zobacz też

• Pomiń jeden błąd

Literatura

• Berger, YG (2007). „Estymator wariancji scyzoryka dla jednoetapowych warstwowych próbek o nierównych prawdopodobieństwach”. Biometria . 94 (4): 953–964. doi : 10.1093/biomet/asm072 .
• Berger, YG; Rao, JNK (2006). „Skorygowany scyzoryk do przypisania przy próbkowaniu z nierównym prawdopodobieństwem bez wymiany”. Dziennik Królewskiego Towarzystwa Statystycznego, seria B. 68 (3): 531–547. doi : 10.1111/j.1467-9868.2006.00555.x .
• Berger, YG; Skinner, CJ (2005). „Estymator wariancji scyzoryka do próbkowania o nierównym prawdopodobieństwie”. Dziennik Królewskiego Towarzystwa Statystycznego, seria B. 67 (1): 79–89. doi : 10.1111/j.1467-9868.2005.00489.x .
• Jiang, J.; Lahiri, P.; Wan, SM. (2002). „Ujednolicona teoria scyzoryka dla najlepszego empirycznego przewidywania z estymacją M” . Roczniki statystyki . 30 (6): 1782–810. doi : 10.1214/aos/1043351257 .
•   Jones, HL (1974). „Oszacowanie funkcji scyzoryka funkcji średnich warstw”. Biometria . 61 (2): 343–348. doi : 10.2307/2334363 . JSTOR 2334363 .
• Kish, L.; Frankel, MR (1974). „Wnioskowanie ze złożonych próbek”. Dziennik Królewskiego Towarzystwa Statystycznego, seria B. 36 (1): 1–37.
• Krewski, D.; Rao, JNK (1981). „Wnioskowanie z próbek warstwowych: właściwości linearyzacji, scyzoryka i zrównoważonych metod powtarzanej replikacji” . Roczniki statystyki . 9 (5): 1010–1019. doi : 10.1214/aos/1176345580 .
• Quenouille, MH (1956). „Uwagi dotyczące stronniczości w oszacowaniu”. Biometria . 43 (3–4): 353–360. doi : 10.1093/biomet/43.3-4.353 .
• Rao, JNK; Shao, J. (1992). „Oszacowanie wariancji scyzoryka z danymi ankietowymi w ramach imputacji gorącego pokładu” . Biometria . 79 (4): 811–822. doi : 10.1093/biomet/79.4.811 .
• Rao, JNK; Wu, CFJ; Yue, K. (1992). „Niektóre ostatnie prace nad metodami ponownego próbkowania dla złożonych ankiet”. Metodologia ankiety . 18 (2): 209–217.
• Shao, J. i Tu, D. (1995). Scyzoryk i Bootstrap. Springer-Verlag, Inc.
• Tukey, JW (1958). „Stronniczość i pewność siebie w niezbyt dużych próbkach (streszczenie)”. Roczniki statystyki matematycznej . 29 (2): 614.
• Wu, CFJ (1986). „Jackknife, Bootstrap i inne metody ponownego próbkowania w analizie regresji” . Roczniki statystyki . 14 (4): 1261–1295. doi : 10.1214/aos/1176350142 .

Notatki

•   Cameron, Adrian; Trivedi, Pravin K. (2005). Mikroekonometria: metody i zastosowania . Cambridge Nowy Jork: Cambridge University Press. ISBN 9780521848053 .
•   Efron, Bradley ; Stein, Charles (maj 1981). „Oszacowanie wariancji scyzoryka” . Roczniki statystyki . 9 (3): 586–596. doi : 10.1214/aos/1176345462 . JSTOR 2240822 .
•   Efron, Bradley (1982). Jackknife, bootstrap i inne plany ponownego próbkowania . Filadelfia, PA: Towarzystwo Matematyki Przemysłowej i Stosowanej. ISBN 9781611970319 .
•   Quenouille, Maurice H. (wrzesień 1949). „Problemy z próbkowaniem samolotu” . Roczniki statystyki matematycznej . 20 (3): 355–375. doi : 10.1214/aoms/1177729989 . JSTOR 2236533 .
•   Quenouille, Maurice H. (1956). „Uwagi na temat odchylenia w oszacowaniu”. Biometria . 43 (3–4): 353–360. doi : 10.1093/biomet/43.3-4.353 . JSTOR 2332914 .
• Tukey, John W. (1958). „Odchylenie i pewność siebie w niezbyt dużych próbkach (streszczenie)” . Roczniki statystyki matematycznej . 29 (2): 614. doi : 10.1214/aoms/1177706647 .