Estymator niezmienny

W statystyce pojęcie bycia estymatorem niezmiennym jest kryterium, którego można użyć do porównania właściwości różnych estymatorów dla tej samej wielkości. Jest to sposób na sformalizowanie idei, że estymator powinien mieć pewne intuicyjnie atrakcyjne cechy. Ściśle mówiąc, „niezmienny” oznaczałby, że same oszacowania pozostają niezmienione, gdy zarówno pomiary, jak i parametry są przekształcane w zgodny sposób, ale znaczenie zostało rozszerzone, aby umożliwić zmianę oszacowań w odpowiedni sposób przy takich przekształceniach. Termin estymator ekwiwariantny jest używany w formalnych kontekstach matematycznych, które obejmują dokładny opis relacji sposobu, w jaki estymator zmienia się w odpowiedzi na zmiany w zbiorze danych i parametryzacji: odpowiada to użyciu „ równoważności ” w bardziej ogólnej matematyce.

Ustawienie ogólne

Tło

We wnioskowaniu statystycznym istnieje kilka podejść do teorii estymacji , które można wykorzystać do natychmiastowego decydowania, jakie estymatory należy zastosować zgodnie z tymi podejściami. Na przykład pomysły z wnioskowania bayesowskiego prowadziłyby bezpośrednio do estymatorów bayesowskich . Podobnie teoria klasycznego wnioskowania statystycznego może czasami prowadzić do mocnych wniosków na temat tego, jakiego estymatora należy użyć. Jednak użyteczność tych teorii zależy od posiadania w pełni określonego modelu statystycznego i może również zależeć od posiadania odpowiedniej funkcji straty do wyznaczenia estymatora. Zatem analiza bayesowska można podjąć, prowadząc do późniejszego rozkładu odpowiednich parametrów, ale użycie określonej funkcji użyteczności lub straty może być niejasne. Idee niezmienniczości można następnie zastosować do zadania podsumowania późniejszej dystrybucji. W innych przypadkach analizy statystyczne są podejmowane bez w pełni zdefiniowanego modelu statystycznego lub nie można łatwo zastosować klasycznej teorii wnioskowania statystycznego, ponieważ rozważana rodzina modeli nie podlega takiemu traktowaniu. Oprócz tych przypadków, w których ogólna teoria nie zaleca estymatora, pojęcie niezmienniczości estymatora można zastosować przy poszukiwaniu estymatorów o alternatywnych formach, albo ze względu na prostotę zastosowania estymatora, albo po to, aby estymator był solidny .

Pojęcie niezmienności jest czasami używane samodzielnie jako sposób wyboru między estymatorami, ale niekoniecznie jest to definitywne. Na przykład wymóg niezmienności może być niezgodny z wymogiem, aby estymator był nieobciążony średnią ; z drugiej strony kryterium nieobciążoności mediany jest zdefiniowane w kategoriach rozkładu próbkowania estymatora, a więc jest niezmienne przy wielu przekształceniach.

Jednym z zastosowań koncepcji niezmienności jest proponowanie klasy lub rodziny estymatorów i spośród nich należy wybrać określone sformułowanie. Jedna procedura polega na narzuceniu odpowiednich właściwości niezmienniczych, a następnie znalezieniu sformułowania w tej klasie, które ma najlepsze właściwości, co prowadzi do tak zwanego optymalnego estymatora niezmienniczego.

Niektóre klasy estymatorów niezmienniczych

Istnieje kilka rodzajów przekształceń, które są przydatne w przypadku estymatorów niezmiennych. Każdy daje początek klasie estymatorów, które są niezmienne dla tych konkretnych typów transformacji.

• Niezmienniczość przesunięcia: Pojęciowo oszacowania parametru lokalizacji powinny być niezmienne względem prostych przesunięć wartości danych. Jeśli wszystkie wartości danych zostaną zwiększone o określoną wartość, oszacowanie powinno zmienić się o tę samą wartość. Rozważając oszacowanie przy użyciu średniej ważonej , ten wymóg niezmienności od razu oznacza, że ​​wagi powinny sumować się do jednego. Chociaż ten sam wynik często wynika z wymogu bezstronności, użycie „niezmienności” nie wymaga istnienia wartości średniej iw ogóle nie wykorzystuje żadnego rozkładu prawdopodobieństwa.
• Niezmienność skali: Należy zauważyć, że tego tematu dotyczącego niezmienności parametru skali estymatora nie należy mylić z bardziej ogólną niezmienniczością skali dotyczącą zachowania systemów pod wpływem właściwości agregatów (w fizyce).
• Niezmienność parametrów transformacji: Tutaj transformacja dotyczy samych parametrów. Koncepcja polega tutaj na tym, że z danych i modelu obejmującego parametr θ należy wyciągnąć zasadniczo takie same wnioski, jakie zostałyby wyciągnięte z tych samych danych, gdyby model wykorzystywał parametr φ, gdzie φ jest transformacją θ jeden do jednego, φ= h (θ). Zgodnie z tego typu niezmienniczością, wyniki z estymatorów niezmienniczych transformacji również powinny być powiązane przez φ= h (θ). Estymatory największej wiarygodności mają tę właściwość, gdy transformacja jest monotoniczna . Chociaż asymptotyczne właściwości estymatora mogą być niezmienne, właściwości małej próbki mogą być różne i należy wyprowadzić określony rozkład.
• Niezmienność permutacji: Tam, gdzie zbiór wartości danych może być reprezentowany przez model statystyczny, który jest wynikiem niezależnych zmiennych losowych o identycznym rozkładzie , uzasadnione jest nałożenie wymogu, aby każdy estymator dowolnej właściwości o wspólnym rozkładzie był niezmienny permutacji : w szczególności estymator, rozpatrywany jako funkcja zbioru wartości danych, nie powinien się zmieniać, jeśli elementy danych są zamieniane w zbiorze danych.

Kombinacja niezmienniczości permutacji i niezmienniczości lokalizacji do oszacowania parametru lokalizacji z niezależnego i identycznie rozłożonego zbioru danych przy użyciu średniej ważonej oznacza, że ​​wagi powinny być identyczne i sumować się do jedności. Oczywiście preferowane mogą być estymatory inne niż średnia ważona.

Optymalne estymatory niezmienne

$displaystyle \ theta}$ tym ustawieniu otrzymujemy zestaw pomiarów , który zawiera informacje o nieznanym parametrze $\$ . Pomiary $θ$ modelowane jako wektorowa ${\ Displaystyle \$ losowa mająca $, która$ prawdopodobieństwa parametrów .

Problem polega na oszacowaniu, ${$ pod uwagę $\ displaystyle \ theta}$ . Szacunek, oznaczony przez $jest$ funkcją pomiarów i należy do zbioru ${\ displaystyle A}$ . $_$ wyniku funkcję która funkcję ${\ Displaystyle R = R (a, \ teta) = E [L (a, \ teta) | \ teta]}$ . Zbiory możliwych wartości , i ${\ Displaystyle$${\ Displaystyle a}$$są$ przez $X}$ , ${\ Displaystyle \ Theta}$ i $} odpowiednio styl wyświetlania A}$ .

W klasyfikacji

W klasyfikacji statystycznej regułę, która przypisuje klasę do nowego elementu danych, można uznać za szczególny typ estymatora. Przy formułowaniu wcześniejszej wiedzy na potrzeby rozpoznawania wzorców można wziąć pod uwagę szereg rozważań związanych z typem niezmienności .

Ustawienie matematyczne

Definicja

Estymator niezmienny to estymator, który przestrzega następujących dwóch zasad:

1. Zasada racjonalnej niezmienniczości: Działanie podjęte w problemie decyzyjnym nie powinno zależeć od transformacji zastosowanej miary
2. ${\ displaystyle L}$ niezmienniczości: Jeśli dwa problemy decyzyjne mają tę samą strukturę formalną (pod względem i $L$ , ${\ Displaystyle \ Theta}$ , $x | \ theta)}$ ( ), to w każdym problemie należy zastosować tę samą regułę decyzyjną.

Aby formalnie zdefiniować estymator niezmienny lub ekwiwariantny, najpierw potrzebne są definicje związane z grupami przekształceń. Niech $oznacza$ zbiór możliwych próbek danych. Grupa przekształceń , oznaczona przez , to zbiór (mierzalnych) 1: 1 i na przekształcenia $siebie$ siebie, który spełnia następujące warunki: ${$$displaystyle X}$ warunki:

1. ${\ Displaystyle g_ {1} \ w G}$ ∈ $\ Displaystyle g_ {2} \ w G}$ sol , to ${\ Displaystyle g_ {1} g_ {2} \w G\,}$
2. Jeśli ${\ Displaystyle g \ in G}$ to ${\ Displaystyle g ^ {- 1} \ in G}$ , gdzie ${\ Displaystyle g ^ {- 1} (g (x)) = x \,.}$ (Oznacza to, że każda transformacja ma odwrotność w grupie).
3. ${\ Displaystyle e \ in G}$ (tj. następuje transformacja tożsamości ${\ Displaystyle e (x) = x \,}$ )

Zbiory danych ${\ Displaystyle x_ {1}}$ i ${\ Displaystyle x_ {2}}$ w ${\ Displaystyle X}$ są równoważne, jeśli ${\ Displaystyle x_ {1} = g ( x_ {2})}$ dla niektórych ${\ displaystyle g \ in G}$ . Wszystkie równoważne punkty tworzą klasę równoważności . Taka klasa równoważności nazywana jest orbitą (w ${\ displaystyle X}$ ). Orbita , ${0}$$)}$${\ Displaystyle X (x_{0})=\{g(x_{0}):g\w G\}}$ , jest zbiorem . Jeśli składa się z pojedynczej orbity, to $mówi$ się, że $.$

rodzina gęstości $sol$ niezmienna w grupie , jeśli dla każdego $\ in G}$$Displaystyle$ i ${\ Displaystyle \ theta \ in \ Theta }$ istnieje unikalny ${\ Displaystyle \ theta ^ {*} \ in \ Theta}$ taki, że ${\ Displaystyle Y = g (x)}$ ma gęstość ${\ Displaystyle f (y | \ teta ^ {*})}$ . będzie oznaczony ${\ Displaystyle {\ bar {g}} (\$$}$ .

Jeśli $}$$niezmienna$ grupie, to mówi się, że $displaystyle$ niezmienna $}$$G$ jeśli dla każdego istnieje ${\ Displaystyle g \ in G}$ za $\ Displaystyle a \ in A}$ istnieje sol za $\ Displaystyle a ^ {*} \ in A}$$\ teta, a) = L ({\ bar {g}} (\ teta), a ^ {*} )}$ ( dla wszystkich ${\ Displaystyle \ theta \ in \ Theta}$ . Przekształcona wartość będzie oznaczona przez $g}} (a)$$\$ .

W powyższym ${\ Displaystyle {\ bar {G}} = \ {{\ bar {g}}: g \ w G \}}$ to grupa przekształceń z ${\ Displaystyle \ Theta}$ do siebie i ${\ Displaystyle {\ tylda {G}} = \ {{\ tylda {g}}: g \ w G \}$ } $siebie$ przekształceń od do siebie.

Problem z oszacowaniem jest niezmienny (równoważny) w $przypadku$ , gdy istnieją trzy grupy zgodnie z definicją $G}}}$ powyżej.

W przypadku problemu z oszacowaniem, który jest niezmienny w warunkach $displaystyle x \ w X}$$,$ niezmiennym estymatorem w $warunkach$ wszystkich ${$ i ${\ Displaystyle g \ w G}$ ,

${\ Displaystyle \ delta (g (x)) = {\ tylda {g}} (\ delta (x)).}$

Nieruchomości

1. Funkcja ryzyka estymatora niezmienniczego jest stała na orbitach $}$$\ displaystyle \ theta$ . Równoważnie ${\ Displaystyle R (\ teta, \ delta) = R ({\ bar {g}} (\ teta), \ delta)$ } ${\ Displaystyle \ teta \ w \ Theta}$ i ${\ Displaystyle {\ bar {g}} \ w {\ bar {G}}}$ .
2. Funkcja ryzyka niezmiennego estymatora z $stała$ .

W przypadku danego problemu niezmienny estymator o najniższym ryzyku nazywany jest „najlepszym estymatorem niezmiennym”. Nie zawsze można osiągnąć najlepszy niezmienny estymator. $,$ osiągnąć, jest przypadek, gdy jest przechodni.

Przykład: parametr lokalizacji

Załóżmy, ${\ Displaystyle f (x- \ theta)$$lokalizacji$ , jeśli gęstość ma postać $)$ . Dla problemu ${\ Displaystyle \ Theta = A = \ mathbb {R} ^ {1}}$ i ${\ Displaystyle L = L (a- \ theta)}$ jest niezmiennikiem pod ${\ Displaystyle g = {\ bar {g}} = {\ tylda {g}} = \ {g_ {c }:g_{c}(x)=x+c,c\in \mathbb {R} \}}$ . Niezmienny estymator w tym przypadku musi spełniać

${\ Displaystyle \ delta (x + c) = \ delta (x) + c, {\ tekst {dla wszystkich}} c \ in \mathbb {R} ,}$

więc ma postać ${\ Displaystyle \ delta (x) = x + K}$ ( ${\ Displaystyle K \ in \ mathbb {R}}$ ). ${\ Displaystyle {\ bar {g}}}$ jest przechodnia na ${\ Displaystyle \ Theta}$ , więc ryzyko nie zmienia się z ${\ Displaystyle \ theta}$ : czyli ${\ Displaystyle R (\ teta, \ delta) = R (0, \ delta) = \ nazwa operatora {E} [L (X + K) | \ teta = 0]}$ . $niezmiennym$ ten, .

W przypadku, gdy L jest błędem kwadratowym ${\ Displaystyle \ delta (x) = x - \ nazwa operatora {E} [X | \ theta = 0].}$

Estymator Pitmana

Problem ${\ Displaystyle f (x_ {1} - \ theta, \ kropki, x_ {n} - \ theta)}$$fa$ gęstość , gdzie θ jest parametrem do oszacowania i gdzie funkcją straty jest ${\ Displaystyle L (| a- \ theta |)}$ . Ten problem jest niezmienny z następującymi (addytywnymi) grupami transformacji:

${\ Displaystyle G = \ {g_ {c}: g_ {c} (x )=(x_{1}+c,\dots ,x_{n}+c),c\in \mathbb {R} ^{1}\},}$

${\ Displaystyle {\ bar {G}} = \ {g_ {c}: g_ {c} (\ teta) = \ teta + c, c \ in \ mathbb {R} ^ {1}\},}$

${\ Displaystyle {\ tylda {G}} = \ {g_ {c}: g_ {c} (a) = a + c, c \ in \ mathbb {R} ^ {1} \}.}$

Najlepszy niezmienny estymator to taki, który minimalizuje ${\ Displaystyle \ delta (x)}$

${\ Displaystyle {\ Frac {\ int _ {- \ infty} ^ {\ infty} L (\ delta (x) - \ teta) f (x_ {1} - \ teta, \ kropki, x_ {n} - \ theta )d\theta }{\int _{-\infty }^{\infty}f(x_{1}-\theta ,\kropki ,x_{n}-\theta )d\theta }},}$

a to jest estymator Pitmana (1939).

W przypadku kwadratu utraty błędu wynik jest następujący

${\ Displaystyle \ delta (x) = {\ Frac {\ int _ {- \ infty} ^ {\ infty} \ teta f (x_ {1} - \ teta, \ kropki, x_ {n} - \ teta) d \theta }{\int _{-\infty}^{\infty}f(x_{1}-\theta,\kropki,x_{n}-\theta)d\theta}}.}$

Jeśli ${\ Displaystyle x \ sim N (\ theta 1_ {n}, ja) \, \!}$ (tj. wielowymiarowy rozkład normalny z niezależnymi składnikami wariancji jednostkowej), to

${\ Displaystyle \ delta _ {\ tekst {Pitman}} = \ delta _ {ML} = {\ Frac {\ suma {x_ {i}}} {n}}.}$

${\ Displaystyle x \ sim C (\ theta 1_ {n}, I \ sigma ^ {2}) \, \!} (niezależne$ do mające rozkład Cauchy'ego ze skalą parametr σ ) następnie ${\ Displaystyle \ delta _ {\ tekst {Pitman}} \ neq \ delta _ {ML}}$ ,. Jednak wynik jest

${\ tekst {Pitman}} = \ suma _ { k=1}^{n}{x_{k}\left[{\frac {{\text{Re}}\{w_{k}\}}{\suma _{m=1}^{n}{ {\text{Re}}\{w_{k}\}}}}\right]},\qquad n>1,}$

z

${\ Displaystyle w_ {k} = \ prod _ {j \ neq k} \ lewo [{\ Frac {1} {(x_ {k} -x_ {j}) ^ {2} + 4 \ sigma ^ {2} }}\right]\left[1-{\frac {2\sigma }{(x_{k}-x_{j})}}i\right].}$

•    Berger, James O. (1985). Statystyczna teoria decyzji i analiza bayesowska (wyd. 2). Nowy Jork: Springer-Verlag. ISBN 0-387-96098-8 . MR 0804611 .
• Freue, Gabriela V. Cohen (2007). „Estymator Pitmana parametru lokalizacji Cauchy'ego”. Dziennik planowania statystycznego i wnioskowania . 137 (6): 1900–1913. doi : 10.1016/j.jspi.2006.05.002 .
•   Pitman, EJG (1939). „Oszacowanie parametrów lokalizacji i skali ciągłej populacji dowolnej postaci”. Biometria . 30 (3/4): 391–421. doi : 10.1093/biomet/30.3-4.391 . JSTOR 2332656 .
•   Pitman, EJG (1939). „Testy hipotez dotyczących lokalizacji i parametrów skali”. Biometria . 31 (1/2): 200–215. doi : 10.1093/biomet/31.1-2.200 . JSTOR 2334983 .