Wymienne zmienne losowe

W statystyce wymienny ciąg zmiennych losowych (czasem również wymienny ) to ciąg X ₁ , X ₂ , X ₃ , ... (który może być skończenie lub nieskończenie długi), którego łączny rozkład prawdopodobieństwa nie zmienia się, gdy pozycje w kolejność, w której pojawia się skończenie wiele z nich, jest zmieniana. Tak więc na przykład sekwencje

${\ Displaystyle X_ {1}, X_ {2}, X_ { 3},X_{4},X_{5},X_{6}\quad {\text{ i }}\quad X_{3},X_{6},X_{1},X_{5},X_{ 2},X_{4}}$

oba mają ten sam łączny rozkład prawdopodobieństwa.

Jest to ściśle związane z wykorzystaniem niezależnych i identycznie rozłożonych zmiennych losowych w modelach statystycznych. Wymienne sekwencje zmiennych losowych powstają w przypadku prostego doboru losowego .

Definicja

Formalnie wymienny ciąg zmiennych losowych jest skończonym lub nieskończonym ciągiem X ₁ , X ₂ , X ₃ , ... zmiennych losowych takich, że dla dowolnej skończonej permutacji σ indeksów 1, 2, 3, ..., ( permutacja działa tylko na skończenie wielu indeksach, reszta jest stała), łączny rozkład prawdopodobieństwa permutowanej sekwencji

${\ Displaystyle X _ {\ sigma (1)}, X _ {\ sigma (2)}, X _ {\ sigma (3)}, \ kropki }$

jest taki sam jak łączny rozkład prawdopodobieństwa oryginalnej sekwencji.

(O sekwencji zdarzeń E ₁ , E ₂ , E ₃ , ... mówi się, że jest wymienna dokładnie wtedy, gdy sekwencja jej funkcji wskaźnikowych jest wymienna.) Dystrybutor F _{X 1 ,..., X n} ( x ₁ , ..., x _n ) skończonego ciągu wymiennych zmiennych losowych jest symetryczna w swoich argumentach x ₁ , ..., x _n . Olav Kallenberg podał odpowiednią definicję wymienialności dla procesów stochastycznych w czasie ciągłym.

Historia

Koncepcja została wprowadzona przez Williama Ernesta Johnsona w jego książce Logic, Part III: The Logical Foundations of Science z 1924 roku . Wymienność jest odpowiednikiem koncepcji kontroli statystycznej wprowadzonej przez Waltera Shewharta również w 1924 roku.

Wymienność i model statystyczny iid

Właściwość wymienialności jest ściśle związana z wykorzystaniem niezależnych i identycznie rozłożonych (iid) zmiennych losowych w modelach statystycznych. Sekwencja zmiennych losowych, które są iid, uzależnione od jakiejś podstawowej formy dystrybucji, jest wymienna. Wynika to bezpośrednio ze struktury łącznego rozkładu prawdopodobieństwa generowanego przez postać iid.

Mieszaniny wymienialnych sekwencji (w szczególności sekwencje zmiennych id) są wymienne. Odwrotność można ustalić dla nieskończonych sekwencji za pomocą ważnego twierdzenia Bruno de Finettiego o reprezentacji ( później rozszerzonego przez innych teoretyków prawdopodobieństwa, takich jak Halmos i Savage ). Rozszerzone wersje twierdzenia pokazują, że w dowolnej nieskończonej sekwencji wymiennych zmiennych losowych zmienne losowe są warunkowo niezależne i mają identyczny rozkład , biorąc pod uwagę podstawową formę dystrybucji. Twierdzenie to jest krótko przedstawione poniżej. De Finettiego wykazało, że jest to prawdziwe tylko dla losowych zmiennych wskaźnikowych, ale później zostało to rozszerzone, aby objąć wszystkie sekwencje zmiennych losowych) . wymienna sekwencja nie musi sama być bezwarunkowo iid, może być wyrażona jako mieszanina podstawowych sekwencji id.

Oznacza to, że nieskończone sekwencje wymiennych zmiennych losowych można traktować równoważnie jako sekwencje warunkowo iid zmiennych losowych, w oparciu o pewną podstawową formę dystrybucji. (Zauważ, że ta równoważność nie do końca obowiązuje dla skończonej wymienialności. Jednak dla skończonych wektorów zmiennych losowych istnieje bliskie przybliżenie do modelu iid). Nieskończona wymienna sekwencja jest ściśle stacjonarna, a więc prawo wielkich liczb w postaci Obowiązuje twierdzenie Birkhoffa-Khinchina . Oznacza to, że leżącemu u podstaw rozkładowi można nadać interpretację operacyjną jako ograniczający rozkład empiryczny ciągu wartości. Ścisły związek między wymiennymi ciągami zmiennych losowych a postacią iid oznacza, że ​​ta ostatnia może być uzasadniona na podstawie nieskończonej wymienialności. Pojęcie to ma kluczowe znaczenie dla rozwoju wnioskowania predykcyjnego i statystyki bayesowskiej przez Bruno de Finettiego . Można również wykazać, że jest to przydatne podstawowe założenie w statystyce częstości i łączy oba paradygmaty.

Twierdzenie o reprezentacji: To stwierdzenie jest oparte na prezentacji w O'Neill (2009) w odnośnikach poniżej. Biorąc pod uwagę nieskończoną sekwencję zmiennych losowych, ${\ Displaystyle \ mathbf {X} = (X_ {1}, X_ {2}, X_ {3}, \ ldots)}$ definiujemy ograniczającą dystrybucję empiryczną przez: ${\ displaystyle F _ {\ mathbf {X}}}$

${\ Displaystyle F _ {\ mathbf {X}} (x) = \ lim _ {n \ do \ infty} {\ Frac {1} {n}} \ suma _ {i = 1} ^ {n} ja (X_ {i}\równik x).}$

(Jest to granica Cesaro funkcji wskaźnikowych. W przypadkach, gdy granica Cesaro nie istnieje, funkcję tę można w rzeczywistości zdefiniować jako granicę Banacha funkcji wskaźnikowych, która jest przedłużeniem tej granicy. Ta ostatnia granica istnieje zawsze dla sum funkcji wskaźnikowych, dzięki czemu rozkład empiryczny jest zawsze dobrze zdefiniowany.) Oznacza to, że dla dowolnego wektora zmiennych losowych ciągu mamy łączną dystrybucję określoną wzorem:

${\ Displaystyle \ Pr (X_ {1} \ równoważnik x_ {1}, X_ {2} \ równoważnik x_ {2}, \ ldots, X_ {n} \ równoważnik x_ {n}) = \ int \ prod _ {i =1}^{n}F_{\mathbf {X}}(x_{i})\,dP(F_{\mathbf {X}}).}$

Jeśli funkcja rozkładu jest indeksowana przez inny parametr, ${$ (przy odpowiednio zdefiniowanych gęstościach) mamy: $\ displaystyle F _ {\ mathbf {X}}}$

${\ Displaystyle p_ {X_ {1}, \ ldots, X_ {n}} (x_ {1}, \ ldots, x_ {n}) = \ int \ prod _ {i = 1} ^ {n} p_ {X_ {i}}(x_{i}\mid \theta )\,dP(\theta).}$

Równania te pokazują wspólny rozkład lub gęstość scharakteryzowaną jako rozkład mieszaniny w oparciu o podstawowy graniczny rozkład empiryczny (lub parametr indeksujący ten rozkład).

Zauważ, że nie wszystkie skończone sekwencje wymienne są mieszaninami iid Aby się o tym przekonać, rozważ próbkowanie bez zamiany ze skończonego zbioru, dopóki nie zostaną żadne elementy. Wynikowa sekwencja jest wymienna, ale nie jest mieszanką iid Rzeczywiście, uwarunkowana wszystkimi innymi elementami w sekwencji, pozostały element jest znany.

Kowariancja i korelacja

Sekwencje wymienne mają pewne podstawowe właściwości kowariancji i korelacji, co oznacza, że ​​są generalnie dodatnio skorelowane. W przypadku nieskończonych sekwencji wymiennych zmiennych losowych kowariancja między zmiennymi losowymi jest równa wariancji średniej podstawowej funkcji dystrybucji. W przypadku skończonych sekwencji wymiennych kowariancja jest również stałą wartością, która nie zależy od poszczególnych zmiennych losowych w sekwencji. Istnieje słabsza dolna granica niż dla nieskończonej wymienialności i możliwe jest istnienie korelacji ujemnej.

$nieskończona$ wymiennych sekwencji sekwencja to

${\ Displaystyle \ nazwa operatora {cov} (X_ {i}, X_ {j}) = \ nazwa operatora {var} (\ nazwa operatora {E} (X_ {i} \ mid F_ {\ mathbf {X}})) = \ operatorname {var} (\operatorname {E} (X_{i}\mid \theta ))\geq 0\quad {\text{for}}i\neq j.}$

Kowariancja dla wymiennych sekwencji (skończonych): Jeśli ${\ Displaystyle X_ {1}, X_ {2}, \ ldots, X_ {n}}$ jest wymienne z ${\ Displaystyle \ sigma ^ {2} = \ operatorname {var} (X_ {i})}$ wtedy:

${\ Displaystyle \ nazwa operatora {cov} (X_ {i}, X_ {j}) \ geq - {\ Frac {\ sigma ^ {2}} {n-1}} \ quad {\ tekst {dla}} i \ neq j.}$

Wynik skończonej sekwencji można udowodnić w następujący sposób. Korzystając z faktu, że wartości są wymienne, mamy:

${\ Displaystyle {\ rozpocząć {wyrównane} 0&\ równoważnik \ nazwa operatora {var} (X_ {1} + \ cdots + X_ {n}) \\& = \ nazwa operatora {var} (X_ {1}) + \ cdots + \operatorname {var} (X_{n})+\underbrace {\operatorname {cov} (X_{1},X_{2})+\cdots \quad {}} _{\text{wszystkie uporządkowane pary}}\ \&=n\sigma ^{2}+n(n-1)\nazwa operatora {cov} (X_{1},X_{2}).\end{wyrównane}}}$

Możemy wtedy rozwiązać nierówność dla kowariancji dającej określoną dolną granicę. Nieujemność kowariancji dla nieskończonej sekwencji można następnie uzyskać jako ograniczający wynik z tego wyniku skończonej sekwencji.

Równość dolnej granicy dla skończonych sekwencji osiąga się w prostym modelu urny: urna zawiera 1 czerwoną kulkę i n - 1 zieloną kulkę, z których pobiera się próbki bez zwracania, dopóki urna nie będzie pusta. Niech X _i = 1, jeśli kulka czerwona została wylosowana w i -tej próbie, a 0 w przeciwnym razie. Skończona sekwencja, która osiąga dolną granicę kowariancji, nie może zostać przedłużona do dłuższej sekwencji wymiennej.

Przykłady

• Każda wypukła kombinacja lub rozkład mieszany sekwencji iid zmiennych losowych jest wymienny. Twierdzenie odwrotne to twierdzenie de Finettiego .
• Załóżmy, że urna zawiera n czerwonych i m niebieskich kulek. Załóżmy, że kulki są losowane bez zwracania, dopóki urna nie będzie pusta. Niech X _i będzie wskaźnikiem zmiennej losowej zdarzenia, że ​​i -ta wylosowana kulka jest czerwona. Wtedy { X _i } _{i =1,... n+m} jest ciągiem wymiennym. Tej sekwencji nie można rozszerzyć do żadnej dłuższej sekwencji wymiennej.
• Niech ${\ Displaystyle (X, Y)}$ mają dwuwymiarowy rozkład normalny z parametrami ${\ Displaystyle \ mu = 0}$ , ${\ Displaystyle \ sigma _ {x} = \ sigma _ {y} = 1}$ i dowolny współczynnik korelacji ${\ Displaystyle \ rho \ in (-1,1)}$ . $ρ$ losowe i są wtedy wymienne, ale niezależne tylko wtedy, gdy $\ rho = 0$$displaystyle$ . Funkcja gęstości to ${\ Displaystyle p (x, y) = p (y, x) \ propto \ exp \ lewo [- {\ frac {1} {2 (1- \ rho ^ {2})}} (x ^ {2} +y^{2}-2\rho xy)\prawo].}$

Aplikacje

Ekstraktor von Neumanna jest ekstraktorem losowości , który zależy od wymienialności: daje metodę przyjmowania wymiennej sekwencji zer i jedynek ( próby Bernoulliego ), z pewnym prawdopodobieństwem p równe 0 i ${\ displaystyle q = 1- p}$ równe 1 i tworzy (krótszą) wymienną sekwencję zer i jedynek z prawdopodobieństwem 1/2.

Podziel sekwencję na nienakładające się pary: jeśli dwa elementy pary są równe (00 lub 11), odrzuć ją; jeśli dwa elementy pary są nierówne (01 lub 10), zachowaj pierwszy. $równe$ to sekwencję prób Bernoulliego szanse danej pary wynoszącej 01 lub 10

Wymienne zmienne losowe pojawiają się w badaniu statystyki U , zwłaszcza w dekompozycji Hoeffdinga.

Zobacz też

• Ponowne próbkowanie
• Resampling (statystyka) § Testy permutacyjne , testy statystyczne oparte na wymianie między grupami
• statystyka U

Bibliografia

•   Aldous, David J., Wymienność i tematy pokrewne , w: École d'Été de Probabilités de Saint-Flour XIII — 1983, Notatki z wykładu z matematyki. 1117, s. 1–198, Springer, Berlin, 1985. ISBN 978-3-540-15203-3 doi : 10.1007/BFb0099421
• Barlow, RE i Irony, TZ (1992) „Podstawy statystycznej kontroli jakości” w Ghosh, M. i Pathak, PK (red.) Bieżące zagadnienia wnioskowania statystycznego: eseje na cześć D. Basu , Hayward, Kalifornia: Institute of Statystyka matematyczna, 99-112.
• Bergman, B. (2009) „Konceptualistyczny pragmatyzm: ramy analizy bayesowskiej?”, IIE Transactions , 41 , 86–93
•    Borowski, Yu. W. (1996). U -statystyki w przestrzeniach Banacha . Utrecht: VSP. s. XII + 420. ISBN 90-6764-200-2 . MR 1419498 .
•   Chow, Yuan Shih i Teicher, Henry, teoria prawdopodobieństwa. Niezależność, zamienność, martyngały , Springer Texts in Statistics, wyd. 3, Springer, Nowy Jork, 1997. xxii + 488 s. ISBN 0-387-98228-0
•   Diaconis, perski (2009). „Recenzja książki: symetrie probabilistyczne i zasady niezmienności (Olav Kallenberg, Springer, Nowy Jork, 2005)” . Biuletyn Amerykańskiego Towarzystwa Matematycznego . Nowa seria. 46 (4): 691–696. doi : 10.1090/S0273-0979-09-01262-2 . MR 2525743 .
•   Kallenberg, O. , Symetrie probabilistyczne i zasady niezmienniczości . Springer-Verlag, Nowy Jork (2005). 510 str. ISBN 0-387-25115-4 .
•   Kingman, JFC, Zastosowania wymienności , Ann. Prawdopodobieństwo 6 (1978) 83–197 MR 494344 JSTOR 2243211
•   O'Neill, B. (2009) Wymienność, korelacja i efekt Bayesa. Międzynarodowy Przegląd Statystyczny 77(2) , s. 241–250. ISBN 978-3-540-15203-3 doi : 10.1111/j.1751-5823.2008.00059.x
•   Taylora, Roberta Lee; Daffer, Peter Z.; Patterson, Ronald F. (1985). Twierdzenia graniczne dla sum wymiennych zmiennych losowych . Rowmana i Allanhelda. s. 1–152. ISBN 9780847674350 .
• Zabell, SL (1988) „Symetria i jej niezadowolenie”, w Skyrms, B. & Harper, WL Causation, Chance and Credence, s. 155-190, Kluwer
• „Przewidywanie nieprzewidywalnego”. synteza . 90 (2): 205. 1992. doi : 10.1007/bf00485351 .