Dowody zbieżności zmiennych losowych

Ten artykuł jest uzupełnieniem „ Zbieżności zmiennych losowych ” i dostarcza dowodów dla wybranych wyników.

Kilka wyników zostanie ustalonych za pomocą lematu portmanteau : Sekwencja { X _n } jest zbieżna w rozkładzie do X wtedy i tylko wtedy, gdy spełniony jest którykolwiek z następujących warunków:

1. E[ f ( X _n )] → E [ f ( X )] dla wszystkich ograniczonych funkcji ciągłych f ;
2. E[ f ( X _n )] → E [ f ( X )] dla wszystkich ograniczonych funkcji Lipschitza f ;
3. limsup{Pr( X _n ∈ C )} ≤ Pr( X ∈ C ) dla wszystkich zbiorów domkniętych C ;

Zbieżność prawie na pewno implikuje zbieżność prawdopodobieństwa

${\ Displaystyle X_ {n} \ {\ overset {\ operatorname {as}} {\ rightarrow}} \ X \ quad \ Strzałka w prawo \ quad X_ {n} \ {\ przesłonić {p}{\rightarrow }}\ X}$

Dowód: Jeśli { X _n } zbiega się prawie na pewno do X , oznacza to, że zbiór punktów {ω: lim X _n (ω) ≠ X (ω)} ma miarę zero; oznacz ten zbiór O . Teraz ustal ε > 0 i rozważ sekwencję zbiorów

${\ Displaystyle A_ {n} = \ bigcup _ {m \ geq n} \ lewo \ {\ lewo | X_ {m} -X \ prawo |> \ varepsilon \ prawo \}}$

Ta sekwencja zbiorów jest malejąca: A _n ⊇ A _{n +1} ⊇ ... i maleje w kierunku zbioru

${\ Displaystyle A_ {\ infty} = \ bigcap _ {n \ geq 1} A_ {n}.}$

Dla tej malejącej sekwencji zdarzeń ich prawdopodobieństwa są również malejącą sekwencją i maleją w kierunku Pr( A _∞ ); pokażemy teraz, że ta liczba jest równa zeru. Teraz dowolny punkt ω w dopełnieniu O jest taki, że lim X _n (ω) = X (ω), co implikuje, że | X _n (ω) − X (ω)| < ε dla wszystkich n większych niż pewna liczba N . Dlatego dla wszystkich n ≥ N punkt ω nie będzie należał do zbioru A _n , a co za tym idzie nie będzie należeć do A _∞ . Oznacza to, że A _∞ jest rozłączne z O , lub równoważnie A _∞ jest podzbiorem O , a zatem Pr( A _∞ ) = 0.

Wreszcie, przez ciągłość z góry,

${\ Displaystyle \ nazwa operatora {Pr} \ lewo (| X_ {n} -X |> \ varepsilon \ po prawej) \ leq \operatorname {Pr} (A_{n})\ {\underset {n\to \infty}} {\rightarrow}}0,}$

co z definicji oznacza, że ​​X _n zbiega się pod względem prawdopodobieństwa do X .

Zbieżność prawdopodobieństwa nie oznacza prawie pewnej zbieżności w przypadku dyskretnym

Jeśli X _n są niezależnymi zmiennymi losowymi przyjmującymi wartość jeden z prawdopodobieństwem 1/ n i zero w przeciwnym razie, to X _n zbiega się z prawdopodobieństwem do zera, ale nie prawie na pewno. Można to zweryfikować za pomocą lematów Borela – Cantelliego .

Zbieżność prawdopodobieństwa implikuje zbieżność rozkładu

${\ Displaystyle X_ {n} \ {\ xrightarrow {p}} \ X \ quad \ Rightarrow \ quad X_ {n} \ {\ xrightarrow {d}} \ X, }$

Dowód dla przypadku skalarnych zmiennych losowych

Lemat. Niech X , Y będą zmiennymi losowymi, niech a będzie liczbą rzeczywistą i ε > 0. Wtedy

${\ Displaystyle \ nazwa operatora {Pr} (Y \ równoważnik a) \ równoważnik \ nazwa operatora {Pr} (X \ równoważnik a + \ varepsilon) + \ nazwa operatora {Pr} (| YX |> \ varepsilon).}$

Dowód lematu:

${\ Displaystyle {\ rozpocząć {wyrównane} \ nazwa operatora {Pr} (Y \ równoważnik a) & = \ nazwa operatora {Pr} (Y \ równoważnik a, \ X \ równoważnik a + \ varepsilon) + \ nazwa operatora {Pr} (Y \ leq a,\ X>a+\varepsilon )\\&\leq \nazwa_operatora {Pr} (X\leq a+\varepsilon )+\nazwa_operatora {Pr} (YX\leq aX,\ aX<-\varepsilon )\\& \leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} (YX<-\varepsilon )\\&\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname { Pr} (YX<-\varepsilon )+\operatorname {Pr} (YX>\varepsilon )\\&=\operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} (|YX|>\ varepsilon )\end{wyrównane}}}$

Krótszy dowód lematu:

Mamy

${\ Displaystyle {\ rozpocząć {wyrównane} \ {Y \ równoważnik a \} \ podzbiór \ {X \ równoważnik a + \ varepsilon \} \ kubek \ {| YX |> \ varepsilon \} \ koniec {wyrównane}} }$

dla if ${\ Displaystyle Y \ równoważnik a}$ i ${\ Displaystyle | YX | \ równoważnik \ varepsilon}$ , a następnie ${\ Displaystyle X \ równoważnik a + \ varepsilon}$ . Stąd przez związek związany,

${\ Displaystyle {\ rozpocząć {wyrównane} \ nazwa operatora {Pr} (Y \ równoważnik a) \ równoważnik \ nazwa operatora {Pr} (X \ równoważnik a + \ varepsilon) + \ nazwa operatora {Pr} (| YX |> \ varepsilon). \end{wyrównane}}}$

Dowód twierdzenia: Przypomnijmy, że aby udowodnić zbieżność rozkładu, należy wykazać, że ciąg skumulowanych funkcji dystrybucyjnych zbiega się do F _X w każdym punkcie, w którym F _X jest ciągła. Niech a będzie takim punktem. Dla każdego ε > 0, na mocy poprzedniego lematu, mamy:

${\ Displaystyle {\ rozpocząć {wyrównane} \ nazwa operatora {Pr} (X_ {n} \ równoważnik a) i \ równoważnik \ nazwa operatora {Pr} (X \ równoważnik a + \ varepsilon) + \ nazwa operatora {Pr} (| X_{n}-X|>\varepsilon )\\\nazwaoperatora {Pr} (X\leq a-\varepsilon )&\leq \nazwaoperatora {Pr} (X_{n}\leq a)+\nazwaoperatora {Pr} (|X_{n}-X|>\varepsilon )\end{wyrównane}}}$

Więc mamy

${\ Displaystyle \ nazwa operatora {Pr} (X \ równoważnik a- \ varepsilon) - \ nazwa operatora {Pr} \ lewo (\ lewo | X_ {n} -X \ prawo |> \ varepsilon \ po prawej) \ równoważnik \ nazwa operatora {Pr } (X_{n}\leq a)\leq \nazwa_operatora {Pr} (X\leq a+\varepsilon )+\nazwa_operatora {Pr} \left(\left|X_{n}-X\right|>\varepsilon \ Prawidłowy).}$

Przyjmując granicę jako n → ∞, otrzymujemy:

${\ Displaystyle F_ {X} (a- \ varepsilon) \ równoważnik \ lim _ {n \ do \infty }\nazwa_operatora {Pr} (X_{n}\równoważnik a)\równoważnik F_{X}(a+\varepsilon ),}$

gdzie F _X ( a ) = Pr ( X ≤ a ) jest dystrybuantą skumulowaną X . Ta funkcja jest z założenia ciągła , a zatem zarówno F _X ( a −ε), jak i F _X ( a + ε) zbiegają się do F _X ( a ) jako ε → 0 ⁺ . Biorąc tę ​​granicę, otrzymujemy

${\ Displaystyle \ lim _ {n \ do \ infty} \ operatorname {Pr} (X_ {n} \ równoważnik a) = \ nazwa operatora {Pr} (X\leq a),}$

co oznacza, że ​​{ X _n } zbiega się do X w rozkładzie.

Dowód dla ogólnego przypadku

Wynika z tego implikacja, gdy X _n jest wektorem losowym, przy użyciu tej własności udowodnionej w dalszej części tej strony i przyjmując, że Y _n = X .

Zbieżność rozkładu do stałej implikuje zbieżność prawdopodobieństwa

${\ Displaystyle X_ {n} \ {\ xrightarrow {d}} \ c \ quad \ Strzałka w prawo \ quad X_ {n} \ {\ xrightarrow {p}} \ c, }$ pod warunkiem, że c jest stałą.

Dowód: Fix ε > 0. Niech B _ε ( c ) będzie otwartą kulą o promieniu ε wokół punktu c , a B _ε ( c ) ^c jego dopełnieniem. Następnie

${\ Displaystyle \ nazwa operatora {Pr} \ lewo (| X_ {n} -c | \ geq \ varepsilon \ po prawej) = \ nazwa operatora {Pr} \ lewo (X_ {n} \ w B_ {\ varepsilon} (c) ^ {c}\prawo).}$

Zgodnie z lematem portmanteau (część C), jeśli X _n jest zbieżny w rozkładzie do c , to limsup tego ostatniego prawdopodobieństwa musi być mniejszy lub równy Pr( c ∈ B _ε ( c ) ^c ), co oczywiście jest równe zeru . Dlatego,

${\ Displaystyle {\ rozpocząć {wyrównane} \ lim _ {n \ do \ infty} \ nazwa operatora {Pr} \ lewo (\ lewo | X_ {n} -c \ right|\geq \varepsilon \right)&\leq \limsup _{n\to \infty }\operatorname {Pr} \left(\left|X_{n}-c\right|\geq \varepsilon \right)\ \&=\limsup _{n\to \infty }\nazwa_operatora {Pr} \left(X_{n}\in B_{\varepsilon }(c)^{c}\right)\\&\leq \nazwa_operatora { Pr} \left(c\in B_{\varepsilon }(c)^{c}\right)=0\end{wyrównane}}}$

co z definicji oznacza, że ​​X _n zbiega się z prawdopodobieństwem c .

Zbieżność prawdopodobieństwa do sekwencji zbieżnej w rozkładzie implikuje zbieżność do tego samego rozkładu

${\ Displaystyle | Y_ {n} -X_ {n} | \ {\ xrightarrow {p}} \ 0, \ \ X_ {n} \ {\ xrightarrow { d}}\ X\ \quad \strzałka w prawo \quad Y_{n}\ {\xstrzałka w prawo {d}}\ X}$

Dowód: Udowodnimy to twierdzenie za pomocą lematu portmanteau, część B. Zgodnie z wymaganiami tego lematu, rozważmy dowolną funkcję ograniczoną f (tj. | f ( x )| ≤ M ), która jest także funkcją Lipschitza:

${\ Displaystyle \ istnieje K> 0, \ dla wszystkich x, y: \ quad | f (x) -f (y) | \ równoważnik K | xy |.}$

Weźmy trochę ε > 0 i powiększmy wyrażenie |E[ f ( Y _n )] − E[ f ( X _n )]| Jak

${\ Displaystyle {\ rozpocząć {wyrównane} \ lewo | \ nazwa operatora {E} \ lewo [f (Y_ {n}) \ prawo] - \ nazwa operatora {E} \ lewo [f (X_ {n}) \ prawo] \ right|&\leq \nazwa_operatora {E} \left[\left|f(Y_{n})-f(X_{n})\right|\right]\\&=\nazwa_operatora {E} \left[\ left|f(Y_{n})-f(X_{n})\right|\mathbf {1} _{\left\{|Y_{n}-X_{n}|<\varepsilon \right\}} \right]+\nazwa_operatora {E} \left[\left|f(Y_{n})-f(X_{n})\right|\mathbf {1} _{\left\{|Y_{n}- X_{n}|\geq \varepsilon \right\}}\right]\\&\leq \operatorname {E} \left[K\left|Y_{n}-X_{n}\right|\mathbf {1 } _{\left\{|Y_{n}-X_{n}|<\varepsilon \right\}}\right]+\operatorname {E} \left[2M\mathbf {1} _{\left\{ |Y_{n}-X_{n}|\geq \varepsilon \right\}}\right]\\&\leq K\varepsilon \operatorname {Pr} \left(\left|Y_{n}-X_{n }\right|<\varepsilon \right)+2M\nazwa operatora {Pr} \left(\left|Y_{n}-X_{n}\right|\geq \varepsilon \right)\\&\leq K\varepsilon +2M\nazwa operatora {Pr} \left(\left|Y_{n}-X_{n}\right|\geq \varepsilon \right)\end{aligned}}}$

(tutaj 1 _{...} oznacza funkcję wskaźnika ; oczekiwanie funkcji wskaźnika jest równe prawdopodobieństwu odpowiedniego zdarzenia). Dlatego,

${\ Displaystyle {\ rozpocząć {wyrównane} \ lewo | \ nazwa operatora {E} \ lewo [f (Y_ {n}) \ prawo] - \ nazwa operatora {E} \ lewo [f (X) \ prawo] \ prawo | & \leq \left|\nazwa_operatora {E} \left[f(Y_{n})\right]-\nazwa_operatora {E} \left[f(X_{n})\right]\right|+\left|\ nazwa_operatora {E} \left[f(X_{n})\right]-\nazwa_operatora {E} \left[f(X)\right]\right|\\&\leq K\varepsilon +2M\nazwa_operatora {Pr } \left(|Y_{n}-X_{n}|\geq \varepsilon \right)+\left|\nazwa_operatora {E} \left[f(X_{n})\right]-\nazwa_operatora {E} \left[f(X)\right]\right|.\end{wyrównane}}}$

Jeśli przyjmiemy granicę w tym wyrażeniu jako n → ∞, drugi wyraz osiągnie zero, ponieważ { Y _n − X _n } zbiega się z prawdopodobieństwem do zera; a trzeci wyraz również będzie zbieżny do zera na podstawie lematu portmanteau i faktu, że X _n jest zbieżny do X w rozkładzie. Zatem

${\ Displaystyle \ lim _ {n \ do \ infty} \ lewo | \ nazwa operatora {E} \ lewo [f (Y_ {n}) \ prawo] - \ nazwa operatora {E} \ lewo [f (X) \ prawo] \right|\leq K\varepsilon .}$

Ponieważ ε było dowolne, dochodzimy do wniosku, że granica musi być w rzeczywistości równa zeru, a zatem E[ f ( Y _n )] → E [ f ( X )], co ponownie z lematu portmanteau implikuje, że { Y _n } jest zbieżne do X w dystrybucji. CO BYŁO DO OKAZANIA.

Zbieżność jednej sekwencji w dystrybucji i innej do stałej implikuje wspólną zbieżność w dystrybucji

${\ Displaystyle X_ {n} \ {\ xrightarrow {d}} \ X, \ \ Y_ {n} \ {\xrightarrow {p}}\ c\ \quad \Rightarrow \quad (X_{n},Y_{n})\ {\xrightarrow {d}}\ (X,c)} pod warunkiem, że c$ jest stałą .

Dowód: Udowodnimy to stwierdzenie, korzystając z lematu portmanteau, część A.

Najpierw chcemy pokazać, że ( X _n , c ) zbiega się w rozkładzie do ( X , c ). Za pomocą lematu portmanteau będzie to prawdą, jeśli uda nam się pokazać, że E[ f ( X _n , c )] → E [ f ( X , c )] dla dowolnej ograniczonej ciągłej funkcji f ( x , y ). Niech więc f będzie taką dowolnie ograniczoną funkcją ciągłą. Rozważmy teraz funkcję pojedynczej zmiennej g ( x ) := fa ( x , do ). Będzie to oczywiście również ograniczone i ciągłe, a zatem na mocy lematu portmanteau dla ciągu { X _n } zbieżnego w rozkładzie do X będziemy mieli E [ g ( X _n )] → E [ g ( X )]. Jednak to ostatnie wyrażenie jest równoważne z „E[ f ( X _n , c )] → E [ f ( X , c ) )]”, a zatem wiemy teraz, że ( X _n , c ) zbiega się w rozkładzie do ( X , c ).

Po drugie, rozważ |( X _n , Y _n ) − ( X _n , c )| = | Y _n - do |. To wyrażenie jest zbieżne pod względem prawdopodobieństwa do zera, ponieważ Y _n jest zbieżne pod względem prawdopodobieństwa do c . W ten sposób wykazaliśmy dwa fakty:

${\ Displaystyle {\ rozpocząć {przypadki} \ lewo | (X_ {n}, Y_ {n}) - (X_ {n}, c) \ prawo | \ {\ xrightarrow {p}} \ 0, \\ (X_ {n},c)\ {\xrightarrow {d}}\ (X,c).\end{przypadki}}}$

Z własności Yn _udowodnionej wcześniej , te dwa fakty implikują Xn _, że ( , ) zbiegają się w rozkładzie do ( X , c ).

Zbieżność dwóch ciągów prawdopodobieństwa implikuje łączną zbieżność prawdopodobieństwa

${\ Displaystyle X_ {n} \ {\ xrightarrow {p}} \ X \ \ Y_ {n} \ {\xrightarrow {p}}\ Y\ \quad \Rightarrow \quad (X_{n},Y_{n})\ {\xrightarrow {p}}\ (X,Y)}$

Dowód:

${\ Displaystyle {\ rozpocząć {wyrównane} \ nazwa operatora {Pr} \ lewo (\ lewo | (X_ {n}, Y_ {n}) - (X,Y)\right|\geq \varepsilon \right)&\leq \nazwa_operatora {Pr} \left(|X_{n}-X|+|Y_{n}-Y|\geq \varepsilon \right) \\&\leq \nazwa_operatora {Pr} \left(|X_{n}-X|\geq \varepsilon /2\right)+\nazwa_operatora {Pr} \left(|Y_{n}-Y|\geq \ varepsilon /2\right)\end{wyrównane}}}$

gdzie ostatni krok następuje przez zasadę przegródki i subaddytywność miary prawdopodobieństwa. Każde z prawdopodobieństw po prawej stronie zbiega się do zera jako n → ∞ z definicji zbieżności { X _n } i { Y _n } odpowiednio do X i Y. Biorąc granicę, dochodzimy do wniosku, że lewa strona również jest zbieżna do zera, a zatem ciąg {( X _n , Y _n )} zbiega się z prawdopodobieństwem do {( X , Y )}.

Zobacz też

• Zbieżność zmiennych losowych

•   van der Vaart, Aad W. (1998). Statystyki asymptotyczne . Nowy Jork: Garrick Ardis. ISBN 978-0-521-49603-2 .