Twierdzenie Glivenki – Cantelliego

W teorii prawdopodobieństwa twierdzenie Glivenko-Cantelli (czasami nazywane fundamentalnym twierdzeniem statystyki ), nazwane na cześć Walerego Iwanowicza Glivenki i Francesco Paolo Cantelli , określa asymptotyczne zachowanie empirycznej funkcji dystrybucji jako liczby niezależnych i identycznie rozłożonych obserwacje rosną.

Jednolita zbieżność bardziej ogólnych miar empirycznych staje się ważną właściwością klas funkcji lub zbiorów Glivenko – Cantelli . Klasy Glivenko – Cantelli powstają w teorii Vapnika – Chervonenkisa , z zastosowaniami w uczeniu maszynowym . Zastosowania można znaleźć w ekonometrii wykorzystującej M-estymatory .

Oświadczenie

Załóżmy, że $są$ niezależnymi zmiennymi losowymi o identycznym rozkładzie R $}}$${\ Displaystyle F (x)}$ ze wspólną skumulowaną . Empiryczna funkcja dystrybucji dla ${\ Displaystyle X_ {1}, \ kropki, X_ {n}}$ jest określony przez

${\ Displaystyle F_ {n} (x) = {\ Frac {1} {n}} \ suma _ {i = 1} ^ {n} I_ {[X_ {i}, \ infty)} (x) = { \frac {1}{n}}\left|\left\{1\leq i\leq n\mid X_{i}\leq x\right\}\right|}$

gdzie jest funkcją wskaźnika zbioru . ja do $C}}$$\ displaystyle$ . Dla każdego (stałego) $ciągiem$ zmiennych losowych, które zbiegają się prawie do $($$Displaystyle$ ) z pewnością przez silne prawo wielkich liczb . Glivenko i Cantelli wzmocnili ten wynik udowadniając jednostajna zbieżność do ${n}$ displaystyle $}$ .

Twierdzenie

${\ Displaystyle \|F_ {n} -F \|_ {\ infty} = \ sup _ {x \ in \ mathbb {R}}| F_ {n} (x) -F (x) |\ longrightarrow 0 }$ prawie na pewno.

Twierdzenie to pochodzi od Valery'ego Glivenko i Francesco Cantelli w 1933 roku.

Uwagi

• Jeśli jest $stacjonarnym$ procesem ${\ Displaystyle F (x) = \ nazwa operatora {E} (1_ {X_ {1} \ równoważnik x})}$ , do $)$ . Twierdzenie Glivenko – Cantelli daje silniejszy tryb zbieżności niż ten w iid .
• Jeszcze silniejszy wynik jednostajnej zbieżności dla dystrybuanta empirycznego jest dostępny w postaci rozszerzonego typu prawa logarytmu iterowanego . Zobacz asymptotyczne właściwości funkcji dystrybucji empirycznej dla tego i pokrewnych wyników.

Dowód

Dla uproszczenia rozważmy przypadek ciągłej zmiennej losowej ${\ displaystyle X}$ . Fix ${\ Displaystyle - \ infty = x_ {0}<x_ {1}<\ cdots <x_ {m-1}<x_ {m }=\infty }$ takie, że ${\ Displaystyle F (x_ {j}) -F (x_ {j-1}) = {\ Frac {1} {m}}}$ dla jot $\ Displaystyle j = 1, \ kropki ,m}$ . Teraz $}$ wszystkich istnieje takie, $R}}$ takie ${\ Displaystyle x \ w [x_ {j-1}, x_ {j}]}$ . Zauważ to

${\ Displaystyle {\ rozpocząć {wyrównane} F_ {n} (x) -F (x) i \ równoważnik F_ {n} (x_ {j}) -F (x_ {j-1}) = F_ {n} ( x_{j})-F(x_{j})+{\frac {1}{m}},\\F_{n}(x)-F(x)&\geq F_{n}(x_{j -1})-F(x_{j})=F_{n}(x_{j-1})-F(x_{j-1})-{\frac {1}{m}}.\end{ wyrównany}}}$

Dlatego,

${\ Displaystyle \| F_ {n} -F \ | _ {\ infty} = \ sup _ {x \ in \ mathbb {R}} | F_ {n} (x) -F (x) |\ równoważnik \ max _{j\w \{1,\kropki,m\}}|F_{n}(x_{j})-F(x_{j})|+{\frac {1}{m}}.}$

Ponieważ ${\textstyle \max _{j\in \{1,\kropki,m\}}|F_{n}(x_{j})-F(x_{j})|\do 0{\tekst{ as}}}$ mocą prawa wielkich liczb możemy zagwarantować, że dla dowolnej dodatniej $i$ liczby całkowitej $,$ że ${\ textstyle 1/m <\ varepsilon}$$n \ geq N}$ możemy znaleźć takie, że dla wszystkich $Displaystyle$ mamy ${\textstyle \max _{j\in \{1,\kropki,m\}}|F_{n}(x_{j})-F(x_{j})|\równoważnik \varepsilon -1/m{ \text{ jako}}}$ . W połączeniu z powyższym wynikiem oznacza to dalej, że ${\ textstyle \|F_ {n} -F \|_ {\ infty} \ leq \ varepsilon {\ text {a}}}$ , co jest definicją prawie pewnej zbieżności.

Miary empiryczne

Funkcję rozkładu empirycznego można uogólnić ${\ displaystyle {\ mathcal {C}}}$ zastępując zbiór ${\ Displaystyle (- \ infty, x]}$ dowolnym zbiorem C z klasy zbiorów do aby uzyskać miarę empiryczną indeksowaną przez zbiory ${\ Displaystyle C \ in {\ mathcal {C}}.}$

${\ Displaystyle P_ {n} (C) = {\ Frac {1} {n}} \ suma _ {i = 1}^{n}I_{C}(X_{i}),C\w {\mathcal {C}}}$

Gdzie $(x)$ funkcją wskaźnika każdego zestawu. ja do $\ displaystyle$ }

Dalszym uogólnieniem jest mapa wywołana przez mierzalne funkcje o wartościach rzeczywistych f , którą podaje ${\ displaystyle P_ {n}}$

${\ Displaystyle f \ mapsto P_ {n} f = \ int _ {S} f \, dP_ {n} = {\ Frac {1} {n}} \ suma _ {i = 1} ^ {n} f ( X_ {i}),f\w {\mathcal {F}}.}$

$,$$.$ czy silne prawo wielkich liczb obowiązuje jednolicie na lub

Klasa Glivenko-Cantelli

$podzbiorów$ zbiór z algebrą sigma borelowskich A i miarą prawdopodobieństwa P . Dla klasy podzbiorów

${\ Displaystyle {\ mathcal {C}} \ podzbiór \ {C: C {\ tekst {jest mierzalnym podzbiorem}} {\ mathcal {S}} \}$

i klasa funkcji

${\ Displaystyle {\ mathcal {F}} \ podzbiór \ {f: {\ mathcal {S}} \ do \ mathbb {R}, f {\ mbox {jest wymierny}}\,\}}$

zdefiniuj zmienne losowe

${\ Displaystyle \| P_ {n} -P \ | _ {\ mathcal {C}} = \ sup _ {C \ w {\ mathcal {C}}} | P_ {n} (C) -P (C) |}$

${\ Displaystyle \| P_ {n} -P \ | _ {\ mathcal {F}} = \ sup _ {f \ w {\ mathcal {F}}} | P_ {n} f-Pf |}$

gdzie $)}$ jest miarą empiryczną, ${\ Displaystyle P_ {n} f}$ jest odpowiednią mapą i P n ( do ) {\ Displaystyle P_ {n} (C)}

${\ Displaystyle \ nazwa operatora {E} f = \ int _ {\ mathcal {S}} f \, dP = Pf} ,$ zakładając, że istnieje.

Definicje

• Klasa nazywana jest klasą Glivenko – Cantelli (lub klasą GC ) $,$ odniesieniu do miary prawdopodobieństwa P jeśli którekolwiek z poniższych równoważnych stwierdzeń jest prawdziwe.

1. ${\ Displaystyle \| P_ {n} -P \| _ {\ mathcal {C}} \ do 0} prawie na pewno$ jako ${\ Displaystyle n \ do \ infty}$ .

2. ${\ Displaystyle \| P_ {n} -P \| _ {\ mathcal {C}} \ do 0}$ z prawdopodobieństwem jako ${\ Displaystyle n \ do \ infty}$ .

3. ${\ Displaystyle \ nazwa operatora {E} \| P_ {n} -P \ | _ {\ mathcal {C}} \ do 0},$ jak ${\ Displaystyle n\to \infty }$ (zbieżność w średniej).

Klasy funkcji Glivenko – Cantelli są definiowane podobnie.

• Klasa nazywana jest uniwersalną klasą Glivenko – Cantelli , jeśli jest klasą GC w odniesieniu do dowolnej miary prawdopodobieństwa P na ( S , A ).
• Klasa nazywana jest jednolicie Glivenko – Cantelli , jeśli zbieżność zachodzi równomiernie dla wszystkich miar prawdopodobieństwa P na ( S , A ):

${\ Displaystyle \ sup _ {P \ w {\ mathcal {P}} (S, A)} \ operatorname {E} \| P_ {n} -P \ | _ {\ mathcal {C}} \ do 0; }$

${\ Displaystyle \ sup _ {P \ w {\ mathcal {P}} (S, A)} \ operatorname {E} \| P_ {n} -P \ | _ {\ mathcal {F}} \ do 0. }$

Twierdzenie ( Vapnik i Chervonenkis , 1968)

Klasa zbiorów $jest jednostajnie$ wtedy i tylko wtedy, gdy jest klasą Vapnika – Chervonenkisa .

Przykłady

• Niech ${\ Displaystyle S = \ mathbb {R}}$ i do $\ Displaystyle {\ mathcal {C}} = \ {(- \ infty, t] :t\in {\mathbb {R}}\}} Z$ klasycznego twierdzenia Glivenki-Cantellego wynika, że ​​ta klasa jest uniwersalną klasą GC. Ponadto, zgodnie z twierdzeniem Kołmogorowa ,

$} \ sim n ^ {-1/2}}$${\ Displaystyle \ sup _ {P \ w {\ mathcal {P}} (S, A)} \| P_ {n} -P \ | _ {\ mathcal {C$$}$ czyli jest jednolicie klasą Glivenko – Cantelli.

• Niech P będzie nieatomową miarą prawdopodobieństwa na S i będzie klasą wszystkich skończonych $podzbiorów$ S . Ponieważ ${\ Displaystyle A_ {n} = \ {X_ {1}, \ ldots, X_ {n} \} \ w {\ mathcal {C}}}$ , ${\ Displaystyle P (A_ {n}) = 0}$ , ${\ Displaystyle P_ {n} (A_ {n}) = 1}$ , mamy to ${\ Displaystyle \| P_ {n} -P \|_ {\ mathcal {C}} = 1}$ więc nie jest $klasą$ GC w odniesieniu P .

Zobacz też

• Twierdzenie Donskera
• Nierówność Dvoretzky'ego – Kiefera – Wolfowitza - wzmacnia twierdzenie Glivenko – Cantelliego poprzez ilościowe określenie tempa zbieżności.

Dalsza lektura

•   Dudley, RM (1999). Jednolite centralne twierdzenia graniczne . Wydawnictwo Uniwersytetu Cambridge. ISBN 0-521-46102-2 .
•   Pitman, EJG (1979). „Funkcja dystrybucji próbek”. Niektóre podstawowe teorie wnioskowania statystycznego . Londyn: Chapman i Hall. P. 79–97. ISBN 0-470-26554-X .
•   Shorack, GR; Wellner, JA (1986). Procesy empiryczne z zastosowaniami w statystyce . Wileya. ISBN 0-471-86725-X .
•   van der Vaart, AW ; Wellner, JA (1996). Słaba konwergencja i procesy empiryczne . Skoczek. ISBN 0-387-94640-3 .
• van der Vaart, Aad W.; Wellner, Jon A. (1996). Twierdzenia Glivenko-Cantelliego . Skoczek.
• van der Vaart, Aad W.; Wellner, Jon A. (2000). Twierdzenia o zachowaniu dla klas Glivenko – Cantelli i jednolitych klas Glivenko – Cantelli . Skoczek.