Naturalna rodzina wykładnicza

W prawdopodobieństwie i statystyce naturalna rodzina wykładnicza ( NEF ) to klasa rozkładów prawdopodobieństwa , która jest szczególnym przypadkiem rodziny wykładniczej (EF).

Definicja

Przypadek jednowymiarowy

Naturalne rodziny wykładnicze (NEF) są podzbiorem rodzin wykładniczych . NEF to rodzina wykładnicza, w której zarówno parametr naturalny η , jak i statystyka naturalna T ( x ) są tożsamościami. Rozkład w rodzinie wykładniczej z parametrem θ można zapisać za pomocą funkcji gęstości prawdopodobieństwa (PDF)

${\ Displaystyle f_ {X} (x \ mid \ theta) = h (x) \ \exp {\Duża (}\ \eta (\theta )T(x)-A(\theta )\ {\Duża )}\,\!,}$

gdzie $(x)}$$Displaystyle$ znanymi funkcjami. Rozkład w naturalnej rodzinie wykładniczej z parametrem θ można zatem zapisać w formacie PDF

${\ Displaystyle f_ {X} (x \ mid \ theta) = h (x) \ \ exp {\ duży (} \ \ theta xA (\ theta) \ {\ duży)} \, \!.}$

[Zauważ, że twórca NEF, Carl Morris, używa nieco innej notacji. Morris używa ω zamiast η i ψ zamiast A. ]

Ogólny przypadek wielowymiarowy

Załóżmy, że naturalna wykładnicza rodzina rzędu p ma gęstość lub masę ${\ Displaystyle \ mathbf {x} \ in {\ mathcal {X}} \ subseteq \ mathbb {R} ^ {p}}$ funkcja formularza:

${\ Displaystyle f_ {X} (\ mathbf {x} \ mid {\ boldsymbol {\ theta}}) = h(\mathbf {x} )\ \exp {\Duży (}{\boldsymbol {\theta}}^{\rm {T}}\mathbf {x} -A({\boldsymbol {\theta}})\ {\Duży )}\,\!,}$

gdzie w tym przypadku parametr ${\ Displaystyle {\ boldsymbol {\ teta}} \ w \ mathbb {R} ^ {p}.}$

Funkcje generujące momenty i kumulanty

Członek naturalnej rodziny wykładniczej ma funkcję generującą moment (MGF) postaci

${\ Displaystyle M_ {X} (\ mathbf {t}) = \ exp {\ duży (} \ A ({\ boldsymbol {\ theta}} + \ mathbf {t}) -A ({\ boldsymbol {\ theta} })\ {\Duży )}\,.}$

Funkcja generująca kumulację jest z definicji logarytmem MGF, więc tak jest

${\ Displaystyle K_ {X} (\ mathbf {t}) = A ({\ boldsymbol {\ theta}} + \ mathbf {t}) -A ({\ boldsymbol {\ theta}}) \,.}$

Przykłady

Pięć najważniejszych przypadków jednowymiarowych to:

• rozkład normalny ze znaną wariancją
• Rozkład Poissona
• rozkład gamma ze znanym parametrem kształtu α (lub k w zależności od zastosowanego zestawu notacji)
• rozkład dwumianowy ze znaną liczbą prób, n
• ujemny rozkład dwumianowy ze znanym ${\ displaystyle r}$

Te pięć przykładów — Poissona, dwumianu, dwumianu ujemnego, normalnego i gamma — stanowi specjalny podzbiór NEF, zwany NEF z kwadratową funkcją wariancji (NEF-QVF), ponieważ wariancję można zapisać jako kwadratową funkcję średniej. NEF-QVF omówiono poniżej.

Rozkłady takie jak wykładniczy , chi-kwadrat , Bernoulliego i geometryczny są szczególnymi przypadkami powyższych pięciu rozkładów. Wiele powszechnych dystrybucji to albo NEF, albo mogą być powiązane z NEF. Na przykład: rozkład chi-kwadrat jest szczególnym przypadkiem rozkładu gamma . Rozkład Bernoulliego jest rozkładem dwumianowym z n = 1 próbą. Rozkład wykładniczy jest rozkładem gamma z parametrem kształtu α = 1 (lub k = 1 ).

Niektóre wykładnicze rozkłady rodziny nie są NEF. Rozkład logarytmiczno-normalny i Beta należą do rodziny wykładniczej, ale nie do naturalnej rodziny wykładniczej.

Parametryzacja większości powyższych rozkładów została napisana inaczej niż parametryzacja powszechnie stosowana w podręcznikach i na stronach, do których prowadzą linki. Na przykład powyższa parametryzacja różni się od parametryzacji w połączonym artykule w przypadku Poissona. $średnim parametrem$ powiązane przez , gdzie λ gęstość można

${\ Displaystyle f (k; \ teta) = {\ Frac {1} {k!}} \ exp {\ duży (} \ \ teta \ k- \ exp (\ theta ) \ {\ Duży )} \ ,}$

dla więc θ $\ Displaystyle \ theta \ in \ mathbb {R}}$

${\ Displaystyle h (k) = {\ Frac {1} {k!}} {\ tekst {i}} A (\ teta) = \ exp (\ teta) \ .}$

Ta alternatywna parametryzacja może znacznie uprościć obliczenia w statystyce matematycznej . Na przykład we wnioskowaniu bayesowskim a posteriori rozkład prawdopodobieństwa jest obliczany jako iloczyn dwóch rozkładów. Zwykle to obliczenie wymaga napisania funkcji rozkładu prawdopodobieństwa (PDF) i integracji; przy powyższej parametryzacji można jednak uniknąć tego obliczenia. Zamiast tego można wyodrębnić relacje między dystrybucjami ze względu na opisane poniżej właściwości NEF.

Przykładem przypadku wielowymiarowego jest rozkład wielomianowy ze znaną liczbą prób.

Nieruchomości

Właściwości naturalnej rodziny wykładniczej można wykorzystać do uproszczenia obliczeń dotyczących tych rozkładów.

Przypadek jednowymiarowy

1. Kumulanty NEF można obliczyć jako pochodne funkcji generującej kumulanty NEF. n-ta kumulanta jest n-tą pochodną funkcji generującej kumulację względem t oszacowanego przy t = 0.

Funkcja generująca kumulację to

${\ Displaystyle K_ {X} (t) = A (\ teta + t) -A (\ teta) \,.}$

Pierwsza kumulacja to

${\ Displaystyle \ kappa _ {1} = K_ {X} '(t) {\ duży |} _ {t = 0} = \ lewo. {\ Frac {d} {dt}} A (\ theta + t) \right|_{t=0}\,.}$

Średnia jest pierwszą chwilą i zawsze równa pierwszej kumulacji, więc

${\ Displaystyle \ mu _ {1} = \ kappa _ {1} = \ nazwa operatora {E} [X] = K'_ {X} (0) = A' (\ teta) \,.}$

Wariancja jest zawsze drugą kumulacją i zawsze jest powiązana z pierwszym i drugim momentem przez

${\ Displaystyle \ nazwa operatora {Var} [X] = \ kappa _ {2} = \ mu _ {2} - \ mu _ {1} ^ { 2}\,,}$

aby

${\ Displaystyle \ nazwa operatora {Var} [X] = K''_ {X} (0) = A'' (\ teta) \,.}$

Podobnie jest z n- tą kumulacją

${\ Displaystyle \ kappa _ {n} = A ^ {(n)} (\ teta) \,.}$

2. Naturalne rodziny wykładnicze (NEF) są domknięte w splocie.

Biorąc pod uwagę ${i=1}^{n}X_{i}\,}$ identycznie rozłożony ( $ja$ ) z NEF, to $Displaystyle \$ to NEF, chociaż niekoniecznie oryginalny NEF. Wynika to z właściwości funkcji generującej kumulanty.

3. Funkcję wariancji dla zmiennych losowych o rozkładzie NEF można zapisać jako średnią.

${\ Displaystyle \ nazwa operatora {Var} (X) = V (\ mu).}$

4. Pierwsze dwa momenty rozkładu NEF jednoznacznie określają rozkład w tej rodzinie rozkładów.

${\ Displaystyle X \ sim \ nazwa operatora {NEF} [\ mu, V (\ mu)].}$

Przypadek wielowymiarowy

W przypadku wielu zmiennych średni wektor i macierz kowariancji to

${\ Displaystyle \ operatorname {E} [X] = \ nabla A ({\ boldsymbol {\ theta}} ){\text{i }}\operatorname {Cov} [X]=\nabla \nabla ^{\rm {T}}A({\boldsymbol {\theta}})\,,}$

gdzie $}$$Displaystyle$ jest gradientem i jest Hesji .

Naturalne rodziny wykładnicze z kwadratowymi funkcjami wariancji (NEF-QVF)

Szczególnym przypadkiem naturalnych rodzin wykładniczych są te z kwadratowymi funkcjami wariancji. Sześć NEF ma kwadratowe funkcje wariancji (QVF), w których wariancję rozkładu można zapisać jako kwadratową funkcję średniej. Są to tak zwane NEF-QVF. Właściwości tych rozkładów zostały po raz pierwszy opisane przez Carla Morrisa .

${\ Displaystyle \ operatorname {Var} (X) = V (\ mu) = \ nu _ {0} + \ nu _ {1} \ mu + \ nu _ {2} \ mu ^ {2}.}$

Sześć NEF-QVF

Sześć NEF-QVF jest tutaj zapisanych z rosnącą złożonością związku między wariancją a średnią.

$1.$ Rozkład normalny ze stałą wariancją , Wariancję można zapisać ${\ Displaystyle \ operatorname {Var} (X) = V (\ mu) = \ sigma ^ {2}}$ , więc wariancja jest stopniem 0 funkcja średniej.

2. Rozkład Poissona $,$${\ Displaystyle \ operatorname {Var} (X) = V (\ mu) = \ mu}$ wariancję równą średniej , więc wariancja jest liniową funkcją średniej.

3. Rozkład Gamma ${\ Displaystyle X \ sim \ operatorname {Gamma}$ rozkładu Gamma to $displaystyle \mu =r\lambda }$$r$ a wariancja rozkładu Gamma to ${\ Displaystyle \ operatorname {Var} (X) = V (\ mu) = \ mu ^ {2} / r}$ , więc wariancja jest funkcją kwadratową średniej.

$=$ Rozkład dwumianowy $QVF,$ średnia to , a wariancja to ${\ Displaystyle \ operatorname {Var} (X) = np (1-p)},$ co można zapisać w kategoriach średniej jako ${\ Displaystyle V (X) = - np ^ {2} + np = - \ mu ^ {2} / n + \ mu.}$

5. Ujemny rozkład dwumianowy to NEF-QVF, ponieważ średnia to ${\ Displaystyle \ mu = np / (1-p)}$$( n , p ) {\ Displaystyle X \ sim \ operatorname {NegBin} ($ a wariancja to ${\ Displaystyle V (\ mu) = \ mu ^ {2}/n + \ mu.}$

6. (Niezbyt znany) rozkład generowany przez uogólniony hiperboliczny sieczny rozkład (NEF-GHS) ma ${\ Displaystyle V (\ mu) = \ mu ^ {2}/n + n}$ i ${\ Displaystyle \ mu > 0.}$

Właściwości NEF-QVF

Właściwości NEF-QVF mogą uprościć obliczenia wykorzystujące te rozkłady.

1. Naturalne rodziny wykładnicze z kwadratowymi funkcjami wariancji (NEF-QVF) są domknięte splotami transformacji liniowej. Oznacza to, że splot liniowej transformacji NEF-QVF jest również NEF-QVF, chociaż niekoniecznie oryginalnym.

Dany $.$ identycznie rozłożony z z NEF Splot liniowej transformacji NEF-QVF jest również NEF-QVF.

Niech ${\ Displaystyle Y = \ suma _ {i = 1} ^ {n} (X_ {i} -b) / c \,}$ będzie splotem liniowa transformacja X . Średnia Y to ${\ Displaystyle \ mu ^ {*} = n (\ mu -b) / c \,}$ . Wariancja Y można zapisać w kategoriach funkcji wariancji oryginalnego NEF-QVF. Jeśli oryginalny NEF-QVF miał funkcję wariancji

${\ Displaystyle \ operatorname {Var} (X) = V (\ mu) = \ nu _ {0} + \ nu _ {1}\mu +\nu _{2}\mu ^{2},}$

wtedy nowy NEF-QVF ma funkcję wariancji

${\ Displaystyle \ operatorname {Var} (Y) = V ^ {*} (\ mu ^ {*} })=\nu _{0}^{*}+\nu _{1}^{*}\mu +\nu _{2}^{*}\mu ^{2},}$

Gdzie

${\ Displaystyle \ nu _ {0} ^ {*} = n V (b) / c ^ {2} \,,}$

${\ Displaystyle \ nu _ {1} ^ {*} = V' (b) / c \ ,,}$

${\ Displaystyle \ nu _ {2} ^ {*}/n = \ nu _ {2}/n \,.}$

2. Niech ${1}$ będą $niezależnymi$ NEF z tym samym parametrem θ i niech $+X_{2}}$$Y =$ . $X_ {1}}$ dany rozkład warunkowy ma kwadratową wariancję w $X$$wtedy$ tylko wtedy, gdy $Displaystyle$ i ${\ Displaystyle X_ {2}}$ są NEF-QVF. Przykładami takich rozkładów warunkowych są normalne , dwumianowe , beta , hipergeometryczne i geometryczne , z których nie wszystkie są NEF-QVF.

3. NEF-QVF mają sprzężone wcześniejsze rozkłady na μ w systemie rozkładów Pearsona (zwanym także rozkładem Pearsona , chociaż system rozkładów Pearsona jest w rzeczywistości raczej rodziną rozkładów niż pojedynczą dystrybucją). Przykłady sprzężonych rozkładów wcześniejszych NEF- Rozkłady QVF to rozkłady normalny , gamma , odwrotny gamma, beta , F- i t- . Ponownie, te sprzężone przeorniki nie wszystkie są NEF-QVF.

4. Jeśli ma $rozkład$ NEF-QVF, a μ ma sprzężony wcześniejszy rozkład, to rozkłady krańcowe są dobrze

Te właściwości wraz z powyższą notacją mogą uprościć obliczenia w statystyce matematycznej , które normalnie byłyby wykonywane przy użyciu skomplikowanych obliczeń i rachunku różniczkowego.

Zobacz też

• Uogólniony model liniowy
• Dystrybucja Pearsona
• Sekwencja Sheffera
• Wielomiany ortogonalne

• Morris C. (1982) Naturalne rodziny wykładnicze z kwadratowymi funkcjami wariancji: teoria statystyczna . Wydział Matematyki, Instytut Statystyki, University of Texas, Austin.