Rozbieżność (statystyki)

W geometrii informacyjnej rozbieżność jest rodzajem odległości statystycznej : funkcją binarną , która określa rozdzielenie jednego rozkładu prawdopodobieństwa od drugiego na rozmaitości statystycznej .

Najprostszą rozbieżnością jest kwadrat odległości euklidesowej (SED), a rozbieżności można postrzegać jako uogólnienia SED. Inną najważniejszą rozbieżnością jest względna entropia ( dywergencja Kullbacka-Leiblera , dywergencja KL), która ma kluczowe znaczenie dla teorii informacji . Istnieje wiele innych specyficznych rozbieżności i klas rozbieżności, w szczególności rozbieżności f i rozbieżności Bregmana (patrz § Przykłady ).

Definicja

Biorąc pod uwagę ${\ Displaystyle D: M \ razy M \ do [0, \ infty)}$ rozmaitość $\$ , rozbieżność na M $Displaystyle$ $M}$ jest funkcją - do $C ^ {2}}$ satysfakcjonujące:

${\ Displaystyle D (p, q) \ geq 0}$ dla wszystkich ${\ Displaystyle p, q \ w M}$ (nieujemne),
${\ Displaystyle D (p, q) = 0}$ wtedy i tylko wtedy, gdy ${\ Displaystyle p = q}$ (pozytywność),
W każdym punkcie jest dodatnio określona forma kwadratowa dla nieskończenie małych przemieszczeń $} displaystyle dp}$ $p, p + dp)$ $\ in M}$ re od ${\ displaystyle p}$ .

W zastosowaniach statystycznych rozmaitość $przestrzenią$ parametrów parametrycznej rodziny rozkładów prawdopodobieństwa .

${\ displaystyle p \ in M$ oznacza, że definiuje iloczyn wewnętrzny w przestrzeni stycznej $p$ ${\ displaystyle T_ {p} M}$ dla każdego . Ponieważ jest $na$ $,$ $}$ definiuje metrykę $displaystyle$ $M$ . _

Lokalnie w $in M }$ możemy skonstruować lokalny wykres współrzędnych ze współrzędnymi , wtedy rozbieżność wynosi ${\ displaystyle p \$

{\ Displaystyle D (x (p), x (p )+dx)=\textstyle {\frac {1}{2}}dx ^{T}g_{p}(x)dx+O(|dx|^{3})}

gdzie

{\ displaystyle g_ {p} (x)}

jest macierzą o rozmiarze

{\ displaystyle n \ razy n}

. Jest

to

metryka Riemanna w

punkcie

we .

Analiza wymiarowa warunku 3 pokazuje, że rozbieżność ma wymiar kwadratu odległości.

Podwójna rozbieżność jest zdefiniowana jako ${\ displaystyle D ^ {*}}$

{\ Displaystyle D ^ {*} (p, q) = D (q, p).}

$Kiedy$ chcemy $skontrastować$ z odnosimy $dywergencji$ do _ _

Biorąc pod uwagę jakąkolwiek rozbieżność , jej symetryczną wersję uzyskuje się przez uśrednienie jej z podwójną rozbieżnością: ${\ displaystyle D}$

{\ Displaystyle D_ {S} (p, q) = \ textstyle {\ Frac {1} {2}} {\ duży (} D (p, q) + D (q, p) {\ duży)}.}

Różnica w stosunku do innych podobnych koncepcji

W przeciwieństwie do metryk rozbieżności nie muszą być symetryczne, a asymetria jest ważna w aplikacjach. W związku z tym często odnosi się asymetrycznie do rozbieżności „ q od p ” lub „od p do q ”, a nie „między p i q ”. Po drugie, rozbieżności uogólniają kwadratową , a nie liniową, a zatem nie spełniają nierówności trójkąta , ale niektóre rozbieżności (takie jak rozbieżność Bregmana ) spełniają uogólnienia twierdzenia Pitagorasa .

$)$ $}$ { \ Displaystyle rozpatrywanych, tak aby spełnione były warunki 1, 2. Warunek 3 jest wymagany dla „rozbieżności” stosowanej w geometrii informacyjnej.

Na przykład całkowita odległość zmienności , powszechnie stosowana rozbieżność statystyczna, nie spełnia warunku 3.

Notacja

Notacja rozbieżności różni się znacznie w zależności od dziedziny, chociaż istnieją pewne konwencje.

$jak$ w odróżnić je od odległości metrycznych, które są oznaczane małą literą „d” Gdy używanych jest wiele rozbieżności, zwykle rozróżnia się je za pomocą indeksów dolnych, jak w $Kullbacka$ dywergencji – Leiblera (dywergencja KL)

Często stosuje się inny separator między parametrami, szczególnie w celu podkreślenia asymetrii. W teorii informacji powszechnie stosuje się podwójną kreskę: ${\ Displaystyle D (p \ równoległy q)}$ ; $rozbieżności$ to podobne do notacji prawdopodobieństwa warunkowego , ale różni się od niego jako pomiaru względnego, jak entropii ten zapis jest wspólny dla dywergencji KL. Zamiast tego można użyć dwukropka, ponieważ ${\ Displaystyle D (p: q)}$ ; podkreśla to względne informacje wspierające te dwie dystrybucje.

Notacja parametrów jest również różna. P ${\ displaystyle P, Q}$ interpretuje parametry jako rozkłady prawdopodobieństwa, podczas gdy małe litery ${$ , $displaystyle x, y}$ interpretują je geometrycznie jako punkty w przestrzeni, P , Q {\ Displaystyle P i $_$ _ $_$ _

Właściwości geometryczne

Wiele właściwości rozbieżności można wyprowadzić, jeśli ograniczymy S do rozmaitości statystycznej, co oznacza, że można ją sparametryzować za pomocą skończonego wymiarowego układu współrzędnych θ , tak że dla rozkładu p ∈ S możemy zapisać p = p ( θ ) .

Dla pary punktów p , q ∈ S o współrzędnych θ _p i θ _q , oznaczmy pochodne cząstkowe D ( p , q ) jako

{\ Displaystyle {\ rozpocząć {wyrównane} D ((\ częściowe _ {i}) _ {p}, q) \ \ & {\ stackrel {\ operatorname {def}}}}}} \ \ {\ tfrac {\ częściowe }{\częściowe \theta _{p}^{i}}}D(p,q),\\D((\częściowe _{i}\częściowe _{j})_{p},(\częściowe _{k})_{q})\ \ \ &{\stackrel {\mathrm {def} }{=}}\ \ {\tfrac {\częściowy}}{\częściowy \theta _{p}^{i}} }{\tfrac {\częściowy }{\częściowy \theta _{p}^{j}}}{\tfrac {\częściowy}}{\częściowy \theta _{q}^{k}}}D(p,q ),\ \ \mathrm {etc.} \end{aligned}}}

Teraz ograniczamy te funkcje do przekątnej p = q i oznaczamy

{\ Displaystyle {\ rozpocząć {wyrównane} D [\ częściowe _ {i}, \ cdot ] \ &: \ p \ mapsto D ((\ częściowe _ {i}) _ {p}, p), \\ D [ \częściowy _{i},\częściowy _{j}]\ &:\ p\mapsto D((\częściowy _{i})_{p},(\częściowy _{j})_{p}), \ \ \mathrm {etc.} \end{wyrównane}}}

Z definicji funkcja D ( p , q ) jest minimalizowana przy p = q , a zatem

{\ Displaystyle {\ rozpocząć {wyrównane} i D [\ częściowe _ {i}, \ cdot] = D [\ cdot, \ częściowe _ {i}] = 0, \\ i D [\ częściowe _ {i }\częściowy _{j},\cdot ]=D[\cdot ,\częściowy _{i}\częściowy _{j}]=-D[\częściowy _{i},\częściowy _{j}]\ \ równoważne \ g_{ij}^{(D)},\end{wyrównane}}}

gdzie macierz g ^{( D )} jest dodatnio półokreślona i definiuje unikalną metrykę Riemanna na rozmaitości S .

Rozbieżność D (·, ·) definiuje również unikalne bezskrętne połączenie afiniczne ∇ ( ^{D ) ze} współczynnikami

{\ Displaystyle \ Gamma _ {ij, k} ^ {(D)} = - D [\ częściowe _ {i} \ częściowe _{j},\częściowe _{k}],}

a połączenie dualne do tego połączenia ∇* jest generowane przez dywergencję dualną D *.

Zatem rozbieżność D (·, ·) generuje na rozmaitości statystycznej unikalną strukturę dualistyczną ( g ^{( D )} , ∇ ^{( D )} , ∇ ^{( D *)} ). Prawdziwa jest również sytuacja odwrotna: każda dualistyczna struktura bez skręcenia na rozmaitości statystycznej jest indukowana z jakiejś globalnie zdefiniowanej funkcji dywergencji (która jednak nie musi być unikalna).

Na przykład, gdy D jest dywergencją f dla jakiejś funkcji ƒ(·), to generuje metrykę g ( ^{D f ₎ =} c ·g i związek ∇ ^{( D _f )} = ∇ ^{( α )} , gdzie g jest kanoniczna metryka informacyjna Fishera , ∇ ^{( α )} to połączenie α, c = ƒ′′(1) , a α = 3 + 2ƒ′′′(1)/ƒ′′(1) .

Przykłady

Dwie najważniejsze rozbieżności to względna entropia ( dywergencja Kullbacka – Leiblera , dywergencja KL), która ma kluczowe znaczenie dla teorii informacji i statystyki, oraz kwadrat odległości euklidesowej (SED). Minimalizowanie tych dwóch rozbieżności jest głównym sposobem rozwiązywania liniowego problemu odwrotnego , poprzez zasadę maksymalnej entropii i najmniejszych kwadratów , zwłaszcza w regresji logistycznej i regresji liniowej .

Dwie najważniejsze klasy rozbieżności to rozbieżności f i rozbieżności Bregmana ; jednak w literaturze spotyka się również inne rodzaje funkcji dywergencji. Jedyną rozbieżnością, która jest zarówno f , jak i dywergencją Bregmana, jest dywergencja Kullbacka – Leiblera; kwadratowa dywergencja euklidesowa jest dywergencją $.$ (odpowiadającą funkcji , ale nie dywergencją f

rozbieżności f

Biorąc pod uwagę funkcję wypukłą ${\ Displaystyle f: [0, \ infty ) \ do (- \ infty, \ infty ]}$ taka, że ${\ Displaystyle f (0) = \ lim _ {t \ do 0 ^ {+}} f (t), f (1) = 0} , f -$ rozbieżność generowana przez $f$ jest zdefiniowany jako

{\ Displaystyle D_ {f} (p, q) = \ int p (x) f {\ bigg ( }{\frac {q(x)}{p(x)}}{\bigg)}dx}

Dywergencja Kullbacka – Leiblera :	${\ Displaystyle D _ {\ operatorname {KL}} (p, q) = \ int p (x )\ln \left({\frac {p(x)}{q(x)}}\right)dx}$
kwadrat odległości Hellingera :	${\ Displaystyle H ^ {2} (p, \, q) = 2 \ int {\ duży (} {\ sqrt {p(x)}}-{\sqrt {q(x)}}\,{\Duży)}^{2}dx}$
Dywergencja Jensena – Shannona :	${\ Displaystyle D_ {JS} (p, q)={\frac {1}{2}}\int (p(x)-q(x)){\big (}\ln p(x)-\ln q(x){\big )}dx }$
dywergencja α	${\ Displaystyle D ^ {(\ alfa)} ( p,q)={\frac {4}{1-\alpha ^{2}}}{\bigg (}1-\int p(x)^{\frac {1-\alpha}{2}}q (x)^{\frac {1+\alpha}}{2}}dx{\bigg)}}$
dywergencja chi-kwadrat :	${\ Displaystyle D _ {\ chi ^ {2}} (p, q) = \ int {\ frac {(p(x)-q(x))^{2}}{p(x)}}dx}$
( α , β )-iloczyn rozbieżności ^{[ potrzebne źródło ]} :	${\ Displaystyle D _ {\ alfa, \ beta} (p, q) = {\ Frac {2} {(1- \ alfa) (1- \ beta) }}\int {\Duży (}1-{\Duży (}{\tfrac {q(x)}{p(x)}}{\Duży)}^{\!\!{\frac {1-\ alpha }{2}}}{\Duży )}{\Duży (}1-{\Duży (}{\tfrac {q(x)}{p(x)}}{\Duży)}^{\!\ !{\frac {1-\beta}{2}}}{\Duży)}p(x)dx}$

Rozbieżności Bregmana

Rozbieżności Bregmana odpowiadają funkcjom wypukłym na zbiorach wypukłych. Biorąc pod uwagę ściśle wypukłą , różniczkowalną w sposób ciągły funkcję $F$ na zbiorze wypukłym , znaną jako generator Bregmana , rozbieżność Bregmana mierzy wypukłość: błędu liniowego przybliżenia $F$ z $q$ jako przybliżenia wartości w $p$ :

{\ Displaystyle D_ {F} (p, q) = F (p) -F (q) - \ langle \ nabla F (q), pq \ rangle.}

Podwójna rozbieżność z rozbieżnością Bregmana to rozbieżność generowana przez wypukły koniugat $F *$ generatora Bregmana pierwotnej rozbieżności. Na przykład dla kwadratu odległości euklidesowej generatorem jest $,$ podczas gdy dla entropii względnej generatorem jest entropia $displaystyle x \ log x}$ .

Historia

Użycie terminu „dywergencja” - zarówno tego, do jakich funkcji się odnosi, jak i różnych odległości statystycznych - zmieniało się znacznie w czasie, ale o ok. 2000 osiedlił się w obecnym zastosowaniu w geometrii informacyjnej, zwłaszcza w podręczniku Amari i Nagaoka (2000) .

Termin „dywergencja” dla odległości statystycznej był używany nieformalnie w różnych kontekstach od ok. 1910 do ok. 1940. Jego formalne użycie datuje się co najmniej od Bhattacharyyi (1943) , zatytułowanego „O miarach rozbieżności między dwiema populacjami statystycznymi określonymi przez ich rozkłady prawdopodobieństwa”, który zdefiniował odległość Bhattacharyya , oraz Bhattacharyya (1946) , zatytułowanego „O miarce Rozbieżność między dwiema populacjami wielomianowymi”, która zdefiniowała kąt Bhattacharyya . Termin został spopularyzowany przez jego użycie w odniesieniu do rozbieżności Kullbacka – Leiblera w Kullback & Leibler (1951) oraz w podręczniku Kullback (1959) . Termin „dywergencja” był ogólnie używany przez Ali i Silvey (1966) w odniesieniu do odległości statystycznych. Liczne odniesienia do wcześniejszych zastosowań odległości statystycznych podano w Adhikari i Joshi (1956) oraz Kullback (1959 , s. 6–7, 1.3 Divergence).

Kullback i Leibler (1951) faktycznie użyli „rozbieżności” w odniesieniu do rozbieżności symetrycznej (funkcja ta została już zdefiniowana i użyta przez Harolda Jeffreysa w 1948 r.), Odnosząc się do funkcji asymetrycznej jako „średniej informacji dla dyskryminacji… na obserwację ”, podczas gdy Kullback (1959) odniósł się do funkcji asymetrycznej jako do „kierowanej dywergencji”. Ali i Silvey (1966) ogólnie określali taką funkcję jako „współczynnik rozbieżności” i wykazali, że wiele istniejących funkcji można wyrazić jako rozbieżności f , odnosząc się do funkcji Jeffreysa jako „miary rozbieżności Jeffreysa” (dziś „ Dywergencja Jeffreysa”) i asymetryczna funkcja Kullbacka – Leiblera (w każdym kierunku) jako „miary informacji dyskryminacyjnej Kullbacka i Leiblera” (dziś „dywergencja Kullbacka – Leiblera”).

Definicja rozbieżności w geometrii informacyjnej (temat tego artykułu) była początkowo określana terminami alternatywnymi, takimi jak „quasi-odległość” Amari (1982 , s. 369) i „funkcja kontrastu” Eguchi (1985) , chociaż „rozbieżność” była używany w Amari (1985) dla rozbieżności $α$ i stał się standardem dla klasy ogólnej.

Termin „rozbieżność” jest przeciwieństwem odległości (metrycznej), ponieważ symetryczna rozbieżność nie spełnia nierówności trójkąta. Na przykład nadal występuje termin „odległość Bregmana”, ale obecnie preferowana jest „dywergencja Bregmana”.

Notacyjnie Kullback i Leibler (1951) oznaczyli ich funkcję asymetryczną jako ${\ Displaystyle I (1: 2)}$ , podczas gdy Ali i Silvey (1966) oznaczyli swoje funkcje małą literą „d” jako ${\ Displaystyle d \ lewo (P_ {1}, P_ {2} \ prawo)}$ .

Zobacz też

Dystans statystyczny

Notatki

Bibliografia

Adhikari, BP; Joshi, DD (1956). „Odległość, dyskryminacja i wyczerpujące CV” . Pub. Inst. Stan. Uniw. Paryż . 5 : 57–74.
Amari, Shun-Ichi (1982). „Geometria różniczkowa zakrzywionych rodzin wykładniczych - krzywizny i utrata informacji”. Roczniki statystyki . 10 (2): 357–385. ISSN 0090-5364 . JSTOR 2240672 .
Amari, Shun-Ichi (1985). Metody różniczkowo-geometryczne w statystyce . Notatki do wykładów ze statystyki. Tom. 28. Springer-Verlag.
Amari, Shun-ichi ; Nagaoka, Hiroshi (2000). Metody geometrii informacyjnej . Oxford University Press. ISBN 0-8218-0531-2 .
Amari, Shun-ichi (2016). Geometria informacji i jej zastosowania . Stosowane nauki matematyczne. Springera Japonia. s. XIII, 374. doi : 10.1007/978-4-431-55978-8 . ISBN 978-4-431-55977-1 .
Bhattacharyya, A. (1946). „O mierze rozbieżności między dwiema populacjami wielomianowymi”. Sankhyā: The Indian Journal of Statistics (1933-1960) . 7 (4): 401–406. ISSN 0036-4452 . JSTOR 25047882 .
Bhattacharyya, A. (1943). „O mierze rozbieżności między dwiema populacjami statystycznymi określonymi przez ich rozkłady prawdopodobieństwa”. Byk. Kalkuta Matematyka. soc . 35 : 99–109.
Csiszar, Imre (1 grudnia 1991). „Dlaczego metoda najmniejszych kwadratów i maksymalna entropia? Aksjomatyczne podejście do wnioskowania dla liniowych problemów odwrotnych”. Roczniki statystyki . 19 (4). doi : 10.1214/aos/1176348385 .
Eguchi, Shinto (1985). „Różniczkowe podejście geometryczne do wnioskowania statystycznego na podstawie funkcjonałów kontrastu” . Dziennik matematyczny z Hiroszimy . 15 (2): 341–391. doi : 10.32917/hmj/1206130775 .
Eguchi, Shinto (1992). „Geometria minimalnego kontrastu” . Dziennik matematyczny z Hiroszimy . 22 (3): 631–647. doi : 10.32917/hmj/1206128508 .
Ali SM; Silvey, SD (1966). „Ogólna klasa współczynników rozbieżności jednego rozkładu od drugiego”. Dziennik Królewskiego Towarzystwa Statystycznego . Seria B (metodologiczna) . 28 (1): 131–142. ISSN 0035-9246 . JSTOR 2984279 .
Jeffreys, Harold (1948). Teoria prawdopodobieństwa (wyd. Drugie). Oxford University Press.
Kullback, S .; Leiblera, RA (1951). „O informacji i wystarczalności” . Roczniki statystyki matematycznej . 22 (1): 79–86. doi : 10.1214/aoms/1177729694 . JSTOR 2236703 . MR 0039968 .
Kullback, S. (1959), Teoria informacji i statystyka , John Wiley & Sons . Opublikowane ponownie przez Dover Publications w 1968 roku; przedrukowany w 1978: ISBN 0-8446-5625-9
Matumoto, Takao (1993). „Każda rozmaitość statystyczna ma funkcję kontrastu - na funkcjach C³ przyjmujących minimum na przekątnej rozmaitości iloczynu” . Dziennik matematyczny z Hiroszimy . 23 (2): 327–332. doi : 10.32917/hmj/1206128255 .