Dolna granica dowodów

W wariacyjnych metodach bayesowskich dolna granica dowodów ( często w skrócie ELBO , czasami nazywana również dolną granicą wariacyjną lub ujemną wariacyjną energią swobodną ) jest użyteczną dolną granicą logarytmu wiarygodności niektórych obserwowanych danych.

Terminologia i notacja

Niech i będą $zmiennymi$ losowymi , rozłożonymi łącznie z rozkładem $\ theta}}$$\ displaystyle$ . Na przykład ${\ Displaystyle p _ {\ theta} (X)}$ jest krańcowym rozkładem X $\ Displaystyle X}$ i ${\ Displaystyle p _ {\ theta} (Z \mid X}}$ jest rozkładem warunkowym danego ${\ displaystyle Z}$$displaystyle X}$ \ . Wtedy dla dowolnej próbki ${\ Displaystyle$ dowolnej dystrybucji $x \ sim p _ {\ theta }$ }

$${\ Displaystyle \ ln p _ {\ theta} (x) \ geq \ mathbb {\ mathbb {E}} _ {z \ sim q_ {\ phi}} \ lewo [\ ln {\ frac {p_ {\ theta} ( x,z)}{q_{\phi}(z)}}\right].}$$

Lewa strona nazywana jest dowodem dla , a prawa strona nazywana jest $dolną$$dowodu$ dla lub ELBO Powyższą nierówność nazywamy nierównością ELBO .

$jest$ terminologii wariacyjnych bayesowskich nazywany $ln p_ {$ terminu dowód w znaczeniu autorzy nazywają $ln$ log -evidence , a niektórzy używają terminów dowód i log-evidence zamiennie.

Nie ma ogólnie ustalonej notacji dla ELBO. W tym artykule używamy

$${\ Displaystyle L (\ phi, \ theta; x): = \ mathbb {E} _ {z \ sim q_ {\ phi} (\ cdot | x)} \ lewo [\ ln {\ Frac {p_ {\ theta }(x,z)}{q_{\phi }(z|x)}}\right].}$$

Motywacja

Wariacyjne wnioskowanie bayesowskie

$że$$,$ mamy obserwowalną zmienną losową chcemy znaleźć jej prawdziwy . Umożliwiłoby nam to generowanie danych poprzez pobieranie próbek i szacowanie prawdopodobieństwa przyszłych zdarzeń. $co zmusza nas do$ , nie można dokładnie znaleźć , dobrego przybliżenia .

$że$ definiujemy wystarczająco dużą rodzinę ${\ Displaystyle \ min _ {\ teta} L (p _ {\ teta}, p ^ {*})}$ dla dla jakiejś funkcji straty ${\ displaystyle L}$ . Jednym z możliwych sposobów rozwiązania tego problemu jest rozważenie niewielkiej zmienności od $theta}}$ { $\$ rozwiązanie ${\ Displaystyle L (p _ {\ teta}, p ^ {*}) -L (p _ {\ teta + \ delta \ teta}, p ^{*})=0}$ . Jest to problem rachunku wariacyjnego , dlatego nazywa się go metodą wariacyjną .

, takie jak rozkład normalny, rozkład Gumbela itp .

• Najpierw $rozkład$ ukrytej losowej $_$ Zwykle wystarczy rozkład normalny lub rozkład jednostajny.
• Następnie zdefiniuj rodzinę skomplikowanych funkcji $)$ jak głęboka sieć neuronowa $.$ przez
• $Na$$koniec$ sposób konwersji dowolnego rozkład . Na przykład niech ${\ Displaystyle f_ {\ theta} (z) = (f_ {1} (z), f_ {2} (z }}}$ mają dwa wyjścia, wtedy możemy zdefiniować odpowiedni rozkład po tym $,$ aby był rozkładem normalnym ${\ Displaystyle {\ mathcal {N$ .

$\ Displaystyle (X, Z)$ rodzinę wspólnych rozkładów ${$ Z . Próbkowanie jest bardzo łatwe ${\ Displaystyle (x, z) \ sim p _ {\ theta}}$ : po prostu próbkuj ${\ Displaystyle z \ sim p}$ , a następnie oblicz ${\ Displaystyle f _ {\ theta} (z)}$ i wreszcie próbka ${\ Displaystyle x \ sim p_ {\ theta} (\ cdot | z)}$ przy użyciu ${\ Displaystyle f _ {\ teta} (z)}$ .

Innymi słowy, mamy model generatywny zarówno dla obserwowalnego, jak i ukrytego. Teraz uważamy, że rozkład jest $p$ jeśli jest to bliskie przybliżenie : $displaystyle p ^ {*}}$ \

$${\ Displaystyle p _ {\ teta} (X) \ około p ^ {*} (X)}$$

ponieważ rozkład po prawej stronie jest tylko większy $po$$lewej$ stronie musi marginalizować utajoną zmienną . Ogólnie rzecz biorąc, niemożliwe jest wykonanie całki ${\ Displaystyle p _ {\ theta} (x) = \ int p_ {\ theta} (x |z)p(z)dz}$ , zmuszając nas do wykonania kolejnego przybliżenia.

$) = {\ Frac {p_ {\ teta} (x | z ) p (z)} {p_ {\ theta} (z | x)}}}$ = wystarczy znaleźć dobre przybliżenie ${\ Displaystyle p_ {\ theta} (z | x)}$ . $)}$ zdefiniuj inną rodzinę dystrybucji $)$ jej do przybliżenia ${\ Displaystyle p _ {\ theta}$ . Jest to model dyskryminacyjny dla utajonych.

Całą sytuację podsumowano w poniższej tabeli:

${\ displaystyle X}$ : obserwowalne	${\ displaystyle X, Z}$	${\ displaystyle Z}$ : utajony
${\ Displaystyle p ^ {*} (x) \ około p _ {\ teta} (x )\około {\frac {p_{\theta }(x|z)p(z)}{q_{\phi }(z|x)}}}$ przybliżony		${\ Displaystyle p (z)}$ , łatwe
	${\ Displaystyle p_ {\ teta} (x | z) p (z)}$ , łatwe
${\ Displaystyle p _ {\ teta} (z | x) \ w przybliżeniu q _ {\ phi} (z | x)}$ przybliżony		${\ Displaystyle p _ {\ teta} (x | z)}$ , łatwe

W języku bayesowskim $to$ obserwowany dowód, a to $nieobserwowany$ . P ${\ displaystyle p}$ na $\ displaystyle Z}$ { jest wcześniejszym rozkładem na ${\ displaystyle Z}$ , $x | z)}$ funkcja $_$ i rozkładem $Z$ { displaystyle }

Biorąc pod uwagę obserwację , możemy wywnioskować , co prawdopodobnie doprowadziło do $,$${\ Displaystyle x}$$obliczając$ p $x)}$$\ Displaystyle p _ {\ theta} ($ . Zwykłą metodą bayesowską jest oszacowanie całki ${\ Displaystyle p _ {\ theta} (x) = \ int p_ {\ theta} (x |z) p (z) dz}$ , a następnie oblicz według reguły Bayesa ${\ Displaystyle p _ {\ theta} (z | x)={\frac {p_{\theta}(x|z)p(z)}{p_{\theta}(x)}}}$ . Ogólnie jest to kosztowne do wykonania, ale jeśli możemy po prostu znaleźć dobre przybliżenie $z | x)}$${\ Displaystyle q_ {\ phi} (z | x) \ około p_ {\ theta}$ ( dla większości $z$ możemy tanio wywnioskować $displaystyle$$x}$ . Tak więc poszukiwanie dobrego $również$ nazywane wnioskowaniem .

Podsumowując, znaleźliśmy problem wariacyjnego wnioskowania bayesowskiego .

Wyprowadzenie ELBO

Podstawowym wynikiem wnioskowania wariacyjnego jest to, że minimalizacja dywergencji Kullbacka – Leiblera (rozbieżność KL) jest równoważna maksymalizacji logarytmu wiarygodności:

$${\ Displaystyle \ mathbb {E} _ {x\sim p^{*}(x)}[\ln p_{\theta }(x)]=-H(p^{*})-D_{\mathit {KL}}(p^{*} (x)\|p_{\theta}(x))}$$

gdzie ${\ Displaystyle H (p ^ {*}) = - \ mathbb {\ mathbb {E}} _ {x \ sim p ^{*}}[\ln p^{*}(x)]}$ to entropia rozkładu rzeczywistego. Więc jeśli możemy zmaksymalizować $\ ln p_ {\ theta} (x)]}$ , możemy zminimalizować ${\ Displaystyle D _ {\ mathit {KL}} (p ^ {*} (x) \ | p_ {\ theta} (x))}$ iw konsekwencji znaleźć dokładne przybliżenie ${\ Displaystyle p _ {\ theta} \ około p ^ {*}}$ .

$x)]}$${\ Displaystyle \ mathbb {E} _ {x \ sim p ^ {*} (x)} [\ ln p _ {\ theta}$ ( , po prostu próbkujemy wiele ${\ Displaystyle x_ {i} \ sim p ^ {*} (x)}$ , a następnie używamy

$${\ Displaystyle N \ max _ {\ teta} \ mathbb {E} _ {x\sim p^{*}(x)}[\ln p_{\theta }(x)]\około \max _{\theta }\sum _{i}\ln p_{\theta }(x_{ I})}$$

Aby $_$$_ \displaystyle \ln p_ {\theta}(x)}$ _ :

$${\ Displaystyle \ ln p_ {\ teta} (x) = \ ln \ int p_ {\ teta} (x| z)p(z)dz}$$

To zwykle nie ma zamkniętej formy i musi być oszacowane. Zwykłym sposobem szacowania całek jest całkowanie Monte Carlo z próbkowaniem ważności :

$${\ Displaystyle \ int p_ {\ theta }(x|z)p(z)dz=\mathbb {E} _{z\sim q_{\phi}(\cdot |x)}\left[{\frac {p_{\theta}(x,z )}{q_{\phi}(z|x)}}\right]}$$

gdzie $.$ rozkładem próbkowania $Carlo$ Monte

Widzimy ${\ Displaystyle {\ Frac {p_ {\ theta} (x, z)} {q_ {\ phi} (z | x)}}} jest nieobciążonym estymatorem p θ ( x ) {\$$,$ x Displaystyle $} (x)}$ . Niestety $daje$ nie nam $to$ Rzeczywiście, mamy przez nierówność Jensena ,

$${\ Displaystyle \ ln p _ {\ teta} (x) = \ ln \ mathbb {E} _ {z \ sim q_ {\ phi} (\ cdot | x)}\left[{\frac {p_{\theta}(x,z)}{q_{\phi}(z|x)}}\right]\geq \mathbb {E} _{z\sim q_ {\phi}(\cdot |x)}\left[\ln {\frac {p_{\theta}(x,z)}{q_{\phi}(z|x)}}\right]}$$

${\ Displaystyle z_ {i} \ sim q_ {\ phi} (\ cdot | x)}$ rzeczywistości wszystkie oczywiste estymatory $to,$ ile próbek bierzemy, mamy na podstawie nierówności Jensena:

$${\ Displaystyle \ mathbb {E} _ {z_ {i} \ sim q_ {\ phi }(\cdot |x)}\left[\ln \left({\frac {1}{N}}\sum _{i}{\frac {p_{\theta}(x,z_{i}) }{q_{\phi }(z_{i}|x)}}\right)\right]\leq \ln \mathbb {E} _{z_{i}\sim q_{\phi }(\cdot |x )}\left[{\frac {1}{N}}\sum _{i}{\frac {p_{\theta }(x,z_{i})}{q_{\phi}(z_{i} |x)}}\right]=\ln p_{\theta}(x)}$$

Odejmując prawą stronę, widzimy, że problem sprowadza się do obciążonego estymatora równego zero:

$${\ Displaystyle \ mathbb {E} _ {z_ { i}\sim q_{\phi}(\cdot |x)}\left[\ln \left({\frac {1}{N}}\sum _{i}{\frac {p_{\theta}( z_{i}|x)}{q_{\phi }(z_{i}|x)}}\right)\right]\leq 0}$$

Metodą delta mamy

$${\ Displaystyle \ mathbb {E} _ {z_ {i} \ sim q_ {\ phi} (\ cdot | x)}\left[\ln \left({\frac {1}{N}}\sum _{i}{\frac {p_{\theta }(z_{i}|x)}{q_{\phi }(z_{i}|x)}}\right)\right]\około -{\frac {1}{2N}}\mathbb {V} _{z\sim q_{\phi}(\cdot |x )}\left[{\frac {p_{\theta}(z|x)}{q_{\phi}(z|x)}}\right]=O(N^{-1})}$$

Jeśli będziemy to kontynuować, otrzymamy autoenkoder ważony ważnością. Ale wracamy do najprostszego przypadku z ${\ displaystyle N = 1}: N = 1 {\ displaystyle N = 1$ }

$${\ Displaystyle \ ln p _ {\ teta} (x) = \ ln \ mathbb {E} _ {z \ sim q_ {\ phi} (\ cdot | x)}\left[{\frac {p_{\theta}(x,z)}{q_{\phi}(z|x)}}\right]\geq \mathbb {E} _{z\sim q_ {\phi}(\cdot |x)}\left[\ln {\frac {p_{\theta}(x,z)}{q_{\phi}(z|x)}}\right]}$$

Szczelność nierówności ma postać zamkniętą:

$${\ Displaystyle \ ln p _ {\ theta} (x) - \ mathbb {E} _ {z \ sim q_ {\ phi} (\ cdot | x)} \ lewo [\ ln { \frac {p_{\theta}(x,z)}{q_{\phi}(z|x)}}\right]=D_{\mathit {KL}}(q_{\phi}(\cdot |x )\|p_{\theta }(\cdot |x))\geq 0}$$

Otrzymaliśmy w ten sposób funkcję ELBO:

$${\ Displaystyle L (\ fi, \ teta; x ):=\ln p_{\theta}(x)-D_{\mathit {KL}}(q_{\phi}(\cdot |x)\|p_{\theta}(\cdot |x))}$$

Maksymalizacja ELBO

Dla ustalonego $}$ równocześnie próbuje ${\ Displaystyle \ max _ {\ theta, \ phi} L (\ phi, \ theta; x)$ maksymalizować ${\ Displaystyle \ ln p _ {\ theta} (x)}$ i minimalizować ${\ Displaystyle D_ {\ mathit {KL}}(q_{\phi}(\cdot |x)\|p_{\theta}(\cdot |x))}$ . Jeśli parametryzacja dla ${\ hat {\ phi$${$ elastyczna, otrzymalibyśmy trochę $Displaystyle$ \ , takie, że mamy jednocześnie

$${\ Displaystyle \ ln p _ {\ kapelusz {\ teta}} (x) \ w przybliżeniu \ max _ {\ teta} \ ln p_ {\ teta} (x);\quad q_{\kapelusz {\phi}}(\cdot |x)\około p_{\kapelusz {\theta}}(\cdot |x)}$$

Od

$${\ Displaystyle \ mathbb {E} _ {x\sim p^{*}(x)}[\ln p_{\theta }(x)]=-H(p^{*})-D_{\mathit {KL}}(p^{*} (x)\|p_{\theta}(x))}$$

mamy

$${\ Displaystyle \ ln p _ {\ kapelusz {\ teta}} (x )\około \max _{\theta }-H(p^{*})-D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x))}$$

a więc

$${\ Displaystyle {\ kapelusz {\ teta}} \ około \ arg \ min D _ {\ mathit {KL}} (p ^ {*}(x)\|p_{\theta}(x))}$$

Innymi słowy, maksymalizacja ELBO pozwoliłaby nam jednocześnie uzyskać dokładny model generatywny i dokładny model dyskryminacyjny ${\ Displaystyle q _ {\ kapelusz {\ fi}} (\ cdot | x) \ około p _ {\ kapelusz {\ teta}} (\ cdot | x) }$$\ theta}} \ około p ^ {*}}$ .

Główne formy

ELBO ma wiele możliwych wyrażeń, z których każde ma inny nacisk.

$${\ Displaystyle \ mathbb {E} _ {z \ sim q_ {\ phi} (\ cdot | x)} \ lewo [\ ln {\ Frac {p_ {\ theta} (x, z)} {q_{\phi}(z|x)}}\right]=\int q_{\phi}(z|x)\ln {\frac {p_{\theta}(x,z)}{q_{\ fi }(z|x)}}dz}$$

$_$$,$ próbkujemy q jest estymatorem .

$${\ Displaystyle \ ln p _ {\ teta} (x) -D _ {\ mathit {KL}} (q_{\phi}(\cdot |x)\;\|\;p_{\theta}(\cdot |x))}$$

$jest$ dolną granicą dowodów i maksymalizacja ELBO w odniesieniu do $Displaystyle \ phi$ jest równoznaczne z minimalizacją dywergencji KL od ${\ Displaystyle p _ {\ theta} (\ cdot | x)}$ do ${\ Displaystyle q_ {\ phi} (\ cdot |x)}$ .

$${\ Displaystyle \ mathbb {E} _ {z \ sim q_ {\phi}(\cdot |x)}[\ln p_{\theta}(x|z)]-D_{\mathit {KL}}(q_{\phi}(\cdot |x)\;\| \;P)}$$

${\ Displaystyle q_ {\ phi} (\ cdot | x)}$$Displaystyle$ próbuje utrzymać bliskość i skoncentrować $q_ {\ phi} (\ cdot$ na tych $Displaystyle$ które maksymalizują $\ ln p_ {\ theta} (x | z)}$ . Oznacza to, że przybliżona ${\ Displaystyle \ arg \ max _ {z} \ ln p _ {\ teta} (x | z)}$$pozostawaniem$ a $max$ maksymalnego .

$${\ Displaystyle H (q_ {\ fi} ( \cdot |x))+\mathbb {E} _{z\sim q(\cdot |x)}[\ln p_{\theta }(z|x)]+\ln p_{\theta }(x) }$$

$($ entropię na wysokim poziomie i skoncentrować się ${\ Displaystyle q_ {\ phi}$ na tych $Displaystyle$ które maksymalizują $\ ln p _ {\ theta} (z | x)}$ . Oznacza to, że przybliżona tylna $się$${\ Displaystyle \ arg \ max _ {z} \ ln p _ {\ teta} (z | x)}$ w kierunku maksimum a .

Nierówność przetwarzania danych

$}$${\ Displaystyle D = \ {x_ {1}, ..., x_ {N} \}}$ bierzemy próbki z i w zbiorze danych $displaystyle$ , wtedy mamy rozkład empiryczny ${\ displaystyle q_ {D}(x)={\frac {1}{N}}\sum _{i}\delta _{x_{i}}}$ .

Dopasowanie do ${\ Displaystyle$$)}$ można zrobić, jak zwykle, maksymalizując logarytm ${\ Displaystyle \ ln p _ {\ theta} (D)}$ :

$${\ Displaystyle D _ {\ mathit {KL}} (q_ {D} (x) \| p _ {\ theta} (x)) = - {\ Frac {1} {N}} \ suma _ {i }\ln p_{\theta }(x_{i})-H(q_{D})=-{\frac {1}{N}}\ln p_{\theta }(D)+H(q_{D })}$$

Teraz, przez nierówność ELBO, możemy związać ${\ Displaystyle \ ln p _ {\ theta} (D)}$ , a zatem

$${\ Displaystyle D _ {\ mathit {KL}} (q_ {D} (x)\|p_{\theta}(x))\leq -{\frac {1}{N}}L(\phi ,\theta ;D)-H(q_{D})}$$

Prawa strona upraszcza się do rozbieżności KL, a więc otrzymujemy:

$${\ Displaystyle D _ {\ mathit {KL}} (q_ {D} (x) \ | p_ {\ teta} (x)} \ równoważnik - {\ Frac {1} N}}\sum _{i}L(\phi ,\theta ;x_{i})-H(q_{D})=D_{\mathit {KL}}(q_{D,\phi }(x, z);p_{\theta}(x,z))}$$

Wynik ten można interpretować jako szczególny przypadek nierówności przetwarzania danych .

${\ Displaystyle L (\ phi, \ theta; D) = \ suma _ {i} L (\ phi$ re minimalizuje ${\ Displaystyle D _ {\ mathit {KL}} (q_ {D, \ phi } (x, z); p _ {\ theta} (x, z)}}$ , co górnie ogranicza rzeczywistą wielkość zainteresowania ${\ Displaystyle D_ {\mathit {KL}}(q_{D}(x);p_{\theta}(x))}$ poprzez nierówność przetwarzania danych. Oznacza to, że do przestrzeni obserwowalnej dołączamy utajoną przestrzeń, płacąc cenę słabszej nierówności w celu bardziej wydajnej obliczeniowo minimalizacji dywergencji KL.