Przekazywanie komunikatów wariacyjnych

Przekazywanie komunikatów wariacyjnych ( VMP ) to przybliżona technika wnioskowania dla sieci bayesowskich o wartościach ciągłych lub dyskretnych , ze sprzężonymi wykładniczymi rodzicami, opracowana przez Johna Winna. VMP został opracowany jako sposób na uogólnienie przybliżonych metod wariacyjnych używanych przez takie techniki, jak utajona alokacja Dirichleta i działa poprzez aktualizację przybliżonego rozkładu w każdym węźle za pomocą komunikatów w kocu Markowa węzła .

Dolna granica prawdopodobieństwa

Główny artykuł: dolna granica dowodów

$konfiguracji$ pod uwagę pewien zestaw zmiennych ukrytych $jest$ zmiennych obserwowanych $,$ celem przybliżonego wnioskowania jest dolna granica prawdopodobieństwa, że ​​​​model graficzny . W pewnym rozkładzie prawdopodobieństwa (do określenia później), ${\ displaystyle Q}$

${\ Displaystyle \ ln P (V) = \ suma _ {H} Q (H) \ ln {\ Frac {P (H, V)} {P (H | V)}} = \sum _{H}Q(H){\Bigg [}\ln {\frac {P(H,V)}{Q(H)}}-\ln {\frac {P(H|V)}{ Q(H)}}{\Bigg ]}}$ .

Więc jeśli zdefiniujemy naszą dolną granicę jako

${\ Displaystyle L (Q) = \ suma _ {H} Q (H) \ ln {\ Frac {P (H. ,V)}{Q(H)}}}$ ,

$. Ponieważ względna entropia$ prawdopodobieństwo jest po prostu tym $ograniczeniem$ plus względna entropia między $jest$ nieujemna, funkcja $zdefiniowana powyżej jest rzeczywiście$ dolną granicą logarytmu prawdopodobieństwa naszej Dystrybucja będzie miała prostszy charakter niż dystrybucja $z$ powodu marginalizacji $displaystyle P}$${\ displaystyle P}$ jest trudne dla wszystkich oprócz najprostszych modeli graficznych . W szczególności VMP wykorzystuje rozkład faktoryzowany

${\ Displaystyle Q (H) = \ prod _ {i} Q_ {i} (H_ {i}),}$

gdzie $.$ częścią modelu graficznego

Określenie reguły aktualizacji

Oszacowanie prawdopodobieństwa musi być jak największe; $.$ jest to dolna granica, zbliżanie się przybliżenie logarytmu Podstawiając w rozłożonej na czynniki wersji $ukrytymi$$sparametryzowanej$ węzłami $,$ jak ujemnym względnym entropia między ${\ Displaystyle Q_ {j}}$ i ${\ Displaystyle Q_ {j} ^ {*}}$ plus inne warunki niezależne od ${\ Displaystyle Q_ {j}}$ jeśli ${\ Displaystyle Q_ {j} ^{*}}$ jest zdefiniowany jako

${\ Displaystyle Q_ {j} ^ {*} (H_ {j}) = {\ Frac {1} {Z }}e^{\mathbb {E} _{-j}\{\ln P(H,V)\}}}$ ,

gdzie ${\ Displaystyle \ mathbb {E} _ {-j} \ {\ ln P (H, V) \}} jest$ oczekiwaniem dla wszystkich dystrybucji ${\ displaystyle Q_ {i}}$ z wyjątkiem ${\ displaystyle Q_ {j}}$ . Tak więc, jeśli ustawimy na $\ Displaystyle Q_ {j} ^$$*}}$ , granica $displaystyle L}$ jest zmaksymalizowany.

Komunikaty w wariacyjnym przekazywaniu komunikatów

Rodzice wysyłają swoim dzieciom oczekiwanie na ich wystarczającą statystykę , podczas gdy dzieci wysyłają swoim rodzicom swój naturalny parametr , który również wymaga wysyłania wiadomości od współrodziców węzła.

Związek z rodzinami wykładniczymi

Ponieważ wszystkie węzły w VMP pochodzą z rodzin wykładniczych , a wszyscy rodzice węzłów są sprzężeni z węzłami potomnymi, wartość oczekiwana statystyki wystarczającej można obliczyć na podstawie współczynnika normalizacji .

Algorytm VMP

Algorytm rozpoczyna się od obliczenia oczekiwanej wartości wystarczających statystyk dla tego wektora. Następnie, dopóki prawdopodobieństwo nie zbiegnie się do stabilnej wartości (jest to zwykle osiągane przez ustawienie małej wartości progowej i uruchamianie algorytmu, aż wzrośnie o mniej niż ta wartość progowa), wykonaj następujące czynności w każdym węźle:

1. Otrzymuj wszystkie wiadomości od rodziców.
2. Pobierz wszystkie wiadomości od dzieci (może to wymagać, aby dzieci otrzymywały wiadomości od współrodziców).
3. Oblicz oczekiwaną wartość węzłów wystarczających statystyk.

Ograniczenia

Ponieważ każde dziecko musi być sprzężone ze swoim rodzicem, ograniczyło to typy rozkładów, które można zastosować w modelu. Na przykład rodzice rozkładu Gaussa muszą być rozkładem Gaussa (odpowiadającym średniej ) i rozkładem gamma (odpowiadającym precyzji lub ponad w bardziej powszechnych parametryzacjach $)$ Zmienne dyskretne mogą mieć rodziców Dirichleta , a węzły Poissona i wykładnicze muszą mieć gamma rodzice. Niedawno VMP został rozszerzony, aby obsługiwać modele, które naruszają to warunkowe ograniczenie koniugacji.

• Winn, JM; Biskup, C. (2005). „Przekazywanie komunikatów wariacyjnych” (PDF) . Dziennik badań nad uczeniem maszynowym . 6 : 661–694.
• Beal, MJ (2003). Algorytmy wariacyjne dla przybliżonego wnioskowania bayesowskiego (PDF) (doktorat). Gatsby Computational Neuroscience Unit, University College London. Zarchiwizowane od oryginału (PDF) w dniu 2005-04-28 . Źródło 2007-02-15 .

Linki zewnętrzne

• Infer.NET : platforma wnioskowania, która obejmuje implementację VMP z przykładami.
• dimple : system wnioskowania typu open source obsługujący VMP.
• Starsza implementacja VMP z przykładami użycia.