Rozkład wielomianowy Dirichleta

Wielomian Dirichleta

Notacja	${\ Displaystyle \ operatorname {DirMult} (n, {\ boldsymbol {\ alfa}})}$
Parametry	${\ Displaystyle n> 0}$ liczba prób (dodatnia liczba całkowita ) ${\ Displaystyle \ alpha _ {1}, \ ldots, \ alpha _ {K}> 0}$
Wsparcie	${\ Displaystyle x_ {i} \ w \ {0, \ kropki, n \}}$${\ Displaystyle \ Sigma x_ {i} = n \!}$
PMF	${\ Displaystyle {\ frac {\Gamma \left(\suma \alpha _{k}\right)\Gamma \left(n+1\right)}{\Gamma \left(n+\suma \alpha _{k}\right)}} \prod _{k=1}^{K}{\frac {\Gamma (x_{k}+\alpha _{k})}{\Gamma (\alpha _{k})\Gamma \left(x_{ k}+1\w prawo)}}}$
Mieć na myśli	${\ Displaystyle \ nazwa operatora {E} (X_ {i}) = n {\ Frac {\ alfa _ {i}} {\ suma \ alfa _ {k}} }}$
Zmienność	${\ Displaystyle \ nazwa operatora {Var} (X_ {i}) = n {\frac {\alpha _{i}}{\sum \alpha _{k}}}\left(1-{\frac {\alpha _{i}}{\sum \alpha _{k}}}\ right)\left({\frac {n+\sum \alpha _{k}}{1+\sum \alpha _{k}}}\right)}$${\ Displaystyle \ textstyle {\ operatorname {Cov}} (X_ {i}, X_ {j}) = -n{\frac {\alpha _{i}\alpha _{j}}{(\sum \alpha _{k})^{2}}}\left({\frac {n+\sum \alpha _{ k}}{1+\suma \alpha _{k}}}\right)~~(i\neq j)}$
MGF	$k = 1} ^ {K} {e} ^ {t_ {k} \ cdot x_ {k}}) = {\ frac {\Gamma (n+1)\Gamma (\sum \alpha _{k})}{\Gamma (\sum \alpha _{k}+n)}}\cdot D_{n}({\boldsymbol {\ alfa }},(e^{t_{1}},...,e^{t_{K}}))}$ gdzie ${\ Displaystyle D_ {n} = {\ Frac {1} {n}} \ suma \ granice _ {u = 1} ^ {n} \ lewo [ \left(\sum \limits _{k=1}^{K}\alpha _{k}\cdot {e}^{t_{k}\cdot u}\right)D_{nu}\right],D_ {0}=1}$
CF	${\ Displaystyle \ nazwa operatora {E} (\ prod \ ograniczenia _ {k = 1} ^ {K} {e} ^ {it_ {k} \ cdot x_ {k}})$ z ${\ Displaystyle D_ {n} = {\ Frac {1} {n}}\sum \limits _{u=1}^{n}\left[\left(\sum \limits _{k=1}^{K}\alpha _{k}\cdot {e}^ {it_{k}\cdot u}\right)D_{nu}\right],D_{0}=1}$
PGF	${\ Displaystyle \ nazwa operatora {E} (\prod \limits _{k=1}^{K}{z_{k}}^{x_{k}})={\frac {\Gamma (n+1)\Gamma (\sum \alpha _{ k})}{\Gamma (\sum \alpha _{k}+n)}}\cdot D_{n}({\boldsymbol {\alpha}},\mathbf {z} )}$ z ${\ Displaystyle D_ {n} = {\ Frac {1} {n} }\sum \limits _{u=1}^{n}\left[\left(\sum \limits _{k=1}^{K}\alpha _{k}\cdot {z_{k}}^ {u}\right)D_{nu}\right],D_{0}=1}$

W teorii prawdopodobieństwa i statystyce rozkład wielomianowy Dirichleta to rodzina dyskretnych wielowymiarowych rozkładów prawdopodobieństwa na skończonym wsparciu nieujemnych liczb całkowitych. Jest również nazywany złożonym rozkładem wielomianowym Dirichleta ( DCM ) lub wielowymiarowym rozkładem Pólya (od nazwiska George'a Pólyi ). Jest to złożony rozkład prawdopodobieństwa , w którym wektor prawdopodobieństwa p jest rysowany z rozkładu Dirichleta z $z$ , a obserwacja pochodzi z rozkładu wielomianowego wektorem prawdopodobieństwa p i liczbą próby r . Wektor parametrów Dirichleta oddaje wcześniejsze przekonanie o sytuacji i może być postrzegany jako pseudoliczba: obserwacje każdego wyniku, które mają miejsce przed zebraniem rzeczywistych danych. Składanie odpowiada schematowi urn Pólya . Jest często spotykany w statystyce bayesowskiej , uczeniu maszynowym , empirycznych metodach Bayesa i statystyce klasycznej jako nadmiernie rozproszony rozkład wielomianowy .

Sprowadza się do rozkładu kategorycznego jako przypadek szczególny, gdy n = 1. Dowolnie dobrze przybliża również rozkład wielomianowy dla dużego α . Wielomian Dirichleta jest wielowymiarowym rozszerzeniem rozkładu beta-dwumianowego , ponieważ rozkłady wielomianowy i rozkłady Dirichleta są wielowymiarowymi wersjami odpowiednio rozkładu dwumianowego i rozkładu beta .

Specyfikacja

Wielomian Dirichleta jako rozkład złożony

Rozkład Dirichleta jest rozkładem sprzężonym z rozkładem wielomianowym. Fakt ten prowadzi do analizowalnego rozkładu związku . Dla losowego wektora kategorii liczy się , rozłożonego zgodnie z rozkładem wielomianowym , ${\ Displaystyle \ mathbf {x} = (x_ {1}, \ kropki, x_ {K})}$ rozkład krańcowy uzyskuje się przez całkowanie na rozkładzie dla p , który można traktować jako wektor losowy następujący po rozkładzie Dirichleta:

${\ Displaystyle \ Pr (\ mathbf {x} \ mid n {\ pogrubiony symbol {\alpha}})=\int _{\mathbf {p}}\mathrm {Mult} (\mathbf {x} \mid n,\mathbf {p})\mathrm {Kier} (\mathbf {p} \ środek {\boldsymbol {\alpha}}){\textrm {d}}\mathbf {p}}$

co daje następujący wyraźny wzór:

${\ Displaystyle \ Pr (\ mathbf {x} \ mid n, {\ boldsymbol {\ alfa}}) = {\ Frac {\ Gamma \ lewo (\ alfa _ {0} \ prawej) \ Gamma \ lewo (n + 1\right)}{\Gamma \left(n+\alpha _{0}\right)}}\prod _{k=1}^{K}{\frac {\Gamma (x_{k}+\alpha _ {k})}{\Gamma (\alpha _{k})\Gamma \left(x_{k}+1\right)}}}$

gdzie jest zdefiniowana jako suma $Displaystyle$$\ alpha _ {0} = \ suma \ alpha _ {k}$ . Inna postać tego samego rozkładu złożonego, zapisana bardziej zwięźle w kategoriach funkcji beta , B , jest następująca:

${\ Displaystyle \ Pr (\ mathbf {x} \ mid n, {\ boldsymbol {\ alfa}}) = {\ Frac {nB \ lewo (\ alfa _ {0}, n \ prawej)}} {\ prod _ { k:x_{k}>0}x_{k}B\left(\alpha _{k},x_{k}\right)}}.}$

Ta ostatnia forma podkreśla fakt, że kategorie o liczbie zerowej można pominąć w obliczeniach - jest to przydatne, gdy liczba kategorii jest bardzo duża i rzadka (np. liczba słów w dokumentach).

Zauważ, że pdf jest rozkładem Beta-dwumianowym, gdy ${\ displaystyle K = 2}$ . Można również pokazać, że zbliża się do rozkładu wielomianowego, gdy $zbliża$ do nieskończoności. Parametr $reguluje$ stopień nadmiernej dyspersji lub w stosunku do wielomianu. Alternatywnymi opcjami oznaczenia, $które$ można znaleźć w literaturze, są S i

Wielomian Dirichleta jako model urny

Rozkład wielomianowy Dirichleta można również uzasadnić za pomocą modelu urny dla dodatnich wartości całkowitych wektora α, znanego jako model urny Polya . Konkretnie, wyobraź $i-$ urnę zawierającą kule K kolorów o numerach dla tego koloru, w których dokonywane są losowania Kiedy kula jest losowo wylosowana i obserwowana, dwie kule tego samego koloru wracają do urny. Jeśli zostanie to wykonane n razy, to prawdopodobieństwo zaobserwowania losowego wektora $zliczeń$ jest wielomianem Dirichleta z parametrami n i α. Jeśli losowania są z prostym zastępowaniem (do urny nie są dodawane żadne kule powyżej obserwowanej kuli), wówczas rozkład jest zgodny z rozkładem wielomianowym, a jeśli losowania są dokonywane bez zastępowania, rozkład jest zgodny z wielowymiarowym rozkładem hipergeometrycznym .

Nieruchomości

Chwile

Jeszcze raz niech i ${\frac {\alpha _{i}}{\sum \alpha _{k}}}={\frac {\alpha _{i}}{\alpha _{0}}}} ,$$p$ k $\ Displaystyle$ to oczekiwana liczba razy wynik i obserwowany w n próbach wynosi

${\ Displaystyle \ nazwa operatora {E} (X_ {i}) = np_ {i} = n {\ Frac {\ alfa _ {i}} {\ alfa _ {0}}}. \,}$

Macierz kowariancji jest następująca. Każdy wpis po przekątnej jest wariancją zmiennej losowej o rozkładzie dwumianowym beta, a zatem jest

${\ Displaystyle \ nazwa operatora {var} (X_ {i}) = np_ {i} (1-p_ {i}) \ lewo ({\ Frac {n + \ suma \ alfa _ {k}} {1+ \ suma \ alpha _{k}}}\right)=n{\frac {\alpha _{i}}{\alpha _{0}}}\left(1-{\frac {\alpha _{i}}{\ alpha _{0}}}\right)\left({\frac {n+\alpha _{0}}{1+\alpha _{0}}}\right).\,}$

Wpisy poza przekątną to kowariancje :

${\ Displaystyle \ nazwa operatora {cov} (X_{i},X_{j})=-np_{i}p_{j}\left({\frac {n+\sum \alpha _{k}}{1+\sum \alpha _{ k}}}\right)=-n{\frac {\alpha _{i}\alpha _{j}}{\alpha _{0}^{2}}}\left({\frac {n+\alpha _{0}}{1+\alfa_{0}}}\prawo)\,}$

dla i , j różne.

Wszystkie kowariancje są ujemne, ponieważ dla ustalonego n wzrost jednego składnika wektora wielomianowego Dirichleta wymaga zmniejszenia innego składnika.

To jest dodatnio-półskończona macierz K × K rangi K - 1.

Wpisy odpowiedniej macierzy korelacji to

${\ Displaystyle \ rho (X_ {i}, X_ {i}) = 1.}$

${\ Displaystyle \ rho (X_ {i}, X_ {j}) = {\ Frac {\ nazwa operatora {cov} (X_ {i}, X_ {j})}} {\ sqrt {\ nazwa operatora {var} (X_ { i})\operatorname {var} (X_{j})}}}={\frac {-p_{i}p_{j}({\frac {n+\alpha _{0}}{1+\alpha _ {0}}})}{\sqrt {p_{i}(1-p_{i})({\frac {n+\alpha _{0}}{1+\alpha _{0}}})p_{ j}(1-p_{j})({\frac {n+\alpha_{0}}{1+\alpha_{0}}})}}}=-{\sqrt {\frac {\alpha _ {i}\alpha _{j}}{(\alpha _{0}-\alpha _{i})(\alpha _{0}-\alpha _{j})}}}.}$

Wielkość próbki wypada z tego wyrażenia.

Każdy z k składników osobno ma rozkład beta-dwumianowy.

Wsparciem dla wielomianowego rozkładu Dirichleta jest zbiór

${\ Displaystyle \ {(n_ {1}, \ kropki, n_ {k}) \ w \ mathbb {N} ^ {k} | n_ {1} + \ cdots + n_ {k} = n \}. \, }$

Jego liczba elementów wynosi

${\ Displaystyle {n + k-1 \ wybierz k-1}.}$

Notacja macierzowa

W notacji macierzowej

${\ Displaystyle \ nazwa operatora {E} (\ mathbf {X}) = n \ mathbf {p}, \,}$

I

${\ Displaystyle \ operatorname {var} (\ mathbf {X}) = n \ lbrace \ operatorname {diag } (\mathbf {p} )-\mathbf {p} \mathbf {p} ^{\rm {T}}\rbrace \left({\frac {n+\alpha _{0}}{1+\alpha _ {0}}}\prawo),\,}$

gdzie p ^T = transpozycja wektora wierszowego wektora kolumnowego p . Pozwalanie

${\ Displaystyle \ alfa _ {0} = {\ Frac {1- \ rho ^ {2}} {\ rho ^ {2}}} \,}$ możemy napisać alternatywnie

${\ Displaystyle \ nazwa operatora {var} (\ mathbf {X}) = n \ lbrace \ nazwa operatora { diag} (\mathbf {p} )-\mathbf {p} \mathbf {p} ^{\rm {T}}\rbrace (1+\rho ^{2}(n-1)),\,}$

Parametr jest znany jako korelacja „wewnątrz klasy” lub „wewnątrz klastra $”$ To właśnie ta dodatnia korelacja powoduje nadmierne rozproszenie w stosunku do rozkładu wielomianowego.

Zbiór

Jeśli

${\ Displaystyle X = (X_ {1}, \ ldots, X_ {K}) \ sim \ operatorname {DM} ( \alpha _{1},\cdots,\alpha _{K})}$

wtedy, jeśli zmienne losowe z indeksami dolnymi i oraz j zostaną usunięte z wektora i zastąpione ich sumą ,

${\ Displaystyle X' = (X_ {1}, \ ldots, X_ {i} + X_ {j}, \ ldots, X_ {K}) \ sim \ nazwa operatora {DM} \ lewo (\ alfa _ {1}, \cdots ,\alpha _{i}+\alpha _{j},\cdots ,\alpha _{K}\right).}$

Ta właściwość agregacji może być wykorzystana do wyprowadzenia rozkładu krańcowego ${\ displaystyle X_ {i}}$ .

Funkcja prawdopodobieństwa

Koncepcyjnie tworzymy N niezależnych losowań z rozkładu kategorycznego z K kategoriami. Przedstawmy losowania niezależne jako losowe zmienne kategorialne $N {\ displaystyle n$$1 \ kropek$ = } $}$ ile razy dana kategoria $widziana$ (dla wśród wszystkich zmiennych kategorialnych jako $k}}$$n_ {$ i ${\ Displaystyle \ suma _ {k} n_ {k} = N}$ . W takim razie mamy dwa odrębne spojrzenia na ten problem:

1. Zbiór $zmiennych$ kategorialnych ${\ Displaystyle z_ {1}, \ kropki, z_ {N}$ .
2. $_$ wektorowych _ _ _

Pierwszy przypadek to zbiór zmiennych losowych określających każdy indywidualny wynik, podczas gdy drugi to zmienna określająca liczbę wyników każdej z K kategorii. Rozróżnienie jest ważne, ponieważ oba przypadki mają odpowiednio różne rozkłady prawdopodobieństwa.

Parametrem rozkładu jakościowego jest $;$${\ Displaystyle \ mathbf {p} = (p_ {1}, p_ {2}, \ kropki, p_ {K})$ p $\ Displaystyle p_ {k}}$ jest prawdopodobieństwem wylosowania wartości ${\ displaystyle k$ } ${\ Displaystyle \ mathbf {p}}$ jest podobnie parametrem rozkładu wielomianowego ${\ Displaystyle P (\ mathbf {x} | \ mathbf {p})}$ . Zamiast bezpośrednio określać ${ \ Displaystyle {\ boldsymbol {\ alfa}} = (\ alfa _ {1}, \ alfa _ {2}, \ ldots, \ alfa _ {K})}$$($ mu sprzężony wcześniejszy rozkład , a zatem jest on rysowany z rozkładu Dirichleta z wektorem parametrów .

Całkując na zewnątrz $,$ rozkład złożony. Jednak forma dystrybucji jest różna w zależności od przyjętego poglądu.

Dla zestawu indywidualnych wyników

Wspólna dystrybucja

${\ Displaystyle \ mathbb {Z} = z_ {1}, \ kropki, z_ {N}}$ , rozkład połączeń brzeżnych uzyskuje się przez całkowanie na zewnątrz ${\ displaystyle \ mathbf {p} }$ :

${\ Displaystyle \ Pr (\ mathbb {Z} \ mid {\ boldsymbol {\ alfa}}) = \ int _ { \mathbf {p} }\Pr(\mathbb {Z} \mid \mathbf {p} )\Pr(\mathbf {p} \mid {\boldsymbol {\alpha}}){\textrm {d}}\mathbf {P} }$

co daje następujący wyraźny wzór:

${\ Displaystyle \ Pr (\ mathbb {Z} \ mid {\ boldsymbol {\alpha}})={\frac {\Gamma \left(A\right)}{\Gamma \left(N+A\right)}}\prod _{k=1}^{K}{\ frac {\Gamma (n_{k}+\alfa _{k})}{\Gamma (\alfa _{k})}}}$

gdzie jest funkcją gamma z . ${\ displaystyle \ Gamma}$

${\ Displaystyle A = \ suma _ {k} \ alfa _ {k} {\ tekst {i}} N = \ suma _ {k} n_ {k} {\ tekst {i gdzie}} n_ {k} = {\text{liczba }}z_{n}{\text{ ma wartość }}k.}$

Zwróć uwagę na brak współczynnika wielomianowego, ponieważ wzór dotyczy prawdopodobieństwa sekwencji zmiennych kategorialnych zamiast prawdopodobieństwa zliczeń w każdej kategorii.

Chociaż zmienne nie pojawiają $n_$ wyraźnie w powyższym wzorze, wchodzą przez $}$ wartości.

Dystrybucja warunkowa

Inna użyteczna formuła, szczególnie w kontekście próbkowania Gibbsa , zadaje ${$$jaka jest$ warunkowa gęstość danej zmiennej uwarunkowana wszystkimi innymi zmiennymi (które będziemy oznaczać $\displaystyle \mathbb {Z} ^{(-n)}}$ ). Okazuje się, że ma niezwykle prostą postać:

${\ Displaystyle \ Pr (z_ {n} = k \ mid \ mathbb {Z} ^ {(- n) },{\boldsymbol {\alpha}})\propto n_{k}^{(-n)}+\alpha _{k}}$

gdzie ${\ Displaystyle n_ {k} ^ {(- n)}}$ określa liczbę zliczeń kategorii $Displaystyle$ we wszystkich zmiennych innych niż $z_ {n} }$ .

Może być przydatne pokazanie, jak wyprowadzić ten wzór. Ogólnie rozkłady warunkowe są proporcjonalne do odpowiednich rozkładów łącznych , więc po prostu zaczynamy od powyższego wzoru na łączny rozkład wszystkich z $\ displaystyle z_ {1}, \ kropki, z_ {N} } wartości$$, a następnie wyeliminuj$ niezależne od konkretnego pytania. Aby to zrobić, korzystamy z notacji zdefiniowanej powyżej ${\ Displaystyle n_ {k} ^ {(- n)}}$

${\ Displaystyle n_ {j} = {\ rozpocząć {przypadki} n_ {j} ^ {(- n)},&{\text{if }}j\not =k\\n_{j}^{(-n)}+1,&{\text{if }}j=k\end{przypadki}} }$

Korzystamy również z faktu, że

${\ Displaystyle \ Gamma (n + 1) = n \ Gamma (n)}$

Następnie:

${\ Displaystyle {\ rozpocząć {wyrównane} & \ Pr (z_ {n} = k \ mid \ mathbb {Z} ^ {(-n)}, {\ boldsymbol {\ alfa}}) \\\ propto \ &\Pr(z_{n}=k,\mathbb {Z} ^{(-n)}\mid {\boldsymbol {\alpha}})\\=\ &\ {\frac {\Gamma \left(A \right)}{\Gamma \left(N+A\right)}}\prod _{j=1}^{K}{\frac {\Gamma (n_{j}+\alpha _{j})} {\Gamma (\alpha _{j})}}\\\propto \ &\prod _{j=1}^{K}\Gamma (n_{j}+\alpha _{j})\\=\ &\Gamma (n_{k}+\alpha _{k})\prod _{j\not =k}\Gamma (n_{j}+\alpha _{j})\\=\ &\Gamma (n_ {k}^{(-n)}+1+\alpha _{k})\prod _{j\not =k}\Gamma (n_{j}^{(-n)}+\alpha _{j })\\=\ &(n_{k}^{(-n)}+\alfa _{k})\Gamma (n_{k}^{(-n)}+\alfa _{k})\ prod _{j\not =k}\Gamma (n_{j}^{(-n)}+\alpha _{j})\\=\ &(n_{k}^{(-n)}+\ alpha _{k})\prod _{j}\Gamma (n_{j}^{(-n)}+\alpha _{j})\\\propto \ &n_{k}^{(-n)} +\alpha _{k}\\\end{wyrównane}}}$

Ogólnie rzecz biorąc, nie ma potrzeby martwić się o stałą normalizującą w momencie wyprowadzania równań dla rozkładów warunkowych. Stała normalizująca zostanie określona jako część algorytmu próbkowania z rozkładu (patrz Rozkład jakościowy#Próbkowanie ). Kiedy jednak rozkład warunkowy zapiszemy w powyższej prostej postaci, okazuje się, że stała normalizująca przyjmuje prostą postać:

${\ Displaystyle \ suma _ {k} \ lewo (n_ {k} ^ {(- n)}+\alpha _{k}\right)=A+\suma _{k}n_{k}^{(-n)}=A+N-1}$

Stąd

${\ Displaystyle \ Pr (z_ {n} = k \ mid \ mathbb {Z} ^ {(-n)},{\boldsymbol {\alpha}})={\frac {n_{k}^{(-n)}+\alpha _{k}}{A+N-1}}}$

Ta formuła jest ściśle związana z procesem chińskiej restauracji , co wynika z przyjęcia limitu jako ${\ displaystyle K \ do \ infty}$ .

W sieci bayesowskiej

W większej sieci bayesowskiej , w której występują rozkłady kategoryczne (lub tak zwane „wielomianowe”) z apriorami dystrybucji Dirichleta jako częścią większej sieci, wszystkie a priori Dirichleta można zwinąć, pod warunkiem, że jedynymi zależnymi od nich węzłami są rozkłady kategoryczne. Załamanie zachodzi dla każdego węzła dystrybucji Dirichleta oddzielnie od pozostałych i występuje niezależnie od innych węzłów, które mogą zależeć od rozkładów jakościowych. Występuje również niezależnie od tego, czy rozkłady jakościowe zależą od węzłów dodatkowych w stosunku do a priori Dirichleta (chociaż w takim przypadku te inne węzły muszą pozostać jako dodatkowe czynniki warunkujące). Zasadniczo wszystkie rozkłady jakościowe zależne od danego węzła dystrybucji Dirichleta zostają połączone w pojedynczy wspólny rozkład Dirichleta-wielomian określony powyższym wzorem. Wspólna dystrybucja zdefiniowana w ten sposób będzie zależała od rodzica(ów) zintegrowanych wcześniejszych węzłów Diricheta, jak również od dowolnego rodzica(ów) węzłów kategorialnych innych niż same wcześniejsze węzły Dirichleta.

W poniższych sekcjach omówimy różne konfiguracje powszechnie spotykane w sieciach bayesowskich. Powtarzamy gęstość prawdopodobieństwa $za$ pomocą

${\ Displaystyle \ Pr (\ mathbb {Z} \ mid {\ boldsymbol {\ alfa}}) = \ operatorname {DirMult} (\ mathbb {Z} \ mid {\ boldsymbol {\ alfa}}) = {\ frac { \Gamma \left(\sum _{k}\alpha _{k}\right)}{\Gamma \left(\sum _{k}n_{k}+\alpha _{k}\right)}}\ prod _{k=1}^{K}{\frac {\Gamma (n_{k}+\alpha _{k})}{\Gamma (\alpha _{k})}}}$

Wiele przeorów Dirichleta z tym samym hiperpriorem

Wyobraź sobie, że mamy następujący model hierarchiczny:

${\ Displaystyle {\ rozpocząć {tablica} {lcl} {\boldsymbol {\alpha}}&\sim &{\text{pewna dystrybucja}}\\{\boldsymbol {\theta}}_{d=1\dots M}&\sim &\operatorname {Dirichlet} _{ K}({\boldsymbol {\alpha}})\\z_{d=1\kropki M,n=1\kropki N_{d}}&\sim &\operatorname {kategoryczne} _{K}({\boldsymbol {\theta}}_{d})\end{tablica}}}$

W takich przypadkach mamy wiele przeorów Diricheta, z których każdy generuje pewną liczbę kategorycznych obserwacji (być może inną liczbę dla każdego przeoru). Fakt, że wszystkie są zależne od tego samego hyperpriora, nawet jeśli jest to zmienna losowa, jak powyżej, nie ma znaczenia. Efekt zintegrowania a priori Dirichleta łączy zmienne kategoryczne dołączone do tego a priori, którego łączna dystrybucja po prostu dziedziczy wszelkie czynniki warunkujące a priori Dirichleta. Fakt, że wiele przeorów może dzielić hiperprzeor, nie ma znaczenia:

${\ Displaystyle \ Pr (\ mathbb {Z} \ mid {\ boldsymbol {\ alfa}}) = \ prod _ {d} \ operatorname {DirMult } (\mathbb {Z} _{d}\mid {\boldsymbol {\alpha}})}$

gdzie $d$ po prostu zbiorem zmiennych kategorialnych zależnych wcześniejszego .

W związku z tym warunkowy rozkład prawdopodobieństwa można zapisać w następujący sposób:

${\ Displaystyle \ Pr (z_ {dn} = k \ mid \ mathbb {Z} ^ { (-dn)},{\boldsymbol {\alpha}})\\propto \ n_{k,d}^{(-n)}+\alpha _{k}}$

gdzie ${\ Displaystyle n_ {k, d} ^ {(- n)}}$ konkretnie oznacza liczbę zmiennych w zbiorze ${\ Displaystyle \ mathbb {Z} _ {d}}$ , z wyłączeniem $które$ mają wartość ${\ displaystyle k}$ .

Konieczne jest policzenie tylko tych zmiennych, które mają wartość k , które są powiązane ze zmienną, o której mowa, poprzez posiadanie tego samego a priori. Nie chcemy liczyć żadnych innych zmiennych, które również mają wartość k .

Wiele przeorów Dirichleta z tym samym hiperprzeorem, z dziećmi na utrzymaniu

Teraz wyobraź sobie nieco bardziej skomplikowany model hierarchiczny w następujący sposób:

${\ Displaystyle {\ rozpocząć {tablica} {lcl} {\ boldsymbol {\ alfa}} & \ sim & {\ tekst {jakiś rozkład }}\\{\boldsymbol {\theta}}_{d=1\kropki M}&\sim &\operatorname {Dirichlet} _{K}({\boldsymbol {\alpha}})\\z_{d= 1\kropki M,n=1\kropki N_{d}}&\sim &\operatorname {kategoryczne} _{K}({\boldsymbol {\theta}}_{d})\\{\boldsymbol {\phi }}&\sim &{\text{inna dystrybucja}}\\w_{d=1\dots M,n=1\dots N_{d}}&\sim &\nazwa operatora {F} (w_{dn} \mid z_{dn},{\boldsymbol {\phi}})\end{array}}}$

Ten model jest taki sam jak powyżej, ale dodatkowo każda ze zmiennych kategorialnych ma zależną od niej zmienną potomną. Jest to typowe dla modelu mieszanego .

Ponownie, w rozkładzie łączonym tylko zmienne kategorialne zależne od tego samego a priori są połączone w jeden wielomian Dirichleta:

${\ Displaystyle \ Pr (\mathbb {Z},\mathbb {W} \mid {\boldsymbol {\alpha}},{\boldsymbol {\phi}})=\prod _{d}\operatorname {DirMult} (\mathbb {Z} _{d}\mid {\boldsymbol {\alpha}})\prod _{d=1}^{M}\prod _{n=1}^{N_{d}}\operatorname {F} (w_{ dn}\mid z_{dn},{\boldsymbol {\phi}})}$

Rozkład warunkowy zmiennych kategorycznych zależnych tylko od ich rodziców i przodków miałby w prostszym przypadku identyczną postać jak powyżej. ${(- dn)}}$ ) $^$ Displaystyle i przodkowie, tacy jak ${\ displaystyle \ alpha},$ ale na wszystkich innych parametrach.

Uproszczone wyrażenie na rozkład warunkowy wyprowadzono powyżej, po prostu przepisując wyrażenie na łączne prawdopodobieństwo i usuwając stałe czynniki. Stąd to samo uproszczenie miałoby zastosowanie w większym łącznym wyrażeniu prawdopodobieństwa, takim jak to w tym modelu, złożonym z gęstości wielomianowych Dirichleta oraz czynników dla wielu innych zmiennych losowych zależnych od wartości zmiennych kategorycznych.

Daje to:

${\ styl wyświetlania \Pr(z_{dn}=k\mid \mathbb {Z} ^{(-dn)},\mathbb {W} ,{\boldsymbol {\alpha}},{\boldsymbol {\phi}})\ \propto \ (n_{k,d}^{(-n)}+\alpha _{k})\operatorname {F} (w_{dn}\mid z_{dn},{\boldsymbol {\phi}} )}$

Tutaj gęstość prawdopodobieństwa $się$ bezpośrednio. Aby wykonać losowe próbkowanie w ciągu $}$ obliczylibyśmy nieznormalizowane prawdopodobieństwa dla wszystkich $\ displaystyle z_ {dn$ dla przy użyciu powyższego wzoru, a następnie znormalizowali je i postępowali jak z re normalny przy użyciu algorytmu opisanego w artykule dotyczącym rozkładu jakościowego .

Mówiąc poprawnie, dodatkowy czynnik, który pojawia się w rozkładzie warunkowym, pochodzi nie ze specyfikacji modelu, ale bezpośrednio z rozkładu łącznego. To rozróżnienie jest ważne przy rozważaniu modeli, w których dany węzeł z rodzicem Dirichlet-prior ma wiele zależnych dzieci, szczególnie gdy te dzieci są zależne od siebie nawzajem (np. jeśli mają wspólnego rodzica, który się załamał). Omówiono to bardziej poniżej.

Wiele przeorów Dirichleta ze zmianą wcześniejszego członkostwa

Teraz wyobraź sobie, że mamy następujący model hierarchiczny:

${ \ Displaystyle {\ rozpocząć {tablica} {lcl} {\ boldsymbol {\ theta}} & \ sim & {\ text {pewna dystrybucja}} \\ z_ {n = 1 \ kropki N} & \ sim & \ operatorname {kategoryczne } _ {K}({\boldsymbol {\theta}})\\{\boldsymbol {\alpha}}&\sim &{\text{pewna dystrybucja}}\\{\boldsymbol {\phi}}_{k =1\kropki K}&\sim &\nazwa operatora {Dirichlet} _{V}({\boldsymbol {\alpha}})\\w_{n=1\kropki N}&\sim &\nazwa operatora {kategoryczne} _ {V}({\boldsymbol {\phi}}_{z_{n}})\\\end{tablica}}}$

Tutaj mamy trudną sytuację, w której mamy wiele a priori Dirichleta jak poprzednio i zestaw zależnych zmiennych kategorycznych, ale związek między a priori a zmiennymi zależnymi nie jest ustalony, jak wcześniej. Zamiast tego, wybór którego przed użyciem zależy od innej losowej zmiennej kategorycznej. Dzieje się tak na przykład w modelach tematycznych i rzeczywiście nazwy powyższych zmiennych mają odpowiadać nazwom w ukrytej alokacji Dirichleta . $K}$ tym przypadku zestaw jest zbiorem słów, z których każdy jest losowany z jednego z możliwych tematów, gdzie każdy temat jest przeorem Dirichleta nad słownictwem K { $\$$możliwe słowa, określając częstotliwość występowania różnych$ w temacie. Jednak przynależność do tematu danego słowa nie jest ustalona; jest raczej określany na podstawie zestawu ukrytych zmiennych. ${\ displaystyle \ mathbb {Z}}$ . Na słowo przypada jedna utajona zmienna, $wymiarowa$ zmienna kategorialna określająca temat, do którego należy słowo

W tym przypadku wszystkie zmienne zależne od danego przeora są ze sobą powiązane (tj. skorelowane ) w grupie, tak jak poprzednio — konkretnie wszystkie słowa należące do danego tematu są powiązane. W tym przypadku jednak przynależność do grupy zmienia się, ponieważ słowa nie są przypisane do danego tematu, ale temat zależy od wartości ukrytej zmiennej związanej ze słowem. Jednak definicja gęstości wielomianowej Dirichleta nie zależy tak naprawdę od liczby zmiennych kategorialnych w grupie (tj. liczby słów w dokumencie wygenerowanym z danego tematu), a jedynie od liczby zmiennych w grupa ma określoną wartość (tzn. spośród wszystkich tokenów słów wygenerowanych z danego tematu, ile z nich to dane słowo). Dlatego nadal możemy napisać wyraźny wzór na łączną dystrybucję:

${\ Displaystyle \ Pr (\ mathbb {W} \ mid {\ boldsymbol {\ alfa}} \ mathbb {Z}) = \ prod _{k=1}^{K}\operatorname {DirMult} (\mathbb {W} _{k}\mid \mathbb {Z} ,{\boldsymbol {\alpha}})=\prod _{k=1 }^{K}\left[{\frac {\Gamma \left(\sum _{v}\alpha _{v}\right)}{\Gamma \left(\sum _{v}n_{v}^ {k}+\alpha _{v}\right)}}\prod _{v=1}^{V}{\frac {\Gamma (n_{v}^{k}+\alpha _{v}) }{\Gamma (\alpha _{v})}}\right]}$

Tutaj używamy notacji do $oznaczenia$ liczby tokenów słownych, których wartością jest symbol słowny które należą do k .

Rozkład warunkowy ma nadal tę samą postać:

${\ Displaystyle \ Pr (w_ {n} = v \ mid \ mathbb {W} ^ { (-n)},\mathbb {Z} ,{\boldsymbol {\alpha}})\ \propto \ n_{v}^{k,(-n)}+\alpha _{v}}$

Tutaj znowu tylko zmienne kategoryczne dla słów należących do danego tematu są powiązane (nawet jeśli to powiązanie będzie zależeć od przypisań zmiennych ukrytych), a zatem liczba słów musi dotyczyć tylko słów wygenerowanych przez dany temat. Stąd symbol $, który$ liczbą tokenów słów mających słowa , ale tylko tych , z wyłączeniem samego słowa, którego dystrybucja jest opisana.

(Powodem, dla którego wykluczenie samego słowa jest konieczne i dlaczego w ogóle ma to sens, jest to, że w kontekście próbkowania Gibbsa wielokrotnie ponownie próbkujemy wartości każdej zmiennej losowej, po przejrzeniu i próbkowaniu wszystkich poprzednich zmiennych. Stąd zmienna będzie już miała wartość i musimy wykluczyć tę istniejącą wartość z różnych zliczeń, z których korzystamy).

Połączony przykład: modele tematyczne LDA

Teraz pokażemy, jak połączyć niektóre z powyższych scenariuszy, aby zademonstrować, jak Gibbs próbkuje model świata rzeczywistego, w szczególności wygładzony utajony model tematu alokacji Dirichleta (LDA) .

Wzór jest następujący:

${\ Displaystyle { \begin{array}{lcl}{\boldsymbol {\alpha}}&\sim &{\text{A Dirichlet hyperprior, stała lub zmienna losowa}}\\{\boldsymbol {\beta }}&\sim &{\text{A Dirichlet hyperprior, albo stała, albo zmienna losowa}}\\{\boldsymbol {\theta }}_{d=1\dots M}&\sim &\operatorname {Dirichlet} _{K} ({\boldsymbol {\alpha}})\\{\boldsymbol {\phi}}_{k=1\kropki K}&\sim &\operatorname {Dirichlet} _{V}({\boldsymbol {\beta} })\\z_{d=1\dots M,n=1\dots N_{d}}&\sim &\nazwa operatora {kategoryczne} _{K}({\boldsymbol {\theta}}_{d}) \\w_{d=1\dots M,n=1\dots N_{d}}&\sim &\operatorname {kategoryczne} _{V}({\boldsymbol {\phi}}_{z_{dn}} )\\\koniec{tablica}}}$

Zasadniczo łączymy poprzednie trzy scenariusze: mamy zmienne kategoryczne zależne od wielu a priori współdzielących hiperprior; mamy zmienne kategoryczne z zależnymi dziećmi ( utajone tożsamości tematu zmiennej ); i mamy zmienne kategoryczne ze zmiennym przynależnością do wielu a priori dzielących hiperprior. W standardowym modelu LDA słowa są całkowicie przestrzegane, a zatem nigdy nie musimy ich ponownie próbkować. (Jednak próbkowanie Gibbsa byłoby równie możliwe, gdyby zaobserwowano tylko niektóre słowa lub żadne. W takim przypadku chcielibyśmy zainicjować rozkład po słowach w jakiś rozsądny sposób — np. z wyjścia jakiegoś procesu, który generuje zdania , na przykład tłumaczenia maszynowego — aby wynikowe późniejsze rozkłady zmiennych ukrytych miały jakikolwiek sens).

Korzystając z powyższych wzorów, możemy bezpośrednio zapisać prawdopodobieństwa warunkowe:

${\ displaystyle {\begin{array}{lcl}\Pr(w_{dn}=v\mid \mathbb {W} ^{(-dn)},\mathbb {Z},{\boldsymbol {\beta}})\ &\propto \ &\#\mathbb {W} _{v}^{k,(-dn)}+\beta _{v}\\\Pr(z_{dn}=k\mid \mathbb {Z} ^{(-dn)},w_{dn}=v,\mathbb {W} ^{(-dn)},{\boldsymbol {\alpha}})\ &\propto \ &(\#\mathbb {Z } _{k}^{d,(-dn)}+\alpha _{k})\Pr(w_{dn}=v\mid \mathbb {W} ^{(-dn)},\mathbb {Z } ,{\boldsymbol {\beta}})\\\end{tablica}}}$

Tutaj zdefiniowaliśmy liczbę bardziej wyraźnie, aby wyraźnie oddzielić liczbę słów i liczbę tematów:

${\ displaystyle {\begin{array}{lcl}\#\mathbb {W} _{v}^{k,(-dn)}&=&{\text{liczba słów o wartości }}v{\text{pośród temat }}k{\text{ wykluczając }}w_{dn}\\\#\mathbb {Z} _{k}^{d,(-dn)}&=&{\text{liczba tematów mających wartość } }k{\text{ wśród dokumentów }}d{\text{ wykluczając }}z_{dn}\\\end{tablica}}}$

Podobnie jak w powyższym scenariuszu ze zmiennymi kategorialnymi z zależnymi dziećmi, prawdopodobieństwo warunkowe tych zależnych dzieci pojawia się w definicji prawdopodobieństwa warunkowego rodzica. W tym przypadku każda utajona zmienna ma tylko jedno zależne słowo potomne, więc pojawia się tylko jeden taki termin. (Gdyby było wiele dzieci na utrzymaniu, wszystkie musiałyby wystąpić w warunkowym prawdopodobieństwie rodzica, niezależnie od tego, czy zachodzi nakładanie się różnych rodziców i tych samych dzieci, tj. niezależnie od tego, czy dzieci pozostające na utrzymaniu danego rodzica mają również innych rodziców. W w przypadku, gdy dziecko ma wielu rodziców, prawdopodobieństwo warunkowe dla tego dziecka pojawia się w definicji prawdopodobieństwa warunkowego każdego z jego rodziców).

Powyższa definicja określa tylko nieznormalizowane prawdopodobieństwo warunkowe słów, podczas gdy prawdopodobieństwo warunkowe tematu wymaga rzeczywistego ( tj. znormalizowanego) prawdopodobieństwa. Dlatego musimy znormalizować, sumując wszystkie symbole słowne:

${\ Displaystyle {\ rozpocząć {tablica} {rcl} \ Pr (z_ {dn} = k \ mid \ mathbb {Z} ^ {(- dn)},w_{dn}=v,\mathbb {W} ^{(-dn)},{\boldsymbol {\alpha}})\ &\propto \ &{\bigl (}\#\mathbb {Z } _{k}^{d,(-dn)}+\alpha _{k}{\bigr )}{\dfrac {\#\mathbb {W} _{v}^{k,(-dn)} +\beta _{v}}{\sum _{v'=1}^{V}(\#\mathbb {W} _{v'}^{k,(-dn)}+\beta _{v '})}}\\&&\\&=&{\bigl (}\#\mathbb {Z} _{k}^{d,(-dn)}+\alpha _{k}{\bigr )} {\dfrac {\#\mathbb {W} _{v}^{k,(-dn)}+\beta _{v}}{\#\mathbb {W} ^{k}+B-1}} \end{tablica}}}$

Gdzie

${\ Displaystyle {\ rozpocząć {tablica} {lcl} \ # \ mathbb {W} ^ {k} & = & {\ tekst { liczba słów wygenerowanych przez temat }}k\\B&=&\sum _{v=1}^{V}\beta _{v}\\\end{array}}}$

Warto również szczegółowo omówić inny punkt, który dotyczy drugiego czynnika powyżej w prawdopodobieństwie warunkowym. Pamiętaj, że ogólnie rozkład warunkowy wywodzi się z rozkładu łącznego i upraszcza się, usuwając wyrazy niezależne od dziedziny warunku (część po lewej stronie pionowego słupka). Kiedy węzeł $ma$ we wspólnym rozkładzie będzie jeden lub $które$ na ${\ displaystyle z}$ . Zwykle dla każdego węzła zależnego istnieje jeden czynnik i ma on taką samą funkcję gęstości, jak rozkład pojawiający się w definicji matematycznej. Jeśli jednak węzeł zależny ma również innego rodzica (współrzędnego rodzica), a ten współrzędny rodzic zostanie zwinięty, wtedy węzeł stanie się zależny od wszystkich innych węzłów współdzielących tego współrzędnego rodzica i zamiast wielu terminów dla każdy taki węzeł, wspólny rozkład będzie miał tylko jeden wspólny termin. Mamy tu dokładnie taką sytuację. Mimo że $którego$$Dirichleta$ dziecko , to dziecko ma współrodzica rozwiedliśmy, co indukuje wielomian cały zestaw węzłów ${\ Displaystyle \ mathbb {W} ^ {k}}$ .

$}$ {\ displaystyle $}$ . Możemy przepisać wspólną dystrybucję w następujący sposób:

${\ Displaystyle {\ begin{tablica}{lcl}p(\mathbb {W} ^{k}\mid z_{dn})&=&p(w_{dn}\mid \mathbb {W} ^{k,(-dn)}, z_{dn})\,p(\mathbb {W} ^{k,(-dn)}\mid z_{dn})\\&=&p(w_{dn}\mid \mathbb {W} ^{k ,(-dn)},z_{dn})\,p(\mathbb {W} ^{k,(-dn)})\\&\sim &p(w_{dn}\mid \mathbb {W} ^ {k,(-dn)},z_{dn})\end{tablica}}}$

gdzie w zbiorze ${\ Displaystyle \ mathbb {W} ^ {k, (-dn)}}$ (tj. zbiór węzłów ${\ Displaystyle \ mathbb {W} ^ {k} }$$żaden$ wyłączeniem z węzłów nie ma jako rodzic $}} .$ Stąd można go wyeliminować jako czynnik warunkujący (linia 2), co oznacza, że ​​cały czynnik można wyeliminować z rozkładu warunkowego (linia 3).

Drugi przykład: grupowanie dokumentów Bayesa w naiwny sposób

Oto inny model, z innym zestawem problemów. Jest to implementacja nienadzorowanego naiwnego Bayesa do grupowania dokumentów. Oznacza to, że chcielibyśmy podzielić dokumenty na wiele kategorii (np. „ spam ” lub „nie-spam” lub „artykuł w czasopiśmie naukowym”, „artykuł w gazecie o finansach”, „artykuł w gazecie o polityce”, „list miłosny”) na podstawie treści tekstowych. Jednak nie znamy jeszcze właściwej kategorii jakichkolwiek dokumentów; zamiast tego chcemy pogrupować na podstawie wzajemnych podobieństw. (Na przykład zestaw artykułów naukowych będzie podobny do siebie pod względem użycia słów, ale bardzo różni się od zestawu listów miłosnych). Jest to rodzaj uczenia się bez nadzoru . (Tę samą technikę można zastosować do uczenia częściowo nadzorowanego , tj. gdy znamy prawidłową kategorię pewnej części dokumentów i chcielibyśmy wykorzystać tę wiedzę, aby pomóc w grupowaniu pozostałych dokumentów).

Wzór jest następujący:

${\ Displaystyle {\ rozpocząć {tablica} {lcl} {\boldsymbol {\alpha}}&\sim &{\text{A Dirichlet hyperprior, albo stała, albo zmienna losowa}}\\{\boldsymbol {\beta}}&\sim &{\text{A Dirichlet hyperprior , stała lub zmienna losowa}}\\{\boldsymbol {\theta}}_{d=1\dots M}&\sim &\operatorname {Dirichlet} _{K}({\boldsymbol {\alpha} })\\{\boldsymbol {\phi}}_{k=1\kropki K}&\sim &\operatorname {Dirichlet} _{V}({\boldsymbol {\beta}})\\z_{d= 1\kropki M}&\sim &\operatorname {kategoryczne} _{K}({\boldsymbol {\theta}}_{d})\\w_{d=1\kropki M,n=1\kropki N_{ d}}&\sim &\operatorname {kategoryczne} _{V}({\boldsymbol {\phi}}_{z_{d}})\\\end{tablica}}}$

Pod wieloma względami ten model jest bardzo podobny do opisanego powyżej modelu tematycznego LDA , ale zakłada jeden temat na dokument, a nie jeden temat na słowo, przy czym dokument składa się z mieszanki tematów. Widać to wyraźnie w powyższym modelu, który jest identyczny z modelem LDA, z wyjątkiem tego, że istnieje tylko jedna utajona zmienna na dokument zamiast jednej na słowo. Ponownie zakładamy, że obalamy wszystkie przeorów Dirichleta.

Prawdopodobieństwo warunkowe dla danego słowa jest prawie identyczne jak w przypadku LDA. Po raz kolejny wszystkie słowa wygenerowane przez tego samego przeora Dirichleta są współzależne. W tym przypadku oznacza to słowa wszystkich dokumentów opatrzonych daną etykietą — znowu może się to różnić w zależności od przypisań etykiet, ale jedyne, na czym nam zależy, to suma zliczeń. Stąd:

${\ Displaystyle {\ rozpocząć {tablica} {lcl} \ Pr (w_ { dn}=v\mid \mathbb {W} ^{(-dn)},\mathbb {Z} ,{\boldsymbol {\beta}})\ &\propto \ &\#\mathbb {W} _{v }^{k,(-dn)}+\beta _{v}\\\end{tablica}}}$

Gdzie

${\ Displaystyle {\ rozpocząć {tablica} {lcl} \ # \ mathbb {W} _ {v} ^ {k,(-dn)}&=&{\text{liczba słów o wartości }}v{\text{ wśród dokumentów z etykietą }}k{\text{ z wyłączeniem }}w_{dn}\\\end{ szyk}}}$

Istnieje jednak zasadnicza różnica w warunkowym rozkładzie zmiennych ukrytych dla przypisań etykiet, polegająca na tym, że dana zmienna etykiety ma wiele węzłów potomnych zamiast tylko jednego — w szczególności węzły dla wszystkich słów w dokumencie etykiety. $który$ temat czynnika, ze wspólnego $ma$ równej wartości i wartość rozkładu wielomianowego Dirichleta. Co więcej, nie możemy zredukować tego łącznego rozkładu do rozkładu warunkowego na pojedynczym słowie. Możemy raczej zredukować to tylko do mniejszego łącznego rozkładu warunkowego na słowach w dokumencie dla danej etykiety, a zatem nie możemy tego uprościć, stosując powyższą sztuczkę, która daje prostą sumę oczekiwanej liczby i liczby wcześniejszej. Chociaż w rzeczywistości możliwe jest przepisanie go jako iloczyn takich indywidualnych sum, liczba czynników jest bardzo duża i nie jest wyraźnie bardziej wydajna niż bezpośrednie obliczenie prawdopodobieństwa rozkładu wielomianowego Dirichleta.

Powiązane dystrybucje

Jednowymiarowa wersja rozkładu wielomianowego Dirichleta jest znana jako rozkład beta-dwumianowy .

Rozkład wielomianowy Dirichleta ma związek z ujemnym rozkładem dwumianowym analogiczny do związku rozkładu wielomianowego z rozkładem Poissona .

Używa

Rozkład wielomianowy Dirichleta jest używany w automatycznej klasyfikacji i grupowaniu dokumentów , genetyce , ekonomii , modelowaniu walki i marketingu ilościowym.

Zobacz też

• Rozkład beta-dwumianowy
• Proces chińskiej restauracji
• Proces Dirichleta
• Uogólniony rozkład Dirichleta
• Estymator Krichevsky'ego-Trofimowa
• Ujemny rozkład wielomianowy Dirichleta

Źródła

• Elkan, C. (2006) Grupowanie dokumentów z przybliżeniem rodziny wykładniczej wielomianowego rozkładu złożonego Dirichleta . ICML, 289–296.
• Johnson, NL, Kotz, S. i Balakrishnan, N. (1997) Dyskretne rozkłady wielowymiarowe (tom 165). Nowy Jork: Wiley.
• Kvam, P. and Day, D. (2001) Wielowymiarowa dystrybucja Polya w modelowaniu walki. Logistyka badań marynarki wojennej, 48, 1–17.
• Madsen, RE, Kauchak, D. i Elkan, C. (2005) Modeling Word Burstiness Korzystanie z rozkładu Dirichleta . ICML, 545–552.
• Minka, T. (2003) Szacowanie rozkładu Dirichleta . Raport techniczny Microsoft Research. Zawiera kod Matlab do dopasowywania dystrybucji do danych.
• Mosimann, JE (1962) O złożonym rozkładzie wielomianowym, wielowymiarowym rozkładzie β i korelacjach między proporcjami . Biometrika, 49 (1–2), 65–82.
• Wagner, U. i Taudes, A. (1986) Wielowymiarowy wielowymiarowy model wyboru marki i częstości zakupów. Nauka o marketingu, 5 (3), 219–244.