Algorytm GHK

Algorytm GHK (Geweke, Hajivassiliou i Keane) jest ważną metodą próbkowania do symulacji prawdopodobieństw wyboru w wielowymiarowym modelu probitowym . Te symulowane prawdopodobieństwa można wykorzystać do odzyskania oszacowań parametrów z równania zmaksymalizowanej wiarygodności przy użyciu jednej ze zwykłych, dobrze znanych metod maksymalizacji ( metoda Newtona , BFGS itp.). Train ma dobrze udokumentowane kroki implementacji tego algorytmu dla wielomianowego modelu probitowego. To, co następuje tutaj, dotyczy binarnego wielowymiarowego modelu probitowego.

Rozważ przypadek, w którym próbuje się ocenić prawdopodobieństwo wyboru $)}$${\ Displaystyle \ Pr (\ mathbf {y_ {i}} |\ mathbf {X_ {i} \ beta} , \$$} = (y_ {1},. .., y_ {J}), \ (i = 1, ..., N)}$ gdzie i gdzie możemy wybrać jako wybory i $i}$$displaystyle$ jako jednostki lub obserwacje, $beta}}$$\$ to średnia, a to macierz kowariancji modelu. Prawdopodobieństwo zaobserwowania wyboru wynosi ${\ displaystyle \ mathbf {y_ {i}}}$

${\ Displaystyle {\ rozpocząć {wyrównane} \ Pr (\ mathbf {y_ {i}} | \ mathbf { X_{i}\beta} ,\Sigma )=&\int _{A_{J}}\cdots \int _{A_{1}}f_{N}(\mathbf {y} _{i}^{* }|\mathbf {X_{i}\beta} ,\Sigma )dy_{1}^{*}\kropki dy_{J}^{*}\\\Pr(\mathbf {y_{i}} |\mathbf {X_{i}\beta} ,\Sigma )=&\int \mathbb {1} _{y^{*}\in A}f_{N}(\mathbf {y} _{i}^{*} |\mathbf {X_{i}\beta} ,\Sigma )d\mathbf {y} _{i}^{*}\end{wyrównane}}}$

gdzie ${\ Displaystyle A = A_ {1} \ razy \ cdots \ razy A_ {J}}$ i

${\ Displaystyle A_ {j} = {\ rozpocząć {przypadki} (- \ infty, 0] i y_ {j} = 0 \\ ( 0,\infty )&y_{j}=1\end{przypadki}}}$

O ile nie jest $2$ ), nie ma rozwiązania w postaci zamkniętej dla całek zdefiniowanych powyżej (niektóre prace zostały wykonane z ${\ displaystyle J = 3}$ ). Alternatywą dla oceny tych całek w postaci zamkniętej lub metodami kwadraturowymi jest użycie symulacji. GHK to metoda symulacji służąca do symulacji powyższego prawdopodobieństwa przy użyciu metod próbkowania ważności.

Oceniając ${\ Displaystyle \ Pr (\ mathbf {y_ {i}} |\mathbf {X_{i}\beta} ,\Sigma )=\int \mathbb {1} _{y^{*}\in A}f_{N}(\mathbf {y} _{i}^{ *}|\mathbf {X_{i}\beta } ,\Sigma )d\mathbf {y} _{i}^{*}} jest uproszczone przez uznanie, że ukryty model$ danych ${\ Displaystyle \ mathbf {y_ {i} ^ {*}} = \ mathbf {X_ {i} \ beta} + \ epsilon} można$ przepisać za pomocą faktoryzacji Cholesky'ego, ${\ Displaystyle \ Sigma = CC '}$ . Daje to $beta} + C \ eta _ {i}}$ \ ${\ Displaystyle \ eta _ {i}}$ warunki są rozprowadzane ${\ Displaystyle N (0, \ mathbf {I})}$ .

$.$ na czynniki i faktu, że rozkłady są niezależne, można symulować losowania z obciętego wielowymiarowego rozkładu normalnego, używając losowań z jednowymiarowej losowej

$b$ , jeśli region obcięcia $±$ górne granice równe $\pm \infty }$ = ${\$ ), wtedy zadanie staje się

${\ Displaystyle {\ rozpocząć {tablica} {lcl} a <& y_ {1} ^ {*} & <b \ \a<&y_{2}^{*}&<b\\\vdots &\vdots &\vdots \\a<&y_{J}^{*}&<b\\\end{tablica}}}$

Uwaga: $Displaystyle \ mathbf {y_ {i} ^ {*}} = \ mathbf {X_ {i} \ beta} + C \ eta _ {i}} ,$ zastępując :

${\ Displaystyle {\ rozpocząć {tablica} {lcl} a <& x_ {1} \ beta _ {1} + c_ {11} \ eta _ {1} i <b \\ a <& x_ {2} \beta _{2}+c_{21}\eta _{1}+c_{22}\eta _{2}&<b\\\vdots &\vdots &\vdots \\a<&x_{J}\ beta _{J}+\suma _{k=1}^{J}c_{J,k}\eta _{k}&<b\\\end{tablica}}}$

Zmiana układu powyżej,

${\ Displaystyle {\ rozpocząć {tablica} {ccc} {\ Frac {a-x_ {1} \ beta _ {1}} {c_ {11}}} & <\ eta _ {1}<&{\frac {b-x_{1}\beta_{1}}{c_{11}}}\\{\frac {a-(x_{2}\beta_{2}+c_ {21}\eta _{1})}{c_{22}}}&<\eta _{2}<&{\frac {b-(x_{2}\beta _{2}+c_{21} \eta _{1})}{c_{22}}}\\\vdots &\vdots &\vdots \\{\frac {a-(x_{J}\beta _{J}+\suma _{k =1}^{J-1}c_{J,k})}{c_{J,J}}}&<\eta _{k}<&{\frac {b-(x_{J}\beta _ {J}+\suma _{k=1}^{J-1}c_{J,k})}{c_{J,J}}}\\\koniec{tablica}}}$

Teraz wszystko, co trzeba zrobić, to iteracyjnie wyciągnąć z obciętego jednowymiarowego rozkładu normalnego z podanymi powyżej granicami. Można to zrobić za pomocą odwrotnej metody CDF i zauważając, że obcięty rozkład normalny jest określony wzorem

${\ Displaystyle u = {\ Frac {\ Phi ({\ Frac {x- \mu }{\sigma }})-\Phi ({\frac {a-\mu }{\sigma }})}{\Phi ({\frac {b-\mu }{\sigma }})-\ Phi ({\frac {a-\mu}} {\sigma}})}}}$

Gdzie $liczbą$ od 0 do 1, ponieważ powyższe jest CDF. Sugeruje to generowanie losowych losowań z obciętego rozkładu, który należy rozwiązać, aby dać , ${\ displaystyle x}$

${\ Displaystyle x = \ sigma F ^ {- 1} (u * (F (\ beta) -F(\alpha ))+F(\alpha ))+\mu }$

gdzie ${\ Displaystyle \ alfa = {\ Frac {a- \ mu} {\ sigma}}}$ i $}}}$${\ Displaystyle \ beta = {\ Frac {b- \ mu} {\$$standardowy$ i to normalny CDF. Za pomocą takich $za pomocą uproszczonego równania przy$ można zrekonstruować Cholesky'ego. Losowania te będą uzależnione od losowań poprzedzających i przy użyciu właściwości normalnych iloczyn warunkowych plików PDF będzie łączną dystrybucją ${\ Displaystyle \ mathbf {y_ {i} ^ {*}}}$ ,

${\ Displaystyle q (\ mathbf {y_ {i} ^ {*}} | \ mathbf {X_ {1} \ beta} \ Sigma) = q (y_{1}^{*}|\mathbf {X_{1}\beta} ,\Sigma )q(y_{2}^{*}|y_{1}^{*},\mathbf {X_{1 }\beta } ,\Sigma )\kropki q(y_{J}^{*}|y_{1}^{*},\kropki ,y_{J-1}^{*},\mathbf {X_{1 }\beta} ,\Sigma )}$

Gdzie $_$ normalnym

Ponieważ ${\ Displaystyle y_ {j} ^ {*}}$ zależny od $y_ {k}, \ k <j}$$Displaystyle$ jest ograniczony do przez konfiguracji przy użyciu faktoryzacji Cholesky'ego $,$ to wiemy, że normalną Funkcja dystrybucji obciętej normalnej to:

${\ Displaystyle {\ Frac {\ phi ({\ Frac {x- \ mu}} {\ sigma}}) }{\sigma (\Phi ({\frac {b-\mu}}}}-\Phi ({\frac {a-\mu}}}}})}}}$

Dlatego ${\ Displaystyle y_ {j} ^ {*}}$ ma rozkład,

$Displaystyle {\ rozpocząć {wyrównane} q (\ mathbf {y_ {i} ^ {*}} | \ mathbf {X_ {i} \ beta} \ Sigma) & ={\frac {{\frac {1}{c_{11}}}\phi _{1}{\Big (}{\frac {y_{j}^{*}-x_{1}\beta} c_{11}}}{\Big )}}{{\Big (}\Phi _{1}{\Big (}{\frac {b-x_{1}\beta }{c_{11}}}{ \Big )}-\Phi _{1}{\Big (}{\frac {a-x_{1}\beta }{c_{11}}}{\Big )}{\Big )}}}\times \dots \times {\frac {{\frac {1}{c_{JJ}}}\phi _{J}{\Big (}{\frac {y_{J}^{*}-(x_{J} \beta +c_{J1}\eta _{1}+c_{J2}\eta _{2}+\kropki +c_{JJ-1}\eta _{J-1})}{c_{JJ}} }{\Big )}}{{\Big (}\Phi _{J}{\Big (}{\frac {b-(x_{J}\beta +c_{J1}\eta _{1}+c_ {J2}\eta _{2}+\dots +c_{JJ-1}\eta _{J-1})}{c_{JJ}}}{\Big )}-\Phi _{J}{\ Duży (}{\frac {a-(x_{J}\beta +c_{J1}\eta _{1}+c_{J2}\eta _{2}+\dots +c_{JJ-1}\eta _{J-1}}{c_{JJ}}}{\Duży}}{\Duży)}}}\\&={\frac {\prod _{j=1}^{J}{\frac { 1}{c_{jj}}}\phi _{j}{\Duży (}{\frac {y_{j}^{*}-\sum _{k=1}^{k<j}c_{jk }\eta _{k}}{c_{jj}}}{\Big )}}{\prod _{j=1}^{J}{\Big (}\Phi _{j}{\Big (} {\frac {b-\sum _{k=1}^{k<j}c_{jk}\eta _{k}}{c_{jj}}}{\Big )}-\Phi {\Big ( }{\frac {a-\sum _{k=1}^{k<j}c_{jk}\eta _{k}}{c_{jj}}}{\duży)}{\duży)}} }\end{wyrównane}}}$

gdzie ${\ displaystyle \ phi _ {j}}$ jest standardowym normalnym pdf do wyboru ${\ displaystyle j}$ .

Ponieważ $\ {y_ {k <j} ^ { *}\}}^{*}\sim N(\mathbf {X_{i}\beta} +\sum _{k=1}^{k<j}c_{jk}\eta _{k},c_ {jj}^{2})}$ powyższa standaryzacja sprawia, że ​​każdy termin oznacza 0 wariancja 1.

${\ Displaystyle \ prod _ {j = 1} ^ {J} \ Phi _ {j} {\ duży (} {\ Frac {b- \ suma _ {k = 1} ^ {k<j}c_{jk}\eta _{k}}{c_{jj}}}{\Big )}-\Phi {\Big (}{\frac {a-\sum _{k=1} ^{k<j}c_{jk}\eta _{k}}{c_{jj}}}{\Big )}=\prod _{j=1}^{J}l_{jj}} i$ mianownik licznik ${\$$prod _{j=1}^{J}{\frac {1}{c_{jj}}}\phi _{j}{\Big (}{\frac {y_{j}^{*}-\sum _{k=1}^{k<j}c_{jk}\eta _{k}}{c_{jj}}}{\Big )}=f_{N}(\mathbf {y_{i}^{$$gdzie$ wielowymiarowym normalnym plikiem PDF.

Wracając do pierwotnego celu, aby ocenić

$Displaystyle {\ rozpocząć {wyrównane} \ Pr (\ mathbf {y_ {i }} |\mathbf {X_{i}\beta} ,\Sigma )=&\int _{A_{j}}f_{N}(\mathbf {y} _{i}^{*}|\mathbf { X_{i}\beta } ,\Sigma )dy_{j}^{*}\\\end{wyrównane}}}$

Korzystając z próbkowania ważności, możemy oszacować tę całkę,

${\ Displaystyle {\$

$=1}^{J}l_{jj}}$${\ Displaystyle {\ Frac {1} {S}} \ suma _ {s = 1} ^ {S} \ prod _ {$ j .