Hierarchiczny ukryty model Markowa

Hierarchiczny ukryty model Markowa (HHMM) jest modelem statystycznym wywodzącym się z ukrytego modelu Markowa (HMM). W HHMM każdy stan jest uważany za samodzielny model probabilistyczny . Dokładniej, każdy stan HHMM sam w sobie jest HHMM.

HHMM i HMM są przydatne w wielu dziedzinach, w tym w rozpoznawaniu wzorców .

Tło

Czasami przydatne jest użycie HMM w określonych strukturach, aby ułatwić uczenie się i uogólnianie. Na przykład, chociaż zawsze można użyć w pełni połączonego HMM, jeśli dostępna jest wystarczająca ilość danych uczących, często przydatne jest ograniczenie modelu przez niedopuszczenie do dowolnych przejść między stanami. W ten sam sposób korzystne może być osadzenie HMM w większej strukturze; który teoretycznie może nie być w stanie rozwiązać żadnych innych problemów niż podstawowy HMM, ale może rozwiązać niektóre problemy wydajniej, jeśli chodzi o ilość wymaganych danych treningowych.

Opis

W hierarchicznym ukrytym modelu Markowa (HHMM) każdy stan jest uważany za samodzielny model probabilistyczny. Dokładniej, każdy stan HHMM sam w sobie jest HHMM. Oznacza to, że stany HHMM emitują sekwencje symboli obserwacji, a nie pojedyncze symbole obserwacji, jak ma to miejsce w przypadku standardowych stanów HMM.

Ilustracja struktury HHMM. Szare linie pokazują pionowe przejścia. Poziome przejścia są pokazane jako czarne linie. Jasnoszare kółka to stany wewnętrzne, a ciemnoszare kółka to stany końcowe, które przywracają kontrolę do stanu aktywacji. Stany produkcji nie są pokazane na tym rysunku.

Kiedy stan w HHMM jest aktywowany, aktywuje on swój własny model probabilistyczny, tj. aktywuje jeden ze stanów bazowego HHMM, który z kolei może aktywować leżący u jego podstaw HHMM i tak dalej. Proces jest powtarzany, aż do aktywacji specjalnego stanu, zwanego stanem produkcyjnym. Tylko stany produkcyjne emitują symbole obserwacji w zwykłym sensie HMM. Kiedy stan produkcyjny wyemitował symbol, sterowanie powraca do stanu, który aktywował stan produkcyjny. Stany, które nie emitują bezpośrednio symboli obserwacji, nazywane są stanami wewnętrznymi. Aktywacja stanu w HHMM w stanie wewnętrznym nazywana jest przejściem pionowym . Po zakończeniu przejścia pionowego przejście poziome do stanu na tym samym poziomie. Kiedy przejście poziome prowadzi do końcowego , kontrola powraca do stanu w HHMM, znajdującego się wyżej w hierarchii, który spowodował ostatnie przejście pionowe.

Należy zauważyć, że przejście pionowe może skutkować większą liczbą przejść pionowych przed osiągnięciem sekwencji stanów produkcyjnych i ostatecznym powrotem do najwyższego poziomu. W ten sposób odwiedzone stany produkcji dają początek sekwencji symboli obserwacji, która jest „wytwarzana” przez stan na najwyższym poziomie.

Metody szacowania parametrów HHMM i struktury modelu są bardziej złożone niż w przypadku parametrów HMM, a zainteresowanego czytelnika odsyłamy do Fine et al. (1998).

HMM i HHMM należą do tej samej klasy klasyfikatorów. Oznacza to, że można ich użyć do rozwiązania tego samego zestawu problemów. W rzeczywistości HHMM można przekształcić w standardowy HMM. Jednak HHMM wykorzystuje swoją strukturę do bardziej efektywnego rozwiązywania podzbioru problemów.

Topologia

Klasyczne HHMM wymagają z góry określonej topologii, co oznacza, że liczba i hierarchiczna struktura podmodeli muszą być znane z góry. Samko i in. (2010) wykorzystali informacje o stanach z przestrzeni cech (tj. spoza samego Modelu Markowa) w celu zdefiniowania topologii nowego HHMM w sposób nienadzorowany. Jednak takie zewnętrzne dane zawierające istotne informacje do konstruowania HHMM mogą nie być dostępne we wszystkich kontekstach, np. w przetwarzaniu języka.

Zobacz też

Dalsza lektura

S. Fine, Y. Singer i N. Tishby, „Hierarchiczny ukryty model Markowa: analiza i zastosowania”, Machine Learning, tom. 32, s. 41–62, 1998
K. Murphy i M. Paskin. „Liniowe wnioskowanie o czasie w hierarchicznych HMM”, NIPS-01 (Neural Info. Proc. Systems).
H. Bui, D. Phung i S. Venkatesh. „Hierarchiczne ukryte modele Markowa z ogólną hierarchią stanu”, AAAI-04 (Krajowa konferencja na temat sztucznej inteligencji).