Model Markowa

W teorii prawdopodobieństwa model Markowa jest modelem stochastycznym używanym do modelowania pseudolosowo zmieniających się systemów. Zakłada się, że stany przyszłe zależą tylko od stanu bieżącego, a nie od zdarzeń, które miały miejsce przed nim (czyli przyjmuje się własność Markowa ). Ogólnie rzecz biorąc, to założenie umożliwia rozumowanie i obliczenia z wykorzystaniem modelu, który w innym przypadku byłby trudny . Z tego powodu w obszarach modelowania predykcyjnego i prognozowania probabilistycznego , pożądane jest, aby dany model wykazywał własność Markowa.

Wstęp

Istnieją cztery popularne modele Markowa używane w różnych sytuacjach, w zależności od tego, czy każdy stan sekwencyjny jest obserwowalny, czy nie, oraz czy system ma być dostosowywany na podstawie poczynionych obserwacji:

Modele Markowa
	Stan systemu jest w pełni obserwowalny	Stan systemu jest częściowo obserwowalny
System jest autonomiczny	łańcuch Markowa	Ukryty model Markowa
System jest kontrolowany	Proces decyzyjny Markowa	Częściowo obserwowalny proces decyzyjny Markowa

łańcuch Markowa

Najprostszym modelem Markowa jest łańcuch Markowa . Modeluje stan systemu za pomocą zmiennej losowej , która zmienia się w czasie. W tym kontekście właściwość Markowa sugeruje, że rozkład tej zmiennej zależy tylko od rozkładu stanu poprzedniego. Przykładowym zastosowaniem łańcucha Markowa jest łańcuch Markowa Monte Carlo , który wykorzystuje własność Markowa, aby udowodnić, że określona metoda wykonywania błądzenia losowego będzie pobierać próbki z łącznego rozkładu .

Ukryty model Markowa

Ukryty model Markowa to łańcuch Markowa, dla którego stan jest tylko częściowo obserwowalny lub hałaśliwie obserwowalny. Innymi słowy, obserwacje są związane ze stanem systemu, ale zazwyczaj nie wystarczają do dokładnego określenia tego stanu. Istnieje kilka dobrze znanych algorytmów dla ukrytych modeli Markowa. Na przykład, biorąc pod uwagę sekwencję obserwacji, algorytm Viterbiego obliczy najbardziej prawdopodobną odpowiednią sekwencję stanów, algorytm forward obliczy prawdopodobieństwo sekwencji obserwacji, a algorytm Bauma-Welcha oszacuje początkowe prawdopodobieństwa, funkcję przejścia i funkcję obserwacji ukrytego modelu Markowa.

Jednym z powszechnych zastosowań jest rozpoznawanie mowy , gdzie obserwowanymi danymi jest przebieg mowy , a stanem ukrytym jest tekst mówiony. W tym przykładzie algorytm Viterbiego znajduje najbardziej prawdopodobną sekwencję wypowiadanych słów, biorąc pod uwagę dźwięk mowy.

Proces decyzyjny Markowa

Proces decyzyjny Markowa to łańcuch Markowa, w którym przejścia między stanami zależą od stanu bieżącego i wektora działania zastosowanego w systemie. Zazwyczaj proces decyzyjny Markowa jest używany do obliczania polityki działań, która zmaksymalizuje pewną użyteczność w odniesieniu do oczekiwanych nagród.

Częściowo obserwowalny proces decyzyjny Markowa

proces decyzyjny Markowa (POMDP) to proces decyzyjny Markowa, w którym stan systemu jest obserwowany tylko częściowo. Wiadomo, że POMDP są NP kompletne , ale ostatnie techniki aproksymacji sprawiły, że są one przydatne w różnych zastosowaniach, takich jak sterowanie prostymi agentami lub robotami.

Losowe pole Markowa

Losowe pole Markowa lub sieć Markowa można uznać za uogólnienie łańcucha Markowa w wielu wymiarach. W łańcuchu Markowa stan zależy tylko od poprzedniego stanu w czasie, podczas gdy w losowym polu Markowa każdy stan zależy od swoich sąsiadów w dowolnym z wielu kierunków. Pole losowe Markowa można zwizualizować jako pole lub wykres zmiennych losowych, gdzie rozkład każdej zmiennej losowej zależy od sąsiednich zmiennych, z którymi jest powiązana. Mówiąc dokładniej, łączny rozkład dowolnej zmiennej losowej na wykresie można obliczyć jako iloczyn „potencjałów klik” wszystkich klik na wykresie, które zawierają tę zmienną losową. Modelowanie problemu jako pola losowego Markowa jest przydatne, ponieważ implikuje, że łączne rozkłady w każdym wierzchołku grafu można obliczyć w ten sposób.

Hierarchiczne modele Markowa

Hierarchiczne modele Markowa można zastosować do kategoryzacji ludzkich zachowań na różnych poziomach abstrakcji. Na przykład seria prostych obserwacji, takich jak lokalizacja osoby w pokoju, może zostać zinterpretowana w celu uzyskania bardziej złożonych informacji, takich jak zadanie lub czynność, którą wykonuje dana osoba. Dwa rodzaje hierarchicznych modeli Markowa to hierarchiczny ukryty model Markowa i abstrakcyjny ukryty model Markowa. Oba zostały wykorzystane do rozpoznawania zachowań. a pewne warunkowe właściwości niezależności między różnymi poziomami abstrakcji w modelu pozwalają na szybsze uczenie się i wnioskowanie.

Tolerancyjny model Markowa

Tolerancyjny model Markowa (TMM) to probabilistyczno-algorytmiczny model łańcucha Markowa. Przypisuje prawdopodobieństwa zgodnie z kontekstem warunkującym, który uważa ostatni symbol z sekwencji, która ma wystąpić, za najbardziej prawdopodobny zamiast prawdziwego występującego symbolu. TMM może modelować trzy różne natury: podstawienia, uzupełnienia lub usunięcia. Pomyślne zastosowania zostały skutecznie wdrożone w kompresji sekwencji DNA.

Modele prognostyczne oparte na łańcuchu Markowa

Łańcuchy Markowa zostały wykorzystane jako metody prognozowania dla kilku tematów, na przykład trendów cenowych, energii wiatrowej i natężenia promieniowania słonecznego . Modele prognostyczne oparte na łańcuchu Markowa wykorzystują szereg różnych ustawień, od dyskretyzacji szeregów czasowych po ukryte modele Markowa połączone z falkami i model dystrybucji mieszaniny łańcuchów Markowa (MCM).

Zobacz też

^ ^ab ^Gagniuc , Paul A. (2017). Łańcuchy Markowa: od teorii do implementacji i eksperymentów . USA, NJ: John Wiley & Sons. s. 1–256. ISBN 978-1-119-38755-8 .
Bibliografia _ Littman, ML; Kasandra, AR (1998). „Planowanie i działanie w częściowo obserwowalnych domenach stochastycznych” . Sztuczna inteligencja . 101 (1–2): 99–134. doi : 10.1016/S0004-3702(98)00023-X . ISSN 0004-3702 .
^ Dobrze, S .; Piosenkarz, Y. (1998). „Hierarchiczny ukryty model Markowa: analiza i zastosowania” . Uczenie maszynowe . 32 (1): 41–62. doi : 10.1023/A:1007469218079 .
^ ^ab ^Bui , HH; Venkatesh, S.; Zachód, G. (2002). „Rozpoznawanie polityki w abstrakcyjnym ukrytym modelu Markowa” . Dziennik badań nad sztuczną inteligencją . 17 : 451–499. doi : 10.1613/jair.839 .
^ Teocharous, G. (2002). Hierarchiczne uczenie się i planowanie w częściowo obserwowalnych procesach decyzyjnych Markowa (doktorat). Uniwersytet Stanowy Michigan.
Bibliografia _ Bui, HH; Venkatesh, S.; Zachód, GAW (2003). „Rozpoznawanie działalności człowieka poprzez hierarchiczne uczenie się stochastyczne” . PERCOM '03 Materiały z pierwszej międzynarodowej konferencji IEEE na temat wszechobecnych komputerów i komunikacji . s. 416–422. CiteSeerX 10.1.1.323.928 . doi : 10.1109/PERCOM.2003.1192766 . ISBN 978-0-7695-1893-0 . S2CID 13938580 .
^ ^a ^b Pratas, D .; Hosseini, M.; Pinho, AJ (2017). „Modele Markowa z tolerancją substytucyjną dla względnej kompresji sekwencji DNA”. PACBB 2017 – 11th International Conference on Practical Applications of Computational Biology & Bioinformatics, Porto, Portugalia . s. 265–272. doi : 10.1007/978-3-319-60816-7_32 . ISBN 978-3-319-60815-0 .
Bibliografia _ Pinho, AJ; Ferreira, PJSG (2016). „Wydajna kompresja sekwencji genomowych”. Konferencja dotycząca kompresji danych (DCC), 2016 . IEEE. s. 231–240. doi : 10.1109/DCC.2016.60 . ISBN 978-1-5090-1853-6 . S2CID 14230416 .
^ ^a ^b de Souza e Silva, EG; Legey, LFL; de Souza e Silva, EA (2010). „Prognozowanie trendów cen ropy za pomocą falek i ukrytych modeli Markowa” . Ekonomia Energii . 32 .
^ ^ab ^Carpinone , A; Giorgio, M; Langella R.; Testa, A. (2015). „Modelowanie łańcucha Markowa do bardzo krótkoterminowego prognozowania energii wiatrowej” . Badania systemów elektroenergetycznych . 122 : 152–158. doi : 10.1016/j.epsr.2014.12.025 .
^ ^ab ^Munkhammar , J.; van der Meer, DW; Widen, J. (2019). „Probabilistyczne prognozowanie szeregów czasowych indeksu czystego nieba o wysokiej rozdzielczości przy użyciu modelu dystrybucji mieszaniny łańcuchów Markowa”. Energia słoneczna . 184 : 688–695. doi : 10.1016/j.solener.2019.04.014 . S2CID 146076100 .

[:0-1] Gagniuc , Paul A. (2017). Łańcuchy Markowa: od teorii do implementacji i eksperymentów . USA, NJ: John Wiley & Sons. s. 1–256. ISBN 978-1-119-38755-8 .

[2] Bibliografia _ Littman, ML; Kasandra, AR (1998). „Planowanie i działanie w częściowo obserwowalnych domenach stochastycznych” . Sztuczna inteligencja . 101 (1–2): 99–134. doi : 10.1016/S0004-3702(98)00023-X . ISSN 0004-3702 .

[HHMM-3] Dobrze, S .; Piosenkarz, Y. (1998). „Hierarchiczny ukryty model Markowa: analiza i zastosowania” . Uczenie maszynowe . 32 (1): 41–62. doi : 10.1023/A:1007469218079 .

[AHMM-4] Bui , HH; Venkatesh, S.; Zachód, G. (2002). „Rozpoznawanie polityki w abstrakcyjnym ukrytym modelu Markowa” . Dziennik badań nad sztuczną inteligencją . 17 : 451–499. doi : 10.1613/jair.839 .

[HierarchicalLearningAndPlanningInPOMDPs-5] Teocharous, G. (2002). Hierarchiczne uczenie się i planowanie w częściowo obserwowalnych procesach decyzyjnych Markowa (doktorat). Uniwersytet Stanowy Michigan.

[RecognitionOfHumanActivityThroughHierarchicalStochasticLearning-6] Bibliografia _ Bui, HH; Venkatesh, S.; Zachód, GAW (2003). „Rozpoznawanie działalności człowieka poprzez hierarchiczne uczenie się stochastyczne” . PERCOM '03 Materiały z pierwszej międzynarodowej konferencji IEEE na temat wszechobecnych komputerów i komunikacji . s. 416–422. CiteSeerX 10.1.1.323.928 . doi : 10.1109/PERCOM.2003.1192766 . ISBN 978-0-7695-1893-0 . S2CID 13938580 .

[TMMs-7] Pratas, D .; Hosseini, M.; Pinho, AJ (2017). „Modele Markowa z tolerancją substytucyjną dla względnej kompresji sekwencji DNA”. PACBB 2017 – 11th International Conference on Practical Applications of Computational Biology & Bioinformatics, Porto, Portugalia . s. 265–272. doi : 10.1007/978-3-319-60816-7_32 . ISBN 978-3-319-60815-0 .

[GECO-8] Bibliografia _ Pinho, AJ; Ferreira, PJSG (2016). „Wydajna kompresja sekwencji genomowych”. Konferencja dotycząca kompresji danych (DCC), 2016 . IEEE. s. 231–240. doi : 10.1109/DCC.2016.60 . ISBN 978-1-5090-1853-6 . S2CID 14230416 .

[SLS-9] Souza e Silva, EG; Legey, LFL; de Souza e Silva, EA (2010). „Prognozowanie trendów cen ropy za pomocą falek i ukrytych modeli Markowa” . Ekonomia Energii . 32 .

[CGLT-10] Carpinone , A; Giorgio, M; Langella R.; Testa, A. (2015). „Modelowanie łańcucha Markowa do bardzo krótkoterminowego prognozowania energii wiatrowej” . Badania systemów elektroenergetycznych . 122 : 152–158. doi : 10.1016/j.epsr.2014.12.025 .

[MMW-11] Munkhammar , J.; van der Meer, DW; Widen, J. (2019). „Probabilistyczne prognozowanie szeregów czasowych indeksu czystego nieba o wysokiej rozdzielczości przy użyciu modelu dystrybucji mieszaniny łańcuchów Markowa”. Energia słoneczna . 184 : 688–695. doi : 10.1016/j.solener.2019.04.014 . S2CID 146076100 .