Łańcuchy Markowa w mierzalnej przestrzeni stanów

Łańcuch Markowa w mierzalnej przestrzeni stanów to jednorodny w czasie dyskretnym łańcuch Markowa z mierzalną przestrzenią jako przestrzenią stanów.

Historia

Definicja łańcuchów Markowa ewoluowała w XX wieku. W 1953 termin łańcuch Markowa był używany dla procesów stochastycznych z dyskretnym lub ciągłym zestawem indeksów, żyjących w policzalnej lub skończonej przestrzeni stanów, patrz Doob. lub Chunga. Od końca XX wieku bardziej popularne stało się traktowanie łańcucha Markowa jako procesu stochastycznego z dyskretnym zestawem indeksów, żyjącego w mierzalnej przestrzeni stanów.

Definicja

$Displaystyle (E, \ Sigma)}$ mi $\$ mierzalną przestrzenią i Markowa ze źródłem i celem $\ Displaystyle (E, \ Sigma$ } . Proces stochastyczny ${\ Displaystyle (X_ {n}) _ {n \ in \ mathbb {N}}}$ na ${\ Displaystyle (\ Omega, {\ mathcal {F}}, \ mathbb {P} )}$ nazywa się jednorodnym w czasie łańcuchem Markowa z jądrem Markowa i rozpocznij dystrybucję ${\ displaystyle p}$ i rozpocznij dystrybucję ${\ displaystyle \ mu}$ if

{\ Displaystyle \ mathbb {P} [X_ {0} \ w A_ {0}, X_ {1} \ w A_ {1}, \ kropki, X_ {n }\in A_{n}]=\int _{A_{0}}\dots \int _{A_{n-1}}p(y_{n-1},A_{n})\,p(y_ {n-2},dy_{n-1})\kropki p(y_{0},dy_{1})\,\mu (dy_{0})}

jest spełniony dla dowolnego ${\ Displaystyle n \ in \ mathbb {N}, \, A_ {0}, \ kropki, A_ {n} \ in \ Sigma}$ . Dla dowolnego jądra Markowa i dowolnej miary prawdopodobieństwa można skonstruować powiązany łańcuch Markowa.

Uwaga dotycząca integracji jądra Markowa

Dla $_$ miary fa ${\ Displaystyle f \ okrężnica E \ do \ mathbb {R} \ kubek \ {\ infty, - \ infty \}}$ ∪ $∞$ całka Lebesgue'a jako ${\ Displaystyle \ int _ {E} f (x) \ \ mu (dx)}$ . $_ \displaystyle \nu _{x}(A):=p(x,A)}$ miary przez $_$ użyliśmy następującej notacji:

{\ Displaystyle \ int _ {E} f (y) \, p (x, dy): = \ int _ {E} f (y) \, \ nu _ {x} (dy).}

Podstawowe właściwości

Start w jednym punkcie

Jeśli jest miarą Diraca $w$ , oznaczamy dla jądra Markowa $}$ początkową dystrybucją powiązany łańcuch Markowa jako ${\ Displaystyle (X_ {n}) _ {n \ in \ mathbb {N}}}$ $displaystyle$ $\$ mu na ${\ Displaystyle (\ Omega, {\ mathcal {F}}, \ mathbb {P} _ {x})}$ i wartość oczekiwana

{\ Displaystyle \ mathbb {E} _ {x} [X] = \ int _ {\ omega} X (\ omega) \, \ mathbb {P} _{x}(d\omega)}

dla funkcji całkowalnej $P x {\ Displaystyle \ mathbb {P} _ {x$ $\ displaystyle X$ } Z definicji mamy wtedy ${\ Displaystyle \ mathbb {P} _ {x} [X_ {0} = x] = 1}$ .

Dla dowolnej mierzalnej funkcji mamy następującą zależność ${\ displaystyle f \ dwukropek E \ do [0, \ infty ]}$

{\ Displaystyle \ int _ {E} f (y) \, p (x, dy) = \ mathbb {E} _ {x} [f (X_ {1})].}

Rodzina jąder Markowa

$) _ {n \ w \ mathbb {N} }}$ jądra Markowa $można$ początkową dystrybucją wprowadzić rodzinę jąder Markowa $n$ wg

{\ Displaystyle p_ {n + 1} (x, A): = \ int _ {E} p_ {n}(y,A)\,p(x,dy)}

dla ${\ Displaystyle n \ w \ mathbb {N}, \, n \ geq 1}$ i ${\ Displaystyle p_ {1}: = p}$ . Dla powiązanego łańcucha Markowa ${\ Displaystyle (X_ {n}) _ {n \ in \ mathbb {N}}}$ zgodnie z ${\ displaystyle p}$ i ${\ displaystyle \ mu}$ jeden uzyskuje

{\ Displaystyle \ mathbb {P} [X_ {0} \ w A, \, X_ {n} \ w B]=\int _{A}p_{n}(x,B)\,\mu (dx)}

.

Pomiar stacjonarny

$jeśli$ prawdopodobieństwa nazywana jest miarą stacjonarną jądra Markowa, p $\ displaystyle p}$

{\ Displaystyle \ int _ {A} \ mu (dx) = \ int _ {E} p (x, A) \, \mu (dx)}

dotyczy dowolnego ${\ Displaystyle A \ in \ Sigma}$ . Jeśli ${\ Displaystyle (X_ {n}) _ {n \ in \ mathbb {N}}}$ na ${\ Displaystyle (\ Omega, {\ mathcal {F} } \ mathbb {P} )}$ oznacza łańcuch Markowa zgodnie z jądrem Markowa $displaystyle$ stacjonarną miarą i rozkładem $p}$ $Displaystyle$ $X_ {0}}$ jest , wtedy wszystkie mają ten sam rozkład prawdopodobieństwa, a mianowicie: $Displaystyle X_ {n}}$

{\ Displaystyle \ mathbb {P} [X_ {n} \ w A] = \ mu (A)}

dla każdego ${\ Displaystyle A \ in \ Sigma}$ .

Odwracalność

Jądro Markowa jest nazywane odwracalnym zgodnie z miarą prawdopodobieństwa, $\ mu}$ { $displaystyle$

{\ Displaystyle \ int _ {A} p (x, B) \ \ mu (dx) = \int _{B}p(x,A)\,\mu (dx)}

dotyczy dowolnego ${\ Displaystyle A, B \ in \ Sigma}$ . Zastąpienie $pokazuje$ , że jeśli jest odwracalne zgodnie z $displaystyle \$ musi być stacjonarną miarą $p}$ $\$ $mu}$ $displaystyle$ .

Zobacz też