Entropia warunkowa

Diagram Venna przedstawiający zależności addytywne i odejmujące różne miary informacyjne związane ze skorelowanymi zmiennymi i

displaystyle

Y}

. Obszar zawarty w obu okręgach to wspólna entropia

{\ Displaystyle \ operatorname {H} (X, Y)}

. Kółko po lewej stronie (czerwone i fioletowe) to

} (

entropia , przy czym czerwony to entropia warunkowa

} H} (X|Y)}

. Kółko po prawej stronie (niebieskie i fioletowe) to

{\ Displaystyle \ operatorname {H} (Y)}

, a niebieski to

{\ Displaystyle \ operatorname {H} (Y | X )}

. Fiolet to wzajemna informacja

{\ Displaystyle \ operatorname {I} (X; Y)}

.

W teorii informacji entropia warunkowa określa ilościowo ilość informacji $.$ do opisania wyniku zmiennej losowej, $biorąc pod$ znana jest wartość innej zmiennej losowej Tutaj informacje są mierzone w shannons , nats lub hartleys . Entropia uwarunkowana na ${\ Displaystyle X}$ $jest$ zapisywana jako ${\ Displaystyle \ operatorname {H} (Y | X)$ .

Definicja

Warunkowa entropia $_$ $jako$ zdefiniowana

{\ Displaystyle \ operatorname {H} (Y | X) \ = - \sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x) }}}

()

gdzie i oznaczają zestawy wsparcia $i$ ${\ displaystyle X}$ $Y$ { $}$ .

Uwaga: Konwencja jest tutaj taka, że wyrażenie ${\ displaystyle 0 \ log 0}$ powinno być traktowane jako równe zeru. Dzieje się tak, ponieważ ${\ Displaystyle \ lim _ {\ teta \ do 0 ^ {+}} \ teta \, \ log \ teta = 0}$ .

${\ Displaystyle H (Y | X) = \ mathbb {E} [f (X, Y)]}$ definicji oczekiwanej i prawdopodobieństwa warunkowego $=$ zapisać X , gdzie ${\ Displaystyle f}$ jest zdefiniowany jako ${\ Displaystyle \ Displaystyle f (x, y): = - \ log \ lewo ({\ Frac {p (x, y) )}{p(x)}}\right)=-\log(p(y|x))}$ . Można pomyśleć o $(Y = y)}$ $każdej$ z $y$ mierzącą zawartość informacji ${$ podane ${\ Displaystyle \ Displaystyle (X = x)}$ . Ta ilość jest bezpośrednio związana z ilością informacji potrzebnych do opisania danego zdarzenia ${\ Displaystyle \ Displaystyle (Y = y)}$ podane ${\ Displaystyle (X = x)}$ . Stąd przez obliczenie oczekiwanej wartości dla wszystkich par wartości $Y}}}$ $\$ $razy {\ mathcal$ $Y}$ entropia warunkowa $mierzy$ $,$ ile informacji średnio o $X$ .

Motywacja

Niech $uwarunkowanej$ entropią zmiennej losowej $}$ \ $}$ dyskretną zmienną losową $\$ przyjmując określoną wartość ${\ displaystyle x}$ . Oznacz zestawy wsparcia ${\ displaystyle X}$ i ${\ displaystyle Y}$ przez ${\ displaystyle {\ mathcal {X}}}$ i ${\ displaystyle {\ mathcal {Y}}}$ . Niech ${\ Displaystyle Y}$ ma funkcję masy prawdopodobieństwa ${\ Displaystyle p_ {Y} {(y)}}$ . Bezwarunkowa entropia jest obliczana jako $Y$ ${\ Displaystyle \ operatorname {H} (Y): = \ mathbb {E} [\ nazwa operatora$ , tj

{\ Displaystyle \ operatorname {H} (Y )=\sum _{y\in {\mathcal {Y}}}{\mathrm {Pr} (Y=y)\,\mathrm {I} (y)}=-\sumy _{y\in {\ matematyczne {Y}}}{p_{Y}(y)\log _{2}{p_{Y}(y)}},}

gdzie $i})}$ $y_ {i}}$ { jest treścią informacyjną wyniku przyjęcia wartości $displaystyle$ . Entropia uwarunkowana przyjęciem wartości $X$ definiowana analogicznie przez warunkowe oczekiwanie : ${$ $\ displaystyle$

{\ Displaystyle \ operatorname {H} (Y | X = x) = - \ suma _ {y \ w {\ mathcal {Y}}} {\ Pr (Y = y | X = x) \ log _ {2} {\Pr(Y=y|X=x)}}.}

Zauważ, że jest wynikiem uśredniania ${\ Displaystyle \ operatorname {H}$ $( Y | X = x ) {\ Displaystyle \ operatorname {H} (Y | X = x) nad$ wszystkimi możliwymi wartościami , które mogą przyjąć $. Ponadto$ $\ displaystyle X}$ ${\ Displaystyle E_ {X} [\ operatorname {H} (y_ {1}, \ kropki, y_ {n} \ mid X = x)]} jest$ $zostanie przejęta$ próbkę wartość znany w niektórych domenach jako dwuznaczność .

Biorąc pod uwagę dyskretne zmienne losowe z obrazem $Displaystyle$ ${\ Displaystyle Y}$ $\ mathcal {X}}}$ i $z$ obrazem entropia warunkowa ${\ Displaystyle Y}$ dany ${\ Displaystyle X}$ jest definiowany jako ważona suma dla każdej możliwej wartości ${\ Displaystyle x}$ ${\ Displaystyle \ operatorname {H} (Y | X = x)}$ , używając jako wag: ${\ Displaystyle p (x)}$

{\ Displaystyle {\ rozpocząć {wyrównane} \ operatorname {H} (Y | X) \ & \ równoważnik \ suma _ {x \ in {\ mathcal {X}}} \ p (x) \ \ operatorname {H } (Y|X=x)\\&=-\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p (y|x)\,\log _{2}\,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y} }}\,p(x)p(y|x)\,\log _{2}\,p(y|x)\\&=-\sum _{x\in {\mathcal {X}}, y\in {\mathcal {Y}}}p(x,y)\log _{2}{\frac {p(x,y)}{p(x)}}.\end{wyrównane}}}

Nieruchomości

Entropia warunkowa jest równa zeru

$operatorname {H} (Y | X) = 0}$ $X}$ wtedy i tylko wtedy, gdy wartość jest całkowicie określona przez wartość $Displaystyle$ .

Entropia warunkowa niezależnych zmiennych losowych

$}$ ) wtedy i tylko wtedy, gdy ${\ Displaystyle Y}$ i ${\ displaystyle X}$ to niezależne zmienne losowe .

Zasada łańcuchowa

Załóżmy, że połączony system określony przez dwie zmienne losowe i ${$ $\ displaystyle Y}$ ma wspólną entropię , to znaczy: ${\ Displaystyle \ operatorname {H} (X, Y)$ potrzebujemy $średnio bitów$ aby opisać $uzyskaliśmy$ $, jeśli$ wartość , . Gdy $znany$ , potrzebujemy tylko bitów do opisania ${\ Displaystyle \ operatorname {H} (X, Y) - \ operatorname {H} (X)$ stan całego systemu. Ta wielkość jest dokładnie równa , co daje regułę łańcuchową entropii warunkowej: ${\ Displaystyle \ operatorname {H} (Y | X)}$

{\ Displaystyle \ operatorname {H} (Y | X) \ = \ \ operatorname {H} (X, Y) - \ operatorname {H} (X).}

Reguła łańcucha wynika z powyższej definicji entropii warunkowej:

{\ Displaystyle {\ rozpocząć {wyrównane} \ operatorname {H} (Y | X) & = \ suma _ {x \ w {\ mathcal {X}}, y \ w {\ mathcal {Y}}} p (x ,y)\log \left({\frac {p(x)}{p(x,y)}}\right)\\[4pt]&=\sum _{x\in {\mathcal {X}} ,y\in {\mathcal {Y}}}p(x,y)(\log(p(x))-\log(p(x,y)))\\[4pt]&=-\sum _ {x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log(p(x,y))+\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}{p(x,y)\log(p(x))}\\[4pt]&=\mathrm {H} (X,Y)+ \sum _{x\in {\mathcal {X}}}p(x)\log(p(x))\\[4pt]&=\mathrm {H} (X,Y)-\mathrm {H} (X).\end{wyrównane}}}

Ogólnie rzecz biorąc, obowiązuje reguła łańcuchowa dla wielu zmiennych losowych:

{\ Displaystyle \ operatorname {H} (X_ {1}, X_ { 2},\ldots ,X_{n})=\suma_{i=1}^{n}\mathrm {H} (X_{i}|X_{1},\ldots ,X_{i-1}) }

Ma podobną formę do reguły łańcuchowej w teorii prawdopodobieństwa, z tą różnicą, że zamiast mnożenia używa się dodawania.

Reguła Bayesa

Reguła Bayesa dla warunkowych stanów entropii

{\ Displaystyle \ operatorname {H} (Y | X) \ = \ \ operatorname {H} (X | Y) - \ operatorname {H} (X) + \ operatorname {H} (Y).}

Dowód. ${\ Displaystyle \ operatorname {H} (Y | X) = \ operatorname {H} (X, Y) - \ operatorname {H} (X )}$ i ${\ Displaystyle \ operatorname {H} (X | Y) = \ operatorname {H} (Y, X) - \ operatorname {H } (Y)}$ . ${\ Displaystyle \ operatorname {H} (X, Y) = \ operatorname {H} (Y, X)$ } . Odjęcie dwóch równań implikuje regułę Bayesa.

Jeśli jest warunkowo niezależny $Z}$ danej , $mamy$ : $displaystyle$

{\ Displaystyle \ operatorname {H} (Y | X, Z) \ = \ \ operatorname {H} (Y | X).}

Inne właściwości

Dla każdego i ${ \$ $Y}$ :

{\ Displaystyle {\ rozpocząć {wyrównane} \ operatorname {H} (Y | X) i \ równoważnik \mathrm {H} (Y)\,\\\mathrm {H} (X,Y)&=\mathrm {H} (X|Y)+\mathrm {H} (Y|X)+\nazwa_operatora {I } (X;Y),\qquad \\\mathrm {H} (X,Y)&=\mathrm {H} (X)+\mathrm {H} (Y)-\operatorname {I} (X;Y ),\,\\\nazwaoperatora {I} (X;Y)&\równoważnik \mathrm {H} (X),\,\end{wyrównane}}}

gdzie ${\ Displaystyle \ operatorname {I} (X; Y)}$ jest wzajemną informacją między ${\ Displaystyle X}$ i ${\ Displaystyle Y}$ .

Dla niezależnych i ${\ displaystyle Y}$ : ${\ displaystyle X}$

{\ Displaystyle \ operatorname {H} (Y | X) = \ operatorname {H} (Y)}

i

{\ Displaystyle \ argumentacja {H} (X|Y)=\parametr {H} (X)\,}

$(X | Y = y)$ specyficzna entropia warunkowa mniejsza lub większa niż $X)}$ ${\ Displaystyle \ operatorname$ dla danej losowej zmiennej ${\ Displaystyle y}$ z ${\ Displaystyle Y}$ , ${\ Displaystyle \ operatorname {H} (X | Y)}$ nigdy nie może przekroczyć $\mathrm {H} (X)$ .

Warunkowa entropia różniczkowa

Definicja

Powyższa definicja dotyczy dyskretnych zmiennych losowych. Ciągła wersja dyskretnej entropii warunkowej nazywana jest warunkową różnicową (lub ciągłą) entropią . Niech i będą ciągłymi zmiennymi losowymi o $displaystyle f (x, y)$ funkcji gęstości prawdopodobieństwa $)$ $\$ . Różniczkowa entropia warunkowa jest zdefiniowana jako ${\ Displaystyle h (X | Y)}$

{\ Displaystyle h (X | Y) = - \ int _ {{\ mathcal {X }},{\mathcal {Y}}}f(x,y)\log f(x|y)\,dxdy}

()

Nieruchomości

W przeciwieństwie do warunkowej entropii dla dyskretnych zmiennych losowych, warunkowa entropia różniczkowa może być ujemna.

Podobnie jak w przypadku dyskretnym istnieje reguła łańcuchowa dla entropii różniczkowej:

{\ Displaystyle h (Y | X) \ = \, h (X, Y) -h (X)}

Zauważ jednak, że ta reguła może nie być prawdziwa, jeśli zaangażowane entropie różniczkowe nie istnieją lub są nieskończone.

Wspólna entropia różniczkowa jest również używana do definiowania wzajemnej informacji między ciągłymi zmiennymi losowymi:

{\ Displaystyle \ nazwa operatora {I} (X, Y) = h (X) - h(X|Y)=h(Y)-h(Y|X)}

${\ Displaystyle h (X | Y) \ równoważnik h (X)}$ $równością$ wtedy i tylko wtedy, gdy i $niezależne$ .

Związek z błędem estymatora

Warunkowa entropia różniczkowa daje dolną granicę oczekiwanego błędu kwadratowego estymatora . Dla dowolnej zmiennej losowej $,$ obserwacji i estymatora ${\ widehat {X}}}$ ${\ Displaystyle$ zachodzi: X {\ displaystyle

\ Displaystyle \ mathbb {E} \ lewo [{\ bigl (} X - {\ widehat {X} }{(Y)}{\bigr )}^{2}\right]\geq {\frac {1}{2\pi e}}e^{2h(X|Y)}}

Jest to związane z zasadą nieoznaczoności z mechaniki kwantowej .

Uogólnienie do teorii kwantowej

W kwantowej teorii informacji warunkowa entropia jest uogólniana na warunkową entropię kwantową . Ten ostatni może przyjmować wartości ujemne, w przeciwieństwie do swojego klasycznego odpowiednika.

Zobacz też