Teoria informacji i teoria miary

W artykule omówiono, w jaki sposób teoria informacji (dział matematyki zajmujący się transmisją, przetwarzaniem i przechowywaniem informacji ) jest powiązana z teorią miary (dział matematyki związany z całkowaniem i prawdopodobieństwem ).

Miary w teorii informacji

Wiele pojęć w teorii informacji ma oddzielne definicje i wzory dla przypadków ciągłych i dyskretnych . Na przykład entropia jest zwykle definiowana dla dyskretnych zmiennych losowych, podczas gdy dla ciągłych zmiennych losowych powiązana koncepcja $zapisywana$ jest h $h ( X)}$ , jest używany (zob. Cover i Thomas, 2006, rozdział 8). Obie te koncepcje są oczekiwaniami matematycznymi , ale oczekiwanie jest zdefiniowane za pomocą całki dla przypadku ciągłego i sumy dla przypadku dyskretnego.

Te oddzielne definicje mogą być ściślej powiązane pod względem teorii miary . W przypadku dyskretnych zmiennych losowych funkcje masy prawdopodobieństwa można uznać za funkcje gęstości w odniesieniu do miary zliczania. Myślenie o całce i sumie jako integracji w przestrzeni miary pozwala na ujednolicone traktowanie.

Rozważmy wzór na entropię różniczkową ciągłej zmiennej losowej z zakresem ${\ displaystyle$ funkcją gęstości prawdopodobieństwa : $f (x)} : R {\ displaystyle \$ $)$ }

{\ Displaystyle h (X) = - \ int _ {\ mathbb {R}} f (x) \ log f (x) \, dx.}

Można to zwykle interpretować jako następującą całkę Riemanna – Stieltjesa :

{\ Displaystyle h (X) = - \ int _ {\ mathbb {R}} f (x) \ log f (x)\,d\mu (x),}

gdzie jest miarą $_$ .

Jeśli zamiast tego, $\ Omega$ $\ nu }$ \ displaystyle \ $}$ $i$ Ω $}$ $displaystyle$ jest miarą zliczania na , możemy napisać: ${\ displaystyle \ Omega}$

{\ Displaystyle \ operatorname {H} (X) = - \ suma _ {x \ in \ Omega} f (x) \ log f (x) = - \ int _ {\ omega} f (x) \ log f ( x)\,d\nu (x).}

Wyrażenie całkowe i ogólne pojęcie są identyczne w przypadku ciągłym; jedyną różnicą jest zastosowana miara. W obu przypadkach funkcja gęstości prawdopodobieństwa jest pochodną $.$ -Nikodyma miary prawdopodobieństwa względem miary, względem której obliczana jest całka

Jeśli jest miarą prawdopodobieństwa indukowaną przez , to $całkę$ można również przyjąć bezpośrednio w odniesieniu do : $P$ $P$ }

{\ Displaystyle h (X) = - \ int _ {\ Omega} \ log {\ Frac {\ operatorname {d} P} {\ operatorname {d} d} \mu }}\,dP,}

$dojdziemy$ zamiast podstawowej miary μ weźmiemy inną miarę prawdopodobieństwa $.$ do dywergencji Kullbacka – Leiblera : niech $miarami$ będą prawdopodobieństwa w tej samej przestrzeni . $Q}$ jeśli jest absolutnie ciągły w odniesieniu do , napisanego ${ \$ $displaystyle P \$ ll $, a$ Radona – Nikodyma istnieje Kullbacka – Leiblera można wyrazić w pełnej

{\ Displaystyle D _ {\ operatorname {KL}} (P \ | Q) = \ int _ {\ operatorname {supp} P} {\ Frac {\ operatorname {d} P} {\ operatorname {d} Q}} \ log {\ frac {\ operatorname {d} P} {\ operatorname {d} Q}} \, dQ = \ int _ {\ operatorname {supp} P} \ log {\ frac {\ operatorname {d} P} { \mathrm {d} Q}}\,dP,}

${\ displaystyle P.}$ całka przebiega po podporze P Zauważ, że zrezygnowaliśmy ze znaku ujemnego: rozbieżność Kullbacka – Leiblera jest zawsze nieujemna z powodu nierówności Gibbsa .

Entropia jako „miara”

Diagram Venna dla różnych miar informacyjnych powiązanych ze skorelowanymi zmiennymi X i Y . Pole zawarte w obu okręgach to wspólna entropia H ( X , Y ). Kółko po lewej stronie (czerwony i cyjan) to indywidualna entropia H ( X ), a czerwony to warunkowa entropia H ( X | Y ). Okrąg po prawej stronie (niebieski i cyjan) to H ( Y ), a niebieski to H ( Y | X ). Cyjan to informacja wzajemna I ( X ; Y ).

Diagram Venna informacyjno-teoretycznych miar dla trzech zmiennych x , y i z . Każde koło reprezentuje indywidualną entropię : H ( x ) to lewe dolne kółko, H ( y ) prawe dolne kółko, a H ( z ) to górne kółko. Punkty przecięcia dowolnych dwóch okręgów reprezentują informacje wzajemne dla dwóch powiązanych zmiennych (np. I ( x ; z ) jest żółty i szary). Suma dowolnych dwóch okręgów jest łączną entropią dla dwóch powiązanych zmiennych (np. H ( x , y ) nie jest zielone). Wspólna entropia H ( x , y , z ) wszystkich trzech zmiennych jest sumą wszystkich trzech okręgów. Jest podzielony na 7 części, czerwony, niebieski i zielony to warunkowe entropie H ( x | y , z ), H ( y | x , z ), H ( z | x , y ) odpowiednio, żółty, magenta i cyjan to warunkowe wzajemne informacje I ( x ; z | y ), I ( y ; z | x ) i I ( x ; y | z ) odpowiednio, a szary to wielowymiarowa informacja wzajemna I ( x ; y ; z ). Wielowymiarowa wzajemna informacja jest jedyną ze wszystkich, które mogą być negatywne.

Istnieje analogia między podstawowymi „ miarami ” zawartości informacyjnej zmiennych losowych Shannona a miarą zbiorów. Mianowicie entropię łączną , entropię warunkową i informację wzajemną można uznać odpowiednio za miarę sumy zbioru , różnicy zbioru i przecięcia zbioru (Reza s. 106–108).

Jeśli połączymy istnienie zbiorów abstrakcyjnych i ${\ Displaystyle {\ tylda {Y}}}$ $z$ dowolnymi dyskretnymi zmiennymi losowymi X i Y , w jakiś sposób reprezentującymi informacje przenoszone przez X ~ X i Y takie, że:

${\ Displaystyle \ mu ({\ tylda {X}} \ cap {\ tylda {Y}}) = 0}$ ilekroć X i Y są bezwarunkowo niezależne , i
${\ Displaystyle {\ tylda {X}} = {\ tylda {Y}}}$ ilekroć X i Y są takie, że jeden jest całkowicie określony przez drugi (tj. Przez bijekcję);

gdzie jest miarą ze znakiem na tych zbiorach, a my ustalamy: ${\ displaystyle \ mu}$

{\ Displaystyle {\ rozpocząć {wyrównane} \ operatorname {H} (X) & = \ mu ({\ tylda {X}}), \\\ operatorname {H} (Y) & = \ mu ({\ tylda { Y}}),\\\mathrm {H} (X,Y)&=\mu ({\tylda {X}}\cup {\tylda {Y}}),\\\mathrm {H} (X\ środek Y)&=\mu ({\tylda {X}}\setminus {\tylda {Y}}),\\\operatorname {I} (X;Y)&=\mu ({\tylda {X}} \cap {\tylda {Y}});\end{wyrównane}}}

stwierdzamy, że „miara” treści informacyjnej Shannona spełnia wszystkie postulaty i podstawowe właściwości formalnej miary ze zbiorami, co zwykle ilustruje diagram informacyjny . Pozwala to na zapisanie sumy dwóch miar:

{\ Displaystyle \ mu (A) + \ mu (B) = \ mu (A \ kubek B) + \ mu ( A\czapka B)}

i analog twierdzenia Bayesa ( ${\ Displaystyle \ mu (A) + \ mu (B \ setminus A) = \ mu (B)+\mu (A\setminus B)}$ ) pozwala na zapisanie różnicy dwóch miar:

{\ Displaystyle \ mu (A) - \ mu (B) = \ mu (A \ setminus B) - \ mu ( B\setminus A)}

Może to być przydatne narzędzie mnemoniczne w niektórych sytuacjach, np

{\ Displaystyle {\ rozpocząć {wyrównane} \ operatorname {H} (X, Y) & = \ operatorname {H} (X) + \ operatorname {H} (Y \ mid X) & \ mu ({\ tylda {X }}\cup {\tylda {Y}}}&=\mu ({\tylda {X}})+\mu ({\tylda {Y}}\setminus {\tylda {X}})\\\nazwa operatora {I} (X;Y)&=\mathrm {H} (X)-\mathrm {H} (X\mid Y)&\mu ({\tylda {X}}\cap {\tylda {Y}} )&=\mu ({\tylda {X}})-\mu ({\tylda {X}}\setminus {\tylda {Y}})\end{wyrównane}}}

Należy zauważyć, że miary (oczekiwane wartości logarytmu) prawdziwych prawdopodobieństw nazywane są „entropią” i ogólnie oznaczane literą H , podczas gdy inne miary są często określane jako „informacja” lub „korelacja” i ogólnie oznaczane literą I . Dla uproszczenia zapisu, litera I jest czasami używana we wszystkich taktach.

Wielowymiarowe wzajemne informacje

Pewne rozszerzenia definicji podstawowych miar informacji Shannona są konieczne, aby poradzić sobie z algebrą σ generowaną przez zbiory, które byłyby powiązane z trzema lub więcej dowolnymi zmiennymi losowymi. (Patrz Reza s. 106–108, aby zapoznać się z nieformalną, ale raczej kompletną dyskusją). $, \ cdots)}$ Z zdefiniowana w oczywisty sposób jako entropia łącznego rozkładu i wielowymiarowa informacja wzajemna ${\ Displaystyle \ operatorname {I} (X; Y; Z; \ cdots)}$ zdefiniowane w odpowiedni sposób, abyśmy mogli ustawić:

{\ Displaystyle {\ rozpocząć {wyrównane} \ operatorname {H} (X, Y, Z, \ cdots) & = \ mu ({\ tylda {X}} \ kubek {\ tylda {Y}} \ puchar {\ tylda {Z}}\cup \cdots ),\\\nazwa operatora {I} (X;Y;Z;\cdots )&=\mu ({\tylda {X}}\cap {\tylda {Y}}\cap {\tylda {Z}}\cap \cdots );\end{wyrównane}}}

w celu zdefiniowania miary (ze znakiem) w całej σ-algebrze. Nie ma jednej, powszechnie akceptowanej definicji wielowymiarowej informacji wzajemnej, ale ta, która odpowiada tutaj miarie przecięcia zbioru, pochodzi od Fano (1966: s. 57-59). Definicja jest rekurencyjna. Jako przypadek bazowy wzajemne informacje pojedynczej zmiennej losowej definiuje się jako jej entropię: ${\ Displaystyle \ nazwa operatora {I} (X) = \ operatorname {H} (X)}$ . Następnie dla ${\ displaystyle n \ geq 2}$ ustawiamy

{\ Displaystyle \ nazwa operatora {ja } (X_{1};\cdots ;X_{n})=\nazwa_operatora {I} (X_{1};\cdots ;X_{n-1})-\nazwa_operatora {I} (X_{1};\ cdots ;X_{n-1}\mid X_{n}),}

gdzie warunkowa informacja wzajemna jest zdefiniowana jako

{\ Displaystyle \ nazwa operatora {I} (X_ {1}; \ cdots; X_ {n-1} \ mid X_ {n}) = \ mathbb {E} _ {X_ {n}} {\ duży (} \ nazwa operatora {I} (X_{1};\cdots ;X_{n-1})\mid X_{n}{\big )}.}

Pierwszy krok w rekurencji daje definicję Shannona ${\ Displaystyle \ nazwa operatora {I} (X_ {1}; X_ {2}) = \ operatorname {H} (X_ {1}) - \ operatorname {H} (X_ {1} \ mid X_ {2}). }$ Wielowymiarowa informacja wzajemna (taka sama jak informacja o interakcji ale dla zmiany znaku) trzech lub więcej zmiennych losowych może być zarówno ujemna, jak i dodatnia: Niech X i Y będą dwoma niezależnymi uczciwymi rzutami monetą i niech Z będzie ich wyłącznym lub . Wtedy ${\ Displaystyle \ nazwa operatora {I} (X; Y; Z) = - 1}$ bit.

$informacją$ zmiennych losowych: na wspólnym X i Y względem Z i może być interpretowane jako ${\ Displaystyle \ mu ({{\ tylda {X}} \ kubek {\ tylda {Y}}) \ cap {\ tylda {Z}}).} W ten sposób można zbudować wiele bardziej skomplikowanych wyrażeń, które nadal mają$ znaczenie ja ${I} (X, Y; Z \ mid W)}$ ${\ Displaystyle \ operatorname {H} (X, Z \ środkowy W, Y).}$ lub

Thomas M. Cover i Joy A. Thomas. Elementy teorii informacji , wydanie drugie, 2006. New Jersey: Wiley and Sons. ISBN 978-0-471-24195-9 .
Fazlollah M. Reza. Wprowadzenie do teorii informacji . Nowy Jork: McGraw – Hill 1961. Nowy Jork: Dover 1994. ISBN 0-486-68210-2
Fano, RM (1966), Transmisja informacji: statystyczna teoria komunikacji , MIT Press , ISBN 978-0-262-56169-3 , OCLC 804123877
RW Yeung, „O entropii, nierównościach informacyjnych i grupach”. PS

Zobacz też