Podwójna całkowita korelacja

Aby uzyskać więcej informacji na temat teorii prawdopodobieństwa i teorii informacji , zobacz Informacje wzajemne .

W teorii informacji podwójna korelacja całkowita (Han 1978), przepływ informacji (Dubnov 2006), nadmiarowa entropia (Olbrich 2008) lub wiążąca informacja (Abdallah i Plumbley 2010) jest jednym z kilku znanych nieujemnych uogólnień wzajemnej informacji. Podczas gdy korelacja całkowita jest ograniczona sumą entropii n elementów, podwójna korelacja całkowita jest ograniczona łączną entropią n elementów . Chociaż dobrze wychowana, podwójna korelacja całkowita poświęcono znacznie mniej uwagi niż korelacja całkowita. Miara znana jako „złożoność TSE” definiuje kontinuum między całkowitą korelacją a podwójną całkowitą korelacją (Ay 2001).

Definicja

Diagram Venna informacyjnych miar teoretycznych dla trzech zmiennych x, y i z. Podwójna całkowita korelacja jest reprezentowana przez połączenie trzech wzajemnych informacji i jest pokazana na diagramie przez obszary żółte, karmazynowe, cyjanowe i szare.

Dla zbioru n zmiennych losowych ${\ Displaystyle \ {X_ {1}, \ ldots, X_ {n} \}}$ podwójna całkowita korelacja ${\ Displaystyle D (X_ {1}, \ ldots, X_ {n})}$ jest podane przez

${\ Displaystyle D (X_ {1}, \ ldots, X_ {n}) = H \ lewo (X_ {1}, \ ldots, X_ {n} \ prawej) - \ suma _ {i = 1} ^{n}H\left(X_{i}\mid X_{1},\ldots,X_{i-1},X_{i+1},\ldots,X_{n}\right),}$

gdzie $n$ wspólną entropią zmiennych $_ \{X_ {1},\ldots, X_ {n}\}}$ i ${\ Displaystyle H (X_ {i} \ mid \ cdots)}$ jest entropią warunkową zmiennej ${\ displaystyle X_{i}}$ , biorąc pod uwagę resztę.

Znormalizowany

$całkowita$ 0,1] to po prostu podwójna całkowita korelacja podzielona ,

${\ Displaystyle ND (X_ {1}, \ ldots, X_ {n}) = {\ Frac {D (X_ {1}, \ ldots, X_ {n})} {H (X_ {1}, \ ldots, X_{n})}}.}$

Miedza

Podwójna całkowita korelacja jest nieujemna i ograniczona powyżej wspólną entropią ${\ Displaystyle H (X_ {1}, \ ldots, X_ {n})}$ .

${\ Displaystyle 0 \ równoważnik D (X_ {1}, \ ldots, X_ {n}) \ równoważnik H (X_ {1}, \ ldots, X_ {n}).}$

Po drugie, podwójna korelacja całkowita ma ścisły związek z korelacją całkowitą, do $\ Displaystyle C (X_ {1}, \ ldots, X_ {n})}$ . W szczególności,

${\ Displaystyle {\ Frac {C (X_ {1}, \ ldots, X_ {n})} {n-1}} \ równoważnik D (X_ {1}, \ ldots, X_ {n}) \ równoważnik (n -1)\;C(X_{1},\ldkropki ,X_{n}).}$

Historia

Han (1978) pierwotnie zdefiniował podwójną całkowitą korelację jako:

${\ Displaystyle {\ rozpocząć {wyrównane} i D (X_ {1}, \ ldots, X_ {n}) \\ [10 pkt] \ równoważnik {} i \ lewo [\ suma _ {i = 1} ^ {n} H (X_{1},\ldots,X_{i-1},X_{i+1},\ldots,X_{n})\right]-(n-1)\;H(X_{1},\ ldots ,X_{n})\;.\end{wyrównane}}}$

Jednak Abdallah i Plumbley (2010) wykazali jej równoważność z łatwiejszą do zrozumienia formą wspólnej entropii minus suma entropii warunkowych poprzez:

${\ Displaystyle {\ rozpocząć {wyrównane} i D (X_ {1}, \ ldots, X_ {n}) \\ [10 pkt] \ równoważnik {} i \ lewo [\ suma _ {i = 1} ^ {n} H (X_{1},\ldots,X_{i-1},X_{i+1},\ldots,X_{n})\right]-(n-1)\;H(X_{1},\ ldots ,X_{n})\\={}&\left[\suma _{i=1}^{n}H(X_{1},\ldots ,X_{i-1},X_{i+1 },\ldots,X_{n})\right]+(1-n)\;H(X_{1},\ldots,X_{n})\\={}&H(X_{1},\ldots ,X_{n})+\left[\suma _{i=1}^{n}H(X_{1},\ldots ,X_{i-1},X_{i+1},\ldots ,X_ {n})-H(X_{1},\ldots,X_{n})\right]\\={}&H\left(X_{1},\ldots,X_{n}\right)-\sum _{i=1}^{n}H\left(X_{i}\mid X_{1},\ldots ,X_{i-1},X_{i+1},\ldots ,X_{n}\ prawo)\;.\end{wyrównane}}}$

Zobacz też

• Informacje o interakcji
• Wzajemne informacje
• Całkowita korelacja

• Han, te słońce (1978). „Nieujemne miary entropii wielowymiarowych korelacji symetrycznych” . Informacji i Kontroli . 36 (2): 133–156. doi : 10.1016/S0019-9958(78)90275-9 .
• Fujishige, Satoru (1978). „Polimatroidalna struktura zależności zbioru zmiennych losowych” . Informacji i Kontroli . 39 : 55–72. doi : 10.1016/S0019-9958(78)91063-X .
•   Dubnow, Szlomo (2006). „Widmowe przewidywania”. Dziennik muzyki komputerowej . 30 (2): 63–83. doi : 10.1162/comj.2006.30.2.63 . S2CID 2202704 .
•   Olbrich, E.; Bertschinger, N.; Tak, N.; Jost, J. (2008). „Jak złożoność powinna skalować się wraz z rozmiarem systemu?” . Europejski Dziennik Fizyczny B. 63 (3): 407–415. Bibcode : 2008EPJB...63..407O . doi : 10.1140/epjb/e2008-00134-9 . S2CID 120391127 .
• Abdallah, Samer A.; Plumley, Mark D. (2010). „Miara złożoności statystycznej oparta na informacjach predykcyjnych”. arXiv : 1012.1890v1 [ matematyka.ST ].
• Nihat Ay, E. Olbrich, N. Bertschinger (2001). Unifikujące ramy miar złożoności systemów skończonych. Europejska konferencja na temat systemów złożonych. pdf .