Informacje o interakcji

Diagram Venna miar teoretycznych informacji dla trzech zmiennych x, y i z, reprezentowanych odpowiednio przez lewe dolne, prawe dolne i górne kółko. Informacje o interakcji są reprezentowane przez szare obszary i jako jedyne mogą być ujemne.

Informacja o interakcji jest uogólnieniem wzajemnej informacji dla więcej niż dwóch zmiennych.

Istnieje wiele nazw informacji o interakcji, w tym ilość informacji , korelacja informacji , współinformacja i po prostu informacja wzajemna . Informacje o interakcji wyrażają ilość informacji (redundancję lub synergię) związaną z zestawem zmiennych, poza tą, która jest obecna w jakimkolwiek podzbiorze tych zmiennych. W przeciwieństwie do informacji wzajemnych, informacje o interakcji mogą być dodatnie lub ujemne. Funkcje te, ich ujemność i minima mają bezpośrednią interpretację w topologii algebraicznej .

Definicja

Warunkowe wzajemne informacje można wykorzystać do indukcyjnego zdefiniowania informacji o interakcji dla dowolnej skończonej liczby zmiennych w następujący sposób:

{\ Displaystyle I (X_ {1}; \ldots ;X_{n+1})=I(X_{1};\ldots ;X_{n})-I(X_{1};\ldots ;X_{n}\mid X_{n+1}) ,}

Gdzie

{\ Displaystyle I (X_ {1}; \ ldots; X_ {n} \ mid X_ {n + 1}) = \ mathbb {E} _ {X_ {n + 1}} {\ duży (} ja (X_ { 1};\ldots ;X_{n})\mid X_{n+1}{\duży )}.}

Niektórzy autorzy inaczej definiują informacje o interakcji, zamieniając miejscami dwa odejmowane terminy w poprzednim równaniu. Powoduje to odwrócenie znaku dla nieparzystej liczby zmiennych.

$X; Y;$ zmiennych informacje o interakcji $)$ przez ja

{\ Displaystyle I (X; Y; Z) = I (X; Y) -I (X; Y \ środek Z)}

gdzie $}$ $Y \ mid Z)}$ $\$ ( X; Y jest wzajemną informacją między zmiennymi i $)$ ${\ Displaystyle I (X$ ${\ displaystyle Y$ to warunkowa wzajemna informacja między zmiennymi i $}$ podana ${\ Displaystyle Z}$ . Informacje o interakcji są symetryczne , więc nie ma znaczenia, która zmienna jest uwarunkowana. Łatwo to zauważyć, gdy informacje o interakcji są zapisane w postaci entropii i wspólnej entropii, jak następuje:

{\ Displaystyle {\ rozpocząć {wyrównane 3} ja (X; Y; Z) & = & & \; {\ bigl (} H (X) + H (Y) + H (Z) {\ bigr )}\\&&&-{\bigl (}H(X,Y)+H(X,Z)+H(Y,Z){\bigr )}\\&&&+H(X,Y,Z)\ koniec {wyrównany data}}}

Ogólnie rzecz biorąc, dla zbioru zmiennych ${\ Displaystyle {\ mathcal {V}} = \ {X_ {1}, X_ {2}, \ ldots, X_ { n}\}}$ , informacje o interakcji można zapisać w następującej postaci (porównaj z przybliżeniem Kirkwooda ):

{\ Displaystyle I ({\ mathcal {V}}) = \ suma _ {{\ mathcal {T}} \ subseteq {\ mathcal {V}}} (-1) ^ {\ lewo \ vert {\mathcal {T}}\right\vert -1}H({\mathcal {T}})}

W przypadku trzech zmiennych informacje o interakcji mierzą wpływ zmiennej na ilość informacji udostępnianych między $X}$ $displaystyle$ i $Y}$ . $Y )$ termin może $Displaystyle I ($ niż , informacja o interakcji może być zarówno ujemna, jak i pozytywna. Stanie się tak na przykład, gdy $,$ $Y$ są ale nie warunkowo niezależne, biorąc $uwagę$ . Pozytywne informacje o interakcji wskazują, że zmienna $Z$ (tj. wyjaśnia lub wyjaśnia niektóre) korelację między $\ displaystyle X}$ a ${\ displaystyle Y}$ , podczas gdy informacje o negatywnych interakcjach wskazują, że zmienna $lub$ wzmacnia korelację.

Nieruchomości

Informacje o interakcji są ograniczone. W przypadku trzech zmiennych jest ograniczony przez

{\ Displaystyle - \ min \ {ja (X, Y \ środkowa Z), ja (Y, Z \ środkowa X), ja (X, Z \ środkowa Y) \} \ leq I(X;Y;Z)\leq \min\{I(X;Y),I(Y;Z),I(X;Z)\}}

Jeśli trzy zmienne tworzą łańcuch Markowa , to ${\ Displaystyle I (X; Z \ mid Y) = 0}, X → Y → Z {\ Displaystyle X$ $do$ } ale ${\ Displaystyle I (X; Z) \ geq 0}$ . Dlatego

{\ Displaystyle I (X; Y; Z) = I (X; Z)-I(X;Z\mid Y)=I(X;Z)\geq 0.}

Przykłady

Informacje o pozytywnych interakcjach

Informacje o pozytywnych interakcjach wydają się znacznie bardziej naturalne niż informacje o negatywnych interakcjach w tym sensie, że takie efekty wyjaśniające są typowe dla struktur o wspólnej przyczynie. Na przykład chmury powodują deszcz, a także blokują słońce; dlatego korelację między deszczem a ciemnością częściowo tłumaczy obecność chmur, ${\ Displaystyle I ({\ tekst {deszcz}}; {\ tekst { ciemny}}\mid {\text{chmura}})<I({\text{deszcz}};{\text{ciemny}})}$ . Rezultatem $_$ _

Informacje o negatywnych interakcjach

Silnik samochodu może się nie uruchomić z powodu rozładowanego akumulatora lub zablokowanej pompy paliwowej. $.$ zakładamy, że śmierć akumulatora i . Ale wiedząc, że samochód nie odpala, jeśli przegląd wykaże, że akumulator jest w dobrym stanie, możemy stwierdzić, że pompa paliwa musi być zablokowana. Dlatego ${\ Displaystyle I ({\ tekst {zablokowane paliwo}}; {\ tekst {rozładowany akumulator}} \ mid {\ tekst {awaria silnika}})> 0}, a wynikiem są negatywne informacje o interakcji$ .

Trudność interpretacji

Ewentualna negatywność informacji o interakcji może być źródłem pewnego zamieszania. Wielu autorów przyjęło informację o zerowej interakcji jako znak, że trzy lub więcej zmiennych losowych nie oddziałuje na siebie, ale ta interpretacja jest błędna.

$_ ,X_{2},X_{3},X_{4},X_{5},X_{6},X_{7},X_{8}\}}$ zestaw binarnych . Połącz te zmienne w następujący sposób:

{\ Displaystyle {\ rozpocząć {wyrównane} Y_ {1} i = \ {X_ {1}, X_ {2}, X_ {3}, X_ {4}, X_ {5}, X_ {6} ,X_{7}\}\\Y_{2}&=\{X_{4},X_{5},X_{6},X_{7}\}\\Y_{3}&=\{X_{ 5},X_{6},X_{7},X_{8}\}\end{wyrównane}}}

Ponieważ nakładają się na siebie (są zbędne) na $trzech$ $}$ , spodziewalibyśmy się, że informacja o interakcji będzie równa 3 $; Y_ {2}; Y_ {3})}$ ${\ Displaystyle 3}$ bity, co robi. Rozważmy jednak teraz zmienne aglomerowane

{\ Displaystyle {\ rozpocząć {wyrównane} Y_ {1} i = \ {X_ {1}, X_ {2}, X_ {3}, X_ {4} ,X_{5},X_{6},X_{7}\}\\Y_{2}&=\{X_{4},X_{5},X_{6},X_{7}\}\\ Y_{3}&=\{X_{5},X_{6},X_{7},X_{8}\}\\Y_{4}&=\{X_{7},X_{8}\} \end{wyrównane}}}

Są to te same zmienne, co poprzednio, z dodatkiem ${\ Displaystyle Y_ {4} = \ {X_ {7}, X_ {8} \}}$ . Jednak ${\ Displaystyle I (Y_ {1}; Y_ {2}; Y_ {3}; Y_ {4})}$ w tym przypadku jest w rzeczywistości równe $bit$ , co wskazuje na mniejszą redundancję. Jest to poprawne w tym sensie, że

{\ Displaystyle {\ rozpocząć {wyrównane} ja (Y_ {1}; Y_ {2}; Y_ {3}; Y_ {4}) & = ja (Y_ {1}; Y_ {2}; Y_ {3}) -I(Y_{1};Y_{2};Y_{3}|Y_{4})\\&=3-2\\&=1\end{wyrównane}}}

ale pozostaje trudne do interpretacji.

Używa

Jakulin i Bratko (2003b) dostarczają algorytm uczenia maszynowego, który wykorzystuje informacje o interakcji.
Killian, Kravitz i Gilson (2007) wykorzystują ekspansję informacji wzajemnych, aby wyodrębnić szacunki entropii z symulacji molekularnych.
LeVine i Weinstein (2014) wykorzystują informacje o interakcjach i inne miary informacji o N-ciałach do ilościowego określania sprzężeń allosterycznych w symulacjach molekularnych.
Moore i in. (2006), Chanda P, Zhang A, Brazeau D, Sucheston L, Freudenheim JL, Ambrosone C, Ramanathan M. (2007) i Chanda P, Sucheston L, Zhang A, Brazeau D, Freudenheim JL, Ambrosone C, Ramanathan M. (2008) demonstrują wykorzystanie informacji o interakcjach do analizy interakcji gen-gen i gen-środowisko związanych ze złożonymi chorobami.
Pandey i Sarkar (2017) wykorzystują informacje o interakcjach w kosmologii do badania wpływu środowisk na dużą skalę na właściwości galaktyk.
Dostępny jest pakiet Pythona do obliczania wszystkich wielowymiarowych interakcji lub wzajemnych informacji, warunkowych wzajemnych informacji, wspólnych entropii, całkowitych korelacji, odległości informacyjnej w zbiorze danych n zmiennych.

Zobacz też

Baudot, P.; Bennequin, D. (2015). „Homologiczna natura entropii” (PDF) . Entropia . 17 (5): 1–66. Bibcode : 2015Entrp..17.3253B . doi : 10.3390/e17053253 .
Bell, AJ (2003), Sieć koinformacyjna [1]
Fano, RM (1961), Transmisja informacji: statystyczna teoria komunikacji , MIT Press, Cambridge, MA.
Garner WR (1962). Niepewność i struktura jako koncepcje psychologiczne , JohnWiley & Sons, Nowy Jork.
Han, TS (1978). „Nieujemne miary entropii wielowymiarowych korelacji symetrycznych” . Informacji i Kontroli . 36 (2): 133–156. doi : 10.1016/s0019-9958(78)90275-9 .
Han, TS (1980). „Wiele wzajemnych informacji i wiele interakcji w danych dotyczących częstotliwości” . Informacji i Kontroli . 46 : 26–45. doi : 10.1016/s0019-9958(80)90478-7 .
Hu Kuo Tin (1962), O ilości informacji. Teoria Prob. Zał., 7(4), 439-44. PDF
Jakulin A i Bratko I (2003a). Analiza zależności atrybutów, w: N Lavra\quad{c}, D Gamberger, L Todorovski & H Blockeel, red., Proceedings of the 7th European Conference on Principles and Practice of Knowledge Discovery in Databases , Springer, Cavtat-Dubrovnik, Chorwacja, s. 229–240.
Jakulin A & Bratko I (2003b). Kwantyfikacja i wizualizacja interakcji atrybutów [2] .
Margolin, A; Wang, K.; Kalifano, A; Niemenman, I (2010). „Wielowymiarowa zależność i wnioskowanie o sieciach genetycznych”. IET Syst Biol . 4 (6): 428–440. ar Xiv : 1001.1681 . doi : 10.1049/iet-syb.2010.0009 . PMID 21073241 . S2CID 14280921 .
McGill, WJ (1954). „Wielowymiarowa transmisja informacji”. Psychometria . 19 (2): 97–116. doi : 10.1007/bf02289159 . S2CID 126431489 .
Moore JH, Gilbert JC, Tsai CT, Chiang FT, Holden T, Barney N, White BC (2006). Elastyczne ramy obliczeniowe do wykrywania, charakteryzowania i interpretowania statystycznych wzorców epistazy w badaniach genetycznych nad podatnością na choroby u ludzi, Journal of Theoretical Biology 241 , 252-261. [3]
Niemenman I (2004). Teoria informacji, zależność wielowymiarowa i wnioskowanie o sieci genetycznej [4] .
Pearl, J (1988), Rozumowanie probabilistyczne w inteligentnych systemach: sieci wiarygodnego wnioskowania , Morgan Kaufmann, San Mateo, CA.
Tsujishita, T (1995), O potrójnej wzajemnej informacji, Postępy w matematyce stosowanej 16 , 269-274.
Czanda, P; Zhang, A; Brazeau, D; Sucheston, L; Freudenheim, JL; Ambrozon, C; Ramanathan, M (2007). „Metryki informacyjno-teoretyczne do wizualizacji interakcji gen-środowisko” . American Journal of Human Genetics . 81 (5): 939–63. doi : 10.1086/521878 . PMC 2265645 . PMID 17924337 .
Czanda, P; Sucheston, L; Zhang, A; Brazeau, D; Freudenheim, JL; Ambrozon, C; Ramanathan, M (2008). „OTOCZENIE: nowatorskie podejście i skuteczny algorytm do identyfikacji pouczających powiązań genetycznych i środowiskowych ze złożonymi fenotypami” . Genetyka . 180 (2): 1191–210. doi : 10.1534/genetics.108.088542 . PMC 2567367 . PMID 18780753 .
Killian, BJ; Kravitz, JY; Gilson, MK (2007). „Ekstrakcja entropii konfiguracyjnej z symulacji molekularnych poprzez przybliżenie ekspansji” . J. Chem. fizyka . 127 (2): 024107. Bibcode : 2007JChPh.127b4107K . doi : 10.1063/1.2746329 . PMC 2707031 . PMID 17640119 .
LeVine MV, Weinstein H (2014), NbIT - Nowa analiza oparta na teorii informacji mechanizmów allosterycznych ujawnia pozostałości leżące u podstaw funkcji transportera leucyny LeuT. Biologia obliczeniowa PLoS . [5]
Pandey, Biswajit; Sarkar, Suman (2017). „Ile galaktyka wie o swoim środowisku na dużą skalę?: Perspektywa teorii informacji”. Miesięczne zawiadomienia listów Królewskiego Towarzystwa Astronomicznego . 467 (1): L6. ar Xiv : 1611.00283 . Bibcode : 2017MNRAS.467L...6P . doi : 10.1093/mnrasl/slw250 . S2CID 119095496 .
https://www3.nd.edu/~jnl/ee80653/Fall2005/tutorials/sunil.pdf
Yeung RW (1992). Nowe spojrzenie na działania informacyjne Shannona. w transakcjach IEEE dotyczących teorii informacji. [6]