Entropia transferu

Entropia transferu to nieparametryczna statystyka mierząca ilość ukierunkowanego (asymetrycznego w czasie) transferu informacji między dwoma losowymi procesami . Przeniesienie entropii z procesu X do innego procesu Y to wielkość niepewności zmniejszona w przyszłych wartościach Y dzięki znajomości przeszłych wartości X przy danych przeszłych wartościach Y . Dokładniej, jeśli i ${$ $Y_ {t}}$ dla oznaczenia dwóch losowych procesów, a ilość informacji jest mierzona za pomocą entropii Shannona , entropię transferu można zapisać jako: ${\ displaystyle t \ in \ mathbb {N}}$

{\ Displaystyle T_ {X \ strzałka w prawo Y} = H \ lewo (Y_ {t} \ środkowy Y_ {t-1: tL} \ prawej) -H \ lewo (Y_ {t} \ środkowy Y_ {t-1: tL },X_{t-1:tL}\right),}

gdzie H ( X ) jest entropią Shannona X . Powyższa definicja entropii transferu została rozszerzona o inne rodzaje entropii , takie jak entropia Rényi'ego .

Entropia transferu to warunkowa wzajemna informacja , z historią zmiennej, na którą ma wpływ, ${\ Displaystyle Y_ {t-1: tL}}$ w stanie:

{\ Displaystyle T_ {X \ strzałka w prawo Y} = I (Y_ {t}; X_ {t-1: tL} \ środkowy Y_ {t-1: tL}).}

Entropia transferu redukuje się do przyczynowości Grangera dla wektorowych procesów autoregresyjnych . Dlatego korzystne jest, gdy modelowe założenie o przyczynowości Grangera nie spełnia np. analizy sygnałów nieliniowych . Jednak zwykle wymaga większej liczby próbek do dokładnego oszacowania. Prawdopodobieństwa we wzorze na entropię można oszacować za pomocą różnych podejść (binding, najbliżsi sąsiedzi) lub, w celu zmniejszenia złożoności, za pomocą niejednorodnego osadzania. Chociaż pierwotnie zdefiniowano ją dla analizy dwuwymiarowej , entropia transferu została rozszerzona na analizę wielowymiarową formy, albo uwarunkowane innymi potencjalnymi zmiennymi źródłowymi, albo rozważające przeniesienie ze zbioru źródeł, chociaż te formy ponownie wymagają większej liczby próbek.

Entropia transferu została wykorzystana do oszacowania funkcjonalnej łączności neuronów , wpływu społecznego w sieciach społecznościowych i statystycznej przyczynowości między zdarzeniami konfliktów zbrojnych. Transfer entropii jest skończoną wersją Directed Information , która została zdefiniowana w 1990 roku przez Jamesa Masseya jako ${\ Displaystyle I (X ^ {n} \ do Y ^ {n}) = \ suma _ {i = 1} ^ {n} ja (X ^ {i}; Y_ {i} | Y ^ {i-1})}$ , gdzie ${\ Displaystyle X ^ {n}}$ oznacza wektor $Displaystyle X_ {1}, X_ {2}, ..., X_ {n}}$ \ ${\ Displaystyle Y ^ {n}}$ oznacza ${\ Displaystyle Y_ {1}, Y_ {2}, ..., Y_ {n}}$ . Ukierunkowana informacja odgrywa ważną rolę w charakterystyce podstawowych ograniczeń ( pojemności kanału ) kanałów komunikacji ze sprzężeniem zwrotnym lub bez niego oraz hazardu z informacjami o charakterze przyczynowym.

Zobacz też

Linki zewnętrzne

„Zestaw narzędzi transferu entropii” . Kod Google'a . , zestaw narzędzi opracowany w C++ i MATLAB do obliczania entropii transferu między ciągami szczytów.
„Java Information Dynamics Toolkit (JIDT)” . GitHub . 2019-01-16. , zestaw narzędzi opracowany w Javie i użyteczny w MATLAB , GNU Octave i Python , do obliczania entropii transferu i powiązanych miar informacyjno-teoretycznych zarówno w danych dyskretnych, jak i ciągłych.
„Zestaw narzędzi wielowymiarowej entropii transferu (MuTE)” . GitHub . 2019-01-09. , zestaw narzędzi opracowany w MATLAB do obliczania entropii transferu za pomocą różnych estymatorów.