Źródło informacji (matematyka)

W matematyce źródłem informacji jest sekwencja zmiennych losowych z zakresu skończonego alfabetu Γ, mająca rozkład stacjonarny .

Niepewność lub szybkość entropii źródła informacji jest zdefiniowana jako

${\ Displaystyle H \ {\ mathbf {X} \} = \ lim _ {n \ do \ infty} H(X_{n}|X_{0},X_{1},\kropki ,X_{n-1})}$

Gdzie

${\ Displaystyle X_ {0}, X_ {1}, \ kropki, X_ {n}}$

jest ciągiem zmiennych losowych określających źródło informacji, oraz

${\ Displaystyle H (X_ {n} | X_ {0}, X_ {1}, \ kropki, X_ {n-1})}$

jest warunkową entropią informacyjną sekwencji zmiennych losowych. Równie dobrze jeden ma

${\ Displaystyle H \ {\ mathbf {X} \} = \ lim _ {n \ do \ infty}} {\ Frac {H (X_ {0}, X_ {1}, \ kropki, X_ {n-1}, X_{n})}{n+1}}.}$

Zobacz też

• źródło informacji Markowa
• Właściwość ekwipartycji asymptotycznej

•   Robert B. Ash, Teoria informacji , (1965) Dover Publications. ISBN 0-486-66521-6