Współczynnik niepewności

Nie mylić z indeksem Theila .

W statystyce współczynnik niepewności , zwany także biegłością , współczynnikiem entropii lub U Theila , jest miarą związku nominalnego . Została ona po raz pierwszy wprowadzona przez Henri Theila i opiera się na koncepcji entropii informacyjnej .

Definicja

Załóżmy, że mamy próbki dwóch dyskretnych zmiennych losowych, X i Y . Konstruując wspólny rozkład P _X,Y ( x , y ) , z którego możemy obliczyć rozkłady warunkowe , P _{X | Y} ( x | y ) = P _{X, Y} ( x , y )/ P _Y ( y ) i P _{Y | X} ( y | x ) = P _X,Y ( x , y )/ P _X ( x ) i obliczając różne entropie, możemy określić stopień powiązania między dwiema zmiennymi.

Entropia pojedynczego rozkładu jest dana jako:

${\ Displaystyle H (X) = - \ suma _ {x} P_ {X} (x) \ log P_ {X} ( X),}$

podczas gdy warunkowa entropia jest podana jako:

${\ Displaystyle H (X | Y) = - \ suma _ {x, ~ y} P_ {X, Y} (x, ~ y) \ log P_ {X | Y} (x | y).}$

Współczynnik niepewności lub biegłość definiuje się jako:

${\ Displaystyle U (X | Y) = {\ Frac {H ( X)-H(X|Y)}{H(X)}}={\frac {I(X;Y)}{H(X)}},}$

i mówi nam: mając Y , jaki ułamek bitów X możemy przewidzieć? W tym przypadku możemy myśleć, że X zawiera całość informacji, a Y pozwala przewidzieć część takich informacji.

Z powyższego wyrażenia jasno wynika, że ​​współczynnik niepewności jest znormalizowaną informacją wzajemną I(X;Y) . W szczególności, zakresy współczynników niepewności w [0, 1] jako I(X;Y) < H(X) i zarówno I(X,Y), jak i H(X) są dodatnie lub zerowe.

Zauważ, że wartość U (ale nie H !) jest niezależna od podstawy logarytmu, ponieważ wszystkie logarytmy są proporcjonalne.

Współczynnik niepewności jest użyteczny do pomiaru ważności algorytmu klasyfikacji statystycznej i ma przewagę nad prostszymi miarami dokładności, takimi jak precyzja i przypominanie , ponieważ nie ma na niego wpływu względne ułamki różnych klas, tj. P ( x ). Ma również tę wyjątkową właściwość, że nie będzie karać algorytmu za przewidywanie niewłaściwych klas, o ile robi to konsekwentnie (tj. po prostu przestawia klasy). Jest to przydatne przy ocenie algorytmów grupowania, ponieważ etykiety klastrów zwykle nie mają określonej kolejności.

Wariacje

Współczynnik niepewności nie jest symetryczny względem ról X i Y . Role można odwrócić, a miarę symetryczną zdefiniować w ten sposób jako średnią ważoną między nimi:

${\ Displaystyle {\ rozpocząć {wyrównane} U (X, ~ Y) & = {\ Frac {H (X) U (X | Y) + H (Y) U (Y | X)} ​​{H (X) + H(Y)}}\\[8pt]&=2\left[{\frac {H(X)+H(Y)-H(X,~Y)}{H(X)+H(Y)} }\right].\end{wyrównane}}}$

Chociaż zwykle stosuje się go do zmiennych dyskretnych, współczynnik niepewności można rozszerzyć na zmienne ciągłe za pomocą estymacji gęstości .

Zobacz też

• Wzajemne informacje
• indeks Randa
• Wynik F
• Klasyfikacja binarna

Linki zewnętrzne

• libagf Zawiera oprogramowanie do obliczania współczynników niepewności.