P4-metryczny

_Metryka P4 umożliwia ocenę wydajności klasyfikatora binarnego . Oblicza się go na podstawie precyzji , przypomnienia , specyficzności i NPV (ujemna wartość predykcyjna). P ₄ jest zaprojektowany w podobny sposób jak metryka F ₁ , jednak odnosi się do krytyki skierowanej przeciwko F ₁ . Można ją postrzegać jako jej przedłużenie.

Podobnie jak inne znane miary, P4 _jest funkcją: TP (prawdziwie pozytywne), TN (prawdziwie negatywne), FP ( fałszywie pozytywne ), FN ( fałszywie negatywne ).

Uzasadnienie

Kluczową koncepcją P ₄ jest wykorzystanie czterech kluczowych prawdopodobieństw warunkowych:

${\ Displaystyle P (+ \ mid C {+})}$ - prawdopodobieństwo, że próbka jest pozytywna, pod warunkiem, że wynik klasyfikatora był pozytywny.

${\ Displaystyle P (C {+} \ mid +)}$ - prawdopodobieństwo, że wynik klasyfikatora będzie pozytywny, pod warunkiem, że próbka jest pozytywna.

${\ Displaystyle P (C {-} \ mid -)}$ - prawdopodobieństwo, że wynik klasyfikatora będzie ujemny, o ile próba będzie ujemna.

${\ Displaystyle P (- \ mid C {-})}$ - prawdopodobieństwo, że próbka jest ujemna, pod warunkiem, że wynik klasyfikatora był ujemny.

Głównym założeniem tej metryki jest to, że prawidłowo zaprojektowany klasyfikator binarny powinien dawać wyniki, dla których wszystkie wymienione powyżej prawdopodobieństwa są bliskie 1. P 4 jest zaprojektowany w taki sposób, że P 4 = 1 {\ _displaystyle \ $_ {4}=1}$ wymaga, aby wszystkie prawdopodobieństwa były równe 1. Zbliża się również do zera, gdy którekolwiek z tych prawdopodobieństw dąży do zera.

Definicja

P ₄ definiuje się jako średnią harmoniczną czterech kluczowych prawdopodobieństw warunkowych:

$\ Displaystyle \ operatorname {P} _ {4} = {\ Frac {4} {{\ Frac {1} {P(+\mid C{+})}}+{\frac {1}{P(C{+}\mid +)}}+{\frac {1}{P(C{-}\mid - )}}+{\frac {1}{P(-\mid C{-})}}}}={\frac {4}{{\frac {1}{\mathit {precyzja}}}+{\ frac {1}{\mathit {przypomnij sobie}}}+{\frac {1}{\mathit {specyficzność}}}+{\frac {1}{\mathit {NPV}}}}}}$

W odniesieniu do TP,TN,FP,FN można to obliczyć w następujący sposób:

${\ Displaystyle \ operatorname {P} _ {4} = {\ Frac { 4\cdot \mathrm {TP} \cdot \mathrm {TN} }{4\cdot \mathrm {TP} \cdot \mathrm {TN} +(\mathrm {TP} +\mathrm {TN} )\cdot (\ matematyczna {FP} +\ matematyczna {FN} )}}}$

Ocena działania klasyfikatora binarnego

Ocena działania klasyfikatora binarnego jest koncepcją multidyscyplinarną. Obejmuje ocenę testów medycznych, testów psychiatrycznych po uczenia maszynowego z różnych dziedzin. W związku z tym wiele używanych metryk występuje pod kilkoma nazwami. Niektóre z nich są definiowane niezależnie.

		Przewidywany stan		Źródła:
	Całkowita populacja = P + N	Pozytywny (PP)	Negatywny (PN)	Poinformowanie , poinformowanie bukmachera (BM) = TPR + TNR − 1	Próg rozpowszechnienia (PT) = ${\ Displaystyle {\ mathsf {\ tfrac {{\ sqrt {{\ tekst {TPR}} \ razy {\ tekst {FPR}}}} - {\ tekst {FPR}}}{{\text{TPR}}-{\text{FPR}}}}}}$
Rzeczywisty stan	Pozytywny (P)	Prawdziwie pozytywny (TP), trafiony	Fałszywie negatywny (FN), błąd II rodzaju , chybienie, niedoszacowanie	Prawdziwie pozytywny wskaźnik (TPR), przywołanie , czułość (SEN), prawdopodobieństwo wykrycia, współczynnik trafień, moc = TP / P = 1 − FNR	Wskaźnik fałszywie ujemny (FNR), współczynnik chybień = FN / P = 1 - TPR
	Ujemny (N)	Fałszywie dodatni (FP), błąd I rodzaju , fałszywy alarm, przeszacowanie	Prawdziwie ujemne (TN), prawidłowe odrzucenie	Odsetek wyników fałszywie dodatnich (FPR), prawdopodobieństwo fałszywego alarmu, wypadnięcie = FP / N = 1 − TNR	Współczynnik prawdziwie ujemny (TNR), specyficzność (SPC), selektywność = TN / N = 1 − FPR
	Rozpowszechnienie = P / P + N	Pozytywna wartość predykcyjna (PPV), precyzja = TP / PP = 1 − FDR	Wskaźnik fałszywych pominięć (FOR) = FN / PN = 1 − NPV	Pozytywny współczynnik wiarygodności (LR+) = TPR / FPR	Współczynnik wiarygodności ujemnej (LR−) = FNR / TNR
	Dokładność (ACC) = TP + TN / P + N	Współczynnik fałszywych odkryć (FDR) = FP / PP = 1 − PPV	Ujemna wartość predykcyjna (NPV) = TN / PN = 1 − FOR	Zaznaczenie (MK), deltaP (Δp) = PPV + NPV − 1	Diagnostyczny iloraz szans (DOR) = LR+ / LR−
	Zrównoważona dokładność (BA) = TPR + TNR / 2	F 1 wynik = 2 PPV × TPR / PPV + TPR = 2 TP / 2 TP + FP + FN	Indeks Fowlkesa-Mallowsa (FM) = ${\ Displaystyle \ scriptstyle {\ mathsf {\ sqrt {{\ tekst {PPV}} \ razy {\ tekst {TPR}}}}}}$	Współczynnik korelacji Matthewsa (MCC) = ${\ Displaystyle \ scriptstyle {\ mathsf {\ sqrt {{\ tekst {TPR}} \ razy {\ tekst {TNR}} \ razy {\ tekst {PPV} } \ razy {\ tekst {NPV}}}}}}$${\ Displaystyle \ scriptstyle - {\ mathsf {\ sqrt {{\ tekst {FNR}} \ razy {\ tekst {FPR} }\times {\text{FOR}}\times {\text{FDR}}}}}}$	Ocena zagrożenia (TS), wskaźnik sukcesu krytycznego (CSI), wskaźnik Jaccarda = TP / TP + FN + FP

Właściwości metryki P ₄

• Symetria – w przeciwieństwie do metryki F ₁ , P ₄ jest symetryczna. Oznacza to - nie zmienia swojej wartości, gdy zmienia się etykietowanie zbioru danych - pozytywy nazwane negatywami, a negatywy nazwane pozytywami.
• Zakres: ${\ Displaystyle \ operatorname {P} _ {4} \ w [0,1]}$
• Osiągnięcie wymaga $cztery$ kluczowe prawdopodobieństwa warunkowe były
• Dla wystarczy $.$ kluczowych prawdopodobieństw warunkowych jest bliskie 0

Przykłady, porównanie z innymi wskaźnikami

Tabela zależności dla wybranych metryk ("true" oznacza, że ​​zależy, "false" - nie zależy):

	${\ Displaystyle P (+ \ środkowy C {+})}$	${\ Displaystyle P (C {+} \ mid +)}$	${\ Displaystyle P (C {-} \ mid -)}$	${\ Displaystyle P (- \ środkowy C {-})}$
P 4	PRAWDA	PRAWDA	PRAWDA	PRAWDA
F 1	PRAWDA	PRAWDA	FAŁSZ	FAŁSZ
Poinformowanie	FAŁSZ	PRAWDA	PRAWDA	FAŁSZ
Naznaczenie	PRAWDA	FAŁSZ	FAŁSZ	PRAWDA

Metryki, które nie zależą od danego prawdopodobieństwa, są podatne na błędne przedstawienie, gdy zbliżają się do 0.

Przykład 1: Test wykrywania rzadkich chorób

Rozważmy test medyczny mający na celu wykrycie rodzaju rzadkiej choroby. Wielkość populacji wynosi 100 000, podczas gdy 0,05% populacji jest zakażonych. Wyniki testu: 95% wszystkich osób pozytywnych zostało sklasyfikowanych poprawnie ( TPR =0,95), a 95% wszystkich osób negatywnych zostało sklasyfikowanych poprawnie ( TNR =0,95). W takim przypadku, ze względu na dużą nierównowagę populacyjną, pomimo wysokiej dokładności testu (0,95), prawdopodobieństwo, że osoba, która została sklasyfikowana jako pozytywna, jest w rzeczywistości dodatnia, jest bardzo niskie:

${\ Displaystyle P (+ \ środkowy C {+}) = 0,0095}$

A teraz możemy zaobserwować, jak to niskie prawdopodobieństwo znajduje odzwierciedlenie w niektórych wskaźnikach:

• ${\ Displaystyle \ operatorname {P} _ {4} = 0,0370}$
• ${\ Displaystyle \ operatorname {F} _ {1} = 0,0188}$
• ${\ Displaystyle \ operatorname {J} = \ mathbf {0,9100}}$ ( informacja / indeks Youdena )
• ${\ Displaystyle \ operatorname {MK} = 0,0095}$ ( Zaznaczenie )

Przykład 2: Rozpoznawanie obrazu — koty kontra psy

Szkolimy klasyfikator obrazów oparty na sieciach neuronowych. Rozważamy tylko dwa rodzaje obrazów: przedstawiające psy (oznaczone jako 0) i przedstawiające koty (oznaczone jako 1). Dlatego naszym celem jest odróżnienie kotów od psów. Klasyfikator przecenia na korzyść kotów (próbki „pozytywne”): 99,99% kotów jest klasyfikowanych prawidłowo, a tylko 1% psów jest klasyfikowanych poprawnie. Zestaw danych obrazu składa się z 100 000 obrazów, z których 90% to zdjęcia kotów, a 10% to zdjęcia psów. W takiej sytuacji prawdopodobieństwo, że zdjęcie przedstawiające psa zostanie poprawnie sklasyfikowane jest dość niskie:

${\ Displaystyle P (C-|-) = 0,01}$

Nie wszystkie wskaźniki zauważają to niskie prawdopodobieństwo:

• ${\ Displaystyle \ operatorname {P} _ {4} = 0,0388}$
• ${\ Displaystyle \ operatorname {F} _ {1} = \ mathbf {0,9478}}$
• ${\ Displaystyle \ operatorname {J} = 0,0099}$ ( informacja / indeks Youdena )
• ${\ Displaystyle \ operatorname {MK} = \ mathbf {0,8183}}$ ( zaznaczenie )

Zobacz też

• Wynik F
• Poinformowanie
• Naznaczenie
• Współczynnik korelacji Matthewsa
• Precyzja i pamięć
• Czułość i specyficzność
• NPV
• Matryca zamieszania