Częściowy obszar pod krzywą ROC

Obszar częściowy pod krzywą ROC (pAUC) jest metryką wydajności klasyfikatora binarnego.

Jest on obliczany na podstawie krzywej charakterystyki działania odbiornika (ROC) , która ilustruje zdolność diagnostyczną danego systemu klasyfikatora binarnego, gdy zmienia się jego próg dyskryminacji. Krzywa ROC jest tworzona przez wykreślenie wskaźnika prawdziwie dodatnich wyników (TPR) w stosunku do współczynnika wyników fałszywie dodatnich (FPR) przy różnych ustawieniach progów.

Przykład krzywej ROC i pola pod krzywą (AUC).

Pole pod krzywą ROC (AUC) jest często używane do podsumowania w jednej liczbie zdolności diagnostycznej klasyfikatora. AUC jest po prostu definiowane jako obszar przestrzeni ROC, który leży poniżej krzywej ROC.

Jednak w przestrzeni ROC są regiony, w których wartości FPR czy TPR są nie do zaakceptowania lub nieopłacalne w praktyce. Na przykład region, w którym FPR jest większy niż 0,8, oznacza, że ​​ponad 80% negatywnych obiektów jest błędnie klasyfikowanych jako pozytywne: w wielu rzeczywistych przypadkach jest to niedopuszczalne. W konsekwencji AUC obliczone w całej przestrzeni ROC (tj. zarówno z FPR, jak i TPR w zakresie od 0 do 1) może dostarczyć mylących wskazań.

Aby przezwyciężyć to ograniczenie AUC, zaproponowano obliczenie obszaru pod krzywą ROC w obszarze przestrzeni ROC, który odpowiada interesującym (tj. praktycznie wykonalnym lub akceptowalnym) wartościom FPR i TPR.

Podstawowy pomysł

W przestrzeni ROC, gdzie x=FPR (wskaźnik wyników fałszywie dodatnich) i y=ROC(x)=TPR (wskaźnik wyników prawdziwie dodatnich), jest

Krzywe ROC pochodzą z binarnych klasyfikatorów Ca i Cb. Ciemnozielony obszar znajduje się pod obiema krzywymi. Jasnozielony obszar znajduje się pod obszarem Cb, ale nie pod obszarem Ca. Niebieski obszar znajduje się pod obszarem Ca, ale nie pod obszarem Cb.

${\ Displaystyle AUC = \ int _ {x = 0} ^ {1} ROC (x) \ dx}$

AUC jest szeroko stosowany, zwłaszcza do porównywania wydajności dwóch (lub więcej) klasyfikatorów binarnych: klasyfikator, który osiąga najwyższą wartość AUC, jest uważany za lepszy. Jednak porównując dwa klasyfikatory $C_ {a$ możliwe są trzy sytuacje: do za $}$

1. krzywa ROC $za$ nie jest powyżej krzywej ROC $b}}$
2. krzywa ROC $Displaystyle$ nie jest poniżej krzywej ROC $C_ {b}}$
3. krzywe ROC klasyfikatorów przecinają się.

Panuje powszechna zgoda co do tego, że w przypadku 1 klasyfikator $,$$preferowany$ przypadku 2) jest $}$ tego w przypadku 3) istnieją regiony przestrzeni ROC, w których $} .$ są inne regiony, w których preferowane są do za Ta obserwacja doprowadziła do oceny dokładności klasyfikacji poprzez obliczenie metryk wydajności, które uwzględniają tylko określony obszar zainteresowania (RoI) w przestrzeni ROC, a nie całą przestrzeń. Te wskaźniki wydajności są powszechnie znane jako „częściowe AUC” (pAUC): pAUC to obszar wybranego regionu przestrzeni ROC, który leży pod krzywą ROC.

Częściowe AUC uzyskane przez ograniczenie FPR

Idea częściowego AUC została pierwotnie zaproponowana w celu ograniczenia oceny danych krzywych ROC w zakresie częstości wyników fałszywie dodatnich, które są uważane za interesujące dla celów diagnostycznych. Zatem częściowe AUC obliczono jako pole pod krzywą ROC w pionowym paśmie przestrzeni ROC, gdzie FPR mieści się w przedziale [ ${\ Displaystyle FPR_ {niski}}$ , ${\ Displaystyle FPR_ {wysoki}}$ .

pAUC jest obliczane jako pole pod krzywą, gdzie ${\ Displaystyle 0,1 \ równoważnik FPR \ równoważnik 0,3}$	pAUC jest obliczane jako pole pod krzywą, gdzie ${\ Displaystyle 0,2 \ równoważnik FPR \ równoważnik 0,4}$

Wartość pAUC obliczona przez ograniczenie FPR pomaga porównać dwa obszary częściowe. Niemniej jednak ma kilka ograniczeń:

• RoI musi być pionowym pasmem przestrzeni ROC;
• $\ displaystyle FPR_ {$$i$ oczekuje się, że jakiś ekspert będzie w stanie zidentyfikować fa ;
• porównując dwa klasyfikatory za pomocą powiązanych krzywych ROC, stosunkowo niewielka zmiana w wyborze RoI może prowadzić do różnych wniosków: w powyższym przykładzie, biorąc pod uwagę pasmo, w którym 0,1 ≤ fa P R ≤ 0,3 {\ $0,3 }$ prowadzi do wniosku, że $}$ biorąc pod uwagę pasmo, w którym do wniosku, że $Displaystyle$${\ displaystyle C_ {a}}$ jest lepszy.

Częściowe AUC uzyskane przez ograniczenie TPR

Inny typ częściowego AUC uzyskuje się poprzez ograniczenie częstości prawdziwie dodatnich wyników, a nie częstości fałszywie dodatnich. Oznacza to, że częściowe AUC to obszar pod krzywą ROC i powyżej linii poziomej. ${\ displaystyle TPR = TPR_ {0}}$ .

Częściowe AUC obliczone jako pole pod krzywą ROC i powyżej ${\ displaystyle TPR_ {0}}$

Innymi słowy, pAUC jest obliczane w części przestrzeni ROC, w której prawdziwie dodatni współczynnik jest większy niż dany próg (nie stosuje się górnej granicy, ponieważ nie miałoby to sensu). ${\ displaystyle TPR_ {0}}$ aby ograniczyć liczbę prawdziwych pozytywów).

Ta propozycja również ma kilka ograniczeń:

• poprzez ograniczenie odsetka wyników fałszywie dodatnich, w sposób dorozumiany ustalany jest również limit odsetka wyników fałszywie dodatnich;
• nie podano żadnych kryteriów identyfikacji ROI: oczekuje się, że eksperci będą w stanie określić minimalny akceptowalny odsetek prawdziwie dodatnich wyników;
• porównując dwa klasyfikatory za pomocą powiązanych krzywych ROC, stosunkowo niewielka zmiana w wyborze RoI może prowadzić do różnych wniosków: dzieje się tak, gdy $punktu$ w którym dane krzywe ROC przecinają się Inny.

Częściowe AUC uzyskane przez ograniczenie zarówno FPR, jak i TPR

„Dwukierunkowe” pAUC zostało zdefiniowane przez ograniczenie zarówno liczby prawdziwie dodatnich, jak i fałszywie ujemnych. Minimalna wartość $}$ , a maksymalna wartość jest FPR, więc RoI jest lewym górnym prostokątem z wierzchołkami w ${\ displaystyle TPR_ {0}$ punkty ( ${\ Displaystyle FPR_ {0}}$ , ${\ displaystyle TPR_ {0}}$ ), ( ${\ displaystyle FPR_ {0}}$ , 1), (0, 1) i (0, ${\ Displaystyle TPR_ {0}}$ ). Dwukierunkowe pAUC to pole pod krzywą ROC należące do takiego prostokąta.

Dwukierunkowe pAUC jest wyraźnie bardziej elastyczne niż pAUC zdefiniowane przez ograniczenie tylko FPR lub TPR. W rzeczywistości te dwa ostatnie typy pAUC można postrzegać jako szczególne przypadki dwukierunkowego pAUC.

$geq TPR_$ częściowe AUC gdzie T $\$ displaystyle

Podobnie jak w przypadku pAUC opisanego powyżej, przy porównywaniu dwóch klasyfikatorów za pomocą powiązanych krzywych ROC, stosunkowo niewielka zmiana w wyborze RoI może prowadzić do różnych wniosków. Jest to szczególnie ${0}}$ podobnie jak w przypadku innych wspomnianych pAUC, oczekuje się, że eksperci będą w stanie zidentyfikować ${0}}$ fa $\ displaystyle TPR_$ ).

Częściowe AUC uzyskane przez zastosowanie obiektywnych ograniczeń do obszaru zainteresowania

Zdefiniowano kilka obiektywnych i solidnych kryteriów definiowania ROI. W szczególności, obliczenie pAUC można ograniczyć do regionu, w którym

• rozważane klasyfikatory są lepsze (według wybranej miary wydajności) niż klasyfikacja losowa;
• rozważane klasyfikatory osiągają co najmniej minimalną wartość niektórych wybranych metryk wydajności;
• koszt wynikający z błędnych klasyfikacji przez rozważane klasyfikatory jest akceptowalny.

Definiowanie ROI na podstawie wykonania losowej klasyfikacji

Możliwy sposób zdefiniowania regionu, w którym obliczane jest pAUC, polega na wykluczeniu regionów przestrzeni ROC, które reprezentują wyniki gorsze niż wyniki osiągnięte w wyniku klasyfikacji losowej.

Losowa klasyfikacja ocenia dany element pozytywnie z prawdopodobieństwem $)$ ujemnie z prawdopodobieństwem (1- ${\ displaystyle \ rho}$ . W zbiorze danych składającym $również znany jako „$$przewaga$ się ustawiając jest ” pozytywów w zbiorze danych)

pAUC obliczone w regionie, w którym TPR, FPR i precyzja są lepsze niż średnie klasyfikacje losowe.

Wykazano, że losowa klasyfikacja z $osiąga$$TPR =$ R ${\ Displaystyle precision = \ rho}$ , i $\ Displaystyle FPR = \ rho}$ , średnio. Dlatego też, jeśli wybranymi wskaźnikami wydajności są TPR, FPR i precyzja, RoI powinien być ograniczony do części przestrzeni ROC, w której ${\ Displaystyle TPR> \ rho}$ , ${\ displaystyle FPR <\ rho}$ i ${\ Displaystyle precyzja> \ rho}$ . Wykazano, że ten region jest prostokątem mającym wierzchołki w (0,0), (0,1), ( , ${\ displaystyle \ rho$ ) i ( , $}$ , ${\ displaystyle \ rho} \rho }$ ).

Ta technika rozwiązuje problemy związane z ograniczaniem TPR i FPR, gdy trzeba obliczyć dwukierunkowe pAUC: ${\ displaystyle FPR_ {0} = TPR_ {0} = \ rho}$ .

Wskaźnik współczynnika odpowiednich obszarów (RRA).

Obliczenie pAUC wymaga uprzedniego zdefiniowania RoI. Na przykład, gdy wymagana jest lepsza dokładność niż średnia klasyfikacja losowa, RoI jest prostokątem mającym wierzchołki w (0,0), (0,1), ( , ${$ ) i ( $\ displaystyle \ rho} \ rho}$ , ${\ Displaystyle \ rho}$ ). Oznacza to, że rozmiar RoI różni się w zależności od ${\ displaystyle \ rho}$ . Poza tym idealny ROC, czyli ten, który przechodzi przez punkt (0,1), ma pAUC = ${\ displaystyle \ rho}$ (1- ${\ displaystyle \ rho}$ ).

Aby uzyskać wskaźnik oparty na pAUC, który uwzględnia i mieści się w [0,1], zaproponowano RRA: ${\ displaystyle \ rho}$

${pAUC \ nad obszarem \ \ the\ RoI}}$

RRA=1 oznacza doskonałą dokładność, podczas gdy RRA=0 wskazuje, że pole pod krzywą ROC należące do RoI jest zerowe; dlatego dokładność nie jest lepsza niż losowa klasyfikacja.

Definiowanie ROI na podstawie pewnego progu metryki wydajności

pAUC obliczono w obszarze, w którym Phi>0,35

Dla klasyfikatorów binarnych dostępnych jest kilka metryk wydajności. Jednym z najpopularniejszych jest współczynnik Phi (znany również jako współczynnik korelacji Matthewsa). Phi mierzy, jak lepsza (lub gorsza) jest klasyfikacja w odniesieniu do klasyfikacji losowej, którą charakteryzuje Phi = 0. Zgodnie z wartościami referencyjnymi zaproponowanymi przez Cohena, można przyjąć Phi = 0,35 jako minimalny akceptowalny poziom Phi dla klasyfikacja. W przestrzeni ROC Phi równe niezerowej stałej odpowiada łukowi elipsy, natomiast Phi = 0 odpowiada przekątnej, czyli punktom, w których FPR=TPR. Tak więc, biorąc pod uwagę część ROC, w której Phi>0,35 odpowiada zdefiniowaniu RoI jako części przestrzeni ROC powyżej elipsy. pAUC to pole powyżej elipsy i pod krzywą ROC.

Definiowanie ROI w oparciu o koszt błędnych klasyfikacji

Większość klasyfikatorów binarnych daje błędne klasyfikacje, co skutkuje pewnymi kosztami.

Koszt C błędnych klasyfikacji jest zdefiniowany jako do ${\ Displaystyle C = c_ {FN} FN + c_ {FP} FP}$ , gdzie $\ displaystyle c_ {FN} }$ to koszt jednostkowy wyniku fałszywie ujemnego, to koszt jednostkowy wyniku fałszywie dodatniego, a FN i FP to odpowiednio liczba wyników fałszywie ujemnych $.$

Znormalizowany koszt NC jest zdefiniowany jako $\ Displaystyle NC = {\ Frac {C} {n (c_ {FN} + c_ {FP})}}}$ .

Ustawiając $\ Displaystyle \ lambda = {\ Frac {c_ {FN}} {c_ {FP} + c_ {FN}}}}$ , otrzymujemy ${\ Displaystyle NC = \ lambda \ rho (1-TPR) + (1- \ lambda) (1- \ rho) FPR}$

Średnia NC uzyskana w drodze losowej klasyfikacji to ${\ Displaystyle NC_ {rnd} = {\ Frac {AP \ cdot AN} {n ^ {2}}}}$

Aby ocenić klasyfikator z wyłączeniem występów, których koszt jest większy niż $możliwe$ zdefiniowanie ROI, w którym znormalizowany koszt jest niższy niż $NC_ {rnd}}$ : taki region znajduje się nad linią

${\ Displaystyle {\ Frac {AP \ cdot AN} {n ^ {2}}} = \ lambda \ rho (1-TPR) (1- \ lambda) (1- \ rho) FPR}$

$Displaystyle$$=$ w RoI gdzie =

$również$ zdefiniowanie RoI, $NC$ mniejsze . W takim przypadku dolną granicą ROI jest linia

${\ Displaystyle TPR = {\ Frac {1- \ lambda} {\ lambda}} {\ frac {1-\rho }{\rho }}(FPR-\mu \rho)+1-\mu (1-\rho)}$

Różne wartości definiują ROI w taki sam sposób, jak niektóre z najbardziej znanych wskaźników wydajności: ${\ displaystyle \ lambda}$

• ${\ Displaystyle \ lambda = 0}$ równa się użyciu FPR do wyznaczenia ROI
• ${\ Displaystyle \ lambda = 1- \ rho}$ równa się użyciu precyzji do wyznaczenia ROI
• ${\ Displaystyle \ lambda = 1- {\ Frac {\ rho} {2}}}$ równa się użyciu wyniku F-1 do wyznaczenia ROI
• ${\ Displaystyle \ lambda = 1}$ równa się użyciu TPR do wyznaczenia ROI

Dlatego wybór miernika wydajności jest równoznaczny z wyborem określonej wartości względnego kosztu wyników fałszywie dodatnich w odniesieniu do wyników fałszywie ujemnych. W przestrzeni ROC nachylenie linii reprezentującej stały znormalizowany koszt (stąd stały koszt całkowity) zależy od $lub$ , równoważnie, od używanych metryk wydajności

Powszechną praktyką jest wybieranie jako najlepszą klasyfikację punktu krzywej ROC o najwyższej wartości J =TPR−FPR Youdena. Rozważając koszt związany z błędnymi klasyfikacjami, praktyka ta odpowiada postawieniu hipotezy dotyczącej względnego kosztu wyników fałszywie dodatnich i fałszywie ujemnych, co rzadko jest poprawne.

Jak obliczyć pAUC i RRA

Biblioteki oprogramowania do obliczania pAUC i RRA są dostępne dla Pythona i R .