Średnia wzajemna ranga
Średni stopień odwrotności jest miarą statystyczną służącą do oceny dowolnego procesu, który tworzy listę możliwych odpowiedzi na próbkę zapytań, uporządkowaną według prawdopodobieństwa poprawności. Wzajemna ranga odpowiedzi na zapytanie jest multiplikatywną odwrotnością rangi pierwszej poprawnej odpowiedzi: 1 za pierwsze miejsce, 1 / 2 za drugie miejsce, 1 / 3 za trzecie miejsce i tak dalej. Średnia ranga odwrotności to średnia rang odwrotności wyników dla próby zapytań Q:
gdzie odnosi się do pozycji rangi pierwszego dokumentu dla i tego zapytania.
Odwrotność średniej rangi odwrotności odpowiada średniej harmonicznej rang.
Przykład
Załóżmy na przykład, że mamy następujące trzy przykładowe zapytania dla systemu, który próbuje przetłumaczyć angielskie słowa na ich liczbę mnogą. W każdym przypadku system dokonuje trzech zgadnięć, z których pierwszy jest tym, który według niego jest najprawdopodobniej poprawny:
| Zapytanie | Proponowane wyniki | Prawidłowa odpowiedź | Ranga | Wzajemna ranga |
|---|---|---|---|---|
| kot | kocie, kocie, koty | koty | 3 | 1/3 |
| torus | torii, tori , torusy | tori | 2 | 1/2 |
| wirus | wirusy , wirusy, wirusy | wirusy | 1 | 1 |
Biorąc pod uwagę te trzy próbki, moglibyśmy obliczyć średnią odwrotną rangę jako (1/3 + 1/2 + 1)/3 = 11/18, czyli około 0,61.
Jeśli żaden z proponowanych wyników nie jest poprawny, odwrotność rangi wynosi 0. Należy zauważyć, że pod uwagę brana jest tylko ranga pierwszej odpowiedniej odpowiedzi, możliwe dalsze istotne odpowiedzi są ignorowane. Jeśli użytkownicy są zainteresowani również innymi istotnymi pozycjami, potencjalną alternatywną miarą jest średnia średnia precyzja .