Konferencja dotycząca rozumienia wiadomości
Konferencje Message Understanding Conference ( MUC ) dla komputerów i informatyki zostały zainicjowane i sfinansowane przez DARPA (Agencję Zaawansowanych Projektów Badawczych w Obronie), aby zachęcić do rozwoju nowych i lepszych metod ekstrakcji informacji . Charakter tego konkursu, konkurowanie ze sobą wielu równoległych zespołów badawczych, wymagał wypracowania standardów ewaluacji, np. przyjęcia miar takich jak precyzja i zapamiętanie .
Tematy i ćwiczenia
Tylko dla pierwszej konferencji (MUC-1) uczestnik mógł wybrać format wyjściowy dla wyodrębnionych informacji. Od drugiej konferencji ustalono format wyjściowy, według którego oceniane będą systemy uczestników. Dla każdego tematu podano pola, które należało wypełnić informacjami z tekstu. Typowymi polami były np. przyczyna, sprawca, czas i miejsce zdarzenia, skutki itp. Liczba pól rosła z konferencji na konferencję.
dodano zadanie rozpoznawania nazwanych podmiotów i korelacji . Dla wskazanego podmiotu wszystkie frazy w tekście miały być oznaczone jako osoba, lokalizacja, organizacja, czas lub ilość.
Tematy i źródła tekstowe, które zostały przetworzone, pokazują ciągłe przechodzenie od tematów wojskowych do cywilnych, co odzwierciedla zmianę zainteresowania biznesu ekstrakcją informacji zachodzącą w tym czasie.
Konferencja | Rok | Źródło tekstu | Temat (domena) |
---|---|---|---|
MUC-1 | 1987 | Tysiąc. raporty | Operacje Floty |
MUC-2 | 1989 | Tysiąc. raporty | Operacje Floty |
MUC-3 | 1991 | Doniesienia prasowe | Działania terrorystyczne w Ameryce Łacińskiej |
MUC-4 | 1992 | Doniesienia prasowe | Działania terrorystyczne w Ameryce Łacińskiej |
MUC-5 | 1993 | Doniesienia prasowe | Korporacyjne spółki joint venture, produkcja mikroelektroniki |
MUC-6 | 1995 | Doniesienia prasowe | Negocjacje sporów pracowniczych i sukcesja zarządów przedsiębiorstw |
MUC-7 | 1997 | Doniesienia prasowe | Katastrofy samolotów i starty rakiet/pocisków |
Literatura
- Ralph Grishman, Beth Sundheim: Konferencja dotycząca rozumienia wiadomości — 6: Krótka historia. W: Proceedings of the 16th International Conference on Computational Linguistics (COLING), I, Kopenhaga, 1996, 466–471.
Zobacz też
Linki zewnętrzne