Konferencja dotycząca wyszukiwania tekstu

W przypadku innych zastosowań „TREC” patrz TREC (ujednoznacznienie) .
Konferencja Text REtrieval
Text REtrieval Conference TREC logo.png
...w celu zachęcenia do badań nad wyszukiwaniem informacji z dużych zbiorów tekstów.
Skrót TREC
Dyscyplina wyszukiwanie informacji
Szczegóły publikacji
Wydawca NIST
Historia 1992 ; 31 lat temu ( 1992 )
Częstotliwość coroczny
Strona internetowa trec .nist .gov

Konferencja Text REtrieval Conference ( TREC ) to trwająca seria warsztatów skupiających się na liście różnych obszarów lub ścieżek badawczych związanych z wyszukiwaniem informacji (IR) . Jest współsponsorowany przez National Institute of Standards and Technology (NIST) oraz Intelligence Advanced Research Projects Activity (część biura dyrektora National Intelligence ) i rozpoczął się w 1992 roku jako część programu TIPSTER Text . Jego celem jest wspieranie i zachęcanie do badań w społeczności zajmującej się wyszukiwaniem informacji poprzez zapewnianie infrastruktury niezbędnej do oceny metodologii wyszukiwania tekstu na dużą skalę oraz zwiększanie szybkości transferu technologii z laboratorium do produktu .

Protokoły oceny TREC poprawiły wiele technologii wyszukiwania. W badaniu z 2010 roku oszacowano, że „bez TREC internauci w USA spędziliby do 3,15 miliarda dodatkowych godzin korzystając z wyszukiwarek internetowych w latach 1999-2009”. Hal Varian , główny ekonomista Google, napisał, że „Dane TREC ożywiły badania nad wyszukiwaniem informacji. Posiadanie standardowego, szeroko dostępnego i starannie skonstruowanego zestawu danych położyło podwaliny pod dalsze innowacje w tej dziedzinie”.

Każda ścieżka ma wyzwanie, w którym NIST dostarcza uczestniczącym grupom zestawy danych i problemy testowe. W zależności od ścieżki, problemy testowe mogą być pytaniami, tematami lub docelowymi funkcjami, które można wyodrębnić . Wykonywana jest jednolita punktacja, aby systemy mogły być rzetelnie ocenione. Po ocenie wyników, warsztaty zapewniają uczestnikom miejsce do zebrania myśli i pomysłów oraz zaprezentowania obecnych i przyszłych prac badawczych. Konferencja Text Retrieval rozpoczęła się w 1992 roku, była finansowana przez DARPA (US Defence Advanced Research Project) i prowadzona przez NIST. Jego celem było wspieranie badań w społeczności wyszukiwania informacji poprzez zapewnienie infrastruktury niezbędnej do oceny metodologii wyszukiwania tekstu na dużą skalę.

Cele

  • Zachęcaj do wyszukiwania w oparciu o duże zbiory tekstu
  • Zwiększ komunikację między przemysłem, środowiskiem akademickim i rządem, tworząc otwarte forum wymiany pomysłów badawczych
  • Przyspiesz transfer technologii z laboratoriów badawczych do produktów komercyjnych, demonstrując znaczne ulepszenia metod wyszukiwania rzeczywistych problemów
  • Zwiększenie dostępności odpowiednich technik ewaluacji do użytku przez przemysł i środowisko akademickie, w tym rozwój nowych technik ewaluacji, bardziej odpowiednich do obecnych systemów

TREC jest nadzorowany przez komitet programowy składający się z przedstawicieli rządu, przemysłu i środowisk akademickich. Dla każdego TREC NIST dostarcza zestaw dokumentów i pytań. Uczestnicy uruchamiają swój własny system wyszukiwania danych i zwracają do NIST listę odzyskanych dokumentów o najwyższej randze. NIST gromadzi indywidualne wyniki, ocenia odzyskane dokumenty pod kątem poprawności i ocenia wyniki. Cykl TREC kończy się warsztatem, który jest forum wymiany doświadczeń uczestników.

Orzeczenia dotyczące istotności w TREC

TREC stosuje kryterium istotności binarnej, czyli albo dokument jest istotny, albo nieistotny. Ponieważ rozmiar kolekcji TREC jest duży, nie jest możliwe obliczenie bezwzględnej pamięci dla każdego zapytania. Aby ocenić istotność dokumentów w odniesieniu do zapytania, TREC wykorzystuje określoną metodę puli wywołań do obliczania względnej pamięci. Wszystkie istotne dokumenty, które wystąpiły w pierwszej setce dokumentów dla każdego systemu i dla każdego zapytania, są łączone w celu utworzenia puli odpowiednich dokumentów. Przypomnij sobie, jaka jest proporcja puli odpowiednich dokumentów, które jeden system pobrał dla tematu zapytania.

Różne TREC

W 1992 TREC-1 odbył się w NIST. Pierwsza konferencja przyciągnęła 28 grup badaczy ze środowisk akademickich i przemysłowych. Zademonstrował szeroki zakres różnych podejść do wyszukiwania tekstu z dużych zbiorów dokumentów. Wreszcie TREC1 ujawnił fakty, że automatyczne tworzenie zapytań z instrukcji zapytań w języku naturalnym wydaje się działać. Techniki oparte na przetwarzaniu języka naturalnego nie były ani lepsze, ani gorsze od technik opartych na podejściu wektorowym czy probabilistycznym.

TREC2 Odbył się w sierpniu 1993 roku. Uczestniczyło w nim 31 grup badaczy. Zbadano dwa rodzaje pobierania. Pobieranie za pomocą zapytania „ad hoc” i pobieranie za pomocą zapytania „routing”.

W TREC-3 mała grupa eksperymentowała ze zbiorami w języku hiszpańskim, a inne zajmowały się interaktywnym formułowaniem zapytań w wielu bazach danych

TREC-4 skrócili jeszcze bardziej, aby zbadać problemy z bardzo krótkimi wypowiedziami użytkowników

TREC-5 obejmuje zarówno krótkie, jak i długie wersje tematów w celu przeprowadzenia głębszego badania, które rodzaje technik sprawdzają się dobrze w przypadku różnych długości tematów

W TREC-6 wprowadzono trzy nowe ścieżki mowy, języka krzyżowego, wyszukiwania informacji o wysokiej precyzji. Celem wyszukiwania informacji w różnych językach jest ułatwienie badań nad systemami, które są w stanie wyszukać odpowiedni dokument niezależnie od języka dokumentu źródłowego

TREC-7 zawierał siedem ścieżek, z których dwie to nowa ścieżka Query i bardzo duży korpus. Celem ścieżki zapytań było utworzenie dużej kolekcji zapytań

TREC-8 zawiera siedem ścieżek, z czego dwie – odpowiadanie na pytania i ścieżki internetowe były nowością. Celem zapytania QA jest zbadanie możliwości udzielenia odpowiedzi na konkretne zapytania w języku naturalnym

TREC-9 Zawiera siedem utworów

W TREC-10 ścieżki wideo wprowadzono projektowanie ścieżek wideo w celu promowania badań nad wyszukiwaniem treści z cyfrowego wideo na podstawie treści

W TREC-11 Nowość wprowadzono gąsienice. Celem ścieżki nowości jest zbadanie zdolności systemów do lokalizowania istotnych i nowych informacji w uszeregowanym zbiorze dokumentów zwróconych przez tradycyjny system wyszukiwania dokumentów

TREC-12, który odbył się w 2003 roku, dodał trzy nowe utwory; Ścieżka genomu, solidna ścieżka wyszukiwania, HARD (wysoce dokładne pobieranie z dokumentów)

Utwory

Aktualne utwory

Nowe ścieżki są dodawane w miarę identyfikowania nowych potrzeb badawczych, ta lista jest aktualna dla TREC 2018.

  • Ścieżka CENTER - Cel: uruchomić równolegle CLEF 2018, NTCIR-14, TREC 2018 w celu opracowania i dostrojenia protokołu oceny odtwarzalności IR (nowa ścieżka na 2018 r.).
  • Common Core Track - Cel: zadanie przeszukiwania ad hoc dokumentów z wiadomościami.
  • Complex Answer Retrieval (CAR) - Cel: opracowanie systemów zdolnych do odpowiadania na złożone potrzeby informacyjne poprzez gromadzenie informacji z całego korpusu.
  • Incident Streams Track - Cel: zbadanie technologii automatycznego przetwarzania strumieni mediów społecznościowych w sytuacjach awaryjnych (nowa ścieżka dla TREC 2018).
  • The News Track - Cel: współpraca z The Washington Post w celu opracowania kolekcji testowych w środowisku wiadomości (nowość na 2018 rok).
  • Ścieżka medycyny precyzyjnej — cel: specjalizacja ścieżki wspomagania decyzji klinicznych w celu skupienia się na łączeniu danych pacjentów onkologicznych z badaniami klinicznymi.
  • Ścieżka podsumowania w czasie rzeczywistym (RTS) — Cel: zbadanie technik tworzenia podsumowań aktualizacji w czasie rzeczywistym ze strumieni mediów społecznościowych.

Przeszłe utwory

  • Chemical Track — Cel: opracowanie i ocena technologii wyszukiwania na dużą skalę dokumentów związanych z chemią , w tym artykułów naukowych i patentów, w celu lepszego zaspokojenia potrzeb profesjonalnych poszukiwaczy, a zwłaszcza poszukiwaczy patentów i chemików.
  • Ścieżka wspomagania decyzji klinicznych — Cel: zbadanie technik łączenia przypadków medycznych z informacjami istotnymi dla opieki nad pacjentem
  • Ścieżka sugestii kontekstowych — Cel: zbadanie technik wyszukiwania złożonych potrzeb informacyjnych, które w dużym stopniu zależą od kontekstu i zainteresowań użytkownika.
  • crowdsourcingu — cel: zapewnienie wspólnego miejsca do odkrywania metod crowdsourcingu zarówno w celu oceny wyszukiwania, jak i wykonywania zadań wyszukiwania.
  • Genomics Track - Cel: zbadanie odzyskiwania danych genomowych , nie tylko sekwencji genów, ale także dokumentacji pomocniczej, takiej jak artykuły naukowe, raporty laboratoryjne itp. Ostatnio uruchomiono w TREC 2007.
  • Dynamic Domain Track — Cel: zbadanie algorytmów wyszukiwania specyficznych dla domeny, które dostosowują się do dynamicznych potrzeb informacyjnych profesjonalnych użytkowników podczas eksploracji złożonych domen.
  • Ścieżka Enterprise - Cel: przestudiować wyszukiwanie danych organizacji w celu wykonania jakiegoś zadania. Ostatni bieg na TREC 2008.
  • encji — cel: przeprowadzanie wyszukiwania danych sieciowych związanych z encjami. Te zadania wyszukiwania (takie jak znajdowanie jednostek i właściwości jednostek) zaspokajają typowe potrzeby informacyjne, które nie są tak dobrze modelowane jak wyszukiwanie dokumentów ad hoc.
  • Ścieżka międzyjęzykowa — Cel: zbadanie zdolności systemów wyszukiwania do wyszukiwania dokumentów tematycznie niezależnie od języka źródłowego. Po 1999 roku ten utwór przekształcił się w CLEF .
  • FedWeb Track - Cel: wybranie najlepszych zasobów do przekazania zapytania i połączenie wyników, tak aby najbardziej odpowiednie były na górze.
  • Federated Web Search Track - Cel: zbadanie technik selekcji i łączenia wyników wyszukiwania z dużej liczby prawdziwych internetowych usług wyszukiwania.
  • Ścieżka filtrowania — cel: binarne decydowanie o pobieraniu nowych przychodzących dokumentów przy stałej potrzebie informacyjnej .
  • Ścieżka TRUDNA — Cel: osiągnięcie wysokiej dokładności wyszukiwania dokumentów poprzez wykorzystanie dodatkowych informacji o wyszukiwarce i/lub kontekście wyszukiwania.
  • Ścieżka interaktywna — Cel: zbadanie interakcji użytkownika z systemami wyszukiwania tekstu.
  • Ścieżka przyspieszania bazy wiedzy (KBA) - Cel: opracowanie technik radykalnie poprawiających efektywność (ludzkich) kuratorów bazy wiedzy poprzez sugerowanie przez system modyfikacji/rozszerzeń bazy danych na podstawie monitorowania strumieni danych, utworzenie strumienia KBA , organizowany przez Diffeo .
  • Legal Track - Cel: rozwój technologii wyszukiwania spełniającej potrzeby prawników w zakresie skutecznego wyszukiwania w cyfrowych zbiorach dokumentów.
  • LiveQA Track - Cel: generowanie odpowiedzi na prawdziwe pytania pochodzące od prawdziwych użytkowników za pośrednictwem strumienia pytań na żywo w czasie rzeczywistym.
  • Ścieżka dokumentacji medycznej — Cel: zbadanie metod wyszukiwania nieustrukturyzowanych informacji znajdujących się w dokumentacji medycznej pacjenta.
  • Microblog Track - Cel: zbadanie natury potrzeb informacyjnych w czasie rzeczywistym i ich zaspokojenia w kontekście środowisk mikroblogowych, takich jak Twitter.
  • Przetwarzanie języka naturalnego Ścieżka - Cel: zbadanie, w jaki sposób określone narzędzia opracowane przez lingwistów komputerowych mogą poprawić wyszukiwanie.
  • Ścieżka Nowości - Cel: zbadanie zdolności systemów do lokalizowania nowych (tj. nieredundantnych) informacji.
  • Ścieżka OpenSearch — Cel: zbadanie paradygmatu oceny dla IR, który obejmuje rzeczywistych użytkowników wyszukiwarek operacyjnych. Przez pierwszy rok toru zadaniem było wyszukiwanie akademickie ad hoc.
  • Ścieżka odpowiadania na pytania - Cel: uzyskanie większej ilości informacji niż tylko wyszukiwanie dokumentów poprzez odpowiadanie na pytania w stylu faktoidów, list i definicji.
  • Ścieżka podsumowania w czasie rzeczywistym — Cel: zbadanie technik konstruowania podsumowań aktualizacji w czasie rzeczywistym ze strumieni mediów społecznościowych w odpowiedzi na potrzeby informacyjne użytkowników.
  • Robust Retrieval Track – Cel: skupienie się na skuteczności poszczególnych tematów.
  • informacji zwrotnych dotyczących trafności — Cel: dalsza dogłębna ocena procesów uzyskiwania informacji zwrotnych dotyczących trafności.
  • Śledzenie sesji — cel: opracowanie metod pomiaru sesji z wieloma zapytaniami, w przypadku których informacje muszą dryfować lub uzyskać mniej lub bardziej szczegółowe dane w trakcie sesji.
  • spamu — cel: zapewnienie standardowej oceny obecnych i proponowanych podejść do filtrowania spamu .
  • Śledzenie zadań — cel: przetestowanie, czy systemy mogą inicjować możliwe zadania, które użytkownicy mogą próbować wykonać na podstawie zapytania.
  • Temporal Summarization Track - Cel: opracowanie systemów, które pozwolą użytkownikom efektywnie monitorować informacje związane ze zdarzeniem w czasie.
  • Terabyte Track - Cel: zbadanie, czy/w jaki sposób społeczność IR może skalować tradycyjną ocenę opartą na zbiorach testów IR do znacznie dużych kolekcji.
  • Total Recall Track - Cel: ocena metod pozwalających na uzyskanie bardzo wysokiej pamięci, w tym metod, w których w pętli bierze udział osoba oceniająca.
  • Ścieżka wideo — cel: badanie automatycznej segmentacji, indeksowania i wyszukiwania cyfrowych materiałów wideo na podstawie treści . W 2003 roku utwór ten stał się niezależną oceną o nazwie TRECVID
  • Web Track — Cel: zbadanie zachowań związanych z wyszukiwaniem informacji, które są powszechne w ogólnym wyszukiwaniu w Internecie.

Powiązane wydarzenia

W 1997 r. uruchomiono japoński odpowiednik TREC (pierwsze warsztaty w 1999 r.), nazwany NTCIR ( NII Test Collection for IR Systems), aw 2000 r. CLEF , europejski odpowiednik, specjalnie ukierunkowany na badanie wyszukiwania informacji międzyjęzykowych, został wystrzelony. Forum for Information Retrieval Evaluation (FIRE) rozpoczęło się w 2008 roku w celu zbudowania południowoazjatyckiego odpowiednika dla TREC, CLEF i NTCIR,

Wkład konferencyjny w efektywność wyszukiwania

NIST twierdzi, że w ciągu pierwszych sześciu lat warsztatów skuteczność systemów wyszukiwania wzrosła w przybliżeniu dwukrotnie. Konferencja była również pierwszą, na której przeprowadzono zakrojone na szeroką skalę oceny dokumentów innych niż angielski, mowy, wideo i wyszukiwania w różnych językach. Ponadto wyzwania te zainspirowały dużą liczbę publikacji . Technologia opracowana po raz pierwszy w TREC jest obecnie dostępna w wielu komercyjnych wyszukiwarkach na świecie . Niezależny raport RTII wykazał, że „około jednej trzeciej ulepszeń wyszukiwarek internetowych w latach 1999-2009 można przypisać TREC. Te ulepszenia prawdopodobnie pozwoliły zaoszczędzić do 3 miliardów godzin czasu przy korzystaniu z wyszukiwarek internetowych. ... Ponadto, raport wykazał, że z każdego 1 dolara, który NIST i jego partnerzy zainwestowali w TREC, co najmniej 3,35 do 5,07 dolarów zysku przypadło amerykańskim badaczom zajmującym się wyszukiwaniem informacji, zarówno w sektorze prywatnym, jak i w środowisku akademickim”.

Chociaż jedno z badań sugeruje, że stan techniki wyszukiwania ad hoc nie rozwinął się znacząco w ciągu dekady poprzedzającej 2009 r., odnosi się on tylko do wyszukiwania dokumentów istotnych tematycznie w małych wiadomościach i zbiorach internetowych o pojemności kilku gigabajtów. Nastąpił postęp w innych rodzajach wyszukiwania ad hoc. Na przykład kolekcje testowe zostały utworzone do wyszukiwania w sieci znanych elementów, które wykazały ulepszenia wynikające z użycia tekstu zakotwiczenia, wagi tytułu i długości adresu URL, które nie były przydatnymi technikami w starszych zbiorach testowych ad hoc. W 2009 r. wprowadzono nową kolekcję internetową zawierającą miliard stron, a filtrowanie spamu okazało się użyteczną techniką wyszukiwania ad hoc w sieci, w przeciwieństwie do poprzednich kolekcji testowych.

Zbiory testów opracowane w TREC są przydatne nie tylko do (potencjalnego) pomagania naukowcom w rozwijaniu najnowocześniejszych technologii, ale także do umożliwienia twórcom nowych (komercyjnych) produktów wyszukiwania oceny ich skuteczności w standardowych testach. W ostatniej dekadzie firma TREC stworzyła nowe testy do wyszukiwania poczty e-mail w przedsiębiorstwach, wyszukiwania genomicznego, filtrowania spamu, e-Discovery i kilku innych domen wyszukiwania. [ kiedy? ] [ potrzebne źródło ]

Systemy TREC często stanowią punkt odniesienia dla dalszych badań. Przykłady obejmują:

  • Hal Varian , główny ekonomista w Google , mówi, że lepsze dane to lepsza nauka. Historia wyszukiwania informacji dobrze ilustruje tę zasadę” i opisuje wkład TREC.
  • Ścieżka prawna TREC wywarła wpływ na społeczność e-Discovery zarówno w zakresie badań, jak i oceny dostawców komercyjnych.
  • Zespół badaczy IBM buduje IBM Watson (znany również jako DeepQA ), który pokonał najlepszego na świecie Jeopardy! gracze wykorzystali dane i systemy z TREC QA Track jako podstawowe pomiary wydajności.

Udział

Konferencję tworzy zróżnicowana, międzynarodowa grupa badaczy i programistów. W 2003 r. uczestniczyły w nim 93 grupy zarówno ze środowiska akademickiego, jak i przemysłowego z 22 krajów.

Zobacz też

Linki zewnętrzne

Pobrano z „ https://en.wikipedia.org/w/index.php?title=Text_Retrieval_Conference&oldid=1112623438 ”