Konferencja i Laboratoria Forum Ewaluacyjnego
| Konferencja i Laboratoria Forum Ewaluacyjnego | |
|---|---|
 Odblokowanie Dostępu do Informacji
| |
| Skrót | KLUCZ WIOLINOWY |
| Dyscyplina | wyszukiwanie informacji |
| Szczegóły publikacji | |
| Wydawca | Materiały warsztatowe Springera i CEUR |
| Historia | 2000 ; wcześniej znany jako Cross-Language Evaluation Forum od 2000 do 2009 |
| Częstotliwość | coroczny |
| Strona internetowa | |
The Conference and Labs of the Evaluation Forum (dawniej Cross-Language Evaluation Forum ), czyli CLEF , to organizacja promująca badania nad wielojęzycznym dostępem do informacji (obecnie koncentrująca się na językach europejskich ). Do jego specyficznych funkcji należy utrzymywanie podstawowych ram testowania wyszukiwania informacji oraz tworzenie repozytoriów danych dla naukowców do wykorzystania przy opracowywaniu porównywalnych standardów . Organizacja organizuje konferencje co roku we wrześniu w Europie od pierwszych warsztatów w 2000 roku. W latach 1997-1999, TREC , podobna konferencja ewaluacyjna organizowana corocznie w USA, obejmowała ścieżkę ewaluacji Cross-Language IR dla języków europejskich. Ścieżka ta była koordynowana wspólnie przez NIST i grupę europejskich wolontariuszy, która rosła przez lata. Pod koniec 1999 roku część uczestników zdecydowała się przenieść działalność do Europy i założyć ją samodzielnie. Celem było rozszerzenie zasięgu na większą liczbę języków i skupienie się na szerszym zakresie zagadnień, w tym jednojęzycznej ocenie systemu dla języków innych niż angielski. Przez lata CLEF był wspierany przez wiele różnych projektów i inicjatyw finansowanych przez UE.
CLEF 2019 to 20. rocznica konferencji, którą uczczono wydaniem książki na temat wniosków wyciągniętych z 20 lat działań ewaluacyjnych.
Struktura CLEF
Przed 2010 rokiem CLEF był organizowany jako warsztat współlokowany z Europejską Konferencją Bibliotek Cyfrowych , składający się z szeregu laboratoriów lub ścieżek ewaluacyjnych, podobnie jak TREC. W 2010 roku CLEF stał się samowystarczalnie zorganizowaną konferencją z laboratoriami ewaluacyjnymi, warsztatami laboratoryjnymi i główną ścieżką konferencyjną. W 2012 r. INEX, warsztat dotyczący wyszukiwania i dostępu do tekstu strukturalnego, organizowany wcześniej corocznie w Schloß Dagstuhl , połączył się z CLEF, stając się jednym z jego laboratoriów ewaluacyjnych.
Przed każdą konferencją CLEF uczestnicy laboratoriów ewaluacyjnych otrzymują zestaw zadań-wyzwań. Zadania mają na celu przetestowanie różnych aspektów systemów wyszukiwania informacji i zachęcenie do ich rozwoju. Grupy naukowców proponują i organizują kampanie, aby sprostać tym zadaniom, a wyniki służą jako punkt odniesienia dla stanu wiedzy w określonych obszarach.,
Na początku CLEF koncentrował się głównie na dość typowych zadaniach wyszukiwania informacji, ale przeszedł do bardziej szczegółowych zadań. Na przykład zadanie interaktywnego wyszukiwania obrazów z 2005 r. polegało na ilustrowaniu tekstów non-fiction przy użyciu obrazów z serwisu Flickr , a zadanie odzyskiwania danych medycznych z 2010 r. skupiało się na wyszukiwaniu tomografii komputerowej, rezonansu magnetycznego i obrazów radiograficznych. W 2017 r. CLEF zrealizował szereg zadań, np. identyfikację gatunków biologicznych na podstawie zdjęć lub klipów wideo, stylistyczną analizę autorstwa oraz dostęp do informacji związanych ze zdrowiem.
Lista warsztatów i konferencji CLEF
| Rok | Lokalizacja | Notatka | Obrady | Redaktorzy | |
|---|---|---|---|---|---|
| 2000 | Lizbona | Warsztat konstytuujący | Wyszukiwanie i ocena informacji międzyjęzykowych: warsztaty forum oceny międzyjęzykowej (CLEF 2000) | Karol Anny Peters | |
| 2001 | Darmstadt | Ocena międzyjęzykowych systemów wyszukiwania informacji: drugie warsztaty krzyżowego — językowego forum oceny (CLEF 2001) poprawione dokumenty | Carol Ann Peters i Martin Braschler oraz Julio Gonzalo i Martin Kluck | ||
| 2002 | Rzym | Postępy w wyszukiwaniu informacji międzyjęzykowych: Trzecie Warsztaty Krzyża — Forum Oceny Językowej (CLEF 2002) Dokumenty poprawione | Carol Ann Peters i Martin Braschler oraz Julio Gonzalo i Martin Kluck | ||
| 2003 | Trondheim | Ocena porównawcza wielojęzycznych systemów dostępu do informacji: czwarte warsztaty krzyżowe — forum oceny językowej (CLEF 2003) poprawione wybrane artykuły | Carol Ann Peters i Martin Braschler oraz Julio Gonzalo i Martin Kluck | ||
| 2004 | Wanna | Wielojęzyczny dostęp do informacji dotyczących tekstu, mowy i obrazów: Piąte Warsztaty Krzyża — Forum Oceny Językowej (CLEF 2004) Poprawione wybrane dokumenty | Carol Ann Peters i Paul Clough oraz Julio Gonzalo i Gareth JF Jones oraz Martin Kluck i Bernardo Magnini | ||
| 2005 | Wiedeń | Dostęp do wielojęzycznych repozytoriów informacji: Szóste Warsztaty Cross-Language Evaluation Forum (CLEF 2005). Poprawione wybrane artykuły | Carol Ann Peters i Fred C Gey i Julio Gonzalo i Gareth JF Jones i Martin Kluck i Bernardo Magnini i Henning Müller i Maarten de Rijke | ||
| 2006 | Alicante | Ocena wielojęzycznego i multimodalnego wyszukiwania informacji: Siódme warsztaty Forum Oceny Krzyżowo-Językowej (CLEF 2006). Poprawione wybrane artykuły | Carol Ann Peters i Clough, P. i Fred C Gey i Jussi Karlgren oraz Bernardo Magnini i Doug Oard oraz Maarten de Rijke i M Stempfhuber | ||
| 2007 | Budapeszt | Postępy w wielojęzycznym i multimodalnym wyszukiwaniu informacji: ósme warsztaty Cross-Language Evaluation Forum (CLEF 2007). Poprawione wybrane artykuły | Carol Ann Peters i Jijkoun, V. i Mandl, T. i Henning Müller i Oard, DW i Peñas, A. i Petras, V. i Santos, D. | ||
| 2008 | Århus | Ocena systemów wielojęzycznego i multimodalnego dostępu do informacji: dziewiąte warsztaty Cross-Language Evaluation Forum (CLEF 2008). Poprawione wybrane artykuły | Carol Ann Peters i Deselaers, T. i Nicola Ferro oraz Julio Gonzalo i Gareth JF Jones i Kurimo, M. i Mandl, T. i Peñas, A. | ||
| 2009 | Korfu | Wielojęzyczna ocena dostępu do informacji Cz. I Eksperymenty wyszukiwania tekstu — dziesiąte warsztaty krzyżowe — forum oceny języka (CLEF 2009). Poprawione wybrane artykuły | Carol Ann Peters i Di Nunzio, GM i Kurimo, M. i Mandl, T. i Mostefa, D. i Peñas, A. i Roda, G. | ||
| 2010 | Padwa | Pierwsza konferencja | Wielojęzyczna i multimodalna ocena dostępu do informacji. Materiały z Międzynarodowej Konferencji Międzyjęzykowego Forum Oceny (CLEF 2010) | Maristella Agosti i Nicola Ferro oraz Carol Ann Peters i Maarten de Rijke oraz Alan Smeaton | |
| 2011 | Amsterdam | Wielojęzyczna i multimodalna ocena dostępu do informacji. Materiały z drugiej międzynarodowej konferencji Cross-Language Evaluation Forum (CLEF 2011) | Forner, P. i Julio Gonzalo i Kekäläinen, J. i Lalmas, M. i Maarten de Rijke | ||
| 2012 | Rzym | Ocena dostępu do informacji. Wielojęzyczność, multimodalność i analiza wizualna. Materiały z Trzeciej Międzynarodowej Konferencji Inicjatywy CLEF (CLEF 2012) | Catarci, T. i Forner, P. i Hiemstra, D. i Peñas, A. i Santucci, G. | ||
| 2013 | Walencja | Ocena dostępu do informacji spełnia wymagania wielojęzyczności, multimodalności i wizualizacji. Materiały z IV Międzynarodowej Konferencji Inicjatywy CLEF (CLEF 2013) | Forner, P. i Henning Müller oraz Paredes, R. i Rosso, P. i Stein, B. | ||
| 2014 | Sheffield | Ocena dostępu do informacji — wielojęzyczność, multimodalność i interakcja. Materiały z V Międzynarodowej Konferencji Inicjatywy CLEF (CLEF 2014) | Kanoulas, E. i Lupu, M. i Clough, P. i Sanderson, M. i Hall, M. i Hanbury, A. i Toms, E. | ||
| 2015 | Tuluza | Eksperymentalna IR spotyka wielojęzyczność, multimodalność i interakcję. Materiały z VI Międzynarodowej Konferencji Stowarzyszenia CLEF (CLEF 2015) | Mothe, J. i Savoy, J. i Jaap Kamps i Pinel-Sauvagnat, K. i Gareth JF Jones i SanJuan, E. i Cappellato, L. i Nicola Ferro | ||
| 2016 | Evora | Eksperymentalna IR spotyka wielojęzyczność, multimodalność i interakcję. Materiały z VII Międzynarodowej Konferencji Stowarzyszenia CLEF (CLEF 2016) | Fuhr, N. i Quaresma, P. i Goncalves, T. i Larsen, B. i Balog, K. i Macdonald, C. i Cappellato, L. i Nicola Ferro | ||
| 2017 | Dublin | Eksperymentalna IR spotyka wielojęzyczność, multimodalność i interakcję. Materiały z VIII Międzynarodowej Konferencji Stowarzyszenia CLEF (CLEF 2017) | Gareth JF Jones i Lawless, S. i Julio Gonzalo i Kelly, L. i Lorraine Goeuriot oraz Thomas Mandl i Cappellato, L. i Nicola Ferro | ||
| 2018 | Awinion | Eksperymentalna IR spotyka wielojęzyczność, multimodalność i interakcję. Materiały z IX Międzynarodowej Konferencji Stowarzyszenia CLEF (CLEF 2018) | Patrice Bellot, Chiraz Trabelsi, Josiane Mothe, Fionn Murtagh, Jian-Yun Nie, Laure Soulier, Eric SanJuan, Linda Cappellato i Nicola Ferro | ||
| 2019 | Lugano | Eksperymentalna IR spotyka wielojęzyczność, multimodalność i interakcję. Materiały z X Międzynarodowej Konferencji Stowarzyszenia CLEF (CLEF 2019) | Fabio Crestani, Martin Braschler, Jacques Savoy, Andreas Rauber, Henning Müller, David Losada, Gundula Heinatz, Linda Cappellato i Nicola Ferro | ||
| 2020 | Saloniki (wirtualne ze względu na Covid-19) | Eksperymentalna IR spotyka wielojęzyczność, multimodalność i interakcję. Materiały z XI Międzynarodowej Konferencji Stowarzyszenia CLEF (CLEF 2020) | Avi Arampatzis, Evangelos Kanoulas, Theodora Tsikrika, Stefanos Vrochidis, Hideo Joho, Christina Lioma, Carsten Eickhoff, Aurélie Névéol, A., Linda Cappellato i Nicola Ferro | ||
| 2021 | Bukareszt (wirtualny ze względu na Covid-19) | Eksperymentalna IR spotyka wielojęzyczność, multimodalność i interakcję. Materiały z XII Międzynarodowej Konferencji Stowarzyszenia CLEF (CLEF 2021) | K. Selçuk Candan, Bogdan Ionescu, Lorraine Goeuriot, Birger Larsen, Henning Müller, Alexis Joly, Maria Maistro, Florina Piroi, Guglielmo Faggioli i Nicola Ferro |
Linki zewnętrzne