Бағалау форумының конференциясы мен зертханалары - Conference and Labs of the Evaluation Forum
The Бағалау форумының конференциясы мен зертханалары (бұрын Тілдерді бағалау форумы), немесе CLEF, көп тілде зерттеулер жүргізуге ықпал ететін ұйым ақпаратқа қол жетімділік (қазіргі уақытта Еуропалық тілдер ). Оның нақты функциялары тестілеудің базалық негізін сақтау болып табылады ақпаратты іздеу құру және құру репозитарийлер салыстырмалы түрде дамытуда зерттеушілерге арналған мәліметтер стандарттар.[1]Ұйым 2000 жылы алғашқы семинардан бастап Еуропада қыркүйек айында конференция өткізеді. 1997-1999 жж. TREC, АҚШ-та жыл сайын ұйымдастырылатын осындай бағалау конференциясында еуропалық тілдер үшін IR-ті бағалау үшін трек болды. Бұл тректі NIST және Еуропалық еріктілер тобы бірлесіп үйлестірді. 1999 жылдың соңында кейбір қатысушылардың әрекеті Еуропаға ауысып, оны дербес құру туралы шешім қабылданды. Мұндағы мақсат көптеген тілдерді қамтуды кеңейту және кең ауқымды мәселелерге назар аудару, соның ішінде ағылшын тілінен басқа тілдер үшін бір тілді жүйені бағалау болды. Осы жылдар ішінде CLEF Еуропалық Одақ қаржыландыратын бірнеше түрлі жобалар мен бастамалармен қолдау тауып келеді.[2]
CLEF құрылымы
2010 жылға дейін,[3] CLEF семинармен бірге ұйымдастырылды Сандық кітапханалар бойынша Еуропалық конференция, TREC сияқты бірқатар бағалау зертханаларынан немесе тректерден тұрады. 2010 жылы CLEF бағалау зертханалары, зертханалық шеберханалар және негізгі конференция алаңы бар өзін-өзі ұйымдастыратын конференцияға көшті. 2012 жылы INEX, бұрын жыл сайын ұйымдастырылған құрылымдық мәтінді іздеу және қол жетімділік бойынша семинар Schloß Dagstuhl, оны бағалау зертханаларының бірі болу үшін CLEF-пен біріктірілді.
Әрбір CLEF конференциясының алдында бағалау зертханаларына қатысушылар бірқатар күрделі тапсырмаларды алады. Тапсырмалар ақпараттық іздеу жүйелерінің әр түрлі аспектілерін тексеруге және олардың дамуын ынталандыруға арналған. Зерттеушілер тобы осы міндеттерді қанағаттандыру үшін науқан ұйымдастырады және ұйымдастырады, нәтижелері ретінде пайдаланылады эталондар нақты салалардағы техниканың жағдайы үшін.,[4][5]
Бастапқыда CLEF негізінен типтік ақпаратты іздеу міндеттеріне көңіл бөлді, бірақ нақты міндеттерге көшті. Мысалы, 2005 ж. Интерактивті кескін іздеу тапсырмасы суреттерді пайдаланып фантастикалық емес мәтіндерді иллюстрациялаумен жұмыс жасады Flickr [6] және 2010 ж. медициналық іздеу міндеті компьютерлік томография, МРТ және рентгенографиялық бейнелерді алуға бағытталған.[7] 2017 жылы CLEF бірқатар тапсырмаларды орындады, мысалы. фотосуреттерден немесе бейнеклиптерден биологиялық түрлерді анықтау, авторлықтың стилистикалық талдауы және денсаулыққа байланысты ақпаратқа қол жеткізу.
CLEF семинарлары мен конференцияларының тізімі
| Жыл | Орналасқан жері | Ескерту | Іс жүргізу | Редакторлар | |
|---|---|---|---|---|---|
| 2000 | Лиссабон | Құрылыс шеберханасы | Тіларалық ақпаратты іздеу және бағалау: тілдерді бағалау форумының семинары (CLEF 2000) | Кэрол Энн Питерс | |
| 2001 | Дармштадт | Ақпараттық іздеу жүйелерін бағалау: тілдерді бағалау форумының екінші семинары (CLEF 2001) қайта қаралған құжаттар | Кэрол Энн Питерс пен Мартин Брашлер және Хулио Гонсало және Мартин Клак | ||
| 2002 | Рим | Ақпаратты іздеудегі жетістіктер: тілдерді бағалау форумының үшінші семинары (CLEF 2002) қайта қаралған құжаттар | Кэрол Энн Питерс пен Мартин Брашлер және Хулио Гонсало және Мартин Клак | ||
| 2003 | Тронхейм | Ақпаратқа қол жетімділіктің көптілді жүйелерін салыстырмалы бағалау: тілдерді бағалау форумының төртінші семинары (CLEF 2003) қайта қаралған таңдалған құжаттар | Кэрол Энн Питерс пен Мартин Брашлер және Хулио Гонсало және Мартин Клак | ||
| 2004 | Монша | Мәтінге, сөйлеуге және суреттерге көп тілді ақпарат қол жетімділігі: тілдерді бағалау форумының бесінші семинары (CLEF 2004) қайта қаралған таңдалған құжаттар | Кэрол Энн Питерс пен Пол Клоф және Хулио Гонсало және Гарет Дж Ф Джонс пен Мартин Клук және Бернардо Магнини | ||
| 2005 | Вена | Көптілді ақпараттық репозитарийге қол жеткізу: Тілдерді бағалау форумының алтыншы семинары (CLEF 2005). Таңдалған құжаттар қайта қаралды | Кэрол Энн Питерс пен Фред С Гей және Хулио Гонсало және Гарет Дж Ф Джонс пен Мартин Клук және Бернардо Магнини мен Хеннинг Мюллер және Мартен де Райке | ||
| 2006 | Аликанте | Көптілді және көпмодалды ақпаратты іздеуді бағалау: тілдерді бағалау форумының жетінші семинары (CLEF 2006). Таңдалған құжаттар қайта қаралды | Кэрол Энн Питерс пен Клоу, П. мен Фред С Гей және Джусси Карлгрен және Бернардо Магнини мен Даг Оард және Мартен де Райке және M Stempfhuber | ||
| 2007 | Будапешт | Көптілді және мультимодальдық ақпаратты іздеудегі жетістіктер: тілдерді бағалау форумының сегізінші семинары (CLEF 2007). Таңдалған құжаттар қайта қаралды | Кэрол Энн Питерс және Джидкоун, В. және Мандл, Т. және Хеннинг Мюллер және Оард, Д.В. және Пеньяс, А. және Петрас, В. және Сантос, Д. | ||
| 2008 | Hrhus | Көптілді және мультимодальды ақпаратқа қол жеткізу жүйелерін бағалау: тоғызыншы тілдерді бағалау форумының семинары (CLEF 2008). Таңдалған құжаттар қайта қаралды | Кэрол Энн Питерс және Дезелаерс, Т. және Никола Ферро және Хулио Гонсало және Гарет Дж Ф Джонс пен Куримо, М. және Мандл, Т. және Пеньяс, А. | ||
| 2009 | Корфу | Көптілді ақпаратқа қол жетімділікті бағалау І мәтінді іздеу эксперименттері - тілдерді бағалау форумының оныншы семинары (CLEF 2009). Таңдалған құжаттар қайта қаралды | Кэрол Энн Питерс және Ди Нунцио, Дж. Және Куримо, М. және Мандл, Т. және Мостефа, Д. және Пеньяс, А. және Рода, Г. | ||
| 2010 | Падова | Бірінші конференция | Көптілді және мультимодальды ақпаратқа қол жетімділікті бағалау. Халықаралық тілдерді бағалау форумының материалдары (CLEF 2010) | Маристелла Агости және Никола Ферро мен Кэрол Энн Питерс және Мартен де Райке және Алан Смитон | |
| 2011 | Амстердам | Көптілді және мультимодальды ақпаратқа қол жетімділікті бағалау. Тілдерді бағалау форумының екінші халықаралық конференциясының материалдары (CLEF 2011) | Форнер, П. мен Хулио Гонсало және Кекәляйнен, Дж. Және Лальмас, М. және Мартен де Райке | ||
| 2012 | Рим | Ақпаратқа қол жетімділікті бағалау. Көптілділік, мультимодальдық және визуалды талдау. CLEF бастамасының үшінші халықаралық конференциясының материалдары (CLEF 2012) | Катарчи, Т. және Форнер, П. мен Хиемстра, Д. және Пеньяс, А. және Сантуччи, Г. | ||
| 2013 | Валенсия | Ақпаратқа қол жетімділікті бағалау көптілділікке, мультимодальдыққа және визуализацияға сәйкес келеді. CLEF бастамасының төртінші халықаралық конференциясының материалдары (CLEF 2013) | Форнер, П. және Хеннинг Мюллер және Паредез, Р. және Россо, П. және Штейн, Б. | ||
| 2014 | Шеффилд | Ақпаратқа қол жетімділікті бағалау - көптілділік, мультимодальдық және өзара әрекеттесу. CLEF бастамасының бесінші халықаралық конференциясының материалдары (CLEF 2014) | Канулас, Е және Лупу, М. және Клоу, П. және Сандерсон, М. және Холл, М. және Ханбери, А. және Томс, Э. | ||
| 2015 | Тулуза | Эксперименттік ИҚ көптілділік, көпмодальдық және өзара әрекеттесуге жауап береді. CLEF қауымдастығының алтыншы халықаралық конференциясының материалдары (CLEF 2015) | Моте, Дж. Және Савой, Дж. Және Яап Кампс пен Пинель-Сувагнат, К. және Гарет Дж Ф Джонс пен СанДжуан, Э. және Каппеллато, Л. және Никола Ферро | ||
| 2016 | Эвория | Эксперименттік ИҚ көптілділік, көпмодальдық және өзара әрекеттесуге жауап береді. CLEF қауымдастығының жетінші халықаралық конференциясының материалдары (CLEF 2016) | Фюр, Н. және Куаресма, П. және Гонкальвес, Т. және Ларсен, Б. және Балог, К. және Макдональд, С. және Каппеллато, Л. және Никола Ферро | ||
| 2017 | Дублин | Эксперименттік ИҚ көптілділік, көпмодальдық және өзара әрекеттесуге жауап береді. CLEF қауымдастығының сегізінші халықаралық конференциясының материалдары (CLEF 2017) | Гарет Дж Ф Джонс пен Лоулесс, С. және Хулио Гонсало және Келли, Л. және Лотарингия Гюрьот және Томас Мандл мен Каппеллато, Л. және Никола Ферро | ||
| 2018 | Авиньоне | Эксперименттік ИҚ көптілділік, көпмодальдық және өзара әрекеттесуге жауап береді. CLEF қауымдастығының тоғызыншы халықаралық конференциясының материалдары (CLEF 2018) | Патрис Беллот, Шираз Трабелси, Джосиане Моте, Фион Муртаг, Цзян-Юн Ние, Лауре Сульье, Эрик Сан Джуан, Линда Каппеллато және Никола Ферро | ||
| 2019 | Лугано | ... | ... |
Әдебиеттер тізімі
- ^ Питерс, Кэрол; Брашлер, Мартин; Чукри, Халид; Гонсало, Хулио; Клук, Майкл. Ақпараттық іздеу жүйелері үшін бағалаудың болашағы. Тілдерді бағалау форумының екінші семинары, CLEF 2001 ж. CiteSeerX 10.1.1.109.7647.
- ^ Питерс, Кэрол және Мартин Брашлер. «Еуропалық зерттеу хаты: тілдік жүйені бағалау: CLEF науқандары». Ақпараттық ғылымдар және технологиялар қауымдастығының журналы 52.12 (2001): 1067-1072.
- ^ CLEF тарихы 2010 жылға дейін
- ^ «CLEF-тегі арнайы шығарылым». Ақпаратты іздеу. 7 (1–2). 2004. дои:10.1023 / B: INRT.0000009472.59294.f6.
- ^ Фредрик С.Гей, Норико Кандо және Кэрол Питерс «Ақпараттық іздеу: алдағы жол» Ақпаратты өңдеу және басқарут. 41, жоқ. 3, б.415-431 мамыр, 2005, дои:10.1016 / j.ipm.2004.06.006
- ^ Карлгрен, Джусси; Гонсало, Хулио; Клоу, Пол (2006). iclef 2006 шолу: flickr www фотосуреттермен бөлісу репозиторийін іздеу. Тілдерді бағалау форумының жетінші семинары CLEF 2006..
- ^ Мюллер, Хеннинг (20 мамыр 2010). «Медициналық-іздеу тапсырмасы». ImageCLEF - кескін іздеуді тіларалық бағалау. Алынған 27 мамыр 2010.
Сыртқы сілтемелер
| Компьютерлік конференция туралы бұл мақала а бұта. Сіз Уикипедияға көмектесе аласыз оны кеңейту. |