Conferencia y laboratorios del Foro de Evaluación

La Conferencia y los Laboratorios del Foro de Evaluación (anteriormente Foro de Evaluación Multilingüe ), o CLEF , es una organización que promueve la investigación en el acceso a la información multilingüe (actualmente centrada en lenguas europeas ). Sus funciones específicas son mantener un marco subyacente para probar sistemas de recuperación de información y crear repositorios de datos para que los investigadores los utilicen en el desarrollo de estándares comparables . ^{[ 1 ]} La organización celebra una conferencia cada septiembre en Europa desde un primer taller constituyente en 2000. De 1997 a 1999, TREC , la conferencia de evaluación similar organizada anualmente en EE. UU., incluyó una sección para la evaluación de IR multilingüe para lenguas europeas. Esta sección fue coordinada conjuntamente por NIST y por un grupo de voluntarios europeos que creció con los años. A finales de 1999, algunos de los participantes decidieron trasladar la actividad a Europa y establecerla de forma independiente. El objetivo era ampliar la cobertura a un mayor número de lenguas y centrarse en una gama más amplia de cuestiones, incluida la evaluación de sistemas monolingües para lenguas distintas del inglés. A lo largo de los años, CLEF ha recibido el apoyo de varios proyectos e iniciativas financiados por la UE. ^{[ 2 ]}

CLEF 2019 marcó el 20 aniversario de la conferencia y se celebró con la publicación de un libro ^{[ 3 ]} sobre las lecciones aprendidas en 20 años de actividades de evaluación.

Antes de 2010, ^{[ 4 ]} CLEF se organizaba como un taller que se celebraba junto con la Conferencia Europea sobre Bibliotecas Digitales , y constaba de varios laboratorios o sesiones de evaluación, de forma similar a TREC. En 2010, CLEF pasó a ser una conferencia autoorganizada con laboratorios de evaluación, talleres de laboratorio y una sesión principal de la conferencia. En 2012, INEX, un taller sobre recuperación y acceso a texto estructurado, que anteriormente se organizaba anualmente en Schloß Dagstuhl , se fusionó con CLEF para convertirse en uno de sus laboratorios de evaluación.

Antes de cada conferencia CLEF, los participantes en los laboratorios de evaluación reciben un conjunto de tareas desafiantes. Estas tareas están diseñadas para probar diversos aspectos de los sistemas de recuperación de información y fomentar su desarrollo. Grupos de investigadores proponen y organizan campañas para completar dichas tareas, y los resultados se utilizan como puntos de referencia para el estado del arte en las áreas específicas. ^{[ 5 ] [ 6 ]}

Al principio, CLEF se centró principalmente en tareas de recuperación de información bastante típicas, pero luego pasó a tareas más específicas. Por ejemplo, la tarea de búsqueda interactiva de imágenes de 2005 trabajaba con la ilustración de textos de no ficción usando imágenes de Flickr ^{[ 7 ]} y la tarea de recuperación médica de 2010 se centró en la recuperación de imágenes de tomografía computarizada, resonancia magnética y radiografías. ^{[ 8 ]} En 2017, CLEF abarcó varias tareas, por ejemplo, sobre la identificación de especies biológicas a partir de fotografías o videoclips, sobre el análisis estilístico de la autoría y sobre el acceso a información relacionada con la salud.

• Página principal de CLEF
• Historia de CLEF antes de 2010