SemEval

Desde sus inicios, la evaluación de la calidad de los algoritmos de desambiguación del sentido de las palabras se había centrado principalmente en la evaluación intrínseca , y «casi no se habían realizado intentos de evaluar los componentes WSD integrados». ^{[ 3 ]} Solo muy recientemente ⁽²⁰⁰⁶⁾ las evaluaciones extrínsecas comenzaron a aportar evidencia del valor de WSD en aplicaciones para usuarios finales. ^{[ 4 ]} Hasta aproximadamente 1990, los debates sobre la tarea de desambiguación del sentido se centraron principalmente en ejemplos ilustrativos en lugar de una evaluación exhaustiva. A principios de la década de 1990 se observaron los comienzos de evaluaciones intrínsecas más sistemáticas y rigurosas, incluyendo una experimentación más formal con pequeños conjuntos de palabras ambiguas. ^{[ 5 ]}

En abril de 1997, Martha Palmer y Marc Light organizaron un taller titulado Etiquetado con semántica léxica: ¿Por qué, qué y cómo? en conjunto con la Conferencia sobre Procesamiento Aplicado del Lenguaje Natural. ^{[ 6 ]} En ese momento, había un claro reconocimiento de que los corpus anotados manualmente habían revolucionado otras áreas del PLN, como el etiquetado de partes de la oración y el análisis sintáctico , y que los enfoques basados ​​en corpus tenían el potencial de revolucionar también el análisis semántico automático. ^{[ 7 ]} Kilgarriff recordó que había "un alto grado de consenso sobre la necesidad de evaluar el campo", y varias propuestas prácticas de Resnik y Yarowsky iniciaron una discusión que condujo a la creación de los ejercicios de evaluación de Senseval. ^{[ 8 ] [ 9 ] [ 10 ]}

Después de SemEval-2010, muchos participantes sienten que el ciclo de 3 años es una espera larga. Muchas otras tareas compartidas como Conference on Natural Language Learning (CoNLL) y Recognizing Textual Entailments (RTE) se llevan a cabo anualmente. Por esta razón, los coordinadores de SemEval dieron la oportunidad a los organizadores de tareas de elegir entre un ciclo de 2 años o uno de 3 años. ^{[ 11 ]} La comunidad de SemEval favoreció el ciclo de 3 años. Aunque los votos dentro de la comunidad de SemEval favorecieron un ciclo de 3 años, los organizadores y coordinadores habían acordado dividir la tarea de SemEval en 2 talleres de evaluación. Esto fue desencadenado por la introducción de la nueva conferencia *SEM . Los organizadores de SemEval pensaron que sería apropiado asociar nuestro evento con la conferencia *SEM y realizar el taller de SemEval junto con la conferencia *SEM. Los organizadores recibieron respuestas muy positivas (de los coordinadores/organizadores de las tareas y de los participantes) sobre la asociación con la conferencia anual *SEM, y 8 tareas se mostraron dispuestas a trasladarse a 2012. Así nacieron SemEval-2012 y SemEval-2013. El plan actual es adoptar un calendario anual para SemEval y asociarlo con la conferencia *SEM, pero no todas las tareas tienen que realizarse cada año. ^{[ 12 ]}

Los ejercicios de SemEval proporcionan un mecanismo para examinar cuestiones del análisis semántico de textos. Los temas de interés no alcanzan el rigor lógico de la semántica computacional formal, que busca identificar y caracterizar los tipos de problemas relevantes para la comprensión humana del lenguaje. El objetivo principal es replicar el procesamiento humano mediante sistemas informáticos. Las tareas (que se muestran a continuación) son desarrolladas por individuos y grupos para abordar problemas identificables, a medida que estos adquieren una forma concreta.

El primer ámbito importante del análisis semántico es la identificación del significado intencionado a nivel de palabra (incluyendo expresiones idiomáticas). Esto se conoce como desambiguación de sentidos (un concepto que está evolucionando, alejándose de la idea de que las palabras tienen sentidos discretos y, en cambio, se caracterizan por su uso, es decir, por su contexto). Las tareas en este ámbito incluyen la desambiguación de muestras léxicas y de palabras completas, la desambiguación multilingüe e interlingüística y la sustitución léxica. Dada la dificultad de identificar los sentidos de las palabras, otras tareas relevantes para este tema incluyen la inducción de sentidos, la adquisición de subcategorizaciones y la evaluación de recursos léxicos.

La segunda área principal del análisis semántico es la comprensión de cómo se relacionan los diferentes elementos oracionales y textuales. Las tareas en esta área incluyen el etiquetado de roles semánticos, el análisis de relaciones semánticas y la resolución de correferencias. Otras tareas abordan cuestiones más especializadas del análisis semántico, como el procesamiento de información temporal, la resolución de metonimias y el análisis de sentimientos. Estas tareas tienen numerosas aplicaciones potenciales, como la extracción de información, la respuesta a preguntas, el resumen de documentos, la traducción automática, la construcción de tesauros y redes semánticas, el modelado del lenguaje, la paráfrasis y el reconocimiento de implicaciones textuales. En cada una de estas aplicaciones potenciales, la contribución de los distintos tipos de análisis semántico constituye el tema de investigación más relevante.

Por ejemplo, en la tarea de inducción del sentido de las palabras y desambiguación , hay tres fases separadas:

1. En la fase de entrenamiento , se pidió a los participantes de la tarea de evaluación que utilizaran un conjunto de datos de entrenamiento para generar los inventarios de sentidos de un conjunto de palabras polisémicas. El conjunto de datos de entrenamiento consistía en un conjunto de sustantivos/verbos polisémicos y las instancias de oraciones en las que aparecían. No se permitieron otros recursos aparte de los componentes de procesamiento del lenguaje natural morfológicos y sintácticos, como analizadores morfológicos , etiquetadores de partes de la oración y analizadores sintácticos .
2. En la fase de prueba , se proporcionó a los participantes un conjunto de pruebas para la subtarea de desambiguación utilizando el inventario de sentidos inducidos de la fase de entrenamiento.
3. En la fase de evaluación , las respuestas de la fase de prueba se evaluaron en un marco supervisado y no supervisado .

La evaluación no supervisada para WSI consideró dos tipos de evaluación: la medida V (Rosenberg y Hirschberg, 2007) y la puntuación F pareada (Artiles et al., 2009). Esta evaluación sigue la evaluación supervisada de la tarea WSI de SemEval-2007 (Agirre y Soroa, 2007).

Las tablas que aparecen a continuación reflejan la evolución del taller desde Senseval hasta SemEval y ofrecen una visión general de qué áreas de la semántica computacional se evaluaron a lo largo de los talleres Senseval/SemEval.

La tarea de desambiguación del sentido de las palabras multilingüe (WSD) se presentó en el taller SemEval-2013. ^{[ 17 ]} Esta tarea tiene como objetivo evaluar sistemas de desambiguación del sentido de las palabras en un escenario multilingüe utilizando BabelNet como su inventario de sentidos. A diferencia de tareas similares como la WSD interlingüe o la tarea de sustitución léxica multilingüe , donde no se especifica un inventario de sentidos fijo, la WSD multilingüe utiliza BabelNet como su inventario de sentidos. Antes del desarrollo de BabelNet, se llevó a cabo una tarea de evaluación de WSD con muestras léxicas bilingües en SemEval-2007 sobre bitextos chino-inglés. ^{[ 18 ]}

La tarea de desambiguación del sentido de las palabras entre idiomas se presentó en el taller de evaluación SemEval-2007 y se volvió a proponer en el taller SemEval-2013. ^{[ 19 ]} Para facilitar la integración de sistemas de desambiguación del sentido de las palabras en otras aplicaciones de procesamiento del lenguaje natural (PLN), como la traducción automática y la recuperación de información multilingüe , se introdujo la tarea de evaluación de desambiguación del sentido de las palabras entre idiomas, un enfoque independiente del idioma y con poco conocimiento para la desambiguación del sentido de las palabras. La tarea es una tarea de desambiguación del sentido de las palabras no supervisada para sustantivos en inglés mediante corpus paralelos. Sigue la variante de muestra léxica de la tarea clásica de desambiguación del sentido de las palabras, restringida a solo 20 sustantivos polisémicos.

Cabe destacar que SemEval-2014 solo tiene dos tareas que eran multilingües/interlingües, a saber: (i) la tarea de Asistente de Escritura en L2 , que es una tarea interlingüe de WSD que incluye inglés, español, alemán, francés y holandés, y (ii) la tarea de Similitud Textual Semántica Multilingüe que evalúa sistemas en textos en inglés y español.

Las principales tareas en la evaluación semántica incluyen las siguientes áreas del procesamiento del lenguaje natural . Se espera que esta lista crezca a medida que el campo avance. ^{[ 20 ]}

La siguiente tabla muestra las áreas de estudio que participaron en Senseval-1 hasta SemEval-2014 (S se refiere a Senseval y SE se refiere a SemEval, por ejemplo, S1 se refiere a Senseval-1 y SE07 se refiere a SemEval2007):

Las tareas de SemEval han generado muchos tipos de anotaciones semánticas, cada una con su propio esquema. En SemEval-2015, los organizadores decidieron agrupar las tareas en varias categorías. Estas categorías se basan en el tipo de anotaciones semánticas que se pretenden lograr. ^{[ 21 ]} A continuación se enumeran los tipos de anotaciones semánticas que se utilizan en los talleres de SemEval:

1. Aprendizaje de relaciones semánticas
2. Preguntas y respuestas
3. Análisis semántico
4. Taxonomía semántica
5. Análisis de sentimientos
6. Similitud de texto
7. Tiempo y espacio
8. Desambiguación e inducción del sentido de las palabras

La asignación de una tarea y su pista es flexible; una tarea podría convertirse en su propia pista, por ejemplo, la tarea de evaluación de taxonomía en SemEval-2015 estaba dentro de la pista de Aprendizaje de Relaciones Semánticas y en SemEval-2016, hay una pista dedicada a la Taxonomía Semántica con una nueva tarea de Enriquecimiento de la Taxonomía Semántica . ^{[ 22 ] [ 23 ]}