Desambiguación clásica del sentido de las palabras en un idioma monolingüe

Las tareas clásicas de evaluación de desambiguación del sentido de las palabras monolingües utilizan WordNet como su inventario de sentidos y se basan en gran medida en la clasificación supervisada / semisupervisada con corpus anotados manualmente en el sentido: ^{[ 1 ]}

• El sistema WSD de inglés clásico utiliza Princeton WordNet como inventario de sentidos y la entrada de clasificación principal normalmente se basa en el corpus SemCor .
• La WSD clásica para otros idiomas utiliza sus respectivos WordNet como inventarios de sentidos y corpus anotados de sentidos etiquetados en sus respectivos idiomas. A menudo, los investigadores también recurren al corpus SemCor y alinean los bitextos con el inglés como idioma de origen .

Durante el primer taller de Senseval se adoptó el inventario de sentidos HECTOR. La razón para adoptar un inventario de sentidos previamente desconocido fue principalmente evitar el uso de inventarios de sentidos de palabras populares y detallados (como WordNet), que podrían hacer que los experimentos fueran injustos o sesgados. Sin embargo, dada la falta de cobertura de dichos inventarios, desde el segundo taller de Senseval se ha adoptado el inventario de sentidos WordNet. Los ejercicios de desambiguación de sentidos de palabras (WSD) requieren un diccionario para especificar los sentidos de las palabras que se van a desambiguar y un corpus de datos lingüísticos para desambiguar. WordNet es el ejemplo más popular de inventario de sentidos. La razón para adoptar la base de datos HECTOR durante Senseval-1 fue que el inventario WordNet ya estaba disponible públicamente. ^{[ 2 ]}

La comparación de métodos se puede dividir en 2 grupos según la cantidad de palabras a analizar. La diferencia radica en la cantidad de análisis y procesamiento:

• La tarea de desambiguar todas las palabras implica desambiguar todas las palabras del texto.
• La muestra léxica consiste en desambiguar algunas palabras objetivo previamente elegidas.

Se asume que la primera ofrece una evaluación más realista, aunque requiere pruebas de resultados muy laboriosas. Inicialmente, solo se utilizó la segunda en la evaluación, pero posteriormente se incluyó la primera.

Los organizadores de las muestras léxicas debían elegir aquellas en las que se probarían los sistemas. Una crítica a las primeras incursiones en la evaluación de la discriminación de palabras con muestras léxicas es que la muestra léxica se había elegido según el criterio del experimentador (o para que coincidiera con las selecciones de experimentadores anteriores). Para English Senseval, se diseñó un marco de muestreo en el que las palabras se clasificaron según su frecuencia (en el BNC) y su nivel de polisemia (en WordNet). Además, se debatió el problema del etiquetado de partes de la oración de inclusión y se decidió que las muestras debían ser palabras con una categoría gramatical conocida y algunos indeterminados (por ejemplo, 15 tareas de sustantivos, 13 tareas de verbos, 8 adjetivos y 5 indeterminados).

For comparison purposes, known, yet simple, algorithms named baselines are used. These include different variants of Lesk algorithm or most frequent sense algorithm.

During the evaluation of WSD systems two main performance measures are used:

• Precision: the fraction of system assignments made that are correct
• Recall: the fraction of total word instances correctly assigned by a system

If a system makes an assignment for every word, then precision and recall are the same, and can be called accuracy. This model has been extended to take into account systems that return a set of senses with weights for each occurrence.

• Word sense disambiguation
• Other variants of WSD evaluations
• Word sense
• WordNet
• SemEval