Desajuste de vocabulario

La discrepancia de vocabulario es un fenómeno común en el uso de las lenguas naturales, que ocurre cuando diferentes personas nombran la misma cosa o concepto de manera diferente. También se conoce como problema de vocabulario, brecha de vocabulario, discrepancia de términos o brecha semántica. ^{[ 1 ]}

Furnas et al. (1987) fueron quizás los primeros en estudiar cuantitativamente el problema de la discrepancia de vocabulario. ^{[ 2 ]} Sus resultados muestran que, en promedio, el 80% de las personas diferentes (expertos en el mismo campo) nombrarán la misma cosa de manera diferente. Por lo general, hay decenas de nombres posibles que se pueden atribuir a la misma cosa. Esta investigación motivó el trabajo sobre la indexación semántica latente .

Una fuente de incongruencia léxica son las diferencias en la forma flexiva , como usar una palabra femenina en lugar de una masculina, o una forma plural en lugar de una singular. ^{[ 3 ]} La derivación y la lematización son dos métodos diferentes para abordar esta causa, convirtiendo todas las variaciones de una palabra a una sola forma. ^{[ 3 ]}

La discrepancia de vocabulario también se produce cuando el lenguaje cambia con el tiempo. Por ejemplo, un médico puede buscar artículos sobre " diabetes mellitus tipo 1 " y no encontrar artículos sobre "diabetes juvenil" debido a un cambio en la terminología. ^{[ 1 ]}

La discrepancia de vocabulario entre las consultas creadas por el usuario y los documentos relevantes en un corpus causa el problema de la discrepancia de términos en la recuperación de información . Zhao y Callan (2010) ^{[ 4 ]} fueron quizás los primeros en estudiar cuantitativamente el problema de la discrepancia de vocabulario en un contexto de recuperación. Sus resultados muestran que un término de consulta promedio no aparece en el 30-40% de los documentos relevantes para la consulta del usuario. También demostraron que esta probabilidad de discrepancia es una probabilidad central en uno de los modelos probabilísticos fundamentales de recuperación, el Modelo de Independencia Binaria . Desarrollaron nuevos métodos de predicción de peso de términos que pueden conducir a ganancias de precisión de recuperación de entre el 50% y el 80% en comparación con modelos de recuperación de palabras clave robustos. Investigaciones posteriores en esta línea muestran que los usuarios expertos pueden usar la expansión de la Forma Normal Conjuntiva Booleana para mejorar el rendimiento de la recuperación entre un 50% y un 300% en comparación con las consultas de palabras clave sin expandir. ^{[ 5 ]}

En ingeniería de software , la discrepancia de vocabulario se ha descrito como una barrera para la detección de problemas duplicados. ^{[ 7 ]}