Incrustaciones de palabras

En el procesamiento del lenguaje natural , una incrustación de palabra es una representación de una palabra. La incrustación se utiliza en el análisis de texto . Normalmente, la representación es un vector de valores reales que codifica el significado de la palabra de tal manera que se espera que las palabras que están más cerca en el espacio vectorial tengan significados similares. ^{[ 1 ]} Las incrustaciones de palabras se pueden obtener utilizando técnicas de modelado del lenguaje y aprendizaje de características , donde las palabras o frases del vocabulario se asignan a vectores de números reales .

Los métodos para generar este mapeo incluyen redes neuronales , ^{[ 2 ]} reducción de dimensionalidad en la matriz de coocurrencia de palabras , ^{[ 3 ] [ 4 ] [ 5 ]} modelos probabilísticos, ^{[ 6 ]} método de base de conocimiento explicable, ^{[ 7 ]} y representación explícita en términos del contexto en el que aparecen las palabras. ^{[ 8 ]}

Se ha demostrado que las incrustaciones de palabras y frases, cuando se utilizan como representación de entrada subyacente, mejoran el rendimiento en tareas de PLN como el análisis sintáctico ^{[ 9 ]} y el análisis de sentimientos . ^{[ 10 ]}

En la semántica distribucional , un enfoque metodológico cuantitativo para comprender el significado en el lenguaje observado, los modelos de incrustación de palabras o de espacio de características semánticas se han utilizado como representación del conocimiento durante algún tiempo. ^{[ 11 ]} Dichos modelos buscan cuantificar y categorizar las similitudes semánticas entre elementos lingüísticos basándose en sus propiedades distribucionales en grandes muestras de datos lingüísticos. La idea subyacente de que "una palabra se caracteriza por la compañía que frecuenta" fue propuesta en un artículo de 1957 por John Rupert Firth , ^{[ 12 ]} pero también tiene raíces en el trabajo contemporáneo sobre sistemas de búsqueda ^{[ 13 ]} y en la psicología cognitiva. ^{[ 14 ]}

La noción de un espacio semántico con elementos léxicos (palabras o términos multipalabra) representados como vectores o incrustaciones se basa en los desafíos computacionales de capturar características distribucionales y utilizarlas para la aplicación práctica para medir la similitud entre palabras, frases o documentos completos. La primera generación de modelos de espacio semántico es el modelo de espacio vectorial para la recuperación de información. ^{[ 15 ] [ 16 ] [ 17 ]} Estos modelos de espacio vectorial para palabras y sus datos distribucionales implementados en su forma más simple dan como resultado un espacio vectorial muy disperso de alta dimensionalidad (cf. maldición de la dimensionalidad ). La reducción del número de dimensiones utilizando métodos algebraicos lineales como la descomposición en valores singulares condujo a la introducción del análisis semántico latente a finales de la década de 1980 y el enfoque de indexación aleatoria para recopilar contextos de coocurrencia de palabras. ^{[ 18 ] [ 19 ] [ 20 ] [ 21 ]} En 2000, Bengio et al. proporcionado en una serie de artículos titulados "Modelos de lenguaje probabilísticos neuronales" para reducir la alta dimensionalidad de las representaciones de palabras en contextos mediante "el aprendizaje de una representación distribuida para las palabras". ^{[ 22 ] [ 23 ] [ 24 ]}

Un estudio publicado en NeurIPS (NIPS) 2002 introdujo el uso de incrustaciones de palabras y documentos aplicando el método de CCA de kernel a corpus bilingües (y multilingües), proporcionando también un ejemplo temprano de aprendizaje autosupervisado de incrustaciones de palabras. ^{[ 25 ]}

Las incrustaciones de palabras vienen en dos estilos diferentes, uno en el que las palabras se expresan como vectores de palabras que coocurren, y otro en el que las palabras se expresan como vectores de contextos lingüísticos en los que aparecen; estos diferentes estilos se estudian en Lavelli et al., 2004. ^{[ 26 ]} Roweis y Saul publicaron en Science cómo usar la " incrustación lineal local " (LLE) para descubrir representaciones de estructuras de datos de alta dimensión. ^{[ 27 ]} La mayoría de las nuevas técnicas de incrustación de palabras después de aproximadamente 2005 se basan en una arquitectura de red neuronal en lugar de modelos más probabilísticos y algebraicos, después del trabajo fundamental realizado por Yoshua Bengio ^{[ 28 ]} y colegas. ^{[ 29 ] [ 30 ]}

Este enfoque ha sido adoptado por muchos grupos de investigación tras los avances teóricos realizados en 2010 sobre la calidad de los vectores y la velocidad de entrenamiento del modelo, así como después de que los avances en hardware permitieran explorar un espacio de parámetros más amplio de forma rentable. En 2013, un equipo de Google liderado por Tomas Mikolov creó word2vec , un conjunto de herramientas de incrustación de palabras que puede entrenar modelos de espacio vectorial más rápido que los enfoques anteriores. El enfoque word2vec se ha utilizado ampliamente en experimentación y fue fundamental para despertar el interés por las incrustaciones de palabras como tecnología, desplazando la línea de investigación de la investigación especializada a la experimentación más amplia y, finalmente, allanando el camino para la aplicación práctica. ^{[ 31 ]}

Históricamente, una de las principales limitaciones de los modelos de incrustaciones de palabras estáticas o de espacio vectorial de palabras es que las palabras con múltiples significados se fusionan en una sola representación (un solo vector en el espacio semántico). En otras palabras, la polisemia y la homonimia no se manejan adecuadamente. Por ejemplo, en la oración "¡El club que probé ayer fue genial!", no está claro si el término " club" se relaciona con el significado de " sándwich club" , "casa club " , " palo de golf" o cualquier otro significado que pueda tener. La necesidad de acomodar múltiples significados por palabra en diferentes vectores (incrustaciones multisensoriales) es la motivación de varias contribuciones en PLN para dividir las incrustaciones monosensoriales en multisensoriales. ^{[ 32 ] [ 33 ]}

La mayoría de los enfoques que producen incrustaciones multisentido se pueden dividir en dos categorías principales para su representación del sentido de las palabras, es decir, no supervisadas y basadas en el conocimiento. ^{[ 34 ]} Basado en word2vec skip-gram, Multi-Sense Skip-Gram (MSSG) ^{[ 35 ]} realiza discriminación de sentido de palabra e incrustación simultáneamente, mejorando su tiempo de entrenamiento, mientras asume un número específico de sentidos para cada palabra. En Non-Parametric Multi-Sense Skip-Gram (NP-MSSG) este número puede variar dependiendo de cada palabra. Combinando el conocimiento previo de bases de datos léxicas (por ejemplo, WordNet , ConceptNet , BabelNet ), incrustaciones de palabras y desambiguación de sentido de palabra , Most Suitable Sense Annotation (MSSA) ^{[ 36 ]} etiqueta los sentidos de las palabras a través de un enfoque no supervisado y basado en el conocimiento, considerando el contexto de una palabra en una ventana deslizante predefinida. Una vez desambiguadas las palabras, se pueden utilizar en una técnica estándar de incrustación de palabras, lo que produce incrustaciones multisentimentales. La arquitectura MSSA permite que el proceso de desambiguación y anotación se realice de forma recurrente y con auto-mejora. ^{[ 37 ]}

Se sabe que el uso de incrustaciones multisensoriales mejora el rendimiento en varias tareas de PLN, como el etiquetado de partes del discurso , la identificación de relaciones semánticas, la relación semántica , el reconocimiento de entidades nombradas y el análisis de sentimientos. ^{[ 38 ] [ 39 ]}

A finales de la década de 2010, se desarrollaron incrustaciones contextualmente significativas como ELMo y BERT . ^{[ 40 ]} A diferencia de las incrustaciones de palabras estáticas, estas incrustaciones se encuentran a nivel de token, ya que cada ocurrencia de una palabra tiene su propia incrustación. Estas incrustaciones reflejan mejor la naturaleza multisensorial de las palabras, porque las ocurrencias de una palabra en contextos similares se sitúan en regiones similares del espacio de incrustación de BERT. ^{[ 41 ] [ 42 ]}

Asgari y Mofrad propusieron incrustaciones de palabras para n- gramas en secuencias biológicas (por ejemplo, ADN , ARN y proteínas ) para aplicaciones bioinformáticas . ^{[ 43 ]} Denominadas biovectores (BioVec) para referirse a secuencias biológicas en general, con vectores de proteínas (ProtVec) para proteínas (secuencias de aminoácidos) y vectores de genes (GeneVec) para secuencias de genes, esta representación puede utilizarse ampliamente en aplicaciones de aprendizaje profundo en proteómica y genómica . Los resultados presentados por Asgari y Mofrad ^{[ 43 ]} sugieren que los BioVectores pueden caracterizar secuencias biológicas en términos de interpretaciones bioquímicas y biofísicas de los patrones subyacentes.

^{Rabii y Cook [ 44 ]} propusieron el uso de incrustaciones de palabras con aplicaciones en el diseño de juegos como una forma de descubrir mecánicas de juego emergentes a partir de registros de datos de juego. El proceso requiere transcribir las acciones que ocurren durante un juego en un lenguaje formal y luego usar el texto resultante para crear incrustaciones de palabras. Los resultados presentados por Rabii y Cook ^{[ 44 ]} sugieren que los vectores resultantes pueden capturar el conocimiento experto sobre juegos como el ajedrez que no está explícitamente indicado en las reglas del juego.

La idea se ha extendido a incrustaciones de oraciones completas o incluso documentos, por ejemplo, en forma del concepto de vectores de pensamiento . En 2015, algunos investigadores sugirieron los "vectores de pensamiento omitido" como un medio para mejorar la calidad de la traducción automática . ^{[ 45 ]} Un enfoque más reciente y popular para representar oraciones es Sentence-BERT, o SentenceTransformers, que modifica BERT preentrenado con el uso de estructuras de red siamesa y triplete. ^{[ 46 ]}

El software para entrenar y usar incrustaciones de palabras incluye Word2vec de Tomáš Mikolov , GloVe de la Universidad de Stanford , ^{[ 47 ]} GN-GloVe, ^{[ 48 ]} incrustaciones de Flair, ^{[ 38 ]} ELMo de AllenNLP , ^{[ 49 ]} BERT , ^{[ 50 ]} fastText , Gensim , ^{[ 51 ]} Indra, ^{[ 52 ]} y Deeplearning4j . El análisis de componentes principales (PCA), la aproximación y proyección de variedades uniformes (UMAP) y la incrustación estocástica de vecinos distribuidos en T (t-SNE) se utilizan para reducir la dimensionalidad de los espacios vectoriales de palabras y visualizar incrustaciones y clústeres de palabras . ^{[ 53 ] [ 54 ]}

Las incrustaciones de palabras pueden contener los sesgos y estereotipos presentes en el conjunto de datos de entrenamiento, como señalan Bolukbasi et al. en el artículo de 2016 «¿Hombre es a programador informático como mujer es a ama de casa? Eliminando el sesgo de las incrustaciones de palabras», donde una incrustación word2vec disponible públicamente (y popular), entrenada con textos de Google News (un corpus de datos de uso común) que consiste en textos escritos por periodistas profesionales, aún muestra asociaciones de palabras desproporcionadas que reflejan sesgos de género y raciales al extraer analogías de palabras. ^{[ 56 ]} Por ejemplo, una de las analogías generadas utilizando la incrustación de palabras mencionada es «hombre es a programador informático como mujer es a ama de casa». ^{[ 57 ] [ 58 ]}

Las investigaciones realizadas por Jieyu Zhao et al. demuestran que la aplicación de estas incrustaciones de palabras entrenadas sin una supervisión cuidadosa probablemente perpetúa los sesgos existentes en la sociedad, los cuales se introducen a través de datos de entrenamiento sin modificar. Además, las incrustaciones de palabras pueden incluso amplificar estos sesgos. ^{[ 59 ] [ 60 ]}

• Integración (aprendizaje automático)
• Agrupamiento marrón
• Base de datos distribucional-relacional