Parafraseo (lingüística computacional)

Barzilay y Lee ^{[ 5 ]} propusieron un método para generar paráfrasis mediante el uso de corpus paralelos monolingües , es decir, artículos de noticias que cubren el mismo evento en el mismo día. El entrenamiento consiste en utilizar la alineación de secuencias múltiples para generar paráfrasis a nivel de oración a partir de un corpus sin anotar. Esto se hace mediante

• encontrar patrones recurrentes en cada corpus individual, es decir " X (lesionados/heridos) Y personas, Z gravemente", donde X, Y, Z son variables
• encontrar emparejamientos entre tales patrones que representan paráfrasis, es decir " X (herido/lesionado) a Y personas, Z gravemente" y " Y fueron (heridos/lesionados) por X , entre ellos Z estaban en estado grave"

Esto se logra agrupando primero oraciones similares mediante la superposición de n-gramas . Se encuentran patrones recurrentes dentro de los grupos mediante la alineación de secuencias múltiples. Luego, se determina la posición de las palabras clave al encontrar áreas de alta variabilidad dentro de cada grupo, es decir, entre palabras compartidas por más del 50 % de las oraciones del grupo. Posteriormente, se encuentran emparejamientos entre patrones comparando palabras variables similares entre diferentes corpus. Finalmente, se pueden generar nuevas paráfrasis seleccionando un grupo que coincida con una oración de origen y luego sustituyendo el argumento de la oración de origen en cualquier número de patrones dentro del grupo.

La paráfrasis también puede generarse mediante la traducción basada en frases, como propusieron Bannard y Callison-Burch. ^{[ 6 ]} El concepto principal consiste en alinear frases en un idioma de referencia para producir posibles paráfrasis en el idioma original. Por ejemplo, la frase "under control" en una oración en inglés se alinea con la frase "unter kontrolle" en su equivalente en alemán. La frase "unter kontrolle" se encuentra luego en otra oración en alemán, siendo la frase en inglés alineada "in check", una paráfrasis de "under control".

La distribución de probabilidad se puede modelar como${\displaystyle \Pr(e_{2}|e_{1})}$, la frase de probabilidad${\displaystyle e_{2}}$es una paráfrasis de${\displaystyle e_{1}}$, lo cual es equivalente a${\displaystyle \Pr(e_{2}|f)\Pr(f|e_{1})}$resumido sobre todo${\displaystyle f}$, una posible traducción de frase en el idioma pivote. Además, la oración${\displaystyle e_{1}}$se agrega como un prior para agregar contexto a la paráfrasis. Por lo tanto, la paráfrasis óptima,${\displaystyle {\sombrero {e_{2}}}}$puede modelarse como:

${\displaystyle {\hat {e_{2}}}={\text{arg}}\max _{e_{2}\neq e_{1}}\Pr(e_{2}|e_{1},S)={\text{arg}}\max _{e_{2}\neq e_{1}}\sum _{f}\Pr(e_{2}|f,S)\Pr(f|e_{1},S)}$

${\displaystyle \Pr(e_{2}|f)}$y${\displaystyle \Pr(f|e_{1})}$se pueden aproximar simplemente tomando sus frecuencias. Añadiendo${\displaystyle S}$como una distribución a priori se modela calculando la probabilidad de formar la${\displaystyle S}$cuando${\displaystyle e_{1}}$se sustituye por${\displaystyle e_{2}}$.

Se ha logrado el éxito utilizando modelos de memoria a corto y largo plazo (LSTM) para generar paráfrasis. ^{[ 7 ]} En resumen, el modelo consta de un componente codificador y un decodificador, ambos implementados mediante variaciones de una LSTM residual apilada. Primero, la LSTM de codificación toma como entrada una codificación one-hot de todas las palabras de una oración y produce un vector oculto final, que puede representar la oración de entrada. La LSTM de decodificación toma como entrada el vector oculto y genera una nueva oración, que termina en un token de fin de oración. El codificador y el decodificador se entrenan para tomar una frase y reproducir la distribución one-hot de una paráfrasis correspondiente minimizando la perplejidad mediante un descenso de gradiente estocástico simple . Se generan nuevas paráfrasis al introducir una nueva frase en el codificador y pasar la salida al decodificador.

Con la introducción de los modelos Transformer , los enfoques de generación de paráfrasis mejoraron su capacidad para generar texto al escalar los parámetros de la red neuronal y paralelizar fuertemente el entrenamiento a través de capas de alimentación directa . ^{[ 8 ]} Estos modelos son tan fluidos en la generación de texto que los expertos humanos no pueden identificar si un ejemplo fue escrito por un humano o generado por una máquina. ^{[ 9 ]} La generación de paráfrasis basada en Transformer se basa en métodos de autoencoder , autorregresivos o de secuencia a secuencia . Los modelos de autoencoder predicen candidatos de reemplazo de palabras con una distribución one-hot sobre el vocabulario, mientras que los modelos autorregresivos y seq2seq generan texto nuevo basado en la fuente prediciendo una palabra a la vez. ^{[ 10 ] [ 11 ]} También existen esfuerzos más avanzados para hacer que la paráfrasis sea controlable de acuerdo con dimensiones de calidad predefinidas, como la preservación semántica o la diversidad léxica. ^{[ 12 ]} Muchos métodos de generación de paráfrasis basados ​​en Transformer se basan en el aprendizaje no supervisado para aprovechar grandes cantidades de datos de entrenamiento y escalar sus métodos. ^{[ 13 ] [ 14 ]}

^{Socher et al. [ 1 ]} intentaron el reconocimiento de paráfrasis mediante el uso de autoencoders recursivos . El concepto principal consiste en generar una representación vectorial de una oración y sus componentes utilizando un autoencoder de forma recursiva. Las representaciones vectoriales de las paráfrasis deben ser similares; se procesan y se introducen como entrada en una red neuronal para su clasificación.

Dada una oración${\displaystyle W}$con${\displaystyle m}$palabras, el autoencoder está diseñado para tomar 2${\displaystyle n}$incrustaciones de palabras de -dimensiones como entrada y producen una${\displaystyle n}$Vector de dimensión como salida. El mismo autoencoder se aplica a cada par de palabras en${\displaystyle S}$producir${\displaystyle \lfloor m/2\rfloor }$El autoencoder se aplica recursivamente con los nuevos vectores como entradas hasta obtener un único vector. Si el número de entradas es impar, el primer vector se pasa tal cual al siguiente nivel de recursión. El autoencoder se entrena para reproducir todos los vectores del árbol de recursión completo, incluyendo las incrustaciones de palabras iniciales.

Dadas dos oraciones${\displaystyle W_{1}}$y${\displaystyle W_{2}}$de longitud 4 y 3 respectivamente, los autoencoders producirían 7 y 5 representaciones vectoriales incluyendo las incrustaciones de palabras iniciales. Luego se toma la distancia euclidiana entre cada combinación de vectores en${\displaystyle W_{1}}$y${\displaystyle W_{2}}$para producir una matriz de similitud${\displaystyle S\in \mathbb {R} ^{7\times 5}}$.${\displaystyle S}$Luego se somete a una capa de min-pooling dinámica para producir un tamaño fijo.${\displaystyle n_{p}\times n_{p}}$matriz. Desde${\displaystyle S}$no son uniformes en tamaño entre todas las oraciones posibles,${\displaystyle S}$se divide en${\displaystyle n_{p}}$secciones aproximadamente iguales. La salida se normaliza para tener una media de 0 y una desviación estándar de 1, y se introduce en una capa totalmente conectada con una salida softmax . El modelo de agrupación dinámica a softmax se entrena utilizando pares de paráfrasis conocidas.

Los vectores de salto de pensamiento son un intento de crear una representación vectorial del significado semántico de una oración, de manera similar al modelo skip-gram . ^{[ 15 ]} Los vectores de salto de pensamiento se producen mediante el uso de un modelo de salto de pensamiento que consta de tres componentes clave: un codificador y dos decodificadores. Dado un corpus de documentos, el modelo de salto de pensamiento se entrena para tomar una oración como entrada y codificarla en un vector de salto de pensamiento. El vector de salto de pensamiento se utiliza como entrada para ambos decodificadores; uno intenta reproducir la oración anterior y el otro la oración siguiente en su totalidad. El codificador y el decodificador pueden implementarse mediante el uso de una red neuronal recursiva (RNN) o una LSTM .

Dado que las paráfrasis comparten el mismo significado semántico, deberían tener vectores de pensamiento omitido similares. Por lo tanto, se puede entrenar una regresión logística simple con buenos resultados utilizando como entrada la diferencia absoluta y el producto componente a componente de dos vectores de pensamiento omitido.

De forma similar a como los modelos Transformer influyeron en la generación de paráfrasis, su aplicación en la identificación de paráfrasis demostró un gran éxito. Modelos como BERT pueden adaptarse con una capa de clasificación binaria y entrenarse de extremo a extremo en tareas de identificación. ^{[ 16 ] [ 17 ]} Los Transformers logran resultados sólidos al transferir entre dominios y técnicas de parafraseo en comparación con métodos de aprendizaje automático más tradicionales como la regresión logística . Otros métodos exitosos basados ​​en la arquitectura Transformer incluyen el uso de aprendizaje adversario y metaaprendizaje . ^{[ 18 ] [ 19 ]}