Historia del procesamiento del lenguaje natural

La historia del procesamiento del lenguaje natural describe los avances en este campo . Existe cierta superposición con la historia de la traducción automática , la historia del reconocimiento de voz y la historia de la inteligencia artificial .

La historia de la traducción automática se remonta al siglo XVII, cuando filósofos como Leibniz y Descartes propusieron códigos que relacionaran palabras entre idiomas. Todas estas propuestas permanecieron en el plano teórico y ninguna llegó a desarrollarse como una máquina real.

Las primeras patentes para "máquinas de traducción" se solicitaron a mediados de la década de 1930. Una propuesta, de Georges Artsrouni , consistía simplemente en un diccionario bilingüe automático que utilizaba cinta de papel . La otra propuesta, de Peter Troyanskii , un ruso, era más detallada. La propuesta de Troyanskii incluía tanto el diccionario bilingüe como un método para tratar los roles gramaticales entre idiomas, basado en el esperanto . ^{[ 1 ] [ 2 ]}

En 1950, Alan Turing publicó su famoso artículo " Máquinas de computación e inteligencia ", en el que propuso lo que hoy se conoce como la prueba de Turing como criterio de inteligencia. Este criterio se basa en la capacidad de un programa informático para suplantar la identidad de un ser humano en una conversación escrita en tiempo real con un juez humano, con la suficiente precisión como para que el juez no pueda distinguir de forma fiable  —basándose únicamente en el contenido de la conversación—  entre el programa y un ser humano real.

En 1957, Estructuras sintácticas de Noam Chomsky revolucionó la lingüística con su « gramática universal », un sistema de estructuras sintácticas basado en reglas. ^{[ 3 ]}

El experimento de Georgetown de 1954 consistió en la traducción automática de más de sesenta oraciones rusas al inglés. Los autores afirmaron que, en tres o cinco años, la traducción automática sería un problema resuelto. ^{[ 4 ]} Sin embargo, el progreso real fue mucho más lento, y tras el informe ALPAC de 1966, que concluyó que diez años de investigación no habían cumplido las expectativas, la financiación para la traducción automática se redujo drásticamente. Se realizaron pocas investigaciones adicionales en traducción automática hasta finales de la década de 1980, cuando se desarrollaron los primeros sistemas estadísticos de traducción automática .

Algunos sistemas de PLN de notable éxito desarrollados en la década de 1960 fueron SHRDLU , un sistema de lenguaje natural que funcionaba en " mundos de bloques " restringidos con vocabularios restringidos.

En 1969, Roger Schank introdujo la teoría de la dependencia conceptual para la comprensión del lenguaje natural. ^{[ 5 ]} Este modelo, influenciado en parte por el trabajo de Sydney Lamb , fue ampliamente utilizado por los estudiantes de Schank en la Universidad de Yale , como Robert Wilensky, Wendy Lehnert y Janet Kolodner .

En 1970, William A. Woods introdujo la red de transición aumentada (ATN) para representar la entrada de lenguaje natural. ^{[ 6 ]} En lugar de reglas de estructura de frases, las ATN utilizaban un conjunto equivalente de autómatas de estados finitos que se llamaban recursivamente. Las ATN y su formato más general, denominado "ATN generalizadas", continuaron utilizándose durante varios años. Durante la década de 1970, muchos programadores comenzaron a escribir "ontologías conceptuales", que estructuraban la información del mundo real en datos comprensibles para la computadora. Algunos ejemplos son MARGIE (Schank, 1975), SAM (Cullingford, 1978), PAM (Wilensky, 1978), TaleSpin (Meehan, 1976), QUALM (Lehnert, 1977), Politics (Carbonell, 1979) y Plot Units (Lehnert, 1981). Durante este tiempo, se crearon muchos chatbots , entre ellos PARRY , Racter y Jabberwacky .

Hasta la década de 1980, la mayoría de los sistemas de PLN se basaban en conjuntos complejos de reglas escritas a mano. Sin embargo, a partir de finales de la década de 1980, se produjo una revolución en PLN con la introducción de algoritmos de aprendizaje automático para el procesamiento del lenguaje. Esto se debió tanto al aumento constante de la capacidad computacional resultante de la ley de Moore como a la disminución gradual del predominio de las teorías lingüísticas chomskyanas (por ejemplo, la gramática transformacional ), cuyos fundamentos teóricos desalentaban el tipo de lingüística de corpus que subyace al enfoque de aprendizaje automático para el procesamiento del lenguaje. ^{[ 7 ]} Algunos de los primeros algoritmos de aprendizaje automático utilizados, como los árboles de decisión , producían sistemas de reglas condicionales estrictas similares a las reglas escritas a mano existentes. Sin embargo, cada vez más, la investigación se ha centrado en modelos estadísticos , que toman decisiones probabilísticas flexibles basadas en la asignación de ponderaciones de valor real a las características que componen los datos de entrada. Los modelos de lenguaje en caché en los que se basan muchos sistemas de reconocimiento de voz actuales son ejemplos de dichos modelos estadísticos. Estos modelos suelen ser más robustos cuando se les proporciona información de entrada desconocida, especialmente información que contiene errores (como es muy común en los datos del mundo real), y producen resultados más fiables cuando se integran en un sistema más amplio que comprende múltiples subtareas.

Los modelos de lenguaje neuronales se desarrollaron en la década de 1990. En 1990, la red de Elman , utilizando una red neuronal recurrente , codificó cada palabra de un conjunto de entrenamiento como un vector, llamado incrustación de palabra , y todo el vocabulario como una base de datos vectorial , lo que le permitió realizar tareas como predicciones de secuencias que están más allá del alcance de un perceptrón multicapa simple . Una limitación de las incrustaciones estáticas era que no diferenciaban entre los múltiples significados de los homónimos . ^{[ 10 ]}

Yoshua Bengio desarrolló el primer modelo de lenguaje probabilístico neuronal en 2000. ^{[ 11 ]} Los algoritmos novedosos, la disponibilidad de conjuntos de datos más grandes y una mayor capacidad de procesamiento hicieron posible el entrenamiento de modelos de lenguaje cada vez más grandes.

El mecanismo de atención fue introducido por Bahdanau et al. en 2014. ^{[ 12 ]} Este trabajo sentó las bases para el famoso artículo "Attention Is All You Need" ^{[ 13 ]} que introdujo la arquitectura Transformer en 2017. El concepto de modelo de lenguaje grande (LLM) surgió a finales de la década de 2010. Un LLM es un modelo de lenguaje entrenado con aprendizaje autosupervisado en una gran cantidad de texto. Los primeros LLM públicos tenían cientos de millones de parámetros ^{[ 14 ]} , pero este número aumentó rápidamente a miles de millones e incluso billones. ^{[ 15 ]}

En los últimos años, los avances en el aprendizaje profundo y los grandes modelos de lenguaje han mejorado significativamente las capacidades del procesamiento del lenguaje natural, lo que ha dado lugar a aplicaciones generalizadas en áreas como la atención médica, el servicio al cliente y la generación de contenido. ^{[ 16 ]}

• Crevier, Daniel (1993). IA: La tumultuosa búsqueda de la inteligencia artificial . Nueva York, NY: BasicBooks. ISBN 0-465-02997-3.
• McCorduck, Pamela (2004), Máquinas que piensan (2.ª  ed.), Natick, MA: AK Peters, Ltd., ISBN 978-1-56881-205-2, OCLC 52197627 .
• Russell, Stuart J.; Norvig , Peter (2003), Inteligencia artificial: un enfoque moderno (2.ª  ed.), Upper Saddle River, Nueva Jersey: Prentice Hall, ISBN 0-13-790395-2.