Procesamiento del lenguaje natural

La premisa del PLN simbólico se ilustra a menudo con el experimento mental de la habitación china de John Searle : dada una colección de reglas (por ejemplo, un libro de frases en chino, con preguntas y respuestas correspondientes), el ordenador emula la comprensión del lenguaje natural (u otras tareas de PLN) aplicando esas reglas a los datos con los que se encuentra.

• Década de 1950 : El experimento de Georgetown en 1954 consistió en la traducción automática de más de sesenta oraciones rusas al inglés. Los autores afirmaron que en tres o cinco años la traducción automática sería un problema resuelto. ^{[ 3 ]} Sin embargo, el progreso real fue mucho más lento, y después del informe ALPAC de 1966, que concluyó que diez años de investigación no habían cumplido las expectativas, la financiación para la traducción automática se redujo drásticamente. Se realizaron pocas investigaciones adicionales en traducción automática en Estados Unidos (aunque algunas continuaron en otros lugares, como Japón y Europa ^{[ 4 ]} ) hasta finales de la década de 1980, cuando se desarrollaron los primeros sistemas estadísticos de traducción automática .
• Década de 1960 : Algunos sistemas de procesamiento del lenguaje natural notablemente exitosos desarrollados en la década de 1960 fueron SHRDLU , un sistema de lenguaje natural que funcionaba en " mundos de bloques " restringidos con vocabularios limitados, y ELIZA , una simulación de psicoterapia rogeriana, escrita por Joseph Weizenbaum entre 1964 y 1966. A pesar de utilizar información mínima sobre el pensamiento o la emoción humanos, ELIZA era capaz de producir interacciones que parecían humanas. Cuando el "paciente" superaba la base de conocimientos muy pequeña, ELIZA podía proporcionar una respuesta genérica, por ejemplo, respondiendo a "Me duele la cabeza" con "¿Por qué dices que te duele la cabeza?". El exitoso trabajo de Ross Quillian sobre el lenguaje natural se demostró con un vocabulario de solo veinte palabras, porque eso era todo lo que cabía en la memoria de una computadora en ese momento. ^{[ 5 ]}
• Década de 1970 : Durante la década de 1970, muchos programadores comenzaron a escribir " ontologías conceptuales ", que estructuraban información del mundo real en datos comprensibles para las computadoras. Algunos ejemplos son MARGIE (Schank, 1975), SAM (Cullingford, 1978), PAM (Wilensky, 1978), TaleSpin (Meehan, 1976), QUALM (Lehnert, 1977), Politics (Carbonell, 1979) y Plot Units (Lehnert, 1981). Durante este tiempo, se escribieron los primeros chatbots (por ejemplo, PARRY ).
• Década de 1980 : Los años ochenta y principios de los noventa marcan el apogeo de los métodos simbólicos en el PLN. Las áreas de enfoque de la época incluían la investigación sobre el análisis sintáctico basado en reglas (p. ej., el desarrollo de HPSG como operacionalización computacional de la gramática generativa ), la morfología (p. ej., la morfología de dos niveles ^{[ 6 ]} ), la semántica (p. ej., el algoritmo de Lesk ), la referencia (p. ej., dentro de la Teoría del Centrado ^{[ 7 ]} ) y otras áreas de la comprensión del lenguaje natural (p. ej., en la Teoría de la Estructura Retórica ). Se continuaron otras líneas de investigación, p. ej., el desarrollo de chatbots con Racter y Jabberwacky . Un desarrollo importante (que finalmente condujo al giro estadístico en la década de 1990) fue la creciente importancia de la evaluación cuantitativa en este período. ^{[ 8 ]}

Hasta la década de 1980, la mayoría de los sistemas de procesamiento del lenguaje natural se basaban en conjuntos complejos de reglas escritas a mano. Sin embargo, a partir de finales de la década de 1980, se produjo una revolución en el procesamiento del lenguaje natural con la introducción de algoritmos de aprendizaje automático . Este cambio estuvo influenciado por el aumento de la capacidad computacional (véase la ley de Moore ) y el declive del predominio de las teorías lingüísticas chomskyanas (por ejemplo, la gramática transformacional ), cuyos fundamentos teóricos desalentaban el tipo de lingüística de corpus que subyace al enfoque de aprendizaje automático para el procesamiento del lenguaje. ^{[ 9 ]}

• Década de 1990 : Muchos de los primeros éxitos notables en métodos estadísticos para el procesamiento del lenguaje natural (PLN) se produjeron en el campo de la traducción automática , gracias especialmente al trabajo de IBM Research, como los modelos de alineación de IBM . Estos sistemas pudieron aprovechar los corpus textuales multilingües existentes , creados por el Parlamento de Canadá y la Unión Europea como resultado de leyes que exigían la traducción de todos los procedimientos gubernamentales a todos los idiomas oficiales de los sistemas de gobierno correspondientes. Sin embargo, muchos sistemas dependían de corpus desarrollados específicamente para las tareas para las que fueron diseñados. Esta dependencia ha sido una limitación importante para su eficacia general y sigue afectando a sistemas similares. En consecuencia, gran parte de la investigación se ha centrado en métodos para aprender eficazmente a partir de cantidades limitadas de datos.
• Década de 2000 : Con el crecimiento de la web, desde mediados de la década de 1990 se ha puesto a disposición una cantidad cada vez mayor de datos lingüísticos sin procesar (sin anotar). Por lo tanto, la investigación se ha centrado cada vez más en algoritmos de aprendizaje no supervisado y semisupervisado . Estos algoritmos pueden aprender de datos que no han sido anotados manualmente con las respuestas deseadas o utilizando una combinación de datos anotados y no anotados. Generalmente, esta tarea es mucho más difícil que el aprendizaje supervisado y suele producir resultados menos precisos para una cantidad dada de datos de entrada. Sin embargo, se dispone de grandes cantidades de datos sin anotar (incluido, entre otros, todo el contenido de la World Wide Web ), lo que a menudo puede compensar la menor eficiencia si el algoritmo utilizado tiene una complejidad temporal lo suficientemente baja como para ser práctico.
• 2003: el modelo de n-gramas de palabras , en ese momento el mejor algoritmo estadístico, es superado por un perceptrón multicapa (con una sola capa oculta y una longitud de contexto de varias palabras, entrenado con hasta 14 millones de palabras, por Bengio et al.) ^{[ 10 ].}
• 2010: Tomáš Mikolov (entonces estudiante de doctorado en la Universidad Tecnológica de Brno ) y sus coautores aplicaron una red neuronal recurrente simple con una sola capa oculta al modelado del lenguaje, ^{[ 11 ]} y en los años siguientes desarrolló Word2vec . En la década de 2010, el aprendizaje de representaciones y los métodos de aprendizaje automático de estilo de red neuronal profunda (con muchas capas ocultas) se generalizaron en el procesamiento del lenguaje natural. Este cambio cobró impulso debido a los resultados que mostraron que tales técnicas ^{[ 12 ] [ 13 ]} pueden lograr resultados de vanguardia en muchas tareas de lenguaje natural, por ejemplo, en el modelado del lenguaje ^{[ 14 ]} y el análisis sintáctico. ^{[ 15 ] [ 16 ]} Esto es cada vez más importante en medicina y atención médica , donde el PLN ayuda a analizar notas y texto en registros médicos electrónicos que de otro modo serían inaccesibles para el estudio cuando se busca mejorar la atención ^{[ 17 ]} o proteger la privacidad del paciente. ^{[ 18 ]}

A finales de la década de 1980 y mediados de la de 1990, el enfoque estadístico puso fin a un período de invierno de la IA , causado por las ineficiencias de los enfoques basados ​​en reglas. ^{[ 21 ] [ 22 ]}

Los primeros árboles de decisión , que generaban sistemas de reglas condicionales estrictas , eran todavía muy similares a los antiguos enfoques basados ​​en reglas. Solo la introducción de los modelos ocultos de Markov , aplicados al etiquetado de partes del discurso, anunció el fin del antiguo enfoque basado en reglas.

Una desventaja importante de los métodos estadísticos es que requieren una ingeniería de características elaborada . Desde 2015, ^{[ 23 ]} los métodos basados ​​en redes neuronales han reemplazado cada vez más los enfoques estadísticos tradicionales, utilizando redes semánticas ^{[ 24 ]} e incrustaciones de palabras para capturar propiedades semánticas de las palabras.

Ya no son necesarias las tareas intermedias (por ejemplo, el etiquetado de partes de la oración y el análisis de dependencias).

La traducción automática neuronal , basada en las transformaciones de secuencia a secuencia recientemente inventadas en aquel entonces , dejó obsoletos los pasos intermedios, como la alineación de palabras, que antes eran necesarios para la traducción automática estadística .

Reconocimiento óptico de caracteres (OCR)

Dada una imagen que representa un texto impreso, determine el texto correspondiente.

Reconocimiento de voz

Dado un fragmento de audio de una o varias personas hablando, determine la representación textual del habla. Esto es lo opuesto a la conversión de texto a voz y es uno de los problemas extremadamente difíciles que coloquialmente se denominan " completos para IA " (véase más arriba). En el habla natural, casi no hay pausas entre palabras sucesivas, por lo que la segmentación del habla es una subtarea necesaria del reconocimiento de voz (véase más abajo). En la mayoría de los idiomas hablados, los sonidos que representan letras sucesivas se fusionan entre sí en un proceso denominado coarticulación , por lo que la conversión de la señal analógica a caracteres discretos puede ser un proceso muy difícil. Además, dado que las palabras en un mismo idioma son pronunciadas por personas con diferentes acentos, el software de reconocimiento de voz debe ser capaz de reconocer la amplia variedad de entradas como idénticas entre sí en términos de su equivalente textual.

Segmentación del habla

Dado un fragmento de audio de una o varias personas hablando, separarlo en palabras. Es una subtarea del reconocimiento de voz y normalmente se incluye junto con él.

Conversión de texto a voz

Dado un texto, transforma esas unidades y produce una representación hablada. La conversión de texto a voz puede utilizarse para ayudar a las personas con discapacidad visual. ^{[ 25 ]}

Segmentación de palabras ( Tokenización )

La tokenización es una técnica de procesamiento de texto que divide el texto en palabras individuales o fragmentos de palabras. Esta técnica genera dos componentes clave: un índice de palabras y el texto tokenizado. El índice de palabras es una lista que asigna palabras únicas a identificadores numéricos específicos, y el texto tokenizado reemplaza cada palabra con su token numérico correspondiente. Estos tokens numéricos se utilizan posteriormente en diversos métodos de aprendizaje profundo. ^{[ 26 ]}

Para un idioma como el inglés , esto es bastante trivial, ya que las palabras suelen estar separadas por espacios. Sin embargo, algunos idiomas escritos como el chino , el japonés y el tailandés no marcan los límites de las palabras de esta manera, y en esos idiomas la segmentación de texto es una tarea importante que requiere conocimiento del vocabulario y la morfología de las palabras. A veces, este proceso también se utiliza en casos como la creación de bolsas de palabras (BOW) en minería de datos. ^{[ 27 ] [ 28 ]}

Lematización

La tarea de eliminar únicamente las terminaciones flexivas y devolver la forma base del diccionario de una palabra, también conocida como lema. La lematización es otra técnica para reducir las palabras a su forma normalizada. Pero en este caso, la transformación utiliza un diccionario para asignar las palabras a su forma real. ^{[ 29 ]}

Segmentación morfológica

Separe las palabras en morfemas individuales e identifique la clase de cada morfema. La dificultad de esta tarea depende en gran medida de la complejidad de la morfología ( es decir , la estructura de las palabras) del idioma en cuestión. El inglés tiene una morfología bastante simple, especialmente la morfología flexiva , por lo que a menudo es posible ignorar esta tarea por completo y simplemente modelar todas las formas posibles de una palabra (por ejemplo, "open, opens, opened, opening") como palabras separadas. Sin embargo, en idiomas como el turco o el meitei , un idioma indio altamente aglutinado , este enfoque no es posible, ya que cada entrada del diccionario tiene miles de formas posibles de palabras. ^{[ 30 ]}

Etiquetado de partes de la oración

Dada una oración, determina la categoría gramatical de cada palabra. Muchas palabras, especialmente las comunes, pueden funcionar como varias categorías gramaticales. Por ejemplo, "book" puede ser un sustantivo ("el libro sobre la mesa") o un verbo ("reservar un vuelo"); "set" puede ser un sustantivo, un verbo o un adjetivo ; y "out" puede ser cualquiera de al menos cinco categorías gramaticales diferentes.

Derramamiento

El proceso de reducir palabras flexionadas (o a veces derivadas) a su forma base (por ejemplo, "close" será la raíz de "closed", "closing", "close", "closer", etc.). La derivación produce resultados similares a la lematización, pero se basa en reglas, no en un diccionario.

Inducción gramatical ^{[ 31 ]}

Generar una gramática formal que describa la sintaxis de un idioma.

Desglose de oraciones (también conocido como " desambiguación de límites de oración ")

Dado un fragmento de texto, encuentra los límites de las oraciones. Los límites de las oraciones suelen estar marcados por puntos u otros signos de puntuación , pero estos mismos caracteres pueden tener otros propósitos (por ejemplo, marcar abreviaturas ).

Análisis sintáctico

Determinar el árbol de análisis sintáctico (análisis gramatical) de una oración dada. La gramática de los lenguajes naturales es ambigua y las oraciones típicas tienen múltiples análisis posibles: quizás sorprendentemente, para una oración típica puede haber miles de análisis sintácticos potenciales (la mayoría de los cuales parecerán completamente sin sentido para un humano). Hay dos tipos principales de análisis sintáctico: análisis de dependencias y análisis de constituyentes . El análisis de dependencias se centra en las relaciones entre las palabras de una oración (marcando cosas como objetos primarios y predicados), mientras que el análisis de constituyentes se centra en construir el árbol de análisis sintáctico utilizando una gramática libre de contexto probabilística (PCFG) (véase también gramática estocástica ).

semántica léxica

¿Cuál es el significado computacional de las palabras individuales en contexto?

semántica distribucional

¿Cómo podemos aprender representaciones semánticas a partir de los datos?

Reconocimiento de entidades nombradas (NER)

Dado un flujo de texto, determine qué elementos del texto corresponden a nombres propios, como personas o lugares, y cuál es el tipo de cada uno (p. ej., persona, lugar, organización). Si bien el uso de mayúsculas puede ayudar a reconocer entidades nombradas en idiomas como el inglés, esta información no permite determinar el tipo de entidad nombrada y, en cualquier caso, suele ser imprecisa o insuficiente. Por ejemplo, la primera letra de una oración también se escribe con mayúscula, y las entidades nombradas a menudo abarcan varias palabras, de las cuales solo algunas se escriben con mayúscula. Además, muchos otros idiomas con escrituras no occidentales (p. ej., chino o árabe ) no utilizan mayúsculas, e incluso los idiomas que sí las utilizan pueden no hacerlo de forma consistente para distinguir nombres. Por ejemplo, el alemán escribe con mayúscula todos los sustantivos , independientemente de si son nombres, y el francés y el español no escriben con mayúscula los nombres que funcionan como adjetivos . Esta tarea también se conoce como clasificación de tokens. ^{[ 32 ]}

Análisis de sentimientos (véase también Análisis de sentimientos multimodal )

El análisis de sentimientos implica identificar y clasificar el tono emocional expresado en un texto. Esta técnica consiste en analizar el texto para determinar si el sentimiento expresado es positivo, negativo o neutro. Los modelos de clasificación de sentimientos suelen utilizar entradas como n-gramas de palabras , características de frecuencia de término-frecuencia inversa de documento (TF-IDF), características generadas manualmente o emplean modelos de aprendizaje profundo diseñados para reconocer dependencias tanto a largo como a corto plazo en secuencias de texto. Las aplicaciones del análisis de sentimientos son diversas y abarcan tareas como la categorización de reseñas de clientes en diversas plataformas en línea. ^{[ 26 ]}

Extracción de terminología

El objetivo de la extracción de terminología es extraer automáticamente los términos relevantes de un corpus determinado.

Desambiguación del sentido de las palabras (WSD)

Muchas palabras tienen más de un significado ; debemos seleccionar el que tenga más sentido en el contexto. Para este problema, normalmente se nos proporciona una lista de palabras y sus significados asociados, por ejemplo, de un diccionario o un recurso en línea como WordNet .

Vinculación de entidades

Muchas palabras —normalmente nombres propios— hacen referencia a entidades nombradas ; aquí tenemos que seleccionar la entidad (un individuo famoso, un lugar, una empresa, etc.) a la que se hace referencia en el contexto.

Extracción de relaciones

Dado un fragmento de texto, identifique las relaciones entre las entidades nombradas (por ejemplo, quién está casado con quién).

Análisis semántico

Dado un texto (normalmente una oración), se debe generar una representación formal de su semántica, ya sea como un grafo (por ejemplo, en el análisis sintáctico AMR ) o de acuerdo con un formalismo lógico (por ejemplo, en el análisis sintáctico DRT ). Este desafío suele incluir aspectos de varias tareas de PLN más elementales de la semántica (por ejemplo, etiquetado de roles semánticos, desambiguación del sentido de las palabras) y puede ampliarse para incluir un análisis del discurso completo (por ejemplo, análisis del discurso, correferencia; véase Comprensión del lenguaje natural más adelante).

Etiquetado de roles semánticos (véase también el etiquetado implícito de roles semánticos más adelante)

Dada una sola oración, identifique y desambigüe los predicados semánticos (por ejemplo, marcos verbales ), luego identifique y clasifique los elementos del marco ( roles semánticos ).

Resolución de correferencia

Dada una oración o un fragmento de texto más extenso, determine qué palabras ("menciones") se refieren a los mismos objetos ("entidades"). La resolución de anáforas es un ejemplo específico de esta tarea y se centra en relacionar los pronombres con los sustantivos o nombres a los que se refieren. La tarea más general de resolución de correferencia también incluye la identificación de las llamadas "relaciones de conexión" que involucran expresiones referenciales . Por ejemplo, en una oración como "Entró en la casa de John por la puerta principal", "la puerta principal" es una expresión referencial y la relación de conexión que se debe identificar es el hecho de que la puerta a la que se hace referencia es la puerta principal de la casa de John (y no la de alguna otra estructura a la que también se podría hacer referencia).

Análisis del discurso

Esta rúbrica incluye varias tareas relacionadas. Una de ellas es el análisis del discurso, es decir, identificar la estructura discursiva de un texto coherente, o sea, la naturaleza de las relaciones discursivas entre oraciones (por ejemplo, elaboración, explicación, contraste). Otra posible tarea es reconocer y clasificar los actos de habla en un fragmento de texto (por ejemplo, preguntas de sí o no, preguntas de contenido, enunciados, afirmaciones, etc.).

Etiquetado implícito de roles semánticos

Dada una sola oración, identifique y desambigüe los predicados semánticos (p. ej., marcos verbales ) y sus roles semánticos explícitos en la oración actual (véase Etiquetado de roles semánticos más arriba). Luego, identifique los roles semánticos que no se realizan explícitamente en la oración actual, clasifíquelos en argumentos que se realizan explícitamente en otras partes del texto y aquellos que no están especificados, y resuelva los primeros con respecto al texto local. Una tarea estrechamente relacionada es la resolución de anáforas cero, es decir, la extensión de la resolución de correferencia a lenguas con omisión de pronombres .

Reconocer la implicación textual

Dados dos fragmentos de texto, determine si el hecho de que uno sea verdadero implica el otro, implica la negación del otro, o permite que el otro sea verdadero o falso. ^{[ 33 ]}

Segmentación y reconocimiento de temas

Dado un fragmento de texto, divídalo en segmentos, cada uno de los cuales esté dedicado a un tema, e identifique el tema de cada segmento.

Extracción de argumentos

El objetivo de la minería de argumentos es la extracción e identificación automática de estructuras argumentativas a partir de texto en lenguaje natural con la ayuda de programas informáticos. ^{[ 34 ]} Dichas estructuras argumentativas incluyen la premisa, las conclusiones, el esquema argumentativo y la relación entre el argumento principal y el secundario, o entre el argumento principal y el contraargumento dentro del discurso. ^{[ 35 ] [ 36 ]}

Resumen automático (resumen de texto)

Elaborar un resumen legible de un fragmento de texto. Se utiliza a menudo para resumir textos de un tipo conocido, como artículos de investigación o artículos de la sección financiera de un periódico.

Corrección de errores gramaticales

La detección y corrección de errores gramaticales implica una amplia gama de problemas en todos los niveles del análisis lingüístico (fonología/ortografía, morfología, sintaxis, semántica, pragmática). La corrección de errores gramaticales tiene un gran impacto, ya que afecta a cientos de millones de personas que usan o adquieren el inglés como segunda lengua. Por lo tanto, ha sido objeto de varias tareas compartidas desde 2011. ^{[ 37 ] [ 38 ] [ 39 ]} En lo que respecta a la ortografía, la morfología, la sintaxis y ciertos aspectos de la semántica, y debido al desarrollo de potentes modelos de lenguaje neuronal como GPT-2 , este problema puede considerarse ahora (2019) en gran medida resuelto y se está comercializando en diversas aplicaciones comerciales.

Traducción lógica

Traducir un texto del lenguaje natural a la lógica formal.

Traducción automática (TA)

Traducir automáticamente texto de un idioma humano a otro. Este es uno de los problemas más difíciles y pertenece a una clase de problemas denominados coloquialmente " completos para IA ", es decir, que requieren todos los diferentes tipos de conocimiento que poseen los humanos (gramática, semántica, datos sobre el mundo real, etc.) para resolverse correctamente.

Comprensión del lenguaje natural (CLN)

Convertir fragmentos de texto en representaciones más formales, como estructuras de lógica de primer orden , que sean más fáciles de manipular para los programas informáticos . La comprensión del lenguaje natural implica la identificación de la semántica deseada entre las múltiples semánticas posibles que se pueden derivar de una expresión en lenguaje natural, la cual generalmente adopta la forma de notaciones organizadas de conceptos del lenguaje natural. La introducción y creación de metamodelos y ontologías del lenguaje son soluciones eficientes pero empíricas. Para la construcción de una base de formalización semántica, se espera una formalización explícita de la semántica del lenguaje natural, sin confusiones con supuestos implícitos como el supuesto de mundo cerrado (CWA) frente al supuesto de mundo abierto , o Sí/No subjetivo frente a Verdadero/Falso objetivo. ^{[ 40 ]}

Generación de lenguaje natural (NLG):

Convertir información de bases de datos informáticas o intenciones semánticas a un lenguaje humano legible.

Generación del libro

Aunque no es una tarea de PLN propiamente dicha, sino una extensión de la generación de lenguaje natural y otras tareas de PLN, la creación de libros completos. El primer libro generado por máquina fue creado por un sistema basado en reglas en 1984 (Racter, La barba del policía está a medio construir ). ^{[ 41 ]} La primera obra publicada por una red neuronal se publicó en 2018, 1 the Road , comercializada como novela, contiene sesenta millones de palabras. Ambos sistemas son básicamente modelos de lenguaje elaborados pero sin sentido (libres de semántica) . El primer libro de ciencia generado por máquina se publicó en 2019 (Beta Writer, Baterías de iones de litio , Springer, Cham). ^{[ 42 ]} A diferencia de Racter y 1 the Road , este se basa en el conocimiento fáctico y en el resumen de texto.

Documento IA

Una plataforma de IA para documentos se basa en la tecnología de PLN, lo que permite a usuarios sin experiencia previa en inteligencia artificial, aprendizaje automático o PLN entrenar rápidamente a un ordenador para extraer los datos específicos que necesitan de diferentes tipos de documentos. La IA para documentos con tecnología PLN permite a equipos no técnicos acceder rápidamente a la información oculta en los documentos, por ejemplo, abogados, analistas de negocio y contables. ^{[ 43 ]}

Gestión del diálogo

Sistemas informáticos diseñados para conversar con un ser humano.

Responder preguntas

Dada una pregunta en lenguaje humano, determine su respuesta. Las preguntas típicas tienen una respuesta correcta específica (como "¿Cuál es la capital de Canadá?"), pero a veces también se consideran preguntas abiertas (como "¿Cuál es el sentido de la vida?").

Generación de texto a imagen

Dada una descripción de una imagen, genere una imagen que coincida con la descripción. ^{[ 44 ]}

Generación de texto a escena

Dada una descripción de una escena, genere un modelo 3D de la misma. ^{[ 45 ] [ 46 ]}

Texto a vídeo

Dada una descripción de un video, genera un video que coincida con la descripción. ^{[ 47 ] [ 48 ]}

La mayoría de las aplicaciones de PLN de alto nivel implican aspectos que emulan el comportamiento inteligente y la comprensión aparente del lenguaje natural. En términos más generales, la operacionalización técnica de aspectos cada vez más avanzados del comportamiento cognitivo representa una de las trayectorias de desarrollo de la PLN (véanse las tendencias entre las tareas compartidas de CoNLL más arriba).

La cognición se refiere a "la acción o proceso mental de adquirir conocimiento y comprensión a través del pensamiento, la experiencia y los sentidos". ^{[ 50 ]} La ciencia cognitiva es el estudio científico e interdisciplinario de la mente y sus procesos. ^{[ 51 ]} La lingüística cognitiva es una rama interdisciplinaria de la lingüística, que combina el conocimiento y la investigación tanto de la psicología como de la lingüística. ^{[ 52 ]} Especialmente durante la era del PLN simbólico , el área de la lingüística computacional mantuvo fuertes vínculos con los estudios cognitivos.

Como ejemplo, George Lakoff ofrece una metodología para construir algoritmos de procesamiento del lenguaje natural (PLN) desde la perspectiva de la ciencia cognitiva, junto con los hallazgos de la lingüística cognitiva, ^{[ 53 ]} con dos aspectos definitorios:

1. Aplique la teoría de la metáfora conceptual , explicada por Lakoff como "la comprensión de una idea en términos de otra", que proporciona una idea de la intención del autor. ^{[ 54 ]} Por ejemplo, considere la palabra inglesa big (grande ). Cuando se usa en una comparación ("Ese es un árbol grande"), el autor pretende implicar que el árbol es físicamente grande en relación con otros árboles o con la experiencia del autor. Cuando se usa metafóricamente ("Mañana es un gran día"), el autor pretende implicar importancia . La intención detrás de otros usos, como en "Ella es una gran persona", seguirá siendo algo ambigua tanto para una persona como para un algoritmo cognitivo de PLN sin información adicional.
2. Asignar medidas relativas de significado a una palabra, frase, oración o fragmento de texto basándose en la información presentada antes y después del fragmento de texto que se analiza, por ejemplo, mediante una gramática libre de contexto probabilística (PCFG). La ecuación matemática para dichos algoritmos se presenta en la patente estadounidense 9269353 : ^{[ 55 ]}

${\displaystyle {RMM(token_{N})}={PMM(token_{N})}\times {\frac {1}{2d}}\left(\sum _{i=-d}^{d}{((PMM(token_{N})}\times {PF(token_{Ni},token_{N},token_{N+i}))_{i}}\right)}$

Dónde

RMM es la medida relativa de significado

Un token es cualquier bloque de texto, oración, frase o palabra.

N es el número de tokens que se están analizando.

PMM es la medida probable de significado basada en un corpus

d es la posición no nula del token a lo largo de la secuencia de N tokens.

PF es la función de probabilidad específica de un lenguaje.

Los vínculos con la lingüística cognitiva forman parte del patrimonio histórico del PLN, pero se han abordado con menos frecuencia desde el giro estadístico durante la década de 1990. No obstante, se han explorado enfoques para desarrollar modelos cognitivos hacia marcos técnicamente operacionalizables en el contexto de diversos marcos, p. ej., de gramática cognitiva, ^{[ 56 ]} gramática funcional, ^{[ 57 ]} gramática de construcciones, ^{[ 58 ]} psicolingüística computacional y neurociencia cognitiva (p. ej., ACT-R ), aunque con una adopción limitada en el PLN convencional (medida por la presencia en las principales conferencias ^{[ 59 ]} de la ACL ). Más recientemente, las ideas del PLN cognitivo se han revivido como un enfoque para lograr la explicabilidad , p. ej., bajo la noción de "IA cognitiva". ^{[ 60 ]} Asimismo, las ideas de PLN cognitiva son inherentes a los modelos neuronales PLN multimodal (aunque rara vez se explicitan) ^{[ 61 ]} y a los desarrollos en inteligencia artificial , específicamente herramientas y tecnologías que utilizan enfoques de modelos de lenguaje grandes ^{[ 62 ]} y nuevas direcciones en inteligencia artificial general basada en el principio de energía libre ^{[ 63 ]} por el neurocientífico y teórico británico del University College London Karl J. Friston .