Modelo de lenguaje

Un modelo de lenguaje de n-gramas es un modelo estadístico del lenguaje que calcula la probabilidad de la siguiente palabra en una secuencia a partir de una ventana de tamaño fijo de palabras anteriores. Si se considera una palabra anterior, es un modelo de bigramas; si son dos palabras, un modelo de trigramas; si son n  −  1 palabras, un modelo de n -gramas. ^{[ 14 ]}

Se introducen marcadores especiales para indicar el inicio y el final de una oración.${\displaystyle \langle s\rangle }$y${\displaystyle \langle /s\rangle }$Para evitar que se asigne una probabilidad cero a las palabras no vistas, la probabilidad de cada palabra vista se reduce ligeramente para dejar espacio a las palabras no vistas en un corpus dado . Para lograr esto, se utilizan varios métodos de suavizado , desde el suavizado simple de "sumar uno" (asignar un recuento de 1 a los n -gramas no vistos, como una distribución a priori no informativa ) hasta técnicas más sofisticadas, como el descuento de Good-Turing o los modelos de retroceso .

Los modelos de n- gramas de palabras han sido reemplazados en gran medida por modelos basados ​​en redes neuronales recurrentes , que a su vez han sido reemplazados por modelos basados ​​en Transformer , a menudo denominados modelos de lenguaje grandes . ^{[ 15 ]}

El modelo de lenguaje skip-gram es un intento de superar el problema de escasez de datos que enfrentaba el modelo anterior (es decir, el modelo de lenguaje word n- gram). Las palabras representadas en un vector de incrustación ya no eran necesariamente consecutivas, sino que podían dejar huecos que se omitían (de ahí el nombre "skip-gram"). ^{[ 16 ]}

Formalmente, un k -skip- n -grama es una subsecuencia de longitud n donde los componentes aparecen a una distancia máxima de k entre sí.

Por ejemplo, en el texto de entrada:

La lluvia en España cae principalmente en la llanura.

El conjunto de 1-skip-2-gramas incluye todos los bigramas (2-gramas) y, además, las subsecuencias.

la en , lluvia España , en cae , España principalmente , cae en , principalmente la , y en llanura .

En el modelo skip-gram, las relaciones semánticas entre palabras se representan mediante combinaciones lineales , capturando una forma de composicionalidad . Por ejemplo, en algunos de estos modelos, si v es la función que asigna una palabra w a su representación vectorial n -dimensional, entonces

$${\displaystyle v(\mathrm {rey} )-v(\mathrm {masculino} )+v(\mathrm {femenino} )\approx v(\mathrm {reina} )}$$

donde ≈ se precisa al estipular que su lado derecho debe ser el vecino más cercano del valor del lado izquierdo. ^{[ 17 ] [ 18 ]}

Un modelo de lenguaje grande (LLM, por sus siglas en inglés) es un modelo de IA (generalmente una red neuronal ) entrenado con una gran cantidad de texto para tareas de procesamiento del lenguaje natural , especialmente la generación de lenguaje . Los LLM suelen generar, resumir, traducir y analizar texto en muchos contextos, y son una tecnología fundamental para los chatbots modernos . ^{[ 21 ]} Los datos de entrenamiento sesgados o inexactos pueden hacer que la salida de un LLM sea menos fiable. ^{[ 22 ]}

Los LLM se basan típicamente en la arquitectura de transformadores . ^{[ 23 ]} Los transformadores generativos preentrenados (GPT) son un tipo de LLM que se preentrena para predecir la siguiente palabra. ^{[ 24 ]} Los GPT a menudo se ajustan para seguir instrucciones y comportarse como asistentes. ^{[ 25 ]}

Las evaluaciones de referencia para los LLM intentan medir el razonamiento del modelo , la precisión fáctica, la alineación y la seguridad . ^{[ 26 ]}