loro estocástico

Después de que el artículo fue presentado para su consideración en la Conferencia ACM 2021 , Google solicitó a Gebru que retirara el artículo de la conferencia o que eliminara los nombres de los empleados de Google del mismo. ^{[ 5 ]} Gebru se negó a hacerlo sin más discusión y envió un correo electrónico a la vicepresidenta de Google Research, Megan Kacholia, indicando que si la empresa no podía explicar la solicitud de retractación y abordar otras preocupaciones relacionadas con proyectos similares, planeaba renunciar después de un período de transición, afirmando que podían "trabajar en una fecha límite". ^{[ 6 ]} Al día siguiente, el 2 de diciembre de 2020, Gebru recibió un correo electrónico que decía que Google estaba "aceptando su renuncia". ^{[ 3 ]} Su despido abrupto provocó protestas de los empleados de Google y publicidad negativa para la empresa. ^{[ 7 ]}

En la mente de un ser humano, las palabras y el lenguaje corresponden a cosas que uno ha experimentado. ^{[ 13 ]} Para los LLM, según los defensores de la teoría, las palabras corresponden solo a otras palabras y patrones de uso introducidos en sus datos de entrenamiento. ^{[ 14 ] [ 15 ] [ 4 ]} Los defensores de la idea de los loros estocásticos concluyen, por lo tanto, que las afirmaciones sobre los LLM se deben a "la tendencia humana a atribuir significado al texto", ^{[ 4 ]} y afirman que esto ocurre a pesar de que los LLM en realidad no entienden el lenguaje. ^{[ 14 ] [ 4 ]}

Kelsey Piper argumentó que la afirmación de que los LLM son loros estocásticos o meros "predictores del siguiente token" se centra en el preentrenamiento, ignorando que los LLM modernos también se ajustan para seguir instrucciones y preferir respuestas precisas. ^{[ 16 ]}

La tendencia de los LLM a presentar información falsa como un hecho se sostiene como apoyo. ^{[ 13 ]} Llamadas alucinaciones o confabulaciones, los LLM ocasionalmente sintetizan información que coincide con algún patrón. ^{[ 14 ] [ 15 ] [ 13 ]} Los LLM pueden no distinguir entre hechos y ficción, lo que lleva a la afirmación de que no pueden conectar palabras con una comprensión del mundo, como lo hacen los humanos. ^{[ 14 ] [ 13 ]} Además, los LLM pueden no descifrar casos gramaticales complejos o ambiguos que dependen de la comprensión del significado del lenguaje. ^{[ 14 ] [ 15 ]} Por ejemplo: ^{[ 14 ]}

El periódico mojado que se cayó de la mesa es mi periódico favorito. Pero ahora que despidieron al editor de mi periódico favorito, puede que ya no me guste leerlo. ¿Puedo reemplazar «mi periódico favorito» por «el periódico mojado que se cayó de la mesa» en la segunda oración?

GPT-4 , un LLM lanzado en marzo de 2023, respondió afirmativamente, sin comprender que el significado de "periódico" es diferente en estos dos contextos; primero es un objeto y segundo una institución. ^{[ 14 ]}

Un argumento en contra de la hipótesis de que los LLM son loros estocásticos son sus resultados en pruebas de referencia para el razonamiento, el sentido común y la comprensión del lenguaje. En 2023, algunos LLM mostraron buenos resultados en muchas pruebas de comprensión del lenguaje, como la Super General Language Understanding Evaluation (SuperGLUE). ^{[ 15 ] [ 17 ]} GPT-4 obtuvo una puntuación en el percentil >90 en el Uniform Bar Examination y logró una precisión del 93 % en la prueba de referencia MATH de problemas de la Olimpiada de secundaria, resultados que superan las expectativas de la memorización de patrones. ^{[ 18 ]} Estas pruebas, y la fluidez de muchas respuestas de los LLM, ayudan a que hasta el 51 % de los profesionales de IA crean que realmente pueden comprender el lenguaje con suficientes datos, según una encuesta de 2022. ^{[ 15 ]}

Algunos investigadores de IA cuestionan la idea de que los modelos de lenguaje natural simplemente "repitan" sus datos de entrenamiento.

Geoffrey Hinton , figura pionera en redes neuronales, argumenta que la metáfora malinterpreta el requisito previo para una predicción lingüística precisa. Sostiene que «para predecir la siguiente palabra con exactitud, hay que comprender la oración», una postura que presentó en el programa 60 Minutes en 2023. ^{[ 19 ]} Desde esta perspectiva, la comprensión no es una alternativa a la predicción estadística, sino una propiedad emergente necesaria para realizarla eficazmente a gran escala. Hinton también utiliza acertijos lógicos para demostrar que los modelos de lenguaje natural (LLM) sí comprenden el lenguaje. ^{[ 20 ]}

Una investigación de Scientific American de 2024 describió un taller cerrado en Berkeley donde modelos de última generación resolvieron problemas matemáticos novedosos de nivel 4 y produjeron demostraciones coherentes, lo que indica capacidades de razonamiento que van más allá de la memorización. ^{[ 21 ]}

El informe técnico de GPT-4 mostró resultados a nivel humano en exámenes profesionales y académicos (por ejemplo, el Uniform Bar Exam y el USMLE ), desafiando la caracterización de "loro". ^{[ 18 ]}

Anthropic realizó una investigación sobre la interpretabilidad mecanicista de Claude , utilizando grafos de atribución para identificar circuitos . La investigación mostró cómo el LLM procesa la información mediante cadenas de inferencia lógica difusa e indicó una capacidad de planificación anticipada. Descubrieron que Claude 3.5 Haiku «emplea abstracciones notablemente generales», forma «planes generados internamente para sus resultados futuros» y «trabaja hacia atrás a partir de sus objetivos a largo plazo». Observaron que «los mecanismos del modelo aparentemente solo pueden describirse fielmente utilizando un grafo causal abrumadoramente grande». También descubrieron que el modelo incluye «mecanismos que podrían subyacer a una forma simple de metacognición », en el sentido de que «piensa en» el nivel de su propio conocimiento antes de llegar a su respuesta. ^{[ 22 ]}

Otra línea de evidencia en contra de la afirmación del "loro estocástico" proviene de la interpretabilidad mecanicista , un campo de investigación dedicado a la ingeniería inversa de los modelos de lógica difusa (MLD) para comprender su funcionamiento interno. En lugar de limitarse a observar el comportamiento de entrada-salida del modelo, estas técnicas analizan sus activaciones internas, lo que permite determinar si contienen representaciones estructuradas del mundo. El objetivo es investigar si los MLD simplemente manipulan estadísticas superficiales o si construyen y utilizan "modelos del mundo" internos para procesar información.

Un ejemplo es Othello-GPT, donde se entrenó un pequeño transformador para predecir movimientos legales de Othello . Se ha descubierto que este modelo tiene una representación interna del tablero de Othello y que modificar esta representación cambia los movimientos legales de Othello predichos de la manera correcta. Esto respalda la idea de que los modelos de lógica de juego (LLM) tienen un "modelo del mundo" y no se limitan a realizar estadísticas superficiales. ^{[ 23 ] [ 24 ]}

En otro ejemplo, se entrenó un pequeño transformador con programas informáticos escritos en el lenguaje de programación Karel . De forma similar al ejemplo de Othello-GPT, este modelo desarrolló una representación interna de la semántica de los programas Karel. La modificación de esta representación produce cambios apropiados en la salida. Además, el modelo genera programas correctos que, en promedio, son más cortos que los del conjunto de entrenamiento. ^{[ 25 ]}

Los investigadores también estudiaron el " grokking ", un fenómeno en el que un modelo de IA memoriza inicialmente los resultados de los datos de entrenamiento y, después de un entrenamiento adicional, encuentra repentinamente una solución que se generaliza a datos no vistos. ^{[ 26 ]}

Un contrapunto significativo en el debate es el fenómeno bien documentado del "aprendizaje de atajos". ^{[ 27 ]} Los críticos de las afirmaciones sobre la comprensión de LLM argumentan que las puntuaciones de referencia altas pueden ser engañosas.

Cuando se utilizan pruebas creadas para evaluar la comprensión del lenguaje en personas para evaluar modelos de aprendizaje de lenguaje (MLL), a veces se obtienen falsos positivos debido a correlaciones espurias dentro de los datos de texto. ^{[ 28 ]} Los modelos han mostrado ejemplos de aprendizaje por atajos, que ocurre cuando un sistema establece correlaciones no relacionadas dentro de los datos en lugar de utilizar una comprensión similar a la humana. ^{[ 27 ]}

• Lindholm, A.; Wahlström, N.; Lindsten, F.; Schön, TB (2022). Aprendizaje automático: Un primer curso para ingenieros y científicos . Cambridge University Press. ISBN 978-1-108-84360-7.
• Weller, Adrian (13 de julio de 2021). Sobre los peligros de los loros estocásticos: ¿Pueden los modelos de lenguaje ser demasiado grandes? 🦜 (vídeo). Instituto Alan Turing .Discurso de apertura a cargo de Emily Bender. Tras la presentación, tuvo lugar un debate con mesa redonda.