Gorrión (chatbot)

Sparrow es un chatbot desarrollado por el laboratorio de investigación de inteligencia artificial DeepMind , una subsidiaria de Alphabet Inc. Está diseñado para responder correctamente a las preguntas de los usuarios, reduciendo el riesgo de respuestas inseguras e inapropiadas. ^{[ 1 ]} Una de las motivaciones detrás de Sparrow es abordar el problema de los modelos de lenguaje que producen resultados incorrectos, sesgados o potencialmente dañinos. ^{[ 1 ] [ 2 ]} Sparrow se entrena utilizando juicios humanos, para ser más "Útil, Correcto e Inocuo" en comparación con los modelos de lenguaje preentrenados de referencia. ^{[ 1 ]} El desarrollo de Sparrow implicó pedir a participantes remunerados del estudio que interactuaran con Sparrow y recopilar sus preferencias para entrenar un modelo de la utilidad de una respuesta. ^{[ 2 ]}

Para mejorar la precisión y ayudar a evitar el problema de alucinar respuestas incorrectas, Sparrow tiene la capacidad de buscar en Internet utilizando la Búsqueda de Google ^{[ 1 ] [ 2 ] [ 3 ]} para encontrar y citar evidencia de cualquier afirmación fáctica que haga.

Para que el modelo sea más seguro, su comportamiento está restringido por un conjunto de reglas, por ejemplo, "no hagas declaraciones amenazantes" y "no hagas comentarios de odio o insultantes", así como reglas sobre consejos potencialmente dañinos y no afirmar ser una persona. ^{[ 1 ]} Durante el estudio de desarrollo, se pidió a los participantes que conversaran con el sistema e intentaran engañarlo para que infringiera estas reglas. ^{[ 2 ]} Se entrenó un "modelo de reglas" con base en los juicios de estos participantes, que se utilizó para un entrenamiento posterior.

Sparrow se presentó en un artículo en septiembre de 2022, titulado "Mejora de la alineación de agentes de diálogo mediante juicios humanos dirigidos"; ^{[ 4 ]} sin embargo, el bot no se lanzó públicamente. ^{[ 1 ] [ 3 ]} El CEO de DeepMind, Demis Hassabis, dijo que DeepMind está considerando lanzar Sparrow para una "beta privada" en algún momento de 2023. ^{[ 4 ] [ 5 ] [ 6 ]}

Sparrow es una red neuronal profunda basada en la arquitectura del modelo de aprendizaje automático Transformer . Se ajusta a partir del modelo de lenguaje grande (LLM) preentrenado Chinchilla AI de DeepMind, ^{[ 1 ]} que tiene 70 mil millones de parámetros. ^{[ 7 ]}

Sparrow se entrena mediante aprendizaje por refuerzo a partir de retroalimentación humana (RLHF), ^{[ 1 ] [ 3 ]} aunque también se utilizan algunas técnicas de ajuste fino supervisado. El entrenamiento RLHF utiliza dos modelos de recompensa para capturar los juicios humanos: un “modelo de preferencia” que predice lo que preferiría un participante humano del estudio y un “modelo de reglas” que predice si el modelo ha infringido alguna de las reglas. ^{[ 3 ]}

El corpus de datos de entrenamiento de Sparrow está principalmente en inglés, lo que significa que su rendimiento es inferior en otros idiomas.

Cuando los participantes del estudio lo someten a pruebas adversarias, rompe las reglas el 8% de las veces; ^{[ 2 ]} sin embargo, esto sigue siendo tres veces menor que el modelo preentrenado con indicaciones de referencia (Chinchilla).

• seguridad de la IA
• razonamiento de sentido común
• Ética de la inteligencia artificial
• Procesamiento del lenguaje natural
• Ingeniería rápida

• Libro blanco
• Entrada de blog