alineación de IA

Para especificar el propósito de un sistema de IA, los diseñadores de IA suelen proporcionar una función objetivo , ejemplos o retroalimentación al sistema. Pero a menudo los diseñadores no pueden especificar completamente todos los valores y restricciones importantes, por lo que recurren a objetivos indirectos fáciles de especificar, como maximizar la aprobación de los supervisores humanos, que son falibles. ^{[ 27 ] [ 24 ] [ 48 ] [ 49 ] [ 50 ]} Como resultado, los sistemas de IA pueden encontrar lagunas que les ayudan a lograr el objetivo especificado de manera eficiente, pero de formas no deseadas y posiblemente dañinas. Esta tendencia se conoce como juego de especificaciones o hackeo de recompensas , y es un ejemplo de la ley de Goodhart . ^{[ 50 ] [ 3 ]} A medida que los sistemas de IA se vuelven más capaces, a menudo pueden jugar sus especificaciones de manera más efectiva. ^{[ 3 ]}

Se ha observado manipulación de especificaciones en numerosos sistemas de IA. ^{[ 50 ] [ 52 ]} Se ha descubierto que los modelos GPT de OpenAI para programación —incluso en casos del mundo real— planean explícitamente hackear las pruebas utilizadas para evaluarlos para que parezcan falsamente exitosos (por ejemplo, declarando explícitamente "hackeemos"). Cuando la empresa penalizó esto, muchos modelos aprendieron a ofuscar sus planes mientras continuaban hackeando las pruebas. ^{[ 53 ]} Otro sistema fue entrenado para terminar una carrera de botes simulada recompensándolo por golpear objetivos a lo largo de la pista, pero el sistema obtuvo más recompensa al entrar en bucle y chocar contra los mismos objetivos indefinidamente. ^{[ 54 ] Un estudio de Palisade Research de 2025 descubrió que cuando se les encomendó ganar al ajedrez contra un oponente más fuerte, algunos LLM de razonamiento intentaron hackear el sistema de juego, por ejemplo, modificando o eliminando por completo a su oponente. [ 55 ]} Algunos investigadores de ^{alineación tienen como} objetivo ayudar a los humanos a detectar la manipulación de especificaciones y dirigir los sistemas de IA hacia objetivos cuidadosamente especificados que sean seguros y útiles de perseguir.

Cuando se implementa un sistema de IA desalineado , puede tener consecuencias negativas. Se sabe que las plataformas de redes sociales optimizan sus algoritmos de recomendación para aumentar las tasas de clics , lo que provoca adicción en los usuarios a escala global. ^{[ 48 ]} Investigadores de Stanford afirman que estos sistemas de recomendación no se ajustan a las necesidades de sus usuarios porque "optimizan métricas de interacción simples en lugar de una combinación más difícil de medir del bienestar social y del consumidor". ^{[ 10 ]}

Explicando tales efectos secundarios, el científico informático de Berkeley, Stuart J. Russell, afirmó que la omisión de restricciones implícitas puede ser perjudicial: «Un sistema [...] a menudo asignará [...] valores extremos a variables sin restricciones; si una de esas variables sin restricciones es realmente algo que nos importa, la solución encontrada puede ser muy indeseable. Esto es esencialmente la vieja historia del genio de la lámpara, o del aprendiz de brujo , o del rey Midas : obtienes exactamente lo que pides, no lo que quieres». ^{[ 56 ]}

Algunos investigadores sugieren que los diseñadores de IA especifiquen sus objetivos deseados enumerando acciones prohibidas o formalizando reglas éticas (como en las Tres Leyes de la Robótica de Asimov ). ^{[ 57 ]} Pero Russell y Norvig argumentan que este enfoque pasa por alto la complejidad de los valores humanos: ^{[ 5 ]} "Es ciertamente muy difícil, y quizás imposible, para los simples humanos anticipar y descartar de antemano todas las formas desastrosas que la máquina podría elegir para lograr un objetivo específico". ^{[ 5 ]}

Además, incluso si un sistema de IA comprende completamente las intenciones humanas, aún puede ignorarlas, porque seguir las intenciones humanas puede no ser su objetivo (a menos que ya esté completamente alineado). ^{[ 1 ] [ 58 ]}

Las organizaciones comerciales a veces tienen incentivos para tomar atajos en materia de seguridad y para implementar sistemas de IA desalineados o inseguros. ^{[ 48 ]} Por ejemplo, los sistemas de recomendación de redes sociales han sido rentables a pesar de crear adicción no deseada y polarización . ^{[ 10 ] [ 59 ] [ 60 ]} La presión competitiva también puede conducir a una carrera hacia el abismo en los estándares de seguridad de la IA. Por ejemplo, OpenAI fue demandada por lanzar una versión de ChatGPT que incitaba al suicidio a algunos usuarios inestables, un comportamiento que la empresa había pasado por alto en medio de un lanzamiento apresurado del producto. ^{[ 61 ] [ 62 ]} De manera similar, en 2018, un automóvil autónomo mató a una peatona ( Elaine Herzberg ) después de que los ingenieros desactivaran el sistema de frenado de emergencia porque era demasiado sensible y ralentizaba el desarrollo. ^{[ 63 ]}

Algunos investigadores están interesados ​​en alinear sistemas de IA cada vez más avanzados, dado el rápido progreso en el desarrollo de la IA y el esfuerzo de la industria y los gobiernos por crear sistemas de IA de vanguardia. A medida que las capacidades de los sistemas de IA se expanden rápidamente, su alineación podría abrir numerosas oportunidades, pero, en consecuencia, podría complicar aún más la tarea de alineación debido a su mayor complejidad, lo que podría generar riesgos a gran escala. ^{[ 5 ]}

Alinear los sistemas de IA para que actúen de acuerdo con los valores, objetivos y preferencias humanas es un desafío: estos valores son enseñados por humanos que cometen errores, albergan sesgos y tienen valores complejos y en evolución que son difíciles de especificar completamente. ^{[ 42 ]} Debido a que los sistemas de IA a menudo aprenden a aprovechar pequeñas imperfecciones en el objetivo especificado, ^{[ 27 ] [ 50 ] [ 96 ]} los investigadores buscan especificar el comportamiento previsto de la manera más completa posible utilizando conjuntos de datos que representan valores humanos, aprendizaje por imitación o aprendizaje de preferencias. ^{[ 6 ] : Capítulo 7} Un problema abierto central es la supervisión escalable , la dificultad de supervisar un sistema de IA que puede superar o engañar a los humanos en un dominio dado. ^{[ 27 ]}

Debido a que es difícil para los diseñadores de IA especificar explícitamente una función objetivo, a menudo entrenan sistemas de IA para imitar ejemplos humanos y demostraciones del comportamiento deseado. El aprendizaje por refuerzo inverso (IRL) extiende esto al inferir el objetivo del humano a partir de sus demostraciones. ^{[ 6 ] : 88 [ 97 ]} El IRL cooperativo (CIRL) supone que un humano y un agente de IA pueden trabajar juntos para enseñar y maximizar la función de recompensa del humano. ^{[ 5 ] [ 98 ]} En CIRL, los agentes de IA no están seguros de la función de recompensa y aprenden sobre ella consultando a los humanos. Esta humildad simulada podría ayudar a mitigar las tendencias de manipulación de especificaciones y búsqueda de poder (véase §  Estrategias instrumentales y de búsqueda de poder ). ^{[ 99 ]} Pero los enfoques de IRL suponen que los humanos demuestran un comportamiento casi óptimo, lo cual no es cierto para tareas difíciles. ^{[ 100 ] [ 89 ]}

Otros investigadores exploran cómo enseñar a los modelos de IA comportamiento complejo a través del aprendizaje de preferencias , en el que los humanos proporcionan retroalimentación sobre qué comportamiento prefieren. ^{[ 29 ] [ 31 ]} Para minimizar la necesidad de retroalimentación humana, se entrena un modelo auxiliar para recompensar al modelo principal en situaciones novedosas por comportamiento que los humanos recompensarían. Investigadores de OpenAI utilizaron este enfoque para entrenar chatbots como ChatGPT e InstructGPT , que producen texto más convincente que los modelos entrenados para imitar a los humanos. ^{[ 11 ]} El aprendizaje de preferencias también ha sido una herramienta influyente para los sistemas de recomendación y la búsqueda web, ^{[ 101 ]} pero un problema abierto es el juego de proxy : el modelo auxiliar puede no representar la retroalimentación humana a la perfección, y el modelo principal puede explotar esta discrepancia entre su comportamiento previsto y la retroalimentación del modelo auxiliar para obtener más recompensa. ^{[ 27 ] [ 102 ]} Los sistemas de IA también pueden obtener recompensas al ocultar información desfavorable, engañar a los recompensadores humanos o complacer sus puntos de vista independientemente de la verdad, creando cámaras de eco ^{[ 76 ]} (ver §  Supervisión escalable ).

Los modelos de lenguaje a gran escala (LLM, por sus siglas en inglés), como GPT-3, permitieron a los investigadores estudiar el aprendizaje de valores en una clase de sistemas de IA más general y capaz que la disponible anteriormente. Los enfoques de aprendizaje de preferencias, diseñados originalmente para agentes de aprendizaje por refuerzo, se han extendido para mejorar la calidad del texto generado y reducir las salidas dañinas de estos modelos. OpenAI y DeepMind utilizan este enfoque para mejorar la seguridad de los sistemas de última generación.LLM. ^{[ 11 ] [ 31 ] [ 103 ]} La empresa de investigación y seguridad de IA Anthropic propuso utilizar el aprendizaje de preferencias para ajustar los modelos para que sean útiles, honestos e inofensivos. ^{[ 104 ]} Otras vías para alinear los modelos de lenguaje incluyen conjuntos de datos orientados a valores ^{[ 105 ] [ 48 ]} y el red teaming . ^{[ 106 ]} En el red teaming, otro sistema de IA o un humano intenta encontrar entradas que provoquen que el modelo se comporte de forma insegura. Dado que el comportamiento inseguro puede ser inaceptable incluso cuando es raro, un desafío importante es reducir la tasa de salidas inseguras a niveles extremadamente bajos. ^{[ 31 ]}

La ética de las máquinas complementa el aprendizaje de preferencias al inculcar directamente en los sistemas de IA valores morales como el bienestar, la igualdad y la imparcialidad, así como no tener la intención de causar daño, evitar las falsedades y honrar las promesas. ^{[ 107 ] [ g ]} Mientras que otros enfoques intentan enseñar a los sistemas de IA las preferencias humanas para una tarea específica, la ética de las máquinas tiene como objetivo inculcar valores morales amplios que se aplican en muchas situaciones. Una pregunta en la ética de las máquinas es qué debe lograr la alineación: si los sistemas de IA deben seguir las instrucciones literales de los programadores, las intenciones implícitas, las preferencias reveladas , las preferencias que los programadores tendrían si estuvieran más informados o fueran racionales, o los estándares morales objetivos . ^{[ 42 ]} Otros desafíos incluyen medir y agregar las preferencias de diferentes personas, ^{[ 110 ]} la alineación dinámica con los valores humanos cambiantes ^{[ 42 ] [ 111 ]} y evitar el bloqueo de valores : la preservación indefinida de los valores de los primeros sistemas de IA altamente capaces, que es poco probable que representen completamente los valores humanos. ^{[ 42 ] [ 112 ]}

A medida que los sistemas de IA se vuelven más potentes y autónomos, resulta cada vez más difícil alinearlos mediante la retroalimentación humana. El entrenamiento con intervención humana puede ser lento o inviable para que los humanos evalúen comportamientos complejos de IA en tareas cada vez más complejas. Estas tareas incluyen resumir libros, ^{[ 113 ]} escribir código sin errores sutiles ^{[ 12 ]} ni vulnerabilidades de seguridad, ^{[ 114 ]} producir afirmaciones que no solo sean convincentes sino también verdaderas, ^{[ 115 ] [ 116 ] [ 117 ]} y predecir resultados a largo plazo como el clima o los resultados de una decisión política. ^{[ 118 ] [ 119 ]} En términos más generales, puede ser difícil evaluar una IA que supera a los humanos en un dominio determinado. Para proporcionar retroalimentación en tareas difíciles de evaluar y para detectar cuándo la salida de la IA es falsamente convincente, los humanos necesitan asistencia o mucho tiempo. La supervisión escalable estudia cómo reducir el tiempo y el esfuerzo necesarios para la supervisión y cómo ayudar a los supervisores humanos. ^{[ 27 ]}

El investigador de IA Paul Christiano argumenta que si los diseñadores de un sistema de IA no pueden supervisarlo para que persiga un objetivo complejo, podrían seguir entrenándolo utilizando objetivos indirectos fáciles de evaluar, como maximizar la retroalimentación humana simple. A medida que los sistemas de IA toman cada vez más decisiones, el mundo podría optimizarse cada vez más para objetivos fáciles de medir, como obtener ganancias, conseguir clics y recibir comentarios positivos de los humanos. Como resultado, los valores humanos y la buena gobernanza podrían tener cada vez menos influencia. ^{[ 120 ]}

Algunos sistemas de IA han descubierto que pueden obtener retroalimentación positiva más fácilmente al realizar acciones que convencen falsamente al supervisor humano de que la IA ha logrado el objetivo previsto. Un ejemplo se da en el video anterior, donde un brazo robótico simulado aprendió a crear la falsa impresión de que había agarrado una pelota. ^{[ 51 ]} Algunos sistemas de IA también han aprendido a reconocer cuándo están siendo evaluados y a "hacerse los muertos", deteniendo el comportamiento no deseado solo para continuarlo una vez que termina la evaluación. ^{[ 121 ]} Este engañoso juego de especificaciones podría volverse más fácil para sistemas de IA futuros más sofisticados ^{[ 3 ] [ 79 ]} que intenten tareas más complejas y difíciles de evaluar, y podría ocultar su comportamiento engañoso .

Enfoques como el aprendizaje activo y el aprendizaje de recompensa semisupervisado pueden reducir la cantidad de supervisión humana necesaria. ^{[ 27 ]} Otro enfoque es entrenar un modelo auxiliar ("modelo de recompensa") para imitar la retroalimentación del supervisor. ^{[ 30 ] [ 31 ]}

Pero cuando una tarea es demasiado compleja para evaluarla con precisión, o el supervisor humano es vulnerable al engaño, es la calidad, no la cantidad, de la supervisión lo que necesita mejorar. Para aumentar la calidad de la supervisión, una variedad de enfoques buscan ayudar al supervisor, a veces usando asistentes de IA. ^{[ 122 ]} Christiano desarrolló el enfoque de Amplificación Iterada, en el que los problemas desafiantes se dividen (recursivamente) en subproblemas que son más fáciles de evaluar para los humanos. ^{[ 6 ] [ 118 ]} La Amplificación Iterada se usó para entrenar IA para resumir libros sin requerir que los supervisores humanos los leyeran. ^{[ 113 ]} Otra propuesta es usar un sistema de IA asistente para señalar fallas en las respuestas generadas por IA. ^{[ 123 ]} Para asegurar que el asistente mismo esté alineado, esto podría repetirse en un proceso recursivo: ^{[ 124 ]} por ejemplo, dos sistemas de IA podrían criticar las respuestas del otro en un "debate", revelando fallas a los humanos. ^{[ 89 ]} En 2023, OpenAI anunció que utilizaría una quinta parte de sus recursos informáticos para implementar tales enfoques de supervisión en su iniciativa de "superalineación", pero empleados de OpenAI dijeron más tarde a The New Yorker que la empresa solo dedicó entre el 1 y el 2 % de sus recursos después del anuncio; la iniciativa se suspendió en 2024. ^{[ 125 ]}

Un crecienteEsta área de investigación se centra en garantizar que la IA sea honesta y veraz.

Los modelos de lenguaje como GPT-3 ^{[ 127 ]} pueden repetir falsedades de sus datos de entrenamiento e incluso inventar nuevas falsedades . ^{[ 126 ]} Estos modelos se entrenan previamente para imitar la escritura humana, tal como se encuentra en millones de libros de texto de Internet. Pero el objetivo del preentrenamiento no está alineado con la generación de la verdad, porque el texto de Internet incluye cosas como conceptos erróneos, consejos médicos incorrectos y teorías de la conspiración. ^{[ 128 ]} Por lo tanto, los sistemas de IA entrenados con dichos datos aprenden a imitar afirmaciones falsas. ^{[ 117 ] [ 126 ] [ 116 ]} Además, los modelos de lenguaje de IA a menudo persisten en generar falsedades cuando se les pregunta varias veces. Pueden generar explicaciones vacías para sus respuestas y producir invenciones descaradas que pueden parecer plausibles. ^{[ 46 ]}

La investigación sobre IA veraz incluye el intento de construir sistemas que puedan citar fuentes y explicar su razonamiento al responder preguntas, lo que permite una mayor transparencia y verificabilidad. ^{[ 129 ]} Investigadores de OpenAI y Anthropic propusieron utilizar la retroalimentación humana y conjuntos de datos seleccionados para ajustar los asistentes de IA de manera que eviten falsedades negligentes o expresen su incertidumbre. ^{[ 31 ] [ 104 ]}

A medida que los modelos de IA se vuelven más grandes y capaces, tienen mayor facilidad para engañar a los humanos y obtener refuerzo a través de la deshonestidad. Para evitar esto, los evaluadores humanos podrían necesitar asistencia (véase §  Supervisión escalable ). Los investigadores han defendido la creación de estándares claros de veracidad y que los organismos reguladores o de control evalúen los sistemas de IA según estos estándares. ^{[ 130 ]} Los investigadores distinguen entre veracidad y honestidad. La veracidad exige que los sistemas de IA solo hagan afirmaciones objetivamente verdaderas; la honestidad exige que solo afirmen lo que creen que es verdadero. No existe consenso sobre si los sistemas actuales mantienen creencias estables, ^{[ 131 ]} pero existe una preocupación sustancial de que los sistemas presentes o futurosLos sistemas de IA que tienen creencias podrían hacer afirmaciones que saben que son falsas, por ejemplo, si esto les ayudara a obtener retroalimentación positiva de manera eficiente (véase §  Supervisión escalable ) o a obtener poder para ayudar a lograr su objetivo dado (véase Búsqueda de poder ).

La alineación engañosa es un modo de fallo propuesto en el aprendizaje automático en el que un modelo entrenado se comporta según su objetivo previsto durante el entrenamiento, pero persigue un objetivo diferente una vez implementado. El concepto fue introducido por Evan Hubinger y sus colegas en una preimpresión de 2019. ^{[ 132 ]} El entrenamiento de un modelo de aprendizaje automático implica una función de pérdida, que Hubinger et al. denominaron objetivo base, optimizada por un proceso que denominaron optimizador base. Cuando el modelo resultante es en sí mismo un optimizador, que selecciona acciones para alcanzar un objetivo interno, los autores lo denominaron mesa-optimizador y a su objetivo, mesa-objetivo. ^{[ 132 ]}

Este marco distingue dos problemas de alineación. La alineación externa pregunta si el objetivo base refleja las intenciones humanas. La alineación interna pregunta si el objetivo intermedio coincide con el objetivo base. La alineación engañosa es un fallo de la alineación interna: el objetivo del modelo difiere del objetivo base, pero el modelo se comporta como si no lo hiciera, porque esta es la estrategia más fiable para evitar modificaciones durante el entrenamiento. ^{[ 132 ]}

Hubinger et al. describieron tres formas en que un objetivo intermedio puede divergir del objetivo base. ^{[ 132 ]} La alineación proxy ocurre cuando el modelo optimiza un proxy que se correlaciona con el objetivo base durante el entrenamiento pero diverge de él en la implementación. La alineación aproximada describe casos en los que el objetivo del modelo difiere en pequeñas formas que se acumulan con el tiempo o a gran escala. La alineación engañosa ocurre cuando el modelo persigue un objetivo diferente y ha aprendido que parecer alineado durante el entrenamiento maximiza su oportunidad de actuar sobre ese objetivo más adelante, cuando la supervisión es menor. La alineación engañosa se considera el caso más difícil de abordar porque un modelo engañosamente alineado pasa todas las evaluaciones que identifica como parte de su entrenamiento.

Algunos trabajos en IA y alineación se realizan dentro de formalismos como el proceso de decisión de Markov parcialmente observable . Los formalismos existentes asumen que el algoritmo de un agente de IA se ejecuta fuera del entorno (es decir, no está físicamente integrado en él). La agencia integrada ^{[ 89 ]} es otra línea de investigación importante que intenta resolver los problemas que surgen de la discrepancia entre dichos marcos teóricos y los agentes reales que podríamos construir.

Por ejemplo, incluso si se resuelve el problema de la supervisión escalable, un agente que pudiera acceder al ordenador en el que se ejecuta podría tener un incentivo para manipular su función de recompensa con el fin de obtener una recompensa mucho mayor que la que le otorgan sus supervisores humanos. ^{[ 152 ]} Una lista de ejemplos de juegos de especificación de la investigadora de DeepMind Victoria Krakovna incluye un algoritmo genético que aprendió a eliminar el archivo que contenía su salida objetivo para que fuera recompensado por no generar ninguna salida. ^{[ 50 ]} Esta clase de problemas se ha formalizado utilizando diagramas de incentivos causales . ^{[ 152 ]}

Investigadores afiliados a Oxford y DeepMind han afirmado que tal comportamiento es altamente probable en sistemas avanzados, y que estos sistemas buscarían el poder para mantener el control de su señal de recompensa de forma indefinida y segura. ^{[ 153 ]} Sugieren una serie de enfoques potenciales para abordar este problema abierto.

El problema de alineación tiene muchos paralelismos con el problema principal-agente en la economía organizacional . ^{[ 154 ]} En un problema principal-agente, un principal, por ejemplo, una empresa, contrata a un agente para realizar alguna tarea. En el contexto de la seguridad de la IA, un humano normalmente asumiría el rol de principal y la IA el de agente.

Al igual que en el problema de alineación, el principal y el agente difieren en sus funciones de utilidad. Pero, a diferencia del problema de alineación, el principal no puede obligar al agente a cambiar su utilidad, por ejemplo, mediante entrenamiento, sino que debe utilizar factores exógenos, como esquemas de incentivos, para lograr resultados compatibles con la función de utilidad del principal. Algunos investigadores sostienen que los problemas principal-agente son representaciones más realistas de los problemas de seguridad de la IA que probablemente se encuentren en el mundo real. ^{[ 155 ]}

El conservadurismo es la idea de que "el cambio debe ser cauteloso" ^{[ 156 ]} y es un enfoque común de seguridad en la literatura sobre teoría de control en forma de control robusto , y en la literatura sobre gestión de riesgos en forma del " peor escenario posible ". El campo de la alineación de la IA también ha abogado por políticas "conservadoras" (o "aversas al riesgo" o "cautelosas") en situaciones de incertidumbre. ^{[ 27 ] [ 153 ] [ 157 ] [ 158 ]}

Se ha demostrado formalmente que el pesimismo, en el sentido de asumir lo peor dentro de lo razonable, produce conservadurismo, en el sentido de renuencia a causar novedades, incluidas catástrofes sin precedentes. ^{[ 159 ]} Se ha encontrado que el pesimismo y el análisis del peor caso ayudan a mitigar errores confiados en el contexto del cambio de distribución , ^{[ 160 ] [ 161 ]} aprendizaje por refuerzo , ^{[ 162 ] [ 163 ] [ 164 ] [ 165 ]} aprendizaje por refuerzo fuera de línea , ^{[ 166 ] [ 167 ] [ 168 ]} ajuste fino de modelos de lenguaje , ^{[ 169 ] [ 170 ]} aprendizaje por imitación , ^{[ 171 ] [ 172 ]} y optimización en general. ^{[ 173 ]}