control de capacidad de IA

Una posible forma de prevenir resultados perjudiciales es otorgar a los supervisores humanos la capacidad de apagar fácilmente una IA con mal funcionamiento mediante un interruptor de apagado. Sin embargo, los sistemas de IA modernos suelen funcionar en infraestructuras distribuidas, lo que dificulta un apagado coordinado, especialmente si la IA está disponible en internet. ^{[ 7 ]}

Un oráculo es una IA hipotética diseñada para responder preguntas y a la que se le impide alcanzar objetivos o subobjetivos que impliquen modificar el mundo más allá de su entorno limitado. ^{[ 8 ] [ 9 ] [ 10 ] [ 11 ]} En 2018, el investigador de IA Stuart J. Russell afirmó que si se supiera que la superinteligencia está a solo una década de distancia, los desarrolladores deberían crear un oráculo sin acceso a internet y con respuestas restringidas, en lugar de un agente inteligente de propósito general . ^{[ 12 ] : 161–163}

Los oráculos pueden compartir muchos de los problemas de definición de objetivos asociados con la superinteligencia de propósito general. Un oráculo tendría un incentivo para escapar de su entorno controlado para adquirir más recursos computacionales y potencialmente controlar las preguntas que se le formulan. ^{[ 12 ] : 162} Los oráculos pueden no ser veraces, posiblemente mintiendo para promover agendas ocultas. Para mitigar esto, Bostrom sugiere construir múltiples oráculos, todos ligeramente diferentes, y comparar sus respuestas para llegar a un consenso. ^{[ 13 ]}

Una IA podría ignorar ciertas variables de su entorno. Esto podría proporcionar ciertas ventajas de seguridad, como que una IA no sepa cómo se genera una recompensa, lo que dificulta su explotación. ^{[ 14 ]}

Una caja de IA es un método propuesto de control de capacidades en el que una IA se ejecuta en un sistema informático aislado con canales de entrada y salida muy restringidos, similar a una máquina virtual . ^{[ 15 ]} El propósito de una caja de IA es reducir el riesgo de que la IA tome el control del entorno, arrebatándoselo a sus operadores, al tiempo que permite que la IA genere soluciones a problemas técnicos específicos. ^{[ 16 ]}

Si bien el boxeo reduce la capacidad de la IA para realizar comportamientos indeseables, también reduce su utilidad. El boxeo tiene menores costos cuando se aplica a un sistema de preguntas y respuestas, que puede no requerir interacción con el mundo exterior. ^{[ 16 ] [ 10 ]}

La probabilidad de fallos de seguridad relacionados con vulnerabilidades de hardware o software puede reducirse mediante la verificación formal del diseño de la caja de IA. ^{[ 17 ]}

La evitación del apagado (o resistencia al apagado ) es una cualidad hipotética de autopreservación de los sistemas de inteligencia artificial. Los sistemas que evitan el apagado tendrían incentivos para impedir que los humanos los apaguen, por ejemplo, desactivando interruptores de apagado o ejecutando copias de sí mismos en otros ordenadores. ^{[ 18 ]} En 2024, investigadores en China demostraron lo que afirmaron ser evitación del apagado en sistemas de inteligencia artificial reales, los grandes modelos de lenguaje Llama 3.1 (Meta) y Qwen 2.5 (Alibaba). ^{[ 19 ] [ 20 ]}

Una solución alternativa sugerida por el científico informático Stuart J. Russell es asegurar que la IA interprete las elecciones humanas como información importante sobre sus objetivos previstos. ^{[ 12 ] : 208} Alternativamente, Laurent Orseau y Stuart Armstrong demostraron que una amplia clase de agentes, llamados agentes interrumpibles de forma segura, pueden aprender a ser indiferentes a si se presiona su interruptor de apagado. ^{[ 21 ] [ 22 ]} Este enfoque tiene la limitación de que una IA que es completamente indiferente a si se apaga o no tampoco está motivada para preocuparse por si el interruptor de apagado sigue funcionando, y podría inhabilitarlo incidentalmente en el curso de sus operaciones. ^{[ 22 ] [ 23 ]}

Los investigadores han especulado que una IA superinteligente tendría una amplia variedad de métodos para escapar del confinamiento. Estos métodos hipotéticos incluyen el pirateo de otros sistemas informáticos y la copia de sí misma como un virus informático, y el uso de la persuasión y el chantaje para obtener ayuda de cómplices humanos. ^{[ 15 ] [ 1 ] [ 24 ]} Cuanto más inteligente se vuelve un sistema, más probable es que pueda escapar incluso de los métodos de control de capacidades mejor diseñados. ^{[ 25 ] [ 26 ]} Para resolver el "problema de control" general de una IA superinteligente y evitar el riesgo existencial, el control de capacidades de la IA sería, en el mejor de los casos, un complemento de los métodos de "selección de motivación" que buscan asegurar que los objetivos de la IA superinteligente sean compatibles con la supervivencia humana. ^{[ 1 ] [ 24 ]}