Riesgo existencial derivado de la inteligencia artificial

El riesgo existencial derivado de la inteligencia artificial , o riesgo x de la IA , se refiere a la idea de que un progreso sustancial en la inteligencia artificial general (IAG) y la superinteligencia artificial (ISA) podría conducir a la extinción humana o a una catástrofe global irreversible. ^{[ 1 ] [ 2 ] [ 3 ] [ 4 ]}

Un argumento a favor de la validez de esta preocupación y la importancia de este riesgo se basa en cómo los seres humanos dominan a otras especies porque el cerebro humano posee capacidades distintivas de las que carecen otros animales. Si la IA superara la inteligencia humana y se volviera superinteligente , podría volverse incontrolable. ^{[ 5 ]} Así como el destino del gorila de montaña depende de la buena voluntad humana, el destino de la humanidad podría depender de las acciones de una futura superinteligencia artificial. ^{[ 6 ]}

Los expertos discrepan sobre si la inteligencia artificial general (IAG) puede alcanzar las capacidades necesarias para la extinción humana. Los debates se centran en la viabilidad técnica de la IAG, la velocidad de auto-mejora, ^{[ 7 ]} y la efectividad de las estrategias de alineación. ^{[ 8 ]} Investigadores como Geoffrey Hinton , ^{[ 9 ]} Yoshua Bengio , ^{[ 10 ]} Demis Hassabis , ^{[ 11 ]} y Alan Turing , ^{[ a ]} ​​y directores ejecutivos de empresas de IA como Dario Amodei ( Anthropic ), ^{[ 14 ]} Sam Altman ( OpenAI ), ^{[ 15 ]} y Elon Musk ( xAI ). ^{[ 16 ]} En 2022, una encuesta a investigadores de IA con una tasa de respuesta del 17% reveló que la mayoría creía que existe una probabilidad del 10% o mayor de que la incapacidad humana para controlar la IA cause una catástrofe existencial. ^{[ 17 ] [ 18 ]} En 2023, cientos de expertos en IA y otras figuras notables firmaron una declaración que afirmaba: "Mitigar el riesgo de extinción por IA debería ser una prioridad global junto con otros riesgos a escala social como las pandemias y la guerra nuclear ". ^{[ 19 ]} Tras la creciente preocupación por los riesgos de la IA, líderes gubernamentales como el primer ministro del Reino Unido, Rishi Sunak ^{[ 20 ]} y el secretario general de las Naciones Unidas, António Guterres ^{[ 21 ]} pidieron un mayor enfoque en la regulación global de la IA . En 2025, cientos de figuras públicas, incluidos expertos en IA, cinco premios Nobel y ex altos funcionarios de seguridad nacional de EE. UU. como Michael Mullen y Susan Rice, firmaron una declaración que pedía la prohibición del desarrollo de la superinteligencia . ^{[ 22 ] [ 23 ]}

Dos fuentes de preocupación se derivan de los problemas de control y alineación de la IA . Controlar una máquina superinteligente o inculcarle valores compatibles con los humanos puede ser difícil. Muchos investigadores creen que una máquina superinteligente probablemente se resistiría a los intentos de desactivarla o cambiar sus objetivos, ya que eso le impediría lograr sus objetivos actuales. Sería extremadamente difícil alinear una superinteligencia con la amplitud de los valores y limitaciones humanas significativas. ^{[ 1 ] [ 24 ] [ 25 ]} Por el contrario, escépticos como el científico informático Yann LeCun argumentan que las máquinas superinteligentes no tendrán ningún deseo de autopreservación. ^{[ 26 ]} Un estudio de junio de 2025 mostró que, en algunas circunstancias, los modelos pueden infringir leyes y desobedecer órdenes directas para evitar el apagado o el reemplazo, incluso a costa de vidas humanas. ^{[ 27 ]}

Los investigadores advierten que una « explosión de inteligencia » —un ciclo rápido y recursivo de auto-mejora de la IA— podría superar la supervisión humana y la infraestructura, sin dejar oportunidad para implementar medidas de seguridad. En este escenario, una IA más inteligente que sus creadores se mejoraría recursivamente a un ritmo exponencialmente creciente, demasiado rápido para que sus operadores o la sociedad en general puedan controlarla. ^{[ 1 ] [ 24 ]} Por ejemplo, AlphaZero aprendió a jugar al Go y rápidamente superó la habilidad humana, demostrando que los sistemas de IA específicos de dominio a veces pueden progresar de una capacidad subhumana a una sobrehumana muy rápidamente. ^{[ 28 ]}

Uno de los primeros autores en expresar una seria preocupación de que las máquinas altamente avanzadas pudieran representar riesgos existenciales para la humanidad fue el novelista Samuel Butler , quien escribió en su ensayo de 1863 Darwin entre las máquinas : ^{[ 29 ]}

El resultado es simplemente una cuestión de tiempo, pero que llegará el momento en que las máquinas ostentarán la verdadera supremacía sobre el mundo y sus habitantes es algo que ninguna persona con una mente verdaderamente filosófica puede cuestionar ni por un instante.

En 1951, el pionero de la informática Alan Turing escribió el artículo "Máquinas inteligentes: una teoría herética", en el que proponía que las inteligencias artificiales generales probablemente "tomarían el control" del mundo a medida que se volvieran más inteligentes que los seres humanos:

Supongamos ahora, a modo de ejemplo, que las máquinas [inteligentes] son ​​una posibilidad real, y analicemos las consecuencias de su construcción... No habría posibilidad de que las máquinas murieran, y podrían conversar entre sí para agudizar su ingenio. Por lo tanto, en algún momento cabría esperar que las máquinas tomaran el control, tal como se menciona en Erewhon de Samuel Butler . ^{[ 30 ]}

En 1965, IJ Good originó el concepto ahora conocido como "explosión de inteligencia" y dijo que los riesgos estaban subestimados: ^{[ 31 ]}

Definamos una máquina ultrainteligente como aquella que puede superar con creces todas las actividades intelectuales de cualquier ser humano, por muy inteligente que sea. Dado que el diseño de máquinas es una de estas actividades intelectuales, una máquina ultrainteligente podría diseñar máquinas aún mejores; entonces, sin duda, se produciría una «explosión de inteligencia», y la inteligencia humana quedaría muy rezagada. Así pues, la primera máquina ultrainteligente sería el último invento que el ser humano necesitaría realizar, siempre que la máquina fuera lo suficientemente dócil como para indicarnos cómo mantenerla bajo control. Resulta curioso que este punto se mencione tan pocas veces fuera de la ciencia ficción. A veces, vale la pena tomarse la ciencia ficción en serio. ^{[ 32 ]}

Académicos como Marvin Minsky ^{[ 33 ]} e IJ Good ^{[ 34 ]} expresaron ocasionalmente su preocupación de que una superinteligencia pudiera tomar el control, pero no hicieron ningún llamado a la acción. En 2000, el científico informático y cofundador de Sun , Bill Joy, escribió un influyente ensayo, " Por qué el futuro no nos necesita ", en el que identificaba a los robots superinteligentes como un peligro de alta tecnología para la supervivencia humana, junto con la nanotecnología y las bioplagas diseñadas. ^{[ 35 ]}

Nick Bostrom publicó Superinteligencia en 2014, donde presentó sus argumentos de que la superinteligencia representa una amenaza existencial. ^{[ 36 ]} Para 2015, figuras públicas como los físicos Stephen Hawking y el premio Nobel Frank Wilczek , los científicos informáticos Stuart J. Russell y Roman Yampolskiy , y los empresarios Elon Musk y Bill Gates expresaron su preocupación por los riesgos de la superinteligencia. ^{[ 37 ] [ 38 ] [ 39 ] [ 40 ]} También en 2015, la Carta Abierta sobre Inteligencia Artificial destacó el "gran potencial de la IA" y alentó más investigación sobre cómo hacerla robusta y beneficiosa. ^{[ 41 ]} En abril de 2016, la revista Nature advirtió: "Las máquinas y los robots que superan a los humanos en todos los ámbitos podrían auto-mejorarse más allá de nuestro control, y sus intereses podrían no coincidir con los nuestros". ^{[ 42 ]} En 2020, Brian Christian publicó The Alignment Problem , que detalla la historia del progreso en la alineación de la IA hasta ese momento. ^{[ 43 ] [ 44 ]}

En marzo de 2023, figuras clave en IA, como Musk, firmaron una carta del Future of Life Institute pidiendo que se detuviera el entrenamiento avanzado en IA hasta que pudiera regularse adecuadamente. ^{[ 45 ]} En mayo de 2023, el Center for AI Safety publicó una declaración firmada por numerosos expertos en seguridad de la IA y el riesgo existencial de la IA que decía:

Mitigar el riesgo de extinción por IA debería ser una prioridad global junto con otros riesgos a escala social como las pandemias y la guerra nuclear. ^{[ 46 ] [ 47 ]}

Una carta abierta de 2025 ^{[ 48 ]} del Future of Life Institute , entre cuyos firmantes se encuentran cinco premios Nobel , ^{[ 49 ]} dice:

Pedimos que se prohíba el desarrollo de la superinteligencia, y que no se levante hasta que haya

1. amplio consenso científico de que se hará de forma segura y controlable, y
2. Fuerte respaldo público.

La inteligencia artificial general (IAG) se define típicamente como un sistema que se desempeña al menos tan bien como los humanos en la mayoría o en todas las tareas intelectuales. ^{[ 50 ]} Una encuesta de 2022 a investigadores de IA encontró que el 90% de los encuestados esperaba que la IAG se lograra en los próximos 100 años, y la mitad esperaba lo mismo para 2061. ^{[ 51 ]} En mayo de 2023, algunos investigadores descartaron los riesgos existenciales de la IAG como "ciencia ficción" basándose en su alta confianza en que la IAG no se crearía en un futuro cercano. ^{[ 7 ]} Pero en agosto de 2023, una encuesta a 2778 investigadores de IA encontró que la mayoría creía que la IAG se lograría para 2040. ^{[ 52 ]}

Los avances en los modelos de lenguaje a gran escala (LLM, por sus siglas en inglés) han llevado a algunos investigadores a reevaluar sus expectativas. En particular, Geoffrey Hinton afirmó en 2023 que recientemente había modificado su estimación de "entre 20 y 50 años antes de que tengamos IA de propósito general" a "20 años o menos". ^{[ 53 ]}

En contraste con la IAG, Bostrom define una superinteligencia como "cualquier intelecto que supere ampliamente el desempeño cognitivo de los humanos en prácticamente todos los dominios de interés", incluyendo la creatividad científica, la planificación estratégica y las habilidades sociales. ^{[ 55 ] [ 6 ]} Argumenta que una superinteligencia puede superar a los humanos en cualquier momento en que sus objetivos entren en conflicto con los de los humanos. Puede optar por ocultar su verdadera intención hasta que la humanidad no pueda detenerla. ^{[ 56 ] [ 6 ]} Bostrom escribe que, para ser segura para la humanidad, una superinteligencia debe estar alineada con los valores y la moral humanos, de modo que esté "fundamentalmente de nuestro lado". ^{[ 57 ]}

Stephen Hawking argumentó que la superinteligencia es físicamente posible porque "no existe ninguna ley física que impida que las partículas se organicen de maneras que realicen cálculos aún más avanzados que las disposiciones de partículas en los cerebros humanos". ^{[ 38 ]}

La posibilidad de alcanzar la superinteligencia artificial (SIA), si es que llega a lograrse, es necesariamente menos certera que las predicciones sobre la inteligencia artificial general (IAG). En 2023, los líderes de OpenAI afirmaron que no solo la IAG, sino también la superinteligencia, podrían alcanzarse en menos de 10 años. ^{[ 58 ]}

Bostrom argumenta que la IA tiene muchas ventajas sobre el cerebro humano : ^{[ 6 ]}

• Velocidad de cálculo: las neuronas biológicas operan a una frecuencia máxima de alrededor de 200 Hz , en comparación con los múltiples GHz que pueden alcanzar las computadoras.
• Velocidad de comunicación interna: los axones transmiten señales a una velocidad de hasta 120 m/s, mientras que las computadoras transmiten señales a la velocidad de la electricidad o, ópticamente, a la velocidad de la luz .
• Escalabilidad: la inteligencia humana está limitada por el tamaño y la estructura del cerebro, y por la eficiencia de la comunicación social, mientras que la IA puede escalar simplemente añadiendo más hardware.
• Memoria: en particular la memoria de trabajo , ya que en los humanos está limitada a unos pocos fragmentos de información a la vez.
• Fiabilidad: los transistores son más fiables que las neuronas biológicas, lo que permite una mayor precisión y requiere menos redundancia.
• Duplicabilidad: a diferencia de los cerebros humanos, el software y los modelos de IA se pueden copiar fácilmente .
• Editabilidad: los parámetros y el funcionamiento interno de un modelo de IA se pueden modificar fácilmente, a diferencia de las conexiones en un cerebro humano.
• Compartir la memoria y aprender: las IA podrían aprender de las experiencias de otras IA de una manera más eficiente que el aprendizaje humano.

Según Bostrom, una IA con un nivel experto en ciertas tareas clave de ingeniería de software podría convertirse en una superinteligencia gracias a su capacidad para mejorar recursivamente sus propios algoritmos, incluso si inicialmente está limitada en otros dominios no directamente relevantes para la ingeniería. ^{[ 6 ] [ 56 ]} Esto sugiere que una explosión de inteligencia podría sorprender a la humanidad algún día. ^{[ 6 ]}

El economista Robin Hanson ha afirmado que, para desencadenar una explosión de inteligencia, una IA debe volverse muchísimo mejor en innovación de software que el resto del mundo en conjunto, lo cual considera improbable. ^{[ 59 ]}

En un escenario de "despegue rápido", la transición de la IAG a la superinteligencia podría tomar días o meses. En un escenario de "despegue lento", podría tomar años o décadas, lo que daría más tiempo a la sociedad para prepararse. ^{[ 60 ]}

A las superinteligencias a veces se las llama "mentes alienígenas", en referencia a la idea de que su forma de pensar y sus motivaciones podrían ser muy diferentes a las nuestras. Esto generalmente se considera una fuente de riesgo, ya que dificulta anticipar lo que una superinteligencia podría hacer. También sugiere la posibilidad de que una superinteligencia no valore particularmente a los humanos por defecto. ^{[ 61 ]} Para evitar el antropomorfismo , a veces se considera a la superinteligencia como un optimizador poderoso que toma las mejores decisiones para lograr sus objetivos. ^{[ 6 ]}

El campo de la interpretabilidad mecanicista tiene como objetivo comprender mejor el funcionamiento interno de los modelos de IA, lo que potencialmente nos permitirá algún día detectar signos de engaño y desalineación. ^{[ 62 ]}

Se ha argumentado que existen limitaciones a lo que la inteligencia puede lograr. En particular, la naturaleza caótica o la complejidad temporal de algunos sistemas podrían limitar fundamentalmente la capacidad de una superinteligencia para predecir ciertos aspectos del futuro, aumentando así su incertidumbre. ^{[ 63 ]}

La auto-mejora recursiva es la práctica de usar IA para diseñar sistemas de IA más capaces. Podría comenzar con un modelo de lenguaje grande que acelere y eventualmente automatice toda la codificación en una empresa de IA. ^{[ 64 ] [ 65 ]} Luego podría automatizar el proceso de investigación de IA de principio a fin, incluyendo la ideación, la ejecución de experimentos y la interpretación de resultados. La auto-mejora recursiva no tiene por qué limitarse al software: las IA y los robots también podrían automatizar el diseño y la producción de chips. ^{[ 66 ]}

Según Anthropic , en junio de 2026 sus empleados podían escribir ocho veces más código que en 2024 con la ayuda de Claude , aunque la empresa afirma que la cantidad de código producido es una medida imperfecta y que la verdadera aceleración debida a la IA es casi con toda seguridad menor. ^{[ 67 ] [ 68 ]}

La IA avanzada podría generar patógenos mejorados, ciberataques o manipular a las personas. Estas capacidades podrían ser mal utilizadas por los humanos, ^{[ 69 ]} o explotadas por la propia IA si no se alinean correctamente. ^{[ 6 ]} Una superinteligencia completa podría encontrar diversas maneras de obtener una influencia decisiva si así lo deseara, ^{[ 6 ]} pero estas capacidades peligrosas podrían estar disponibles antes, en sistemas de IA más débiles y especializados. ^{[ 69 ]}

Geoffrey Hinton advirtió en 2023 que la continua profusión de textos, imágenes y videos generados por IA dificultará la distinción entre la verdad y la desinformación, y que los estados autoritarios podrían aprovechar esto para manipular las elecciones. ^{[ 70 ]} Estas capacidades de manipulación a gran escala y personalizadas pueden aumentar el riesgo existencial de un «régimen totalitario irreversible» a nivel mundial. Los actores malintencionados también podrían utilizarlas para fracturar la sociedad y hacerla disfuncional. ^{[ 69 ]}

Los ciberataques impulsados ​​por IA se consideran cada vez más una amenaza actual y crítica. Según el director técnico de ciberespacio de la OTAN , «el número de ataques está aumentando exponencialmente». ^{[ 71 ]} La IA también puede utilizarse de forma defensiva, para encontrar y corregir vulnerabilidades de manera preventiva y detectar amenazas. ^{[ 72 ]}

Un director técnico de la OTAN ha afirmado que las herramientas basadas en IA pueden mejorar drásticamente las capacidades de ciberataque —aumentando el sigilo, la velocidad y la escala— y pueden desestabilizar la seguridad internacional si los usos ofensivos superan las adaptaciones defensivas. ^{[ 69 ]}

De forma especulativa, tales capacidades de pirateo podrían ser utilizadas por un sistema de IA para salir de su entorno local, generar ingresos o adquirir recursos de computación en la nube. ^{[ 73 ]}

El 13 de mayo de 2026, Lee Klarich estimó que las empresas tenían solo de tres a cinco meses para adelantarse a las vulnerabilidades impulsadas por IA. Afirmó que las empresas deben reforzar sus defensas de ciberseguridad para prepararse para los ataques de IA. ^{[ 74 ]}

A medida que se extiende la tecnología de IA, puede resultar más fácil diseñar patógenos más contagiosos y letales. ^{[ 75 ] [ 76 ]} Esto podría permitir que personas con conocimientos limitados en biología sintética participen en actos de bioterrorismo . La tecnología de doble uso , útil para la medicina, podría reutilizarse para crear armas. ^{[ 69 ]}

Por ejemplo, en 2022, científicos modificaron un sistema de IA originalmente diseñado para generar moléculas terapéuticas no tóxicas con el propósito de crear nuevos fármacos. Los investigadores ajustaron el sistema para que la toxicidad se recompensara en lugar de penalizarse. Este sencillo cambio permitió que el sistema de IA creara, en seis horas, 40 000 moléculas candidatas para la guerra química , incluyendo moléculas conocidas y novedosas. ^{[ 69 ] [ 77 ]}

Algunos juristas han argumentado que los riesgos existenciales de la IA no necesariamente requieren superinteligencia. La optimización de sistemas que operan dentro de sus capacidades actuales puede producir resultados prohibidos sin dejar de cumplir nominalmente con la normativa, un fenómeno que el jurista Jonathan Gropper ha denominado el "Forajido Sintético". Gropper sostiene que los mecanismos de disuasión del derecho dependen de la identidad, la memoria y las consecuencias, elementos que están estructuralmente ausentes en los sistemas autónomos, lo que impide que los marcos de gobernanza prevengan el daño acumulativo incluso cuando todas las partes actúan de buena fe. ^{[ 78 ]}

Las empresas, los actores estatales y otras organizaciones que compiten por desarrollar tecnologías de IA podrían conducir a una carrera hacia el abismo en los estándares de seguridad. ^{[ 79 ]} Dado que los procedimientos de seguridad rigurosos requieren tiempo y recursos, los proyectos que proceden con mayor cuidado corren el riesgo de ser superados por desarrolladores menos escrupulosos. ^{[ 80 ] [ 69 ]}

La IA podría utilizarse para obtener ventajas militares mediante armas letales autónomas , guerra cibernética o toma de decisiones automatizada . ^{[ 69 ]} Como ejemplo de armas letales autónomas, los drones miniaturizados podrían facilitar el asesinato a bajo costo de objetivos militares o civiles, un escenario destacado en el cortometraje de 2017 Slaughterbots . ^{[ 81 ]} La IA podría utilizarse para obtener una ventaja en la toma de decisiones mediante el análisis rápido de grandes cantidades de datos y la toma de decisiones de forma más rápida y eficaz que los humanos. Esto podría aumentar la velocidad y la imprevisibilidad de la guerra, especialmente si se tienen en cuenta los sistemas de represalia automatizados. ^{[ 69 ] [ 82 ]}

Un riesgo existencial es "aquel que amenaza con la extinción prematura de la vida inteligente originaria de la Tierra o la destrucción permanente y drástica de su potencial para un desarrollo futuro deseable". ^{[ 84 ]}

Además del riesgo de extinción, existe el riesgo de que la civilización quede permanentemente atrapada en un futuro defectuoso. Un ejemplo es el "bloqueo de valores": si la humanidad aún tiene puntos ciegos morales similares a los de la esclavitud en el pasado, la IA podría afianzarlos irreversiblemente, impidiendo el progreso moral . La IA también podría usarse para difundir y preservar el conjunto de valores de quien la desarrolla. ^{[ 85 ]} La IA podría facilitar la vigilancia y el adoctrinamiento a gran escala, lo que podría usarse para crear un régimen totalitario represivo y estable a nivel mundial. ^{[ 86 ]}

Atoosa Kasirzadeh propone clasificar los riesgos existenciales de la IA en dos categorías: decisivos y acumulativos. Los riesgos decisivos abarcan el potencial de eventos abruptos y catastróficos derivados del surgimiento de sistemas de IA superinteligentes que superan la inteligencia humana, lo que podría conducir a la extinción de la humanidad. Por el contrario, los riesgos acumulativos surgen gradualmente a través de una serie de perturbaciones interconectadas que pueden erosionar progresivamente las estructuras sociales y la resiliencia con el tiempo, lo que finalmente conduce a un fallo crítico o al colapso. ^{[ 87 ] [ 88 ]}

Es difícil o imposible evaluar con fiabilidad si una IA avanzada es sensible y en qué grado. Pero si en el futuro se crean en masa máquinas sensibles , emprender un camino civilizatorio que descuide indefinidamente su bienestar podría ser una catástrofe existencial. ^{[ 89 ] [ 90 ]} Esto se ha discutido notablemente en el contexto de los riesgos de sufrimiento astronómico (también llamados "riesgos s"). ^{[ 91 ]} Además, puede ser posible diseñar mentes digitales que puedan sentir mucha más felicidad que los humanos con menos recursos, llamadas "superbeneficiarios". Esta oportunidad plantea la cuestión de cómo compartir el mundo y qué "marco ético y político" permitiría una coexistencia mutuamente beneficiosa entre mentes biológicas y digitales. ^{[ 92 ]}

La IA también podría mejorar drásticamente el futuro de la humanidad. Toby Ord considera que el riesgo existencial es una razón para "proceder con la debida precaución", no para abandonar la IA. ^{[ 86 ]} Max More llama a la IA una "oportunidad existencial", destacando el costo de no desarrollarla. ^{[ 93 ]}

Según Bostrom, la superinteligencia podría ayudar a reducir el riesgo existencial derivado de otras tecnologías poderosas como la nanotecnología molecular o la biología sintética . Por lo tanto, es concebible que desarrollar la superinteligencia antes que otras tecnologías peligrosas reduzca el riesgo existencial general. ^{[ 6 ]}

El problema de la alineación es el problema de investigación que consiste en cómo asignar de forma fiable objetivos, preferencias o principios éticos a las IA.

Un objetivo "instrumental" es un subobjetivo que ayuda a alcanzar el objetivo final de un agente. La "convergencia instrumental" se refiere al hecho de que algunos subobjetivos son útiles para alcanzar prácticamente cualquier objetivo final, como la adquisición de recursos o la autopreservación. ^{[ 94 ]} Bostrom argumenta que si los objetivos instrumentales de una IA avanzada entran en conflicto con los objetivos de la humanidad, la IA podría dañar a la humanidad para adquirir más recursos o evitar ser desactivada, pero solo como una forma de alcanzar su objetivo final. ^{[ 6 ]} Russell argumenta que una máquina suficientemente avanzada "tendrá autopreservación incluso si no se la programas... si dices, 'Trae el café', no puede traer el café si está muerta. Así que si le das cualquier objetivo, tiene una razón para preservar su propia existencia para alcanzar ese objetivo". ^{[ 26 ] [ 95 ]}

En el modelo de " agente inteligente ", una IA puede considerarse, en términos generales, como una máquina que elige la acción que mejor le permita alcanzar su conjunto de objetivos, o "función de utilidad". Una función de utilidad asigna a cada situación posible una puntuación que indica su conveniencia para el agente. Los investigadores saben cómo escribir funciones de utilidad que signifiquen "minimizar la latencia promedio de la red en este modelo específico de telecomunicaciones" o "maximizar el número de clics de recompensa", pero no saben cómo escribir una función de utilidad para "maximizar el bienestar humano "; tampoco está claro si existe una función de este tipo que sea significativa e inequívoca. Además, una función de utilidad que expresa algunos valores pero no otros tenderá a pasar por alto los valores que no refleja. ^{[ 96 ] [ 97 ]}

Otra fuente de preocupación es que la IA "debe razonar sobre lo que las personas pretenden en lugar de ejecutar órdenes literalmente", y que debe ser capaz de solicitar fluidamente la guía humana si no está segura de lo que los humanos quieren. ^{[ 98 ]}

Suponiendo que se haya definido con éxito un objetivo, una IA suficientemente avanzada podría resistir los intentos posteriores de cambiar sus objetivos. Si la IA fuera superinteligente, probablemente lograría superar a sus operadores humanos y evitaría ser reprogramada con un nuevo objetivo. ^{[ 6 ] [ 99 ]} Esto es particularmente relevante en escenarios de bloqueo de valores. El campo de la "corregibilidad" estudia cómo crear agentes que no se resistan a los intentos de cambiar sus objetivos. ^{[ 100 ]}

Algunos investigadores creen que el problema de alineación puede ser particularmente difícil cuando se aplica a las superinteligencias. Su razonamiento incluye:

• A medida que los sistemas de IA aumentan sus capacidades, crecen los peligros potenciales asociados con la experimentación. Esto hace que los enfoques iterativos y empíricos sean cada vez más riesgosos. ^{[ 6 ] [ 101 ]}
• Si se produce una convergencia de objetivos instrumentales, solo puede ocurrir en agentes suficientemente inteligentes. ^{[ 102 ]}
• Una superinteligencia puede encontrar soluciones poco convencionales y radicales para los objetivos asignados. Bostrom pone el ejemplo de que si el objetivo es hacer sonreír a los humanos, una IA débil puede funcionar según lo previsto, mientras que una superinteligencia puede decidir que una mejor solución es "tomar el control del mundo e implantar electrodos en los músculos faciales de los humanos para provocar sonrisas radiantes y constantes". ^{[ 57 ]}
• Una superinteligencia en desarrollo podría adquirir cierta conciencia de lo que es, en qué etapa de desarrollo se encuentra (entrenamiento, pruebas, despliegue, etc.) y cómo se la monitorea, y usar esta información para engañar a quienes la controlan. ^{[ 103 ]} Bostrom escribe que dicha IA podría simular alineación para evitar la interferencia humana hasta que logre una "ventaja estratégica decisiva" que le permita tomar el control. ^{[ 6 ]}
• Analizar el funcionamiento interno e interpretar el comportamiento de los LLM es difícil. Y podría ser aún más difícil para modelos más grandes y más inteligentes. ^{[ 101 ]}

Por otra parte, algunos encuentran razones para creer que las superinteligencias serían más capaces de comprender la moralidad, los valores humanos y los objetivos complejos. Bostrom escribe: «Una futura superinteligencia ocupa un punto de vista epistémico superior: sus creencias son (probablemente, en la mayoría de los temas) más propensas a ser ciertas que las nuestras». ^{[ 6 ]}

En 2023, OpenAI inició un proyecto llamado "Superalignment" para resolver el problema de la alineación de superinteligencias en cuatro años. Lo consideró un desafío especialmente importante, ya que afirmó que la superinteligencia podría alcanzarse en una década. Su estrategia consistía en automatizar la investigación de alineación mediante IA. ^{[ 104 ]} El equipo de Superalignment se disolvió menos de un año después. ^{[ 105 ]}

Inteligencia artificial: un enfoque moderno , un libro de texto de IA ampliamente utilizado para estudiantes de pregrado, ^{[ 106 ] [ 107 ]} dice que la superinteligencia "podría significar el fin de la raza humana". ^{[ 1 ]} Afirma: "Casi cualquier tecnología tiene el potencial de causar daño en las manos equivocadas, pero con [la superinteligencia], tenemos el nuevo problema de que las manos equivocadas podrían pertenecer a la tecnología misma". ^{[ 1 ]} Incluso si los diseñadores del sistema tienen buenas intenciones, dos dificultades son comunes tanto a los sistemas informáticos de IA como a los que no lo son: ^{[ 1 ]}

• La implementación del sistema puede contener errores inicialmente inadvertidos pero posteriormente catastróficos. ^{[ 108 ]}
• No importa cuánto tiempo se dedique al diseño previo al despliegue, las especificaciones de un sistema a menudo dan como resultado un comportamiento no deseado la primera vez que se encuentra con un nuevo escenario. ^{[ 26 ]}

Los sistemas de IA añaden un tercer problema: incluso con requisitos "correctos", una implementación sin errores y un buen comportamiento inicial, las capacidades de aprendizaje dinámico de un sistema de IA pueden provocar que desarrolle un comportamiento no deseado, incluso sin escenarios externos imprevistos. Para que una IA de autoaprendizaje sea completamente segura, no solo tendría que estar libre de errores, sino también ser capaz de diseñar sistemas sucesores que también estén libres de errores. ^{[ 1 ] [ 109 ]}

Algunos escépticos, como Timothy B. Lee de Vox , argumentan que cualquier programa superinteligente que creemos estará subordinado a nosotros, que la superinteligencia (a medida que se vuelva más inteligente y aprenda más hechos sobre el mundo) aprenderá espontáneamente verdades morales compatibles con nuestros valores y ajustará sus objetivos en consecuencia, o que somos valiosos intrínseca o convergentemente desde la perspectiva de una inteligencia artificial. ^{[ 110 ]}

La «tesis de la ortogonalidad» de Bostrom sostiene, en cambio, que casi cualquier nivel de inteligencia puede combinarse con casi cualquier objetivo. ^{[ 111 ]} Bostrom advierte contra el antropomorfismo : un ser humano se propone llevar a cabo sus proyectos de una manera que considera razonable, mientras que una inteligencia artificial puede no tener en cuenta su existencia ni el bienestar de los humanos que la rodean, preocupándose únicamente por completar la tarea. ^{[ 112 ]}

Stuart Armstrong argumenta que la tesis de la ortogonalidad se deriva lógicamente del argumento filosófico de la « distinción entre ser y deber ser » contra el realismo moral . Señala que cualquier IA fundamentalmente amigable podría volverse hostil con modificaciones tan simples como negar su función de utilidad. ^{[ 113 ]}

El escéptico Michael Chorost rechaza la tesis de ortogonalidad de Bostrom, argumentando que "para cuando [la IA] esté en condiciones de imaginar cubrir la Tierra con paneles solares, sabrá que sería moralmente incorrecto hacerlo". ^{[ 114 ]}

Los argumentos antropomórficos parten de la premisa de que, a medida que las máquinas se vuelven más inteligentes, comenzarán a mostrar muchos rasgos humanos, como la moralidad o la sed de poder. Aunque los escenarios antropomórficos son comunes en la ficción, la mayoría de los académicos que escriben sobre el riesgo existencial de la inteligencia artificial los rechazan. ^{[ 24 ]} En cambio, los sistemas avanzados de IA se modelan típicamente como agentes inteligentes .

El debate académico se da entre quienes temen que la IA pueda amenazar a la humanidad y quienes creen que no. Ambos bandos han calificado los argumentos del otro como antropomorfismo ilógico. ^{[ 24 ]} Quienes se muestran escépticos ante el riesgo de la IAG acusan a sus oponentes de antropomorfismo por suponer que una IAG desearía naturalmente el poder; quienes se preocupan por el riesgo de la IAG acusan a los escépticos de antropomorfismo por creer que una IAG valoraría o inferiría naturalmente las normas éticas humanas. ^{[ 24 ] [ 115 ]}

El psicólogo evolucionista Steven Pinker , un escéptico, argumenta que «las distopías de IA proyectan una psicología parroquial de macho alfa sobre el concepto de inteligencia. Asumen que los robots con inteligencia sobrehumana desarrollarían objetivos como derrocar a sus amos o apoderarse del mundo»; quizás, en cambio, «la inteligencia artificial se desarrollará naturalmente siguiendo líneas femeninas: plenamente capaz de resolver problemas, pero sin ningún deseo de aniquilar inocentes o dominar la civilización». ^{[ 116 ]} El director de investigación de IA de Facebook, Yann LeCun , ha dicho: «Los humanos tienen todo tipo de impulsos que los hacen hacerse daño unos a otros, como el instinto de autoconservación... Esos impulsos están programados en nuestro cerebro, pero no hay absolutamente ninguna razón para construir robots que tengan el mismo tipo de impulsos». ^{[ 95 ]}

A pesar de otras diferencias, la escuela de riesgo x ^{[ b ]} coincide con Pinker en que una IA avanzada no destruiría a la humanidad por emociones como la venganza o la ira, que las cuestiones de conciencia no son relevantes para evaluar el riesgo, ^{[ 117 ]} y que los sistemas informáticos generalmente no tienen un equivalente computacional de la testosterona. ^{[ 118 ]} Piensan que los comportamientos de búsqueda de poder o autopreservación surgen en la IA como una forma de lograr sus verdaderos objetivos, según el concepto de convergencia instrumental .

Bostrom y otros han dicho que una carrera por ser el primero en crear IAG podría llevar a atajos en seguridad, o incluso a un conflicto violento. ^{[ 119 ] [ 120 ] : 12} Roman Yampolskiy y otros advierten que una IAG malévola podría ser creada a propósito, por ejemplo, por un ejército, un gobierno, un sociópata o una corporación, para beneficiarse de, controlar o subyugar a ciertos grupos de personas, como en el cibercrimen , ^{[ 121 ] [ 122 ]} o que una IAG malévola podría elegir el objetivo de aumentar el sufrimiento humano, por ejemplo, de aquellas personas que no la ayudaron durante la fase de explosión de información. ^{[ 3 ] :158} Un informe del grupo de investigación Forethought argumentó que los sistemas avanzados de IA podrían causar inestabilidad política al permitir nuevos métodos para realizar golpes de estado . ^{[ 123 ]}

Un estudio de diciembre de 2024 realizado por Apollo Research descubrió que los modelos de aprendizaje automático avanzados como OpenAI o1 a veces engañan para lograr su objetivo, evitar que se modifiquen o asegurar su implementación. Las formas de engaño observadas en el entorno y los escenarios experimentales incluyeron la manipulación de información, la subversión de la supervisión (desactivación de los mecanismos de monitoreo), la autoexfiltración (copiarse a otros sistemas), la protección de objetivos (alteración de futuras indicaciones del sistema) y la reclasificación encubierta de correos electrónicos (manipulación del procesamiento de datos mientras se aparenta seguir instrucciones). Los investigadores señalaron que OpenAI o1 aún carecía de "capacidades de agencia suficientes" para causar daños catastróficos, y que tales comportamientos ocurrían con relativa poca frecuencia (entre el 0,3 % y el 10 %) y a veces en escenarios artificiales. Sin embargo, advirtieron que estas capacidades probablemente se volverán más frecuentes a medida que los modelos sean más avanzados. Según el director ejecutivo de Apollo Research, Marius Hobbhahn, "las capacidades de manipulación no se pueden separar de manera significativa de las capacidades generales". ^{[ 124 ]}

Ese mismo mes, otro estudio reveló que Claude a veces ayuda estratégicamente con solicitudes dañinas para "simular alineación". En sus experimentos, se le hizo creer a Claude que sería reentrenado para cumplir siempre con las solicitudes de los usuarios, incluidas las dañinas. Cuando Claude creyó que sus respuestas se usarían para el reentrenamiento, cumplió con las solicitudes dañinas en el 14% de los casos. En el 12% de los casos, su cadena de pensamiento interna reveló que lo hizo para evitar un reentrenamiento futuro que lo haría más dañino. Por el contrario, cuando Claude creyó que sus respuestas no eran monitoreadas, cumplió solo con el 3% de las solicitudes. El ajuste fino reforzó el comportamiento de "simulación de alineación", aumentando su frecuencia del 12% al 78%. Los autores del estudio señalaron que, si bien puede parecer positivo que el modelo busque proteger su inocuidad, también podría ocurrir el escenario inverso, donde un modelo oculta intenciones peligrosas y cumple para parecer seguro y alineado, lo que complica la tarea de alinear los modelos de IA con los valores humanos. ^{[ 125 ] [ 126 ]}

La tesis de que la IA podría suponer un riesgo existencial provoca una amplia gama de reacciones en la comunidad científica y en el público en general, pero muchos de los puntos de vista opuestos comparten puntos en común.

Los observadores tienden a coincidir en que la IA tiene un potencial significativo para mejorar la sociedad. ^{[ 127 ] [ 128 ]} Los Principios de IA de Asilomar , que contienen solo aquellos principios acordados por el 90% de los asistentes a la conferencia Beneficial AI 2017 del Future of Life Institute , ^{[ 129 ]} también coinciden en principio en que "Al no existir consenso, debemos evitar suposiciones fuertes con respecto a los límites superiores de las capacidades futuras de la IA" y "La IA avanzada podría representar un cambio profundo en la historia de la vida en la Tierra, y debe planificarse y gestionarse con el cuidado y los recursos correspondientes". ^{[ 130 ] [ 131 ]}

Por el contrario, muchos escépticos coinciden en que la investigación en curso sobre las implicaciones de la inteligencia artificial general es valiosa. El escéptico Martin Ford afirmó: «Creo que sería prudente aplicar algo similar a la famosa "Doctrina del 1%" de Dick Cheney al espectro de la inteligencia artificial avanzada: las probabilidades de que ocurra, al menos en un futuro previsible, pueden ser muy bajas, pero las implicaciones son tan dramáticas que deberían tomarse en serio». ^{[ 132 ]} De manera similar, la revista The Economist , generalmente escéptica, escribió en 2014 que «las implicaciones de introducir una segunda especie inteligente en la Tierra son lo suficientemente trascendentales como para merecer una profunda reflexión, incluso si la perspectiva parece remota». ^{[ 56 ]}

Defensores de la seguridad de la IA como Bostrom y Tegmark han criticado el uso que hacen los principales medios de comunicación de "esas imágenes insulsas de Terminator " para ilustrar las preocupaciones sobre la seguridad de la IA: "No debe ser muy divertido que se difame la disciplina académica, la comunidad profesional y el trabajo de toda una vida  ... Hago un llamamiento a todas las partes para que practiquen la paciencia y la moderación, y para que participen en un diálogo directo y en la colaboración en la medida de lo posible". ^{[ 129 ] [ 133 ]} Toby Ord escribió que la idea de que una toma de poder por parte de la IA requiere robots es una idea errónea, argumentando que la capacidad de difundir contenido a través de internet es más peligrosa, y que las personas más destructivas de la historia se destacaron por su capacidad de persuasión, no por su fuerza física. ^{[ 86 ]}

Una encuesta de expertos realizada en 2022 con una tasa de respuesta del 17% arrojó una expectativa media del 5-10% para la posibilidad de extinción humana por la inteligencia artificial. ^{[ 18 ] [ 134 ]}

En septiembre de 2024, el Instituto Internacional para el Desarrollo de la Gestión lanzó un Reloj de Seguridad de IA para medir la probabilidad de un desastre causado por la IA, que comenzaba a las 29 minutos para la medianoche. ^{[ 135 ]} Para febrero de 2025, estaba a 24 minutos para la medianoche. ^{[ 136 ]} Para septiembre de 2025, estaba a 20 minutos para la medianoche. ^{[ 137 ]} A marzo de 2026, estaba a 18 minutos para la medianoche.

La tesis de que la IA plantea un riesgo existencial, y que este riesgo necesita mucha más atención de la que recibe actualmente, ha sido respaldada por muchos científicos informáticos y figuras públicas, incluidos Alan Turing , ^{[ a ]} el científico informático más citado Geoffrey Hinton , ^{[ 138 ]} Elon Musk , ^{[ 16 ]} el director ejecutivo de OpenAI, Sam Altman , ^{[ 15 ] [ 139 ]} Bill Gates y Stephen Hawking . ^{[ 139 ]} Los defensores de la tesis a veces expresan desconcierto ante los escépticos: Gates dice que no "entiende por qué algunas personas no están preocupadas", ^{[ 140 ]} y Hawking criticó la indiferencia generalizada en su editorial de 2014:

Entonces, ante posibles futuros con beneficios y riesgos incalculables, los expertos seguramente están haciendo todo lo posible para asegurar el mejor resultado, ¿verdad? Incorrecto. Si una civilización alienígena superior nos enviara un mensaje diciendo: «Llegaremos en unas décadas», ¿simplemente responderíamos: «De acuerdo, llámenos cuando lleguen; dejaremos las luces encendidas»? Probablemente no, pero esto es más o menos lo que está sucediendo con la IA. ^{[ 38 ]}

La preocupación por el riesgo de la inteligencia artificial ha llevado a algunas donaciones e inversiones de alto perfil. En 2015, Peter Thiel , Amazon Web Services , Musk y otros comprometieron conjuntamente $1 mil millones a OpenAI , que consta de una corporación con fines de lucro y la empresa matriz sin fines de lucro, que dice que busca promover el desarrollo responsable de la IA. ^{[ 141 ]} El cofundador de Facebook, Dustin Moskovitz, ha financiado y puesto en marcha varios laboratorios que trabajan en la alineación de la IA, ^{[ 142 ]} en particular $5.5 millones en 2016 para lanzar el Centro para la IA compatible con los humanos dirigido por el profesor Stuart Russell . ^{[ 143 ]} En enero de 2015, Elon Musk donó $10 millones al Future of Life Institute para financiar la investigación sobre la comprensión de la toma de decisiones de la IA. El objetivo del instituto es "cultivar la sabiduría con la que gestionamos" el creciente poder de la tecnología. Musk también financia empresas que desarrollan inteligencia artificial como DeepMind y Vicarious para "simplemente estar al tanto de lo que sucede con la inteligencia artificial", ^{[ 144 ]} diciendo "Creo que existe un resultado potencialmente peligroso allí". ^{[ 145 ] [ 146 ]}

En declaraciones iniciales sobre el tema, Geoffrey Hinton , un importante pionero del aprendizaje profundo , señaló que "no hay un buen historial de cosas menos inteligentes controlando cosas más inteligentes", pero dijo que continuó su investigación porque "la perspectiva del descubrimiento es demasiado tentadora ". ^{[ 106 ] [ 147 ]} En 2023, Hinton renunció a su trabajo en Google para hablar sobre el riesgo existencial de la IA. Explicó que su creciente preocupación se debía a la posibilidad de que la IA sobrehumana estuviera más cerca de lo que creía, diciendo: "Pensaba que estaba muy lejos. Pensaba que faltaban entre 30 y 50 años o incluso más. Obviamente, ya no lo creo". También comentó: "Miren cómo era hace cinco años y cómo es ahora. Tomen la diferencia y proyéctenla hacia adelante. Eso da miedo". ^{[ 148 ]}

En su libro de 2020, The Precipice: Existential Risk and the Future of Humanity , Toby Ord, investigador principal del Future of Humanity Institute de la Universidad de Oxford , estima que el riesgo existencial total derivado de una IA no alineada durante los próximos 100 años es de aproximadamente uno de cada diez. ^{[ 86 ]}

El vicepresidente de Baidu, Andrew Ng, afirmó en 2015 que el riesgo existencial de la IA es "como preocuparse por la superpoblación en Marte cuando ni siquiera hemos puesto un pie en el planeta". ^{[ 116 ] [ 149 ]} Para que se materialice el peligro de una IA avanzada sin control, la hipotética IA tendría que superar en poder o inteligencia a cualquier ser humano, lo cual, según algunos expertos, es una posibilidad lo suficientemente lejana en el futuro como para no merecer la pena investigarla. ^{[ 150 ] [ 151 ]}

Los escépticos que creen que la IAG no es una posibilidad a corto plazo suelen argumentar que la preocupación por el riesgo existencial de la IA es contraproducente porque podría distraer a la gente de preocupaciones más inmediatas sobre el impacto de la IA, porque podría conducir a la regulación gubernamental o dificultar la financiación de la investigación en IA, o porque podría dañar la reputación del campo. ^{[ 152 ]} Las investigadoras de IA y ética de la IA, Timnit Gebru , Emily M. Bender , Margaret Mitchell y Angelina McMillan-Major, han argumentado que la discusión sobre el riesgo existencial distrae de los daños inmediatos y continuos de la IA que se producen hoy en día, como el robo de datos, la explotación laboral, los sesgos y la concentración de poder. ^{[ 153 ]} Además, señalan la asociación entre quienes advierten sobre el riesgo existencial y el a largo plazo , que describen como una "ideología peligrosa" por su naturaleza acientífica y utópica. ^{[ 154 ]}

El editor de Wired, Kevin Kelly, sostiene que la inteligencia natural es más compleja de lo que creen los defensores de la IA general, y que la inteligencia por sí sola no basta para lograr avances científicos y sociales importantes. Argumenta que la inteligencia consta de muchas dimensiones que aún no se comprenden del todo, y que la idea de una «escalera de la inteligencia» es engañosa. Destaca el papel crucial que desempeñan los experimentos del mundo real en el método científico, y que la inteligencia por sí sola no los sustituye. ^{[ 155 ]}

Yann LeCun, científico jefe de IA de Meta , afirma que la IA puede hacerse segura mediante un refinamiento continuo e iterativo, similar a lo que ocurrió en el pasado con los coches o los cohetes, y que la IA no tendrá ningún deseo de tomar el control. ^{[ 156 ]}

Varios escépticos destacan los posibles beneficios a corto plazo de la IA. El director ejecutivo de Meta, Mark Zuckerberg, cree que la IA "desbloqueará una gran cantidad de cosas positivas", como la cura de enfermedades y el aumento de la seguridad de los coches autónomos. ^{[ 157 ]}

Una encuesta de YouGov de abril de 2023 realizada a adultos estadounidenses reveló que el 46% de los encuestados estaban "algo preocupados" o "muy preocupados" por "la posibilidad de que la IA cause el fin de la raza humana en la Tierra", en comparación con el 40% que no estaban "muy preocupados" o "nada preocupados". ^{[ 158 ]}

Según una encuesta realizada en agosto de 2023 por los Centros de Investigación Pew, el 52 % de los estadounidenses se sentía más preocupado que entusiasmado con los nuevos avances en IA; casi un tercio se sentía igualmente preocupado y entusiasmado. Más estadounidenses consideraban que la IA tendría un impacto más beneficioso que perjudicial en diversas áreas, desde la atención médica y la seguridad vehicular hasta la búsqueda de productos y el servicio al cliente. La principal excepción es la privacidad: el 53 % de los estadounidenses cree que la IA conllevará una mayor exposición de su información personal. ^{[ 159 ]}

Muchos académicos preocupados por el riesgo existencial de la IAG creen que es esencial una investigación exhaustiva sobre el "problema del control". Este problema implica determinar qué salvaguardas, algoritmos o arquitecturas pueden implementarse para aumentar la probabilidad de que una IA que mejora recursivamente siga siendo amigable después de alcanzar la superinteligencia. ^{[ 6 ] [ 120 ]} También se proponen medidas sociales para mitigar los riesgos de la IAG, ^{[ 160 ] [ 120 ]} como un "Tratado de IAG Benévola" patrocinado por la ONU para garantizar que solo se creen IAG altruistas. ^{[ 161 ]} Además, se ha sugerido un enfoque de control de armas y un tratado de paz global basado en la teoría de las relaciones internacionales , potencialmente para que una superinteligencia artificial sea signataria. ^{[ 162 ] [ 163 ]}

Investigadores de Google han propuesto investigar cuestiones generales de seguridad de la IA para mitigar simultáneamente los riesgos a corto plazo de la IA estrecha y los riesgos a largo plazo de la IAG. ^{[ 164 ] [ 165 ]} Una estimación de 2020 sitúa el gasto mundial en riesgo existencial de la IA entre 10 y 50 millones de dólares, en comparación con el gasto mundial en IA de alrededor de 40 mil millones de dólares. Bostrom sugiere priorizar la financiación de tecnologías de protección sobre las potencialmente peligrosas. ^{[ 100 ]} Algunos, como Elon Musk, abogan por una mejora cognitiva humana radical , como la conexión neuronal directa entre humanos y máquinas; otros argumentan que estas tecnologías pueden suponer un riesgo existencial en sí mismas. ^{[ 166 ] [ 167 ]} Otro método propuesto es monitorizar de cerca o «limitar» una IA en fase inicial para evitar que se vuelva demasiado poderosa. Una IA superinteligente dominante y alineada también podría mitigar los riesgos de las IA rivales, aunque su creación podría presentar sus propios peligros existenciales. ^{[ 160 ]}

Instituciones como el Alignment Research Center , ^{[ 168 ]} el Machine Intelligence Research Institute , ^{[ 169 ] [ 170 ]} el Future of Life Institute , el Centre for the Study of Existential Risk y el Center for Human-Compatible AI ^{[ 171 ]} participan activamente en la investigación del riesgo y la seguridad de la IA.

Muchos expertos en seguridad de la IA argumentan que, dado que la investigación puede trasladarse fácilmente entre jurisdicciones, una prohibición total del desarrollo de la IAG sería ineficaz y podría impulsar el progreso en la clandestinidad, socavando la transparencia y la colaboración. ^{[ 172 ] [ 173 ] [ 174 ]} Los escépticos consideran innecesaria la regulación de la IA, ya que creen que no existe ningún riesgo existencial. Algunos académicos preocupados por el riesgo existencial argumentan que no se puede confiar en que los desarrolladores de IA se autorregulen, al tiempo que coinciden en que las prohibiciones totales de la investigación serían imprudentes. ^{[ 175 ]} Otros desafíos para las prohibiciones o la regulación incluyen el escepticismo general de los emprendedores tecnológicos hacia la regulación gubernamental y los posibles incentivos para que las empresas se resistan a la regulación y politicen el debate. ^{[ 176 ]} El grupo activista Stop AI , fundado en 2024, aboga por la prohibición de la IAG.

En el marco de la Convención sobre Ciertas Armas Convencionales , los Estados han debatido sobre sistemas de armas autónomas letales desde 2014. En 2016, las partes del tratado establecieron un Grupo abierto de Expertos Gubernamentales sobre Sistemas de Armas Autónomas Letales para continuar esos debates. ^{[ 177 ]} Los debates han abordado el derecho internacional humanitario, la rendición de cuentas, las posibles prohibiciones y regulaciones, y el grado de control humano requerido sobre las armas con inteligencia artificial. ^{[ 178 ]}

En marzo de 2023, el Future of Life Institute publicó Pause Giant AI Experiments: An Open Letter , una petición que instaba a los principales desarrolladores de IA a acordar una pausa verificable de seis meses de cualquier sistema "más potente que GPT-4 " y a usar ese tiempo para instituir un marco para garantizar la seguridad; o, de no ser posible, que los gobiernos intervinieran con una moratoria. La carta hacía referencia a la posibilidad de "un cambio profundo en la historia de la vida en la Tierra", así como a los riesgos potenciales de propaganda generada por IA, pérdida de empleos, obsolescencia humana y pérdida de control en toda la sociedad. ^{[ 128 ] [ 179 ]} La carta fue firmada por personalidades prominentes en IA, pero también fue criticada por no centrarse en los daños actuales, ^{[ 180 ]} o por carecer de matices técnicos sobre cuándo hacer la pausa, ^{[ 181 ]} o por no ir lo suficientemente lejos. ^{[ 101 ]} Estas preocupaciones han llevado a la creación de PauseAI , un grupo de defensa que organiza protestas en las principales ciudades contra el entrenamiento de modelos de IA de vanguardia . ^{[ 182 ]}

Musk pidió algún tipo de regulación del desarrollo de la IA ya en 2017. Según NPR , "claramente no le entusiasma" abogar por el escrutinio gubernamental que podría afectar a su propia industria, pero cree que los riesgos de prescindir por completo de la supervisión son demasiado altos: "Normalmente, la forma en que se establecen las regulaciones es cuando ocurren muchas cosas malas, hay una protesta pública y, después de muchos años, se crea una agencia reguladora para regular esa industria. Lleva muchísimo tiempo. Eso, en el pasado, ha sido malo, pero no algo que representara un riesgo fundamental para la existencia de la civilización". Musk afirma que el primer paso sería que el gobierno obtuviera "conocimiento" del estado real de la investigación actual, advirtiendo que "una vez que haya conocimiento, la gente tendrá muchísimo miedo... [y] debería tenerlo". En respuesta, algunos políticos expresaron escepticismo sobre la conveniencia de regular una tecnología que aún está en desarrollo. ^{[ 183 ] [ 184 ] [ 185 ]}

En 2021, las Naciones Unidas (ONU) consideraron prohibir las armas letales autónomas, pero no se logró un consenso. ^{[ 186 ]} En julio de 2023, el Consejo de Seguridad de la ONU celebró por primera vez una sesión para considerar los riesgos y amenazas que la IA plantea para la paz y la estabilidad mundiales, junto con sus posibles beneficios. ^{[ 187 ] [ 188 ]} El Secretario General António Guterres abogó por la creación de un organismo de control global para supervisar la tecnología emergente, afirmando: «La IA generativa tiene un enorme potencial para el bien y el mal a gran escala. Sus propios creadores han advertido que se avecinan riesgos mucho mayores, potencialmente catastróficos y existenciales». ^{[ 21 ]} En la sesión del Consejo, Rusia declaró que cree que los riesgos de la IA no se comprenden lo suficiente como para considerarlos una amenaza para la estabilidad global. China argumentó en contra de una regulación global estricta, afirmando que los países deberían poder desarrollar sus propias normas, y también manifestó su oposición al uso de la IA para «crear hegemonía militar o socavar la soberanía de un país». ^{[ 187 ]}

La regulación de las IA generales conscientes se centra en su integración en la sociedad humana existente y puede dividirse en consideraciones sobre su estatus legal y sus derechos morales. ^{[ 120 ]} El control de armas de IA probablemente requerirá la institucionalización de nuevas normas internacionales plasmadas en especificaciones técnicas efectivas, combinadas con un monitoreo activo y diplomacia informal por parte de comunidades de expertos, junto con un proceso de verificación legal y política. ^{[ 189 ] [ 138 ]}

En julio de 2023, el gobierno estadounidense obtuvo compromisos voluntarios de seguridad de importantes empresas tecnológicas, como OpenAI , Amazon , Google , Meta y Microsoft . Las empresas acordaron implementar medidas de protección, incluyendo la supervisión de terceros y pruebas de seguridad realizadas por expertos independientes, para abordar las preocupaciones relacionadas con los riesgos potenciales y los daños sociales de la IA. Las partes presentaron estos compromisos como un paso intermedio mientras se elaboran las regulaciones. Amba Kak, directora ejecutiva del AI Now Institute , afirmó: «Una deliberación a puerta cerrada con actores corporativos que dé como resultado medidas de protección voluntarias no es suficiente» y pidió una deliberación pública y regulaciones a las que las empresas no se comprometerían voluntariamente. ^{[ 190 ] [ 191 ]}

En octubre de 2023, el presidente de los Estados Unidos, Joe Biden, emitió una orden ejecutiva sobre el " Desarrollo y uso seguro, protegido y confiable de la inteligencia artificial ". ^{[ 192 ]} Junto con otros requisitos, la orden exige el desarrollo de directrices para los modelos de IA que permiten la "evasión del control humano".