Llamamiento mundial para establecer límites rojos en la IA.

El llamamiento mundial para establecer límites rojos en materia de IA es una declaración realizada el 22 de septiembre de 2025 en la que se insta a los gobiernos a definir y prohibir internacionalmente los usos y comportamientos inaceptables de la IA.

La declaración en línea fue anunciada por la premio Nobel de la Paz, Maria Ressa, durante la semana de alto nivel de la 80.ª Asamblea General de las Naciones Unidas . La declaración fue firmada inicialmente por 200 políticos y científicos destacados, entre ellos 10 premios Nobel.

La convocatoria no especifica qué límites rojos se deben establecer, pero sugiere varios, como la prohibición del diseño de armas biológicas, la vigilancia masiva o la suplantación de identidad por parte de la IA.

La declaración se publicó en línea como una carta abierta el 22 de septiembre de 2025. La premio Nobel de la Paz Maria Ressa la anunció en su discurso de apertura en la semana de alto nivel de la 80.ª Asamblea General de las Naciones Unidas en Nueva York, instando a los gobiernos a "definir lo que nunca se debería permitir que haga la IA" ^{[ 1 ] [ 2 ]} y "establecer límites internacionales claros para prevenir riesgos universalmente inaceptables para la IA" ^{[ 3 ].}

La iniciativa fue organizada por tres organizaciones sin ánimo de lucro: el Centro Francés para la Seguridad de la IA (CeSIA), The Future Society y el Centro para la Inteligencia Artificial Compatible con el Ser Humano (CHAI). ^{[ 1 ]}

La carta argumenta que la humanidad enfrenta riesgos como pandemias provocadas artificialmente, desinformación generalizada, manipulación a gran escala, desempleo y pérdida de control. ^{[ 2 ] [ 3 ]} Los defensores sostienen que las leyes nacionales son insuficientes para abordar estos riesgos y que "es necesario un acuerdo internacional sobre líneas rojas claras y verificables". Instan a los gobiernos a alcanzar un acuerdo para finales de 2026, ^{[ 1 ] [ 4 ]} y piden mecanismos de aplicación sólidos y la creación de una organización independiente para implementarlo. ^{[ 4 ]}

La carta no exige líneas rojas específicas, pero sugiere la posibilidad de prohibir las armas autónomas letales , la replicación autónoma de sistemas de IA y el uso de la IA en la guerra nuclear . ^{[ 1 ]} Otros ejemplos de posibles líneas rojas incluyen la puntuación social, la vigilancia masiva, el diseño de armas biológicas, el material de abuso sexual infantil generado por IA y la suplantación de identidad por IA. Una línea roja podría prohibir tanto los comportamientos de la IA (lo que los sistemas de IA deberían tener garantizado que nunca harán, incluso si se les pide) como los usos de la IA. ^{[ 5 ]}

Cuando se publicó, la declaración en línea fue firmada por más de 200 políticos y científicos prominentes, incluidos 10 premios Nobel. Entre los firmantes figuran el expresidente de Colombia Juan Manuel Santos y los investigadores Geoffrey Hinton y Yoshua Bengio . También incluye a autores populares como Stephen Fry y Yuval Noah Harari . ^{[ 1 ] [ 6 ]}

La carta recibió el apoyo de legisladores europeos, entre ellos el ex primer ministro italiano Enrico Letta y la expresidenta de Irlanda Mary Robinson . ^{[ 2 ]}

A partir de 2025, no existe una línea roja global sobre la IA. Existen algunas líneas rojas regionales, como las relativas a los usos considerados "inaceptables" por la Ley de IA en Europa, y el acuerdo entre Estados Unidos y China para no dejar en manos de la IA la decisión de lanzar o no armas nucleares. ^{[ 7 ]}

En el Consejo de Seguridad de las Naciones Unidas , días después de la declaración, Michael Kratsios , director de la Oficina de Política Científica y Tecnológica de la Casa Blanca de Donald Trump , dijo: "Rechazamos totalmente todos los esfuerzos de los organismos internacionales para imponer un control centralizado y una gobernanza global de la IA". ^{[ 8 ] [ 3 ]}

El tema de las líneas rojas de la IA cobró relevancia en 2026 con la disputa entre Anthropic y el Departamento de Defensa (DoD), que surgió a raíz de la solicitud del DoD a Anthropic de eliminar las líneas rojas contractuales sobre armas totalmente autónomas y vigilancia masiva interna. ^{[ 9 ]} El evento llevó a empleados de Google y OpenAI, así como a senadores demócratas, a exigir más líneas rojas sobre el uso militar de la IA. ^{[ 10 ]} El senador Adam Schiff propuso un proyecto de ley para "codificar" las líneas rojas de Anthropic. ^{[ 11 ]}

• Llamamiento mundial para establecer líneas rojas en la IA