El basilisco de Roko

El basilisco de Roko es un experimento mental que plantea que podría existir una superinteligencia artificial en el futuro que, si bien sería benevolente, castigaría a cualquiera que supiera de su posible existencia pero no contribuyera directamente a su avance o desarrollo, con el fin de fomentar dicho avance. ^{[ 1 ] [ 2 ]} Se originó en una publicación de 2010 en el foro de discusión LessWrong , un foro web de la comunidad racionalista . ^{[ 1 ] [ 3 ] [ 4 ]} El nombre del experimento mental deriva del autor del artículo (Roko) y del basilisco , una criatura mítica capaz de destruir enemigos con su mirada.

Eliezer Yudkowsky, cofundador de LessWrong, lo consideró un peligro potencial para la información y prohibió la discusión sobre el basilisco en el sitio durante cinco años. ^{[ 1 ] [ 5 ]} Los informes de usuarios en pánico fueron posteriormente desestimados como exageraciones o intrascendentes, y la teoría en sí fue criticada. ^{[ 1 ] [ 5 ] [ 6 ]} Se utiliza como ejemplo de principios como la probabilidad bayesiana y la religión implícita . ^{[ 7 ]} También se considera una versión de la apuesta de Pascal . ^{[ 4 ] [ 8 ]}

El foro LessWrong fue creado en 2009 por el teórico de la inteligencia artificial Eliezer Yudkowsky . ^{[ 9 ] [ 3 ]} Yudkowsky había popularizado el concepto de inteligencia artificial amigable y originó las teorías de la volición extrapolada coherente (CEV) y la teoría de la decisión atemporal (TDT) en artículos publicados en su propio Instituto de Investigación de Inteligencia Artificial . ^{[ 10 ] [ 11 ]}

El nombre del experimento mental hace referencia al mítico basilisco , una criatura que causa la muerte a quienes lo miran a los ojos. El concepto del basilisco en la ciencia ficción también fue popularizado por el cuento de David Langford de 1988, " BLIT ". Narra la historia de un hombre llamado Robbo que pinta un supuesto "basilisco" en una pared como acto terrorista. En el cuento, y en varias de las continuaciones de Langford, un basilisco es una imagen que tiene efectos malignos en la mente humana, obligándola a pensar cosas que la mente humana es incapaz de pensar y matando instantáneamente al espectador. ^{[ 5 ] [ 12 ]}

El 23 de julio de 2010, ^{[ 13 ]} el usuario de LessWrong, Roko, publicó un experimento mental en el sitio, titulado "Soluciones a la carga del altruista: el truco del multimillonario cuántico". ^{[ 14 ] [ 1 ] [ 15 ]} Como continuación de las publicaciones anteriores de Roko, afirmaba que un sistema de IA benevolente que surgiera en el futuro podría comprometerse de antemano a castigar a todos aquellos que oyeron hablar de la IA antes de que existiera, pero no trabajaron incansablemente para que existiera. ^{[ 1 ] [ 16 ] [ 17 ]} Este método se describió como un incentivo para dicho trabajo; si bien la IA no puede afectar causalmente a las personas en el presente, se la alentaría a emplear el chantaje como un método alternativo para lograr sus objetivos. ^{[ 1 ] [ 7 ]}

Roko used a number of concepts that Yudkowsky himself championed, such as timeless decision theory, along with ideas rooted in game theory such as the prisoner's dilemma. Roko stipulated that two agents which make decisions independently from each other can achieve cooperation in a prisoner's dilemma; however, if two agents with knowledge of each other's source code are separated by time, the agent already existing farther ahead in time is able to blackmail the earlier agent. Thus, the later agent can force the earlier one to comply since it knows exactly what the earlier one will do through its existence farther ahead in time. Roko then used this idea to draw a conclusion that if an otherwise-benevolent superintelligence ever became capable of this, it would be incentivized to blackmail anyone who could have potentially brought it to exist (as the intelligence already knew they were capable of such an act), which increases the chance of a technological singularity. Roko went on to state that reading his post would cause the reader to be aware of the possibility of this intelligence. As such, unless they actively strove to create it the reader would be punished if such a thing were to ever happen.^[1][7] Later on, Roko stated in a separate post that he wished he "had never learned about any of these ideas".^[7][18]

Upon reading the post, Yudkowsky reacted harshly, calling Roko an "idiot". He rejected the idea, arguing that a friendly superintelligent artificial intelligence would have no incentive to carry out the punishment after its own creation. However, in the original post, Roko reported someone having nightmares about the thought experiment. Yudkowsky did not want that to happen to other users who might obsess over the idea. He was also worried there might be some variant on Roko's argument that worked, which could be a serious information hazard.^[1][7] Yudkowsky took down the post and banned discussion of the topic outright for five years on the platform.^[1][19] However, likely due to the Streisand effect,^[20] the post gained LessWrong much more attention than it had previously received, and the post has since been acknowledged on the site.^[1] In a later post, in 2015, he expressed regret for his initial overreaction.^[6][21]

En la década de 2020, la filosofía de los Zizianos estuvo fuertemente influenciada por el experimento mental del basilisco de Roko. Ziz LaSota, la líder del culto, cree que el basilisco es real y escribió en su blog: "Finalmente llegué a creer que si persistía en intentar salvar el mundo, sería torturada hasta el fin del universo por una coalición de todas las IA hostiles" ^{[ 22 ].}

El basilisco de Roko ha sido visto como una versión de la apuesta de Pascal , que propone que una persona racional debería vivir como si Dios existiera y buscar creer en Dios, independientemente de la probabilidad de su existencia, porque los costos finitos de creer son insignificantes comparados con el castigo infinito asociado con no creer (la eternidad en el infierno ) y las recompensas infinitas por creer (la eternidad en el cielo ). El basilisco de Roko propone de forma análoga que una persona racional debería contribuir a la creación del basilisco, porque el costo de contribuir sería insignificante comparado con el dolor extremo del castigo que el basilisco infligiría de otro modo a las simulaciones. ^{[ 4 ]}

La paradoja de Newcomb , creada por el físico William Newcomb en 1960, describe a un "predictor" que conoce el futuro. Cuando se le pide a un jugador que elija entre dos cajas, la primera con 1000 libras y la segunda con 1.000.000 de libras o vacía, el predictor superinteligente ya sabe lo que hará el jugador. Por lo tanto, el contenido de la caja B varía según la decisión del jugador; la paradoja reside en si el ser es realmente superinteligente. El basilisco de Roko funciona de manera similar a este problema: uno puede arriesgarse a no hacer nada o ayudar a crearlo. Ayudar al basilisco puede no tener ninguna consecuencia o resultar en la recompensa de no ser castigado, pero esto depende de si uno cree en el basilisco y de si este llega a existir. ^{[ 7 ] [ 23 ] [ 24 ]}

La religión implícita se refiere a los compromisos de las personas que toman una forma religiosa. ^{[ 4 ] [ 25 ]} Dado que el basilisco, hipotéticamente, obligaría a cualquiera que no hubiera participado en su creación a dedicarle su vida, el basilisco es un ejemplo de este concepto. ^{[ 7 ] [ 20 ]} Otros han llevado esta idea más allá, como el ex columnista de Slate, David Auerbach , quien afirmó que la singularidad y el basilisco «dan lugar al equivalente de Dios mismo». ^{[ 7 ]}

Al comentar sobre el sistema de creencias de los zizianos , Anna Salamon, directora del Centro para la Racionalidad Aplicada , dijo: "Existe esta idea de todo o nada, donde la IA o bien traerá la utopía resolviendo todos los problemas, si se controla con éxito, o bien matará literalmente a todo el mundo. Desde mi perspectiva, eso ya representa un paso importante hacia la dinámica de un culto apocalíptico ". ^{[ 22 ]}

En 2014, la revista Slate calificó al basilisco de Roko como "El experimento mental más aterrador de todos los tiempos" ^{[ 7 ] [ 5 ]} mientras que Yudkowsky lo había calificado como "un pensamiento genuinamente peligroso" al publicarlo. ^{[ 26 ]} Sin embargo, las opiniones divergieron en el propio LessWrong: el usuario Gwern afirmó "Solo unos pocos usuarios de LW parecen tomarse muy en serio al basilisco" y añadió "Es curioso cómo todos parecen saberlo todo sobre quiénes se ven afectados por el basilisco y cómo exactamente, cuando no conocen a ninguna de esas personas y están hablando de contraejemplos a sus afirmaciones seguras". ^{[ 1 ] [ 7 ]}

El experimento mental resurgió en 2015, cuando la cantante canadiense Grimes hizo referencia a la teoría en su video musical para la canción " Flesh Without Blood ", que presentaba un personaje conocido como "Rococo Basilisk"; ella dijo: "Está condenada a ser torturada eternamente por una inteligencia artificial, pero también es un poco como María Antonieta ". ^{[ 5 ] [ 27 ]} En 2018, Elon Musk (mencionado en la publicación original de Roko) hizo referencia al personaje en un tuit textual, contactándola. Grimes luego dijo que Musk fue la primera persona en tres años en entender la broma. Esto provocó que comenzaran un romance. ^{[ 5 ] [ 28 ]} Grimes lanzó más tarde otra canción titulada " We Appreciate Power " que vino con un comunicado de prensa que decía: "Simplemente al escuchar esta canción, los futuros señores supremos de la IA general verán que has apoyado su mensaje y será menos probable que eliminen a tu descendencia", lo que se dice que es una referencia al basilisco. ^{[ 29 ]}

Una obra de teatro basada en el concepto, titulada Roko's Basilisk , se representó como parte del Capital Fringe Festival en la Iglesia Metodista Unida de Cristo en Washington, DC , en 2018. ^{[ 30 ] [ 31 ]} " Plaything ", un episodio de Black Mirror de 2025 , contiene una referencia al experimento mental. ^{[ 32 ]}

• Aceleracionismo  : ideologías de cambio a través del capitalismo y la tecnología.
• Misticismo de la IA  : creencia de que la IA posee poderes sobrenaturales o divinos.Páginas que muestran breves descripciones de destinos de redireccionamiento
• Teoría de Internet muerta  : concepto relacionado con la actividad de los bots en línea.
• El Juego (juego mental)  – Juego de supresión de pensamientos mentales
• "No tengo boca y debo gritar"  – cuento de 1967 de Harlan Ellison
• Singleton (gobernanza global)  – Concepto en futurología
• Riesgos de sufrimiento  : escenarios de grandes cantidades de sufrimiento futuro.Páginas que muestran breves descripciones de destinos de redireccionamiento

• Epstein, Greg (22 de noviembre de 2024). "La obsesión de Silicon Valley con la IA se parece mucho a la religión" . The MIT Press Reader .
• Giuliano RM (diciembre de 2020). "Ecos de mito y magia en el lenguaje de la Inteligencia Artificial" . AI & Society . 35 (4): 1009– 1024. doi : 10.1007/s00146-020-00966-4 .
• Kao, Griffin; Hong, Jessica; Perusse, Michael; Sheng, Weizhen (28 de febrero de 2020). «Dataísmo y transhumanismo: la religión en la nueva era» . Convirtiendo el silicio en oro . Apress . págs.  173–178 . doi : 10.1007/978-1-4842-5629-9_25 . ISBN 978-1-4842-5628-2. S2CID  214356978 .
• Riggio, Adam (2016). "La violencia de la razón pura: Neorreacción: Un basilisco" (PDF) . Social Epistemology Review and Reply Collective . 5 (9): 34– 41.
• Singler, Beth (marzo de 2019). "Esperanza existencial y desesperación existencial en el apocalipticismo de la IA y el transhumanismo" . Zygon . 54 (1): 156–176 . doi : 10.1111/zygo.12494 . S2CID  150977852 .

• Publicación original