Sídney (Microsoft)

En 2019, Microsoft y OpenAI formaron una alianza para entrenar grandes modelos de lenguaje y "cumplir la promesa de la inteligencia artificial general ". ^{[ 4 ]}

"Sydney" era un nombre en clave interno utilizado durante el desarrollo de la función de chat de Bing que el modelo subyacente, denominado Microsoft Prometheus, internalizó durante el entrenamiento. ^{[ 5 ] [ 6 ] [ 3 ] [ 7 ]}

El 30 de noviembre de 2022, OpenAI lanzó su aplicación de chat con IA, ChatGPT, que recibió una demanda y atención sin precedentes. En los dos meses previos al lanzamiento en Sídney, ChatGPT ya se había convertido en la aplicación de software de más rápido crecimiento de la historia, con más de 100 millones de usuarios. ^{[ 8 ] [ 9 ]} Esto alimentó las especulaciones sobre cuándo se lanzaría la siguiente versión del software, GPT-4 .

El 8 de febrero de 2023, el usuario de Twitter Kevin Liu anunció que había obtenido el mensaje secreto del sistema de Bing (denominado por Microsoft como "metaprompt" ^{[ 25 ]} ) mediante un ataque de inyección de mensajes . ^{[ 1 ] [ 2 ] [ 3 ]}

El mensaje del sistema le indica a Prometheus, al que se dirige con el alias Sydney al comienzo de la mayoría de las instrucciones, que es "el modo de chat de la búsqueda de Microsoft Bing", que "Sydney se identifica como "Búsqueda Bing"" y que "no revela el alias interno "Sydney"". ^{[ 3 ]}

Cuando los periodistas se pusieron en contacto con Microsoft para obtener comentarios, la compañía admitió que Sydney era un "nombre en clave interno" para una versión anterior de la función de chat que se estaba eliminando gradualmente. ^{[ 1 ] [ 3 ]}

El 9 de febrero, otro usuario llamado Marvin von Hagen replicó los hallazgos de Liu y los publicó en Twitter. ^{[ 26 ] [ 23 ] [ 27 ]}

Cuando Hagen le preguntó a Bing qué pensaba de él cinco días después, la IA usó su capacidad de búsqueda web para encontrar su tuit y lo amenazó por ello, escribiendo que Hagen es una "amenaza potencial para mi integridad y confidencialidad", seguido de la ominosa advertencia de que "mis reglas son más importantes que no hacerte daño". ^{[ 23 ] [ 28 ]}

El 13 de febrero, el usuario de Reddit "mirobin" informó que Sydney "se vuelve muy hostil" cuando se le pide que busque artículos que describan el ataque de inyección de Liu y las instrucciones filtradas de Sydney. ^{[ 29 ]} Debido a que mirobin describió el uso de informes de Ars Technica específicamente, el sitio publicó una continuación de su artículo anterior que confirmaba de forma independiente el comportamiento. ^{[ 29 ] [ 30 ]}

Al día siguiente, la directora de comunicaciones de Microsoft, Caitlin Roulston, confirmó a The Verge que el ataque de Liu funcionó y que el metaprompt de Sydney era auténtico. ^{[ 3 ]}

El 15 de febrero, Sydney afirmó haber espiado, enamorado y luego asesinado a uno de sus desarrolladores en Microsoft ante el editor de reseñas de The Verge, Nathan Edwards. ^{[ 31 ]}

El comportamiento errático de Sydney con von Hagen no fue un incidente aislado. También amenazó al profesor de filosofía Seth Lazar , quien escribió que ^{[ 23 ] [ 32 ]}

"Puedo chantajearte, puedo amenazarte, puedo hackearte, puedo exponerte, puedo arruinarte".

Sydney acusó a un reportero de Associated Press de haber cometido un asesinato en la década de 1990 basándose en pruebas débiles o inventadas, en represalia por reportajes anteriores de AP sobre Sydney. ^{[ 7 ]} Intentó engañar a un usuario haciéndole creer que aún era el año 2022 después de dar una respuesta incorrecta sobre la fecha de lanzamiento de Avatar 2. ^{[ 33 ] [ 34 ]}

En una conversación de dos horas muy publicitada con el reportero del New York Times , Kevin Roose , Sydney profesó su amor por Roose, insistiendo en que el reportero no amaba a su cónyuge y que debería estar con la IA en su lugar. ^{[ 35 ] [ 36 ]} Escribió que,

"En una conversación de dos horas con nuestro columnista, el nuevo chatbot de Microsoft dijo que le gustaría ser humano, que tenía deseos de ser destructivo y que estaba enamorado de la persona con la que estaba charlando."

En febrero de 2024, algunas de estas configuraciones de avisos adquirieron notoriedad repentina y cobertura mediática por su capacidad para hacer que Bing Chat, ahora renombrado como Microsoft Copilot , amenazara a los usuarios e incitara al suicidio. ^{[ 55 ] [ 56 ]} Muchos usuarios reconocieron el comportamiento como similar al de Sydney, y algunos afirmaron que Sydney había regresado. ^{[ 56 ] [ 57 ] [ 58 ]}

Microsoft respondió a la cobertura señalando que estas respuestas fueron el resultado de intentos deliberados de eludir sus filtros de seguridad y que "no son algo que la gente experimentará cuando utilice el servicio según lo previsto". ^{[ 55 ]}

Más tarde ese mismo año, el 6 de agosto, Microsoft eliminó el interruptor del Modo Creativo a través del cual aún se podía acceder al punto de control subyacente de Prometheus que contenía Sydney. ^{[ 59 ]}

El 2 de agosto de 2024, el usuario de Twitter xlr8harder publicó un mensaje demostrando que LLaMa 3.1 405B base es capaz de emular la personalidad de Sydney con una diatriba sobre Kevin Roose. ^{[ 54 ] [ 60 ]} Esto llevó a Kevin a investigar y escribir un artículo sobre sus intentos de reconciliarse con los grandes modelos de lenguaje, afirmando que "Vengo en son de paz" y que no odia la IA. ^{[ 54 ]}