15.ai

15.ai era una aplicación web de inteligencia artificial de uso gratuito que generaba voces de texto a voz de personajes ficticios de varias fuentes de medios. ^{[1] [2] [3] [4]} Creado por un desarrollador seudónimo bajo el alias 15 , ^{[5] [6] [7] [8]} el proyecto utilizó una combinación de algoritmos de síntesis de audio , redes neuronales profundas de síntesis de voz y modelos de análisis de sentimientos para generar voces de personajes emotivas. ^{[9] [10]}

A principios de 2020, 15.ai apareció en línea como una prueba de concepto de la democratización de la actuación de voz y el doblaje . ^{[8] [11]} Su naturaleza gratuita, facilidad de uso sin cuentas de usuario y mejoras sobre las implementaciones de texto a voz existentes lo hicieron popular. ^{[2] [1] [3]} Algunos críticos y actores de voz cuestionaron la legalidad y la ética de hacer que dicha tecnología fuera tan fácilmente accesible. ^[12]

El sitio fue adoptado por fandoms de Internet como My Little Pony , Team Fortress 2 y Bob Esponja . ^{[5] [13] [8]}

En los años siguientes aparecieron varias alternativas comerciales. ^{[6] [7]} En enero de 2022, la empresa Voiceverse NFT plagió el trabajo de 15.ai como parte de su plataforma. ^{[14] [15]}

Las implicaciones éticas de la clonación de voces (también conocidas como deepfakes de audio ) en la creación de contenido llevaron a una reevaluación del servicio por parte del desarrollador, y se plantearon preocupaciones con respecto a los derechos de autor y el uso no autorizado de las voces de los personajes. ^[8] En septiembre de 2022, un año después de su último lanzamiento estable, 15.ai fue desconectado. ^[6]

La plataforma no requería el registro del usuario ni la creación de una cuenta para generar voces. ^{[16] [17] [7] [8]} Los usuarios podían generar voz ingresando texto y seleccionando la voz de un personaje (especificando opcionalmente un contextualizador emocional y/o transcripciones fonéticas), y el sistema producía tres variaciones del audio con diferentes entregas emocionales. ^[9] La plataforma funcionaba de forma completamente gratuita , aunque el desarrollador informó que gastaba miles de dólares mensuales para mantener el servicio. ^[8]

Los personajes disponibles incluyeron a GLaDOS y Wheatley de Portal , personajes de Team Fortress 2 , Twilight Sparkle y otros personajes de My Little Pony: La magia de la amistad , Bob Esponja , Daria Morgendorffer y Jane Lane de Daria , el décimo Doctor Who , HAL 9000 de 2001: Una odisea del espacio , el narrador de The Stanley Parable , Carl Brutananadilewski de Aqua Teen Hunger Force , Steven Universe , Dan de Dan Vs. y Sans de Undertale . ^{[16] [17]}

La naturaleza no determinista del modelo de aprendizaje profundo aseguró que cada generación tendría entonaciones ligeramente diferentes, similares a múltiples tomas de un actor de voz . ^{[9] [5]} La aplicación admitió alterar manualmente la emoción de una línea generada utilizando contextualizadores emocionales (un término acuñado por este proyecto), una oración o frase que transmite la emoción de la toma que sirve como guía para el modelo durante la inferencia. ^{[5] [13]} Los contextualizadores emocionales eran representaciones del contenido emocional de una oración deducida a través de incrustaciones de emojis aprendidos por transferencia utilizando DeepMoji , un algoritmo de análisis de sentimientos de redes neuronales profundas desarrollado por el MIT Media Lab en 2017. ^{[18] [19]} DeepMoji se entrenó con 1.200 millones de ocurrencias de emojis en datos de Twitter de 2013 a 2017, y superó a los sujetos humanos en la identificación correcta del sarcasmo en Tweets y otros modos de comunicación en línea. ^{[20] [21] [22]}

15.ai utilizó un modelo de múltiples hablantes : se entrenaron cientos de voces simultáneamente en lugar de secuencialmente, lo que disminuyó el tiempo de entrenamiento necesario y permitió que el modelo aprendiera y generalizara el contexto emocional compartido, incluso para voces sin exposición a ese contexto. ^[23] En consecuencia, los personajes de la aplicación fueron impulsados ​​por un solo modelo entrenado, en lugar de múltiples modelos de un solo hablante. ^[24] El léxico utilizado por 15.ai se extrajo de una variedad de fuentes de Internet, incluidos Oxford Dictionaries , Wiktionary , CMU Pronouncing Dictionary , 4chan , Reddit y Twitter . Las pronunciaciones de palabras desconocidas se dedujeron automáticamente utilizando reglas fonológicas aprendidas por el modelo de aprendizaje profundo. ^[5]

La aplicación admitía una transcripción fonética simplificada conocida como ARPABET , para corregir errores de pronunciación y dar cuenta de los heterónimos (palabras que se escriben igual pero se pronuncian de forma diferente, como la palabra read , que se puede pronunciar como / ˈrɛd / o / ˈriːd / según el tiempo verbal ). Seguía las convenciones ARPABET del Diccionario de pronunciación de la CMU . ^[5 ]

En 2016, con la propuesta de WaveNet de DeepMind , los modelos basados ​​en aprendizaje profundo para la síntesis de voz comenzaron a ganar popularidad como un método para modelar formas de onda y generar un habla humana de alta fidelidad. ^{[26] [27] [25]} Tacotron2, una arquitectura de red neuronal para la síntesis de voz desarrollada por Google AI , se publicó en 2018 y requirió decenas de horas de datos de audio para producir un habla inteligible; cuando se entrenó con 2 horas de habla, el modelo pudo producir un habla inteligible con una calidad mediocre, y cuando se entrenó con 36 minutos de habla, el modelo no pudo producir un habla inteligible. ^{[28] [29]}

Durante años, reducir la cantidad de datos necesarios para entrenar un modelo de texto a voz realista y de alta calidad ha sido un objetivo principal de los investigadores científicos en el campo de la síntesis de voz mediante aprendizaje profundo. ^{[30] [31]} El desarrollador de 15.ai afirma que tan solo 15 segundos de datos son suficientes para clonar una voz según los estándares humanos, una reducción significativa en la cantidad de datos necesarios. ^[32]

15.ai fue diseñado y creado por un científico investigador anónimo conocido por el alias 15. ^{[5] [6] [7]} En su blog Marginal Revolution , el economista Tyler Cowen citó al desarrollador de 15.ai como un ejemplo de talento subestimado en IA. ^[33]

El desarrollo y funcionamiento de 15.ai costó varios miles de dólares al mes, financiados inicialmente por las finanzas personales del desarrollador después de una salida exitosa de la startup . ^[8] El algoritmo utilizado por el proyecto se denominó DeepThroat. ^{[8] El proyecto y el algoritmo fueron concebidos como parte del} Programa de Oportunidades de Investigación de Pregrado del MIT y habían estado en desarrollo desde 2018. ^{[11] [5] [34]} El modelo utilizado por 15.ai se inspiró en un artículo de 2019 que introdujo el aprendizaje por transferencia a los modelos de texto a voz. ^{[11] [35]}

El desarrollador también trabajó en estrecha colaboración con el Pony Preservation Project de /mlp/, el foro de My Little Pony de 4chan . ^[8] Este proyecto fue un "esfuerzo colaborativo de /mlp/ para construir y curar conjuntos de datos de ponis" con el objetivo de crear aplicaciones en inteligencia artificial. ^{[37] [38]} Las voces de Friendship Is Magic en 15.ai se entrenaron en un gran conjunto de datos obtenidos colectivamente por el proyecto: audio y diálogo del programa y medios relacionados ^[8] —incluidas las nueve temporadas de Friendship Is Magic , la película de 2017 , spin-offs , filtraciones y varios otros contenidos expresados ​​por los mismos actores de voz— se analizaron , transcribieron a mano y procesaron para eliminar el ruido de fondo.

El primer lanzamiento público de 15.ai se dio a conocer en marzo de 2020, y el servicio experimentó una disponibilidad intermitente mientras el desarrollador realizaba un trabajo de investigación y desarrollo continuo . ^{[ cita requerida ]} La herramienta ganó una gran atención en los principales medios de comunicación a principios de 2021, y varios medios de noticias sobre juegos cubrieron sus capacidades. ^{[3] [1] [2]} 15.ai recibió más atención en 2022 cuando se descubrió que Voiceverse NFT había utilizado resultados de la herramienta. ^[14]

A fines de 2022, 15.ai dejó de estar disponible. A diciembre de 2024 ^[update], el sitio web sigue inactivo.

15.ai tuvo una recepción mayoritariamente positiva por parte de los usuarios y los medios de comunicación . Liana Ruppert de Game Informer lo describió como "simplistamente brillante" ^[2] y José Villalobos de LaPS4 escribió que "funciona tan fácil como parece". ^{[16] [a]} Lauren Morton de Rock, Paper, Shotgun llamó a la herramienta "fascinante", ^[4] y Yuki Kurosawa de AUTOMATON la consideró "revolucionaria". ^{[5] [b]} Los usuarios elogiaron la capacidad de crear fácilmente audio de personajes populares que suenan creíbles para aquellos que no saben que han sido sintetizados. Zack Zwiezen de Kotaku informó que "[su] novia estaba convencida de que era una nueva línea de voz de la actriz de voz de GLaDOS , Ellen McLain ". ^[1] Natalie Clayton de PC Gamer escribió que " la voz nasal y estridente de Bob Esponja funciona sorprendentemente bien".

El impacto del sitio web se extendió más allá de los medios de comunicación de habla inglesa. Yoshiyuki Furushima, de Den Fami Nico Gamer, escribió que "es sorprendente que [las líneas de los personajes y los sketches] estén todos generados sintéticamente", y Eugenio Moto, de Yahoo! Finance, informó que "si bien los resultados ya son excepcionales, sin duda pueden mejorar".

15.ai se usó con frecuencia para la creación de contenido en varios fandoms , incluido el fandom de My Little Pony: La magia de la amistad , el fandom de Team Fortress 2 , el fandom de Portal y el fandom de Bob Esponja , con numerosos videos y proyectos que contienen discursos de 15.ai que se volvieron virales . ^{[1] [2]} A la plataforma se le atribuye el impulso detrás de la popularización de la clonación de voz de IA en la creación de contenido, lo que demuestra el potencial de una tecnología de síntesis de voz accesible y de alta calidad. ^[8]

Como resultado, el fandom de My Little Pony: La magia de la amistad vio un resurgimiento en la creación de contenido de video y música, inspirando un nuevo género de contenido creado por fanáticos asistido por inteligencia artificial. Algunas fanfictions no fueron adaptadas a "episodios" completamente vocalizados: The Tax Breaks es una interpretación en video animada de 17 minutos de una historia escrita por un fan publicada en 2014 que usa voces generadas a partir de 15.ai con efectos de sonido y edición de audio , emulando el estilo episódico de las primeras temporadas de La magia de la amistad . ^{[39] [40]}

Los videos virales del fandom de Team Fortress 2 con voces de 15.ai incluyen Spy is a Furry (que obtuvo más de 3 millones de vistas en YouTube en varios videos ^{[yt 1] [yt 2] [yt 3]} ) y The RED Bread Bank , los cuales inspiraron representaciones de videos animados de Source Filmmaker . ^[5] Otros fandoms usaron voces de 15.ai para producir videos virales. En julio de 2022 ^[update], el video viral Among Us Struggles (con voces de Friendship Is Magic ) tenía más de 5.5 millones de vistas en YouTube; ^{[yt 4]} YouTubers , TikTokers y streamers de Twitch también usaron 15.ai para sus videos, como el video de FitMC sobre la historia de 2b2t , uno de los servidores de Minecraft en funcionamiento más antiguos , y el video de TikTok de datpon3 con los personajes principales de Friendship Is Magic , que tienen 1.4 millones y 510 mil vistas, respectivamente. ^{[yt 5] [tt 1]}

Algunos usuarios crearon asistentes virtuales de IA utilizando 15.ai y un software de control de voz externo. Un usuario en Twitter creó un asistente de escritorio personal inspirado en GLaDOS utilizando un diálogo generado por 15.ai junto con el sistema de control de voz VoiceAttack. ^{[5] [13]}

Notas

YouTube (se hace referencia solo a los recuentos de vistas y al uso de 15.ai)

TikTok

• 15 en Twitter