Modelo de conversión de texto a vídeo

En febrero de 2023, Runway lanzó Gen-1 y Gen-2, entre los primeros modelos de conversión de texto a vídeo y de vídeo a vídeo disponibles comercialmente y accesibles al público a través de una interfaz web. Gen-1, lanzado inicialmente como un modelo de vídeo a vídeo, permitía a los usuarios transformar grabaciones de vídeo existentes mediante texto o imágenes. ^{[ 12 ]} Gen-2, presentado en marzo de 2023 y disponible públicamente en junio de 2023, añadió capacidades de conversión de texto a vídeo, permitiendo a los usuarios generar vídeos a partir únicamente de texto. ^{[ 13 ]}

En marzo de 2023, se publicó un artículo de investigación titulado "VideoFusion: Modelos de difusión descompuestos para la generación de vídeo de alta calidad", que presentaba un enfoque novedoso para la generación de vídeo. El modelo VideoFusion descompone el proceso de difusión en dos componentes: ruido base y ruido residual, que se comparten entre fotogramas para garantizar la coherencia temporal. Al utilizar un modelo de difusión de imagen preentrenado como generador base, el modelo generó de manera eficiente vídeos coherentes y de alta calidad. El ajuste fino del modelo preentrenado con datos de vídeo abordó la brecha de dominio entre los datos de imagen y vídeo, mejorando la capacidad del modelo para producir secuencias de vídeo realistas y consistentes. ^{[ 14 ]} En el mismo mes, Adobe presentó Firefly AI como parte de sus funciones. ^{[ 15 ]}

En enero de 2024, Google anunció el desarrollo de un modelo de texto a video llamado Lumiere que se anticipa que integrará capacidades avanzadas de edición de video. ^{[ 16 ]} Matthias Niessner y Lourdes Agapito en la empresa de IA Synthesia trabajan en el desarrollo de técnicas de renderizado neuronal 3D que pueden sintetizar video realista utilizando representaciones neuronales 2D y 3D de forma, apariencia y movimiento para la síntesis de video controlable de avatares. ^{[ 17 ]} En junio de 2024, Luma Labs lanzó su herramienta de video Dream Machine . ^{[ 18 ] [ 19 ]} Ese mismo mes, ^{[ 20 ]} Kuaishou extendió su modelo de texto a video Kling AI a usuarios internacionales. En julio de 2024, ByteDance , propietario de TikTok , lanzó Jimeng AI en China, a través de su subsidiaria, Faceu Technology. ^{[ 21 ]} En septiembre de 2024, la empresa china de IA MiniMax presentó su modelo video-01, uniéndose a otras empresas de modelos de IA establecidas como Zhipu AI , Baichuan y Moonshot AI , que contribuyen a la participación de China en la tecnología de IA. ^{[ 22 ]} En diciembre de 2024, Lightricks lanzó LTX Video como un modelo de código abierto. ^{[ 23 ]}

Los enfoques alternativos para los modelos de texto a video incluyen ^{[ 24 ]} Phenaki de Google, Hour One, Colossyan , ^{[ 3 ]} Gen-3 Alpha de Runway , ^{[ 25 ] [ 26 ]} y Sora de OpenAI , ^{[ 27 ] [ 28 ]} Han surgido varios modelos adicionales de texto a video, como Plug-and-Play, Text2LIVE y TuneAVideo. ^{[ 29 ]} El desarrollador de FLUX.1, Black Forest Labs, ha anunciado su modelo de texto a video SOTA. ^{[ 30 ]} Google se estaba preparando para lanzar una herramienta de generación de video llamada Veo para YouTube Shorts en 2025. ^{[ 31 ]} En mayo de 2025, Google lanzó la iteración Veo 3 del modelo. Se destacó por sus impresionantes capacidades de generación de audio, que eran una limitación anterior para los modelos de texto a video. ^{[ 32 ]} En julio de 2025, Lightricks lanzó una actualización de LTX Video capaz de generar clips de hasta 60 segundos, ^{[ 33 ] [ 34 ]} y en octubre de 2025 lanzó LTX-2, con capacidades de audio integradas. ^{[ 35 ]}

En febrero de 2026, ByteDance lanzó Seedance 2.0 , que se destacó por su impresionante generación realista, control de movimiento y cámara y generación de 15 segundos, ^{[ 36 ]} sin embargo, el modelo enfrentó grandes críticas de la Motion Picture Association por infracción de derechos de autor. ^{[ 37 ]} Después de ver un clip viral de una pelea entre los actores Brad Pitt y Tom Cruise , Rhett Reese , quien es el coguionista de Deadpool & Wolverine y Zombieland anunció que en las redes sociales "Odio decirlo. Probablemente se acabó para nosotros", ^{[ 38 ]} afirmando además que "En muy poco tiempo, una persona podrá sentarse frente a una computadora y crear una película indistinguible de lo que Hollywood estrena ahora". ^{[ 37 ]}

En julio de 2026, ByteDance lanzó Seedance 2.5, un nuevo SOTA para modelos de texto a video, capaz de generar videos nativos de 30 segundos con 50 referencias multimodales como entrada. Entre sus características principales se incluyen videos 4K y edición local; por ejemplo, en lugar de regenerar un clip completo de 30 segundos si un detalle (como el color del cabello de un personaje) es incorrecto, los usuarios ahora pueden modificar áreas específicas dentro de la escena para corregirlo. Esto evita la pérdida de las interpretaciones, expresiones faciales o iluminación preferidas establecidas en la toma original. ^{[ 39 ]} Seedance 2.5 también incluye un modo beta de video largo que extiende los clips a 3 minutos. ^{[ 40 ]}

Kaur vs Kore es el primer largometraje indio realizado con IA generativa que presenta un doble papel para el personaje de IA de Sunny Leone , cuyo estreno está previsto para 2026. ^{[ 53 ] [ 54 ] [ 55 ]}

Chiranjeevi Hanuman – The Eternal es una película india realizada completamente con IA generativa creada por Vijay Subramaniam, cuyo estreno en cines está previsto para 2026. La película fue ampliamente criticada por los cineastas de Bollywood por depender totalmente de la IA, y su uso fue visto como una amenaza existencial para sus carreras. ^{[ 56 ] [ 57 ] [ 58 ]}

Mahabharat: Ek Dharmayudh es una serie mitológica india para plataformas OTT estrenada en octubre de 2025 y transmitida en JioHotstar . Se la reconoce como la primera serie creada completamente con inteligencia artificial para generar imágenes y animaciones de personajes, y consta de 100 episodios. ^{[ 59 ] [ 60 ] [ 61 ]}

Craft (1979) es una serie de Minecraft generada por IA lanzada en junio de 2026, creada por el usuario LatentDiffusion usando Seedance 2.0 , la serie recibió elogios en línea por lograr capturar los sentimientos y experiencias de aquellos que jugaron Minecraft por primera vez en forma narrativa, y muchos usuarios afirmaron que la serie es mejor que la película oficial de 2025. ^{[ 62 ]}