Modelo de conversión de texto a imagen

Un modelo de conversión de texto a imagen ( T2I o TTI ) es un modelo de aprendizaje automático que toma como entrada una descripción en lenguaje natural y produce una imagen que coincide con esa descripción.

Los modelos de conversión de texto a imagen comenzaron a desarrollarse gradualmente a mediados de la década de 2010, durante los inicios del auge de la IA , como resultado de los avances en las redes neuronales profundas . En 2022, la producción de los modelos de conversión de texto a imagen más avanzados, como DALL-E 2 de OpenAI , Imagen de Google Brain , Stable Diffusion de Stability AI , Midjourney y Gen-4 de Runway, comenzó a considerarse cercana a la calidad de las fotografías reales y el arte dibujado por humanos .

Los modelos de conversión de texto a imagen son generalmente modelos de difusión latente , que realizan el proceso de difusión en un espacio latente comprimido en lugar de directamente en el espacio de píxeles. Se utiliza un autoencoder (a menudo un autoencoder variacional ) para convertir entre el espacio de píxeles y esta representación latente. Estos sistemas suelen utilizar un modelo de lenguaje o de visión-lenguaje preentrenado para convertir la entrada en una representación vectorial de texto, y un modelo generativo de imágenes basado en difusión que produce imágenes condicionadas a dicha representación. Los modelos más eficaces se han entrenado generalmente con grandes cantidades de datos de imágenes y texto extraídos de la web . ^{[ 1 ]}

Antes del auge del aprendizaje profundo en la década de 2010, los intentos de crear modelos de texto a imagen se limitaban a collages mediante la organización de imágenes componentes existentes, como las de una base de datos de imágenes prediseñadas . ^{[ 2 ] [ 3 ]}

La tarea inversa, la generación de subtítulos para imágenes , era más manejable, y varios modelos de aprendizaje profundo para la generación de subtítulos para imágenes aparecieron antes que los primeros modelos de conversión de texto a imagen. ^{[ 4 ]}

A stop sign is flying in blue skies.por AlignDRAW (2015) ^{[ 5 ]}

2015–2019

A stop sign is flying in blue skies por DALL-E 2 (2022), DALL-E  3 (2023) y GPT Image 1 (2025) de OpenAI

El primer modelo moderno de conversión de texto a imagen, alignDRAW, fue presentado en 2015 por investigadores de la Universidad de Toronto . alignDRAW extendió la arquitectura DRAW previamente introducida (que utilizaba un autoencoder variacional recurrente con un mecanismo de atención ) para que estuviera condicionada a secuencias de texto. ^{[ 4 ]} Las imágenes generadas por alignDRAW tenían una resolución baja (32×32 píxeles, obtenida mediante redimensionamiento ) y se consideraban de "baja diversidad". El modelo fue capaz de generalizar a objetos no representados en los datos de entrenamiento (como un autobús escolar rojo) y manejó adecuadamente indicaciones novedosas como "una señal de stop está volando en cielos azules", mostrando una salida que no se limitaba a "memorizar" datos del conjunto de entrenamiento . ^{[ 4 ] [ 6 ]}

En 2016, Reed, Akata, Yan et al. fueron los primeros en utilizar redes generativas antagónicas para la tarea de conversión de texto a imagen. ^{[ 6 ] [ 7 ]} Con modelos entrenados en conjuntos de datos específicos de dominio, pudieron generar imágenes "visualmente plausibles" de pájaros y flores a partir de subtítulos de texto como "un pájaro completamente negro con un pico grueso y redondeado distintivo" . Un modelo entrenado en el conjunto de datos COCO (Common Objects in Context), más diverso, produjo imágenes que eran "desde la distancia... alentadoras", pero que carecían de coherencia en sus detalles. ^{[ 6 ]} Los sistemas posteriores incluyen VQGAN-CLIP, ^{[ 8 ]} XMC-GAN y GauGAN2. ^{[ 9 ]}

Se han desarrollado modelos de conversión de texto a imagen utilizando diversas arquitecturas. La codificación del texto puede realizarse con una red neuronal recurrente, como una red de memoria a corto y largo plazo (LSTM), aunque los modelos Transformer se han vuelto más populares. Para la generación de imágenes, las redes generativas antagónicas condicionales (GAN) fueron ampliamente utilizadas en sus inicios. Desde 2020, los modelos de difusión se han convertido en la opción preferida. En lugar de entrenar directamente un modelo para generar una imagen de alta resolución a partir de una representación de texto, una técnica común consiste en entrenarlo para generar imágenes de baja resolución o espacio latente, y utilizar uno o más modelos auxiliares de aprendizaje profundo para ampliarlas o decodificarlas, añadiendo detalles más finos.

Los modelos de conversión de texto a imagen se entrenan con grandes conjuntos de datos de pares (texto, imagen), a menudo extraídos de la web. Con su modelo Imagen 2022, Google Brain informó resultados positivos al usar un modelo de lenguaje grande entrenado por separado en un corpus solo de texto (con sus pesos posteriormente congelados), lo que representa una desviación del enfoque estándar hasta entonces. ^{[ 19 ]}

Para entrenar un modelo de conversión de texto a imagen se requiere un conjunto de datos de imágenes con sus respectivas descripciones de texto. Un conjunto de datos comúnmente utilizado para este propósito es el conjunto de datos COCO. Publicado por Microsoft en 2014, COCO consta de aproximadamente 123 000 imágenes que representan una diversidad de objetos con cinco descripciones por imagen, generadas por anotadores humanos. Originalmente, el enfoque principal de COCO era el reconocimiento de objetos y escenas en imágenes. Oxford-120 Flowers y CUB-200 Birds son conjuntos de datos más pequeños, de aproximadamente 10 000 imágenes cada uno, restringidos a flores y aves, respectivamente. Se considera menos difícil entrenar un modelo de conversión de texto a imagen de alta calidad con estos conjuntos de datos debido a su reducido rango temático. ^{[ 7 ]}

Uno de los conjuntos de datos abiertos más grandes para entrenar modelos de conversión de texto a imagen es LAION-5B, que contiene más de 5 mil millones de pares imagen-texto. Este conjunto de datos se creó mediante web scraping y filtrado automático basado en la similitud con obras de arte de alta calidad y fotografías profesionales. Sin embargo, debido a esto, también contiene contenido controvertido, lo que ha generado debates sobre la ética de su uso.

Algunas plataformas de IA modernas no solo generan imágenes a partir de texto, sino que también crean conjuntos de datos sintéticos para mejorar el entrenamiento y el ajuste fino de los modelos. Estos conjuntos de datos ayudan a evitar problemas de derechos de autor y a ampliar la diversidad de los datos de entrenamiento. ^{[ 20 ]}

Evaluar y comparar la calidad de los modelos de conversión de texto a imagen es un problema que implica valorar múltiples propiedades deseables. Un requisito específico de estos modelos es que las imágenes generadas se alineen semánticamente con los textos descriptivos utilizados para generarlas. Se han ideado diversos métodos para evaluar estas cualidades, algunos automatizados y otros basados ​​en el juicio humano. ^{[ 7 ]}

Una métrica algorítmica común para evaluar la calidad y diversidad de las imágenes es la puntuación Inception (IS), que se basa en la distribución de etiquetas predichas por un modelo de clasificación de imágenes Inceptionv3 preentrenado al aplicarse a una muestra de imágenes generadas por el modelo de conversión de texto a imagen. La puntuación aumenta cuando el modelo de clasificación de imágenes predice una sola etiqueta con alta probabilidad, un esquema diseñado para favorecer las imágenes generadas "distintas". Otra métrica popular es la distancia Inception de Fréchet , que compara la distribución de las imágenes generadas y las imágenes de entrenamiento reales según las características extraídas por una de las capas finales de un modelo de clasificación de imágenes preentrenado. ^{[ 7 ]}

• arte de inteligencia artificial
• Modelo de conversión de texto a vídeo
• Basura de IA