Colapso de modo

En el aprendizaje automático , el colapso modal es un modo de fallo observado en los modelos generativos , detectado originalmente en las redes generativas antagónicas (GAN) . Ocurre cuando el modelo produce resultados menos diversos de lo esperado, "colapsando" efectivamente para generar solo unos pocos modos de la distribución de datos e ignorando otros. Este fenómeno socava el objetivo de los modelos generativos de capturar la diversidad completa de los datos de entrenamiento.

Normalmente, un modelo puede fallar en dos momentos: durante el entrenamiento o durante el ajuste fino posterior al entrenamiento.

El colapso de modos reduce la utilidad de los modelos generativos en aplicaciones, como en

• síntesis de imágenes (imágenes repetitivas o casi idénticas);
• aumento de datos (diversidad limitada en datos sintéticos );
• simulaciones científicas (falta de exploración de todos los escenarios plausibles).

El colapso modal es distinto del sobreajuste , también llamado memorización, en el que un modelo aprende patrones detallados en los datos de entrenamiento que no se generalizan a los datos de prueba, aunque existen similitudes entre ambos fenómenos.

En términos de aprendizaje de una distribución de probabilidad , el colapso modal corresponde al colapso de toda la distribución en uno o pocos puntos, que pueden o no corresponder a puntos con alta probabilidad en la distribución objetivo.

Por otro lado, el sobreajuste corresponde al aprendizaje de una distribución con picos muy pronunciados alrededor de los puntos de datos de entrenamiento. En cierto modo, puede considerarse una forma de colapso modal casi completo o completo, donde los modos se encuentran en todos o en la mayoría de los datos de entrenamiento. Sin embargo, esto suele deberse a la sobreparametrización del modelo, y no al procedimiento de entrenamiento en sí, como ocurre con las GAN.

Sin embargo, el subajuste no comparte características comunes con el colapso modal. En este caso, el modelo no está suficientemente parametrizado o entrenado, y la distribución aprendida está lejos de la distribución objetivo, generalmente demasiado cerca de la distribución inicial.

El colapso del modo de tiempo de entrenamiento se observó y estudió originalmente en las GAN, donde surge principalmente debido a desequilibrios en la dinámica de entrenamiento entre el generador y el discriminador en las GAN. En el artículo original sobre GAN, también se le denominó el "escenario Helvetica". ^{[ 1 ] [ 2 ]}

Las causas comunes incluyen: ^{[ 3 ]}

• Si el discriminador aprende demasiado lentamente, el generador puede aprovechar las debilidades produciendo un conjunto reducido de resultados que engañen sistemáticamente al discriminador.
• Las funciones de pérdida GAN tradicionales (por ejemplo, la divergencia de Jensen-Shannon ) pueden ser demasiado permisivas a la hora de generar resultados de aspecto similar.
• El proceso de entrenamiento adversario puede generar un comportamiento oscilatorio, donde el generador y el discriminador no convergen a un equilibrio estable, sino que entran en un ciclo cíclico similar al de piedra, papel o tijera. El generador generaría solo "piedra" hasta que el discriminador aprenda a clasificarlo como generado; entonces, el generador pasaría a generar solo "tijera", y así sucesivamente. El generador siempre estaría en modo colapsado, aunque el modo preciso al que colapsa cambiaría durante el entrenamiento.

Se desarrollaron varias estrategias específicas para GAN con el fin de mitigar el colapso de modos:

• Regla de actualización de dos escalas de tiempo. ^{[ 4 ]}
• La discriminación de minilotes ^{[ 5 ]} permite que el discriminador evalúe lotes completos de muestras, fomentando la diversidad.
• Las GAN desplegadas ^{[ 6 ]} optimizan el generador en función de los estados futuros del discriminador.
• Wasserstein GAN utiliza la distancia de Earth Mover para proporcionar gradientes más estables. ^{[ 7 ]}
• Utilice un conjunto de datos de entrenamiento grande y equilibrado. ^{[ 8 ]}
• Métodos de regularización como la penalización de gradiente y la normalización espectral . ^{[ 9 ]}

Los modelos de lenguaje de gran tamaño suelen entrenarse en dos etapas. En la primera etapa ("preentrenamiento"), el modelo se entrena para generar texto a partir de un gran conjunto de datos. En la segunda etapa ("ajuste fino"), el modelo se entrena para realizar tareas específicas mediante un conjunto de datos reducido que contiene únicamente los datos necesarios para la tarea. Por ejemplo, para crear un chatbot con este método, primero se preentrena un modelo transformador de gran tamaño con varios billones de palabras de texto extraídas de Internet, y luego se ajusta con varios millones de palabras de ejemplos de conversaciones que el modelo debe imitar.

El colapso modal puede ocurrir durante el ajuste fino, ya que el modelo aprende a generar texto que cumple la tarea específica, pero pierde la capacidad de generar otras formas de texto. También puede generar un subconjunto más pequeño de textos que cumplen la tarea específica. Se hipotetiza que existe una compensación entre calidad y diversidad. Dado un único modelo preentrenado, se puede ajustar para realizar una tarea específica. Un mayor ajuste fino resultaría en un mayor rendimiento promedio de la tarea, pero en salidas menos diversas. Un menor ajuste fino resultaría en un menor rendimiento promedio, pero en salidas más diversas. ^{[ 10 ]} Se ha observado una compensación similar en modelos de generación de imágenes ^{[ 11 ]} y generadores de texto basados ​​en GAN. ^{[ 12 ]}

De manera similar, el colapso del modo puede ocurrir durante RLHF , a través de la manipulación del modelo de recompensa u otros mecanismos. ^{[ 13 ] [ 14 ]}

• autoencoder variacional
• Modelo generativo
• Inteligencia artificial generativa
• transformador generativo preentrenado
• Sobreajuste