Distancia de inicio de Fréchet

La distancia de inicio de Fréchet (FID) es una métrica utilizada para evaluar la calidad de las imágenes creadas por un modelo generativo , como una red generativa antagónica (GAN) ^{[ 1 ]} o un modelo de difusión . ^{[ 2 ] [ 3 ]}

La distancia de Fréchet-Inception (FID) compara la distribución de las imágenes generadas con la distribución de un conjunto de imágenes reales (un conjunto de referencia). En lugar de comparar imágenes individuales, se comparan las estadísticas de media y covarianza de muchas imágenes generadas por el modelo con las mismas estadísticas generadas a partir de las imágenes del conjunto de referencia. Se utiliza una red neuronal convolucional, como una arquitectura Inception , para producir características de nivel superior que describen las imágenes, de ahí el nombre de distancia de Fréchet- Inception .

El FID se inspira en la métrica anterior de puntuación de inicio (IS), que evalúa únicamente la distribución de las imágenes generadas. ^{[ 1 ]} La métrica FID no reemplaza a la métrica IS; los clasificadores que alcanzan la mejor (más baja) puntuación FID tienden a tener una mayor variedad de muestras, mientras que los clasificadores que alcanzan la mejor (más alta) puntuación IS tienden a tener una mejor calidad dentro de las imágenes individuales. ^{[ 2 ]}

La métrica FID se introdujo en 2017, ^{[ 1 ]} y es la métrica estándar actual para evaluar la calidad de los modelos que generan imágenes sintéticas a partir de 2024. Se ha utilizado para medir la calidad de muchos modelos recientes, incluidas las redes de alta resolución StyleGAN1 ^{[ 4 ]} y StyleGAN2 ^{[ 5 ]} , y los modelos de difusión. ^{[ 2 ] [ 3 ]}

El FID intenta comparar imágenes visualmente a través de capas profundas de una red Inception. Trabajos más recientes van más allá al comparar las incrustaciones CLIP de las imágenes. ^{[ 6 ] [ 7 ]}

El objetivo del índice FID es medir la diversidad de imágenes creadas por un modelo generativo con imágenes de un conjunto de datos de referencia. Este conjunto de datos de referencia podría ser ImageNet o COCO-2014. ^{[ 3 ] [ 8 ]} Es importante utilizar un conjunto de datos extenso como referencia, ya que el conjunto de imágenes de referencia debe representar la diversidad total de imágenes que el modelo intenta crear.

Los modelos generativos, como los modelos de difusión, producen imágenes novedosas que tienen características del conjunto de referencia, pero que son bastante diferentes de cualquier imagen del conjunto de entrenamiento. Por lo tanto, la calidad de estos modelos no se puede evaluar simplemente comparando cada imagen con una imagen del conjunto de entrenamiento píxel a píxel, como se hace, por ejemplo, con la norma L2 .

En cambio, el FID modela los dos conjuntos de imágenes como si se hubieran extraído de dos distribuciones gaussianas multidimensionales.${\displaystyle {\mathcal {N}}(\mu,\Sigma)}$y${\displaystyle {\mathcal {N}}(\mu ',\Sigma ')}$La distancia entre las dos distribuciones se calcula como la distancia de Wasserstein 2 entre las dos distribuciones gaussianas.

En lugar de comparar directamente las imágenes píxel a píxel (por ejemplo, como lo hace la norma L2 ), el FID compara la media y la desviación estándar de la capa más profunda en Inception v3 (el vector de activación de 2048 dimensiones de su última capa de agrupación ). Estas capas están más cerca de los nodos de salida que corresponden a objetos del mundo real, como una raza específica de perro o un avión, y más lejos de las capas superficiales cercanas a la imagen de entrada. Por lo tanto, el FID compara con qué frecuencia se encuentran las mismas características de alto nivel dentro de los dos conjuntos de imágenes. Después de que cada imagen se ha procesado a través de la arquitectura Inception, las medias y covarianzas de la activación de la última capa en los dos conjuntos de datos se comparan con la distancia$${\displaystyle d_{F}({\mathcal {N}}(\mu ,\Sigma ),{\mathcal {N}}(\mu ',\Sigma '))^{2}=\lVert \mu -\mu '\rVert _{2}^{2}+\operatorname {tr} \left(\Sigma +\Sigma '-2\left(\Sigma \Sigma '\right)^{\frac {1}{2}}\right)}$$Las distancias mayores indican un modelo generativo de menor calidad. Una puntuación de 0 indica un modelo perfecto.

Para cualesquiera dos distribuciones de probabilidad${\displaystyle \mu ,\nu }$encima${\displaystyle \mathbb {R} ^{n}}$Al tener media y varianza finitas, su distancia de Fréchet es ^{[ 9 ].}$${\displaystyle d_{F}(\mu ,\nu ):=\left(\inf _{\gamma \in \Gamma (\mu ,\nu )}\int _{\mathbb {R} ^{n}\times \mathbb {R} ^{n}}\|xy\|^{2}\,\mathrm {d} \gamma (x,y)\right)^{1/2},}$$dónde${\displaystyle \Gamma (\mu,\nu)}$es el conjunto de todas las medidas en${\displaystyle \mathbb {R} ^{n}\times \mathbb {R} ^{n}}$con márgenes${\displaystyle \mu }$y${\displaystyle \nu }$en el primer y segundo factor respectivamente. (El conjunto${\displaystyle \Gamma (\mu,\nu)}$también se le llama el conjunto de todos los acoplamientos de${\displaystyle \mu }$y${\displaystyle \nu }$.).

Para dos distribuciones gaussianas multidimensionales${\displaystyle {\mathcal {N}}(\mu,\Sigma)}$y${\displaystyle {\mathcal {N}}(\mu ',\Sigma ')}$, se expresa en forma cerrada como ^{[ 10 ]}$${\displaystyle d_{F}({\mathcal {N}}(\mu ,\Sigma ),{\mathcal {N}}(\mu ',\Sigma '))^{2}=\lVert \mu -\mu '\rVert _{2}^{2}+\operatorname {tr} \left(\Sigma +\Sigma '-2\left(\Sigma \Sigma '\right)^{\frac {1}{2}}\right)}$$Esto nos permite definir el FID en forma de pseudocódigo :

INTRODUZCA una función${\displaystyle f:\Omega _{X}\to \mathbb {R} ^{n}}$.

INTRODUZCA dos conjuntos de datos${\displaystyle S,S'\subset \Omega _{X}}$.

Calcular${\displaystyle f(S),f(S')\subset \mathbb {R} ^{n}}$.

Ajustar dos distribuciones gaussianas${\displaystyle {\mathcal {N}}(\mu ,\Sigma ),{\mathcal {N}}(\mu ',\Sigma ')}$, respectivamente para${\displaystyle f(S),f(S')}$.

DEVOLVER${\displaystyle d_{F}({\mathcal {N}}(\mu ,\Sigma ),{\mathcal {N}}(\mu ',\Sigma '))^{2}}$.

En la mayoría de los usos prácticos del FID,${\displaystyle \Omega _{X}}$es el espacio de las imágenes, y${\displaystyle f}$es un modelo Inception v3 entrenado en ImageNet , pero sin su capa de clasificación final. Técnicamente, es el vector de activación de 2048 dimensiones de su última capa de agrupación . De los dos conjuntos de datos${\displaystyle S,S'}$, uno de ellos es un conjunto de datos de referencia, que podría ser ImageNet en sí mismo, y el otro es un conjunto de imágenes generadas por un modelo generativo , como GAN , o un modelo de difusión . ^{[ 1 ]}

Se han sugerido variantes especializadas de FID como métrica de evaluación para algoritmos de mejora musical como Fréchet Audio Distance (FAD) , ^{[ 11 ]} para modelos generativos de vídeo como Fréchet Video Distance (FVD) , ^{[ 12 ]} y para moléculas generadas por IA como Fréchet ChemNet Distance (FCD) . ^{[ 13 ]}

Chong y Forsyth ^{[ 14 ]} demostraron que el FID presenta un sesgo estadístico, en el sentido de que su valor esperado sobre un conjunto finito de datos no coincide con su valor real. Además, dado que el FID mide la distancia de Wasserstein hacia la distribución de referencia, resulta inadecuado para evaluar la calidad de los generadores en configuraciones de adaptación de dominio o en la generación de cero disparos. Finalmente, si bien el FID es más consistente con el juicio humano que la puntuación Inception utilizada anteriormente, existen casos en los que el FID es inconsistente con dicho juicio. ^{[ 15 ]} En Liu et al., el FID calificó la pixelación o el intercambio de parches de imágenes con mayor puntuación que la adición de ruido aleatorio, ^{[ 15 ] : 10} y podría incrementarse mediante ruido adversario . ^{[ 15 ] : 14}