Puntuación de Inception

El Inception Score (IS) es un algoritmo utilizado para evaluar la calidad de las imágenes creadas por un modelo generativo de imágenes, como una red generativa antagónica (GAN). ^{[ 1 ]} El puntaje se calcula en función de la salida de un modelo de clasificación de imágenes Inception v3 preentrenado e independiente, aplicado a una muestra de (normalmente alrededor de 30 000) imágenes generadas por el modelo generativo. El Inception Score se maximiza cuando se cumplen las siguientes condiciones:

1. Se minimiza la entropía de la distribución de etiquetas predicha por el modelo Inceptionv3 para las imágenes generadas. En otras palabras, el modelo de clasificación predice con confianza una única etiqueta para cada imagen. Intuitivamente, esto se corresponde con el ideal de que las imágenes generadas sean nítidas y definidas.
2. Las predicciones del modelo de clasificación se distribuyen uniformemente entre todas las etiquetas posibles. Esto corresponde al requisito de que la salida del modelo generativo sea "diversa". ^{[ 2 ]}

Ha sido parcialmente reemplazado por la distancia de inicio de Fréchet relacionada . ^{[ 3 ]} Mientras que la puntuación de inicio solo evalúa la distribución de imágenes generadas, la FID compara la distribución de imágenes generadas con la distribución de un conjunto de imágenes reales ("verdad fundamental").

Supongamos que hay dos espacios, el espacio de las imágenes.${\displaystyle \Omega _{X}}$y el espacio de etiquetas${\displaystyle \Omega _{Y}}$El espacio de etiquetas es finito.

Dejar${\displaystyle p_{gen}}$sea ​​una distribución de probabilidad sobre${\displaystyle \Omega _{X}}$que deseamos juzgar.

Sea un discriminador una función de tipo$${\displaystyle p_{dis}:\Omega _{X}\to M(\Omega _{Y})}$$dónde${\displaystyle M(\Omega _{Y})}$es el conjunto de todas las distribuciones de probabilidad sobre${\displaystyle \Omega _{Y}}$Para cualquier imagen${\displaystyle x}$y cualquier etiqueta${\displaystyle y}$, dejar${\displaystyle p_{dis}(y|x)}$sea ​​la probabilidad de que la imagen${\displaystyle x}$tiene etiqueta${\displaystyle y}$, según el discriminador. Normalmente se implementa como una red Inception-v3 entrenada en ImageNet.

La puntuación de Inception de${\displaystyle p_{gen}}$relativo a${\displaystyle p_{dis}}$es$${\displaystyle IS(p_{gen},p_{dis}):=\exp \left(\mathbb {E} _{x\sim p_{gen}}\left[D_{KL}\left(p_{dis}(\cdot |x)\|\int p_{dis}(\cdot |x)p_{gen}(x)dx\right)\right]\right)}$$Las reescrituras equivalentes incluyen:$${\displaystyle \ln IS(p_{gen},p_{dis}):=\mathbb {E} _{x\sim p_{gen}}\left[D_{KL}\left(p_{dis}(\cdot |x)\|\mathbb {E} _{x\sim p_{gen}}[p_{dis}(\cdot |x)]\right)\right]}$$$${\displaystyle \ln IS(p_{gen},p_{dis}):=H[\mathbb {E} _{x\sim p_{gen}}[p_{dis}(\cdot |x)]]-\mathbb {E} _{x\sim p_{gen}}[H[p_{dis}(\cdot |x)]]}$$${\displaystyle \ln IS}$es no negativo según la desigualdad de Jensen .

Pseudocódigo:

discriminador de ENTRADA${\displaystyle p_{dis}}$.

generador de ENTRADA${\displaystyle g}$.

Imágenes de muestra${\displaystyle x_{i}}$del generador.

Calcular${\displaystyle p_{dis}(\cdot |x_{i})}$, la distribución de probabilidad sobre las etiquetas condicionada a la imagen${\displaystyle x_{i}}$.

Resumir los resultados para obtener${\displaystyle {\hat {p}}}$, una estimación empírica de${\displaystyle \int p_{dis}(\cdot |x)p_{gen}(x)dx}$.

Ver más imágenes${\displaystyle x_{i}}$desde el generador, y para cada uno, calcular${\displaystyle D_{KL}\left(p_{dis}(\cdot |x_{i})\|{\hat {p}}\right)}$.

Calcula el promedio de los resultados y aplica la función exponencial.

DEVUELVE el resultado.