GAN de Wasserstein

La red generativa antagónica de Wasserstein (WGAN) es una variante de la red generativa antagónica (GAN) propuesta en 2017 que tiene como objetivo "mejorar la estabilidad del aprendizaje, eliminar problemas como el colapso de modos y proporcionar curvas de aprendizaje significativas útiles para la depuración y la búsqueda de hiperparámetros". ^{[ 1 ]}^{[ 2 ]}

En comparación con el discriminador GAN original, el discriminador GAN de Wasserstein proporciona una mejor señal de aprendizaje al generador. Esto permite que el entrenamiento sea más estable cuando el generador aprende distribuciones en espacios de muy alta dimensionalidad.

Motivación

El juego GAN

El método GAN original se basa en el juego GAN, un juego de suma cero con 2 jugadores: generador y discriminador. El juego se define sobre un espacio de probabilidad. $(\Omega,{\mathcal {B}},\mu _ {ref})$ El conjunto de estrategias del generador es el conjunto de todas las medidas de probabilidad. $\mu _{G}$ en $(\Omega,{\mathcal {B}})$ y el conjunto de estrategias del discriminador es el conjunto de funciones medibles. $D:\Omega \to [0,1]$ .

El objetivo del juego es $L(\mu _{G},D):=\mathbb {E} _{x\sim \mu _{ref}}[\ln D(x)]+\mathbb {E} _{x\sim \mu _{G}}[\ln(1-D(x))].$ El generador pretende minimizarlo, y el discriminador pretende maximizarlo.

Un teorema básico del juego GAN establece que

Teorema (el discriminador óptimo calcula la divergencia de Jensen-Shannon) — Para cualquier estrategia de generador fijo $\mu _{G}$ , sea la respuesta óptima $D^{*}=\arg \max _{D}L(\mu _{G},D)$ , entonces

${\begin{aligned}D^{*}(x)&={\frac {d\mu _{ref}}{d(\mu _{ref}+\mu _{G})}}\\L(\mu _{G},D^{*})&=2D_{JS}(\mu _{ref};\mu _{G})-2\ln 2,\end{aligned}}$

donde la derivada es la derivada de Radon-Nikodym , y $D_{JS}$ es la divergencia de Jensen-Shannon .

Repite el juego GAN muchas veces, cada vez con el generador moviéndose primero y el discriminador moviéndose segundo. Cada vez el generador $\mu _{G}$ cambios, el discriminador debe adaptarse acercándose al ideal $D^{*}(x)={\frac {d\mu _{ref}}{d(\mu _{ref}+\mu _{G})}}.$ Dado que estamos realmente interesados en $\mu _{ref}$ , la función discriminadora $D$ es en sí mismo bastante poco interesante. Simplemente registra la razón de verosimilitud entre la distribución del generador y la distribución de referencia. En equilibrio, el discriminador simplemente está generando ${\frac {1}{2}}$ constantemente, habiendo renunciado a intentar percibir alguna diferencia. ^{[ nota 1 ]}

Concretamente, en el juego GAN, vamos a arreglar un generador. $\mu _{G}$ y mejorar el discriminador paso a paso, con $\mu _{D,t}$ ser el discriminador en el paso $t$ Entonces (idealmente) tenemos $L(\mu _{G},\mu _{D,1})\leq L(\mu _{G},\mu _{D,2})\leq \cdots \leq \max _{\mu _{D}}L(\mu _{G},\mu _{D})=2D_{JS}(\mu _{ref}\|\mu _{G})-2\ln 2,$ Así vemos que el discriminador en realidad está limitando por debajo. $D_{JS}(\mu _{ref}\|\mu _{G})$ .

Distancia de Wasserstein

Así, vemos que la función del discriminador es principalmente la de un crítico que proporciona retroalimentación al generador sobre "cuán lejos está de la perfección", donde "lejos" se define como la divergencia de Jensen-Shannon.

Naturalmente, esto abre la posibilidad de utilizar un criterio de lejanía diferente. Hay muchas divergencias posibles para elegir, como la familia de divergencias f , que daría lugar a la f-GAN. ^{[ 3 ]}

La GAN de Wasserstein se obtiene utilizando la métrica de Wasserstein , que satisface un "teorema de representación dual" que la hace altamente eficiente para calcular:

Teorema (dualidad de Kantorovich-Rubenstein) — Cuando el espacio de probabilidad $\Omega$ es un espacio métrico, entonces para cualquier fijo $K>0$ , $W_{1}(\mu ,\nu )={\frac {1}{K}}\sup _{\|f\|_{L}\leq K}\mathbb {E} _{x\sim \mu }[f(x)]-\mathbb {E} _{y\sim \nu }[f(y)]$ dónde $\|\cdot \|_{L}$ es la norma de Lipschitz .

La demostración se puede encontrar en la página principal sobre la métrica de Wasserstein .

Definición

Según la dualidad de Kantorovich-Rubenstein, la definición de Wasserstein GAN es clara:

Un juego GAN de Wasserstein se define mediante un espacio de probabilidad $(\Omega,{\mathcal {B}},\mu _ {ref})$ , dónde $\Omega$ es un espacio métrico y una constante $K>0$ .
Hay dos jugadores: el generador y el discriminador (también llamado "crítico").
El conjunto de estrategias del generador es el conjunto de todas las medidas de probabilidad. $\mu _{G}$ en $(\Omega,{\mathcal {B}})$ .
El conjunto de estrategias del discriminador es el conjunto de funciones medibles de tipo $D:\Omega \to \mathbb {R}$ con norma de Lipschitz acotada: $\|D\|_{L}\leq K$ .
El juego GAN de Wasserstein es un juego de suma cero , con función objetivo $L_{WGAN}(\mu _{G},D):=\mathbb {E} _{x\sim \mu _{G}}[D(x)]-\mathbb {E} _{x\sim \mu _{ref}}[D(x)].$
El generador actúa primero y el discriminador después. El generador busca minimizar la función objetivo, y el discriminador busca maximizarla: $\min _{\mu _{G}}\max _{D}L_{WGAN}(\mu _{G},D).$

Por la dualidad de Kantorovich-Rubenstein, para cualquier estrategia generadora $\mu _{G}$ La respuesta óptima del discriminador es $D^{*}$ , de tal manera que $L_{WGAN}(\mu _{G},D^{*})=K\cdot W_{1}(\mu _{G},\mu _{ref}).$ En consecuencia, si el discriminador es bueno, el generador se vería constantemente presionado para minimizar $W_{1}(\mu _{G},\mu _{ref})$ y la estrategia óptima para el generador es simplemente $\mu _{G}=\mu _{ref}$ , como debe ser.

Comparación con GAN

En el juego GAN de Wasserstein, el discriminador proporciona un gradiente mejor que en el juego GAN.

Consideremos, por ejemplo, un juego en la recta real donde ambos $\mu _{G}$ y $\mu _{ref}$ son gaussianas. Entonces el crítico de Wasserstein óptimo $D_{WGAN}$ y el discriminador GAN óptimo $D$ se representan gráficamente como se muestra a continuación:

{\displaystyle D_{WGAN}} — El crítico óptimo de Wasserstein $D_{WGAN}$ y el discriminador GAN óptimo $D$ para una distribución de referencia fija $\mu _{ref}$ y distribución de generadores $\mu _{G}$ Tanto el crítico de Wasserstein como el crítico de Wasserstein $D_{WGAN}$ y el discriminador GAN $D$ se reducen de tamaño para ajustarse al gráfico.

Para un discriminador fijo, el generador necesita minimizar los siguientes objetivos:

Para GAN, $\mathbb {E} _{x\sim \mu _{G}}[\ln(1-D(x))]$ .
Para Wasserstein GAN, $\mathbb {E} _{x\sim \mu _{G}}[D_{WGAN}(x)]$ .

Dejar $\mu _{G}$ ser parametrizado por $\theta$ , entonces podemos realizar un descenso de gradiente estocástico utilizando dos estimadores insesgados del gradiente: $\nabla _{\theta }\mathbb {E} _{x\sim \mu _{G}}[\ln(1-D(x))]=\mathbb {E} _{x\sim \mu _{G}}[\ln(1-D(x))\cdot \nabla _{\theta }\ln \rho _{\mu _{G}}(x)]$ $\nabla _{\theta }\mathbb {E} _{x\sim \mu _{G}}[D_{WGAN}(x)]=\mathbb {E} _{x\sim \mu _{G}}[D_{WGAN}(x)\cdot \nabla _{\theta }\ln \rho _{\mu _{G}}(x)]$ donde utilizamos el truco de reparametrización . ^{[ nota 2 ]}

{\displaystyle D} — La misma gráfica, pero con el discriminador GAN. $D$ reemplazado por $\ln(1-D)$ (y reducido para ajustarse al gráfico)

Como se muestra, el generador en GAN está motivado para dejar que su $\mu _{G}$ "deslizarse por la cima" de $\ln(1-D(x))$ . Lo mismo ocurre con el generador en Wasserstein GAN.

Para Wasserstein GAN, $D_{WGAN}$ tiene gradiente 1 en casi todas partes, mientras que para GAN, $\ln(1-D)$ tiene un gradiente plano en el medio y un gradiente pronunciado en el resto. Como resultado, la varianza del estimador en GAN suele ser mucho mayor que la de Wasserstein GAN. Véase también la Figura 3 de ^{[ 1 ] .}

El problema con $D_{JS}$ es mucho más severo en situaciones reales de aprendizaje automático. Consideremos entrenar una GAN para generar ImageNet , una colección de fotos de tamaño 256 por 256. El espacio de todas esas fotos es $\mathbb {R} ^{256^{2}}$ y la distribución de imágenes de ImageNet, $\mu _{ref}$ , se concentra en una variedad de dimensión mucho menor en ella. En consecuencia, cualquier estrategia generadora $\mu _{G}$ casi con toda seguridad estaría completamente desvinculado de $\mu _{ref}$ , haciendo $D_{JS}(\mu _{G}\|\mu _{ref})=+\infty$ Por lo tanto, un buen discriminador puede distinguir casi perfectamente. $\mu _{ref}$ de $\mu _{G}$ , así como cualquier $\mu _{G}'$ cerca de $\mu _{G}$ Por lo tanto, el gradiente $\nabla _{\mu _{G}}L(\mu _{G},D)\approx 0$ , sin generar ninguna señal de aprendizaje para el generador.

Los teoremas detallados se pueden encontrar en ^{[ 4 ] .}

Entrenamiento de GANs de Wasserstein

El entrenamiento del generador en Wasserstein GAN se basa simplemente en el descenso de gradiente , al igual que en GAN (o en la mayoría de los métodos de aprendizaje profundo), pero el entrenamiento del discriminador es diferente, ya que este último ahora está restringido a tener una norma de Lipschitz limitada. Existen varios métodos para ello.

Límite superior de la norma de Lipschitz

Sea la función discriminadora $D$ que se implementará mediante un perceptrón multicapa : $D=D_{n}\circ D_{n-1}\circ \cdots \circ D_{1}$ dónde $D_{i}(x)=h(W_{i}x)$ , y $h:\mathbb {R} \to \mathbb {R}$ es una función de activación fija con $\sup _{x}|h'(x)|\leq 1$ Por ejemplo, la función tangente hiperbólica $h=\tanh$ Satisface el requisito.

Entonces, para cualquier $x$ , dejar $x_{i}=(D_{i}\circ D_{i-1}\circ \cdots \circ D_{1})(x)$ , tenemos por la regla de la cadena : $dD(x)=diag(h'(W_{n}x_{n-1}))\cdot W_{n}\cdot diag(h'(W_{n-1}x_{n-2}))\cdot W_{n-1}\cdots diag(h'(W_{1}x))\cdot W_{1}\cdot dx$ Así, la norma de Lipschitz de $D$ está limitado superiormente por $\|D\|_{L}\leq \sup _{x}\|diag(h'(W_{n}x_{n-1}))\cdot W_{n}\cdot diag(h'(W_{n-1}x_{n-2}))\cdot W_{n-1}\cdots diag(h'(W_{1}x))\cdot W_{1}\|_{F}$ dónde $\|\cdot \|_{s}$ es la norma del operador de la matriz, es decir, el mayor valor singular de la matriz, es decir, el radio espectral de la matriz (estos conceptos son los mismos para matrices, pero diferentes para operadores lineales generales ).

Desde $\sup _{x}|h'(x)|\leq 1$ , tenemos $\|diag(h'(W_{i}x_{i-1}))\|_{s}=\max _{j}|h'(W_{i}x_{i-1,j})|\leq 1$ y, en consecuencia, el límite superior: $\|D\|_{L}\leq \prod _{i=1}^{n}\|W_{i}\|_{s}$ Por lo tanto, si podemos acotar superiormente las normas de los operadores $\|W_{i}\|_{s}$ de cada matriz, podemos acotar superiormente la norma de Lipschitz de $D$ .

Recorte de peso

Dado que para cualquier $m\times l$ matriz $W$ , dejar $c=\max _{i,j}|W_{i,j}|$ , tenemos $\|W\|_{s}^{2}=\sup _{\|x\|_{2}=1}\|Wx\|_{2}^{2}=\sup _{\|x\|_{2}=1}\sum _{i}\left(\sum _{j}W_{i,j}x_{j}\right)^{2}=\sup _{\|x\|_{2}=1}\sum _{i,j,k}W_{ij}W_{ik}x_{j}x_{k}\leq c^{2}ml^{2}$ recortando todas las entradas de $W$ dentro de algún intervalo $[-c,c]$ , podemos vincularnos $\|W\|_{s}$ .

Este es el método de recorte de peso propuesto en el artículo original. ^{[ 1 ]}

Normalización espectral

El radio espectral se puede calcular de manera eficiente mediante el siguiente algoritmo:

Matriz de ENTRADA $W$ y suposición inicial $x$
Iterar $x\mapsto {\frac {1}{\|Wx\|_{2}}}Wx$ a la convergencia $x^{*}$ Este es el vector propio de $W$ con valor propio $\|W\|_{s}$ .
DEVOLVER $x^{*},\|Wx^{*}\|_{2}$

Al reasignar $W_{i}\leftarrow {\frac {W_{i}}{\|W_{i}\|_{s}}}$ Después de cada actualización del discriminador, podemos establecer un límite superior. $\|W_{i}\|_{s}\leq 1$ y por lo tanto límite superior $\|D\|_{L}$ .

El algoritmo puede acelerarse aún más mediante la memorización : En el paso $t$ , almacenar $x_{i}^{*}(t)$ . Luego en el paso $t+1$ , usar $x_{i}^{*}(t)$ como la suposición inicial para el algoritmo. Dado que $W_{i}(t+1)$ está muy cerca de $W_{i}(t)$ , así es $x_{i}^{*}(t)$ cerca de $x_{i}^{*}(t+1)$ , por lo que esto permite una rápida convergencia.

Este es el método de normalización espectral. ^{[ 5 ]}

penalización de gradiente

En lugar de limitar estrictamente $\|D\|_{L}$ , podemos simplemente agregar un término de "penalización de gradiente" para el discriminador, de la forma $\mathbb {E} _{x\sim {\hat {\mu }}}[(\|\nabla D(x)\|_{2}-a)^{2}]$ dónde ${\hat {\mu }}$ es una distribución fija que se utiliza para estimar cuánto ha violado el discriminador el requisito de la norma de Lipschitz. El discriminador, al intentar minimizar la nueva función de pérdida, naturalmente traería $\nabla D(x)$ cerca de $a$ en todas partes, haciendo así $\|D\|_{L}\approx a$ .

Este es el método de penalización de gradiente. ^{[ 6 ]}

Lecturas adicionales

De GAN a WGAN
La GAN de Wasserstein y la dualidad de Kantorovich-Rubinstein
Aprendizaje en profundidad: GAN de Wasserstein

Véase también

Referencias

1 2 3 Arjovsky, Martin; Chintala, Soumith; Bottou, Léon (17 de julio de 2017). "Redes generativas adversarias de Wasserstein" . Conferencia internacional sobre aprendizaje automático . PMLR: 214–223 .
^ Weng, Lilian (18 de abril de 2019). "De GAN a WGAN". arXiv : 1904.08994 [ cs.LG ].
↑ Nowozin, Sebastian; Cseke, Botond; Tomioka, Ryota (2016). "f-GAN: Entrenamiento de muestreadores neuronales generativos mediante minimización de la divergencia variacional" . Advances in Neural Information Processing Systems . 29. Curran Associates, Inc. arXiv : 1606.00709 .
↑ Arjovsky, Martin; Bottou, Léon (2017-01-01). "Hacia métodos basados en principios para el entrenamiento de redes generativas adversarias" . arXiv : 1701.04862 .{{cite journal}}: Para citar una revista se requiere |journal=( ayuda )
↑ Miyato, Takeru; Kataoka, Toshiki; Koyama, Masanori; Yoshida, Yuichi (16 de febrero de 2018). "Normalización espectral para redes generativas adversarias". arXiv : 1802.05957 [ cs.LG ].
↑ Gulrajani, Ishaan; Ahmed, Faruk; Arjovsky, Martin; Dumoulin, Vincent; Courville, Aaron C (2017). "Entrenamiento mejorado de GAN de Wasserstein" . Avances en sistemas de procesamiento de información neuronal . 30. Curran Associates, Inc.

Notas

↑ En la práctica, el generador nunca podría alcanzar una imitación perfecta, por lo que el discriminador tendría motivación para percibir la diferencia, lo que le permite ser utilizado para otras tareas, como realizar la clasificación de ImageNet sin supervisión .
↑ En realidad, no es así como se hace en la práctica, ya que $\nabla _{\theta }\ln \rho _{\mu _{G}}(x)$ En general es un problema intratable, pero teóricamente resulta esclarecedor.

[:0-1] 1 2 3 Arjovsky, Martin; Chintala, Soumith; Bottou, Léon (17 de julio de 2017). "Redes generativas adversarias de Wasserstein" . Conferencia internacional sobre aprendizaje automático . PMLR: 214–223 .

[2] Weng, Lilian (18 de abril de 2019). "De GAN a WGAN". arXiv : 1904.08994 [ cs.LG ].

[4] Nowozin, Sebastian; Cseke, Botond; Tomioka, Ryota (2016). "f-GAN: Entrenamiento de muestreadores neuronales generativos mediante minimización de la divergencia variacional" . Advances in Neural Information Processing Systems . 29. Curran Associates, Inc. arXiv : 1606.00709 .

[6] Arjovsky, Martin; Bottou, Léon (2017-01-01). "Hacia métodos basados en principios para el entrenamiento de redes generativas adversarias" . arXiv : 1701.04862 .{{cite journal}}: Para citar una revista se requiere |journal=( ayuda )

[7] Miyato, Takeru; Kataoka, Toshiki; Koyama, Masanori; Yoshida, Yuichi (16 de febrero de 2018). "Normalización espectral para redes generativas adversarias". arXiv : 1802.05957 [ cs.LG ].

[8] Gulrajani, Ishaan; Ahmed, Faruk; Arjovsky, Martin; Dumoulin, Vincent; Courville, Aaron C (2017). "Entrenamiento mejorado de GAN de Wasserstein" . Avances en sistemas de procesamiento de información neuronal . 30. Curran Associates, Inc.

[in_practice-3] En la práctica, el generador nunca podría alcanzar una imitación perfecta, por lo que el discriminador tendría motivación para percibir la diferencia, lo que le permite ser utilizado para otras tareas, como realizar la clasificación de ImageNet sin supervisión .

[not_really_done_in_practice-5] En realidad, no es así como se hace en la práctica, ya que $\nabla _{\theta }\ln \rho _{\mu _{G}}(x)$ En general es un problema intratable, pero teóricamente resulta esclarecedor.

[ 2 ]

[ nota 1 ]

[ 3 ]

[ nota 2 ]

[ 4 ] .

[ 5 ]

[ 6 ]