Límite inferior de la evidencia

Supongamos que tenemos una variable aleatoria observable.${\displaystyle X}$y queremos encontrar su distribución verdadera${\displaystyle p^{*}}$Esto nos permitiría generar datos mediante muestreo y estimar probabilidades de eventos futuros. En general, es imposible encontrar${\displaystyle p^{*}}$exactamente, lo que nos obliga a buscar una buena aproximación .

Es decir, definimos una familia paramétrica suficientemente grande.${\displaystyle \{p_{\theta }\}_{\theta \in \Theta }}$de distribuciones, luego resolver para${\displaystyle \min _{\theta }L(p_{\theta },p^{*})}$para alguna función de pérdida${\displaystyle L}$. Una posible forma de resolver esto es considerando pequeñas variaciones de${\displaystyle p_{\theta }}$a${\displaystyle p_{\theta +\delta \theta }}$y resolver para${\displaystyle L(p_{\theta },p^{*})-L(p_{\theta +\delta \theta },p^{*})=0}$. Este es un problema del cálculo de variaciones , por lo tanto se le llama método variacional .

Dado que no existen muchas familias de distribuciones parametrizadas explícitamente (todas las familias de distribuciones clásicas, como la distribución normal, la distribución de Gumbel , etc., son demasiado simplistas para modelar la distribución verdadera), consideramos distribuciones de probabilidad parametrizadas implícitamente :

• Primero, definamos una distribución simple.${\displaystyle p(z)}$sobre una variable aleatoria latente${\displaystyle Z}$Por lo general, una distribución normal o una distribución uniforme es suficiente.
• A continuación, definamos una familia de funciones complejas.${\displaystyle f_{\theta }}$(como una red neuronal profunda ) parametrizada por${\displaystyle \theta }$.
• Finalmente, defina una forma de convertir cualquier${\displaystyle f_{\theta}(z)}$en una distribución (en general simple también, pero no relacionado con${\displaystyle p(z)}$) sobre la variable aleatoria observable${\displaystyle X}$. Por ejemplo, dejemos${\ Displaystyle f _ {\ theta} (z) = (f_ {1} (z), f_ {2} (z))}$si tenemos dos salidas, entonces podemos definir la distribución correspondiente sobre${\displaystyle X}$ser la distribución normal${\displaystyle {\mathcal {N}}(f_{1}(z),e^{f_{2}(z)})}$.

Esto define una familia de distribuciones conjuntas.${\displaystyle p_{\theta }}$encima${\displaystyle (X,Z)}$Es muy fácil tomar muestras.${\displaystyle (x,z)\sim p_{\theta }}$: simplemente muestra${\displaystyle z\sim p}$, luego calcular${\displaystyle f_{\theta}(z)}$y finalmente muestra${\displaystyle x\sim p_{\theta }(\cdot |z)}$usando${\displaystyle f_{\theta }(z)}$.

En otras palabras, tenemos un modelo generativo tanto para lo observable como para lo latente. Ahora, consideramos una distribución.${\displaystyle p_{\theta }}$bueno, si es una aproximación cercana de${\displaystyle p^{*}}$:$${\displaystyle p_{\theta }(X)\approx p^{*}(X)}$$ya que la distribución del lado derecho es mayor${\displaystyle X}$solamente, la distribución del lado izquierdo debe marginalizar la variable latente${\displaystyle Z}$lejos. En general, es imposible realizar la integral.${\displaystyle p_{\theta }(x)=\int p_{\theta }(x|z)p(z)dz}$lo que nos obliga a realizar otra aproximación.

Desde${\displaystyle p_{\theta }(x)={\frac {p_{\theta }(x|z)p(z)}{p_{\theta }(z|x)}}}$( Regla de Bayes ), basta con encontrar una buena aproximación de${\displaystyle p_{\theta }(z|x)}$. Entonces, defina otra familia de distribución${\displaystyle q_{\phi }(z|x)}$y usarlo para aproximar${\displaystyle p_{\theta }(z|x)}$. Este es un modelo discriminativo para la variable latente.

La situación completa se resume en la siguiente tabla:

En lenguaje bayesiano ,${\displaystyle X}$es la evidencia observada, y${\displaystyle Z}$es lo latente/no observado. La distribución${\displaystyle p}$encima${\displaystyle Z}$es la distribución previa sobre${\displaystyle Z}$,${\displaystyle p_{\theta }(x|z)}$es la función de verosimilitud y${\displaystyle p_{\theta }(z|x)}$es la distribución posterior sobre${\displaystyle Z}$.

Dada una observación${\displaystyle x}$, podemos inferir qué${\displaystyle z}$probablemente dio origen a${\displaystyle x}$mediante computación${\displaystyle p_{\theta }(z|x)}$El método bayesiano habitual consiste en estimar la integral.${\displaystyle p_{\theta }(x)=\int p_{\theta }(x|z)p(z)dz}$Luego, calcula mediante la regla de Bayes.${\displaystyle p_{\theta }(z|x)={\frac {p_{\theta }(x|z)p(z)}{p_{\theta }(x)}}}$Esto es costoso de realizar en general, pero si podemos encontrar una buena aproximación${\displaystyle q_{\phi }(z|x)\approx p_{\theta }(z|x)}$para la mayoría${\displaystyle x,z}$, entonces podemos inferir${\displaystyle z}$de${\displaystyle x}$barato. Por lo tanto, la búsqueda de un buen${\displaystyle q_{\phi }}$También se denomina inferencia amortizada .

En definitiva, hemos encontrado un problema de inferencia bayesiana variacional .

Un resultado básico en la inferencia variacional es que minimizar la divergencia de Kullback-Leibler (divergencia KL) es equivalente a maximizar la log-verosimilitud:$${\displaystyle \mathbb {E} _{x\sim p^{*}(x)}[\ln p_{\theta }(x)]=-H(p^{*})-D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x))}$$dónde${\displaystyle H(p^{*})=-\mathbb {\mathbb {E} } _{x\sim p^{*}}[\ln p^{*}(x)]}$es la entropía de la distribución verdadera. Entonces, si podemos maximizar${\displaystyle \mathbb {E} _{x\sim p^{*}(x)}[\ln p_{\theta }(x)]}$podemos minimizar${\displaystyle D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x))}$y, en consecuencia, encontrar una aproximación precisa${\displaystyle p_{\theta }\approx p^{*}}$.

Para maximizar${\displaystyle \mathbb {E} _{x\sim p^{*}(x)}[\ln p_{\theta }(x)]}$, simplemente tomamos muestras de muchos${\displaystyle x_{i}\sim p^{*}(x)}$es decir, utilizar el muestreo por importancia$${\displaystyle N\max _{\theta }\mathbb {E} _{x\sim p^{*}(x)}[\ln p_{\theta }(x)]\approx \max _{\theta }\sum _{i}\ln p_{\theta }(x_{i})}$$dónde${\displaystyle N}$es el número de muestras extraídas de la distribución verdadera. Esta aproximación puede considerarse un sobreajuste . ^{[ nota 1 ]}

Para maximizar${\displaystyle \sum _{i}\ln p_{\theta }(x_{i})}$, es necesario encontrar${\displaystyle \ln p_{\theta }(x)}$:$${\displaystyle \ln p_{\theta }(x)=\ln \int p_{\theta }(x|z)p(z)dz}$$Por lo general, esto no tiene una forma cerrada y debe estimarse. La forma habitual de estimar integrales es la integración de Monte Carlo con muestreo de importancia :$${\displaystyle \int p_{\theta }(x|z)p(z)dz=\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[{\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]}$$dónde${\displaystyle q_{\phi }(z|x)}$es una distribución de muestreo sobre${\displaystyle z}$que utilizamos para realizar la integración de Monte Carlo.

Entonces vemos que si tomamos una muestra${\displaystyle z\sim q_{\phi }(\cdot |x)}$, entonces${\displaystyle {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}}$es un estimador insesgado de${\displaystyle p_{\theta }(x)}$Desafortunadamente, esto no nos proporciona un estimador insesgado de${\displaystyle \ln p_{\theta }(x)}$, porque${\displaystyle \ln }$es no lineal. De hecho, tenemos por la desigualdad de Jensen ,$${\displaystyle \ln p_{\theta }(x)=\ln \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[{\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]\geq \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]}$$De hecho, todos los estimadores obvios de${\displaystyle \ln p_{\theta }(x)}$están sesgados a la baja, porque no importa cuántas muestras de${\displaystyle z_{i}\sim q_{\phi }(\cdot |x)}$tomamos, tenemos por la desigualdad de Jensen:$${\displaystyle \mathbb {E} _{z_{i}\sim q_{\phi }(\cdot |x)}\left[\ln \left({\frac {1}{N}}\sum _{i}{\frac {p_{\theta }(x,z_{i})}{q_{\phi }(z_{i}|x)}}\right)\right]\leq \ln \mathbb {E} _{z_{i}\sim q_{\phi }(\cdot |x)}\left[{\frac {1}{N}}\sum _{i}{\frac {p_{\theta }(x,z_{i})}{q_{\phi }(z_{i}|x)}}\right]=\ln p_{\theta }(x)}$$Restando el lado derecho, vemos que el problema se reduce a un estimador sesgado de cero:$${\displaystyle \mathbb {E} _{z_{i}\sim q_{\phi }(\cdot |x)}\left[\ln \left({\frac {1}{N}}\sum _{i}{\frac {p_{\theta }(z_{i}|x)}{q_{\phi }(z_{i}|x)}}\right)\right]\leq 0}$$En este punto, podríamos desviarnos hacia el desarrollo de un autoencoder ponderado por importancia ^{[ nota 2 ]} , pero en su lugar continuaremos con el caso más simple con${\displaystyle N=1}$:$${\displaystyle \ln p_{\theta }(x)=\ln \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[{\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]\geq \mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]}$$La rigidez de la desigualdad tiene una forma cerrada:$${\displaystyle \ln p_{\theta }(x)-\mathbb {E} _{z\sim q_{\phi }(\cdot |x)}\left[\ln {\frac {p_{\theta }(x,z)}{q_{\phi }(z|x)}}\right]=D_{\mathit {KL}}(q_{\phi }(\cdot |x)\|p_{\theta }(\cdot |x))\geq 0}$$Hemos obtenido así la función ELBO:$${\displaystyle L(\phi ,\theta ;x):=\ln p_{\theta }(x)-D_{\mathit {KL}}(q_{\phi }(\cdot |x)\|p_{\theta }(\cdot |x))}$$

Para fijo${\displaystyle x}$la optimización${\displaystyle \max _{\theta ,\phi }L(\phi ,\theta ;x)}$Intenta simultáneamente maximizar${\displaystyle \ln p_{\theta }(x)}$y minimizar${\displaystyle D_{\mathit {KL}}(q_{\phi }(\cdot |x)\|p_{\theta }(\cdot |x))}$. Si la parametrización para${\displaystyle p_{\theta }}$y${\displaystyle q_{\phi }}$son lo suficientemente flexibles, obtendríamos algunos${\displaystyle {\hat {\phi }},{\hat {\theta }}}$, de tal manera que tengamos simultáneamente

$${\displaystyle \ln p_{\hat {\theta }}(x)\approx \max _{\theta }\ln p_{\theta }(x);\quad q_{\hat {\phi }}(\cdot |x)\approx p_{\hat {\theta }}(\cdot |x)}$$Desde$${\displaystyle \mathbb {E} _{x\sim p^{*}(x)}[\ln p_{\theta }(x)]=-H(p^{*})-D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x))}$$tenemos$${\displaystyle \ln p_{\hat {\theta }}(x)\approx \max _{\theta }-H(p^{*})-D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x))}$$y entonces$${\displaystyle {\hat {\theta }}\approx \arg \min D_{\mathit {KL}}(p^{*}(x)\|p_{\theta }(x))}$$En otras palabras, maximizar el ELBO nos permitiría simultáneamente obtener un modelo generativo preciso.${\displaystyle p_{\hat {\theta }}\approx p^{*}}$y un modelo discriminatorio preciso${\displaystyle q_{\hat {\phi }}(\cdot |x)\approx p_{\hat {\theta }}(\cdot |x)}$. ^{[ 5 ]}

Supongamos que tomamos${\displaystyle N}$muestras independientes de${\displaystyle p^{*}}$y recopilarlos en el conjunto de datos.${\displaystyle D=\{x_{1},...,x_{N}\}}$, entonces tenemos distribución empírica${\displaystyle q_{D}(x)={\frac {1}{N}}\sum _{i}\delta _{x_{i}}}$.

Adecuado${\displaystyle p_{\theta }(x)}$a${\displaystyle q_{D}(x)}$Esto se puede hacer, como siempre, maximizando la verosimilitud logarítmica.${\displaystyle \ln \ p_{\theta }(D)}$:$${\displaystyle D_{\mathit {KL}}(q_{D}(x)\|p_{\theta }(x))=-{\frac {1}{N}}\sum _{i}\ln \ p_{\theta }(x_{i})-H(q_{D})=-{\frac {1}{N}}\ln \ p_{\theta }(D)-H(q_{D})}$$Ahora, mediante la desigualdad ELBO, podemos acotar${\displaystyle \ln \ p_{\theta }(D)}$y por lo tanto$${\displaystyle D_{\mathit {KL}}(q_{D}(x)\|p_{\theta }(x))\leq -{\frac {1}{N}}L(\phi ,\theta ;D)-H(q_{D})}$$El lado derecho se simplifica a una divergencia KL, y así obtenemos:$${\displaystyle D_{\mathit {KL}}(q_{D}(x)\|p_{\theta }(x))\leq -{\frac {1}{N}}\sum _{i}L(\phi ,\theta ;x_{i})-H(q_{D})=D_{\mathit {KL}}(q_{D,\phi }(x,z);p_{\theta }(x,z))}$$Este resultado puede interpretarse como un caso especial de la desigualdad del procesamiento de datos .

En esta interpretación, maximizar${\displaystyle L(\phi ,\theta ;D)=\sum _{i}L(\phi ,\theta ;x_{i})}$está minimizando${\displaystyle D_{\mathit {KL}}(q_{D,\phi }(x,z);p_{\theta }(x,z))}$, que limita superiormente la cantidad real de interés${\displaystyle D_{\mathit {KL}}(q_{D}(x);p_{\theta }(x))}$mediante la desigualdad de procesamiento de datos. Es decir, añadimos un espacio latente al espacio observable, pagando el precio de una desigualdad más débil en aras de una minimización computacionalmente más eficiente de la divergencia KL. ^{[ 6 ]}