Algoritmo de Langevin ajustado a la metrópolis

En estadística computacional , el algoritmo Langevin ajustado a Metropolis (MALA) o Langevin Monte Carlo (LMC) es un método de Monte Carlo de cadena de Markov (MCMC) para obtener muestras aleatorias (secuencias de observaciones aleatorias) a partir de una distribución de probabilidad para la que el muestreo directo es difícil. Como sugiere el nombre, MALA utiliza una combinación de dos mecanismos para generar los estados de un recorrido aleatorio que tiene la distribución de probabilidad objetivo como medida invariante :

• Se proponen nuevos estados utilizando dinámica de Langevin ( sobreamortiguada ) , que utiliza evaluaciones del gradiente de la función de densidad de probabilidad objetivo ;
• Estas propuestas se aceptan o rechazan utilizando el algoritmo Metropolis-Hastings , que utiliza evaluaciones de la densidad de probabilidad objetivo (pero no de su gradiente).

De manera informal, la dinámica de Langevin conduce el paseo aleatorio hacia regiones de alta probabilidad a la manera de un flujo de gradiente, mientras que el mecanismo de aceptación/rechazo de Metropolis-Hastings mejora las propiedades de mezcla y convergencia de este paseo aleatorio. MALA fue propuesto originalmente por Julian Besag en 1994, ^[1] (aunque el método Smart Monte Carlo ya se introdujo en 1978 ^[2] ) y sus propiedades fueron examinadas en detalle por Gareth Roberts junto con Richard Tweedie ^[3] y Jeff Rosenthal . ^[4] Desde entonces se han introducido muchas variaciones y refinamientos, por ejemplo, la variante de variedad de Girolami y Calderhead (2011). ^[5] El método es equivalente a utilizar el algoritmo Hamiltoniano Monte Carlo (Monte Carlo híbrido) con un solo paso de tiempo discreto. ^[5]

Sea una función de densidad de probabilidad en , de la que se desea extraer un conjunto de muestras independientes e idénticamente distribuidas . Consideramos la difusión de Langevin Itô sobreamortiguada${\estilo de visualización \pi}$${\displaystyle \mathbb {R} ^{d}}$

${\displaystyle {\punto {X}}=\nabla \log \pi (X)+{\sqrt {2}}{\punto {W}}}$

impulsado por la derivada temporal de un movimiento browniano estándar . (Tenga en cuenta que otra normalización comúnmente utilizada para esta difusión es ${\estilo de visualización W}$

${\displaystyle {\dot {X}}={\frac {1}{2}}\nabla \log \pi (X)+{\dot {W}},}$

que genera la misma dinámica.) En el límite cuando , esta distribución de probabilidad de se aproxima a una distribución estacionaria, que también es invariante bajo la difusión, que denotamos . Resulta que, de hecho, . ${\displaystyle t\to \infty}$${\displaystyle \rho(t)}$${\estilo de visualización X(t)}$${\displaystyle \rho_{\infty}}$${\displaystyle \rho_{\infty}=\pi}$

Se pueden generar trayectorias de muestra aproximadas de la difusión de Langevin mediante muchos métodos de tiempo discreto. Uno de los más simples es el método de Euler-Maruyama con un paso de tiempo fijo . Establecemos y luego definimos recursivamente una aproximación a la solución verdadera mediante ${\displaystyle \tau >0}$${\displaystyle X_{0}:=x_{0}}$$Estilo de visualización X_ {k}}$${\displaystyle X(k\tau )}$

${\displaystyle X_{k+1}:=X_{k}+\tau \nabla \log \pi (X_{k})+{\sqrt {2\tau }}\xi _{k},}$

donde cada uno es un valor independiente extraído de una distribución normal multivariada con media 0 y matriz de covarianza igual a la matriz identidad . Nótese que se distribuye normalmente con media y covarianza iguales a multiplicado por la matriz identidad. ${\displaystyle \xi_{k}}$${\displaystyle \mathbb {R} ^{d}}$${\displaystyle d\times d}$ $Estilo de visualización X_{k+1}}$${\displaystyle X_{k}+\tau \nabla \log \pi (X_{k})}$${\estilo de visualización 2\tau}$${\displaystyle d\times d}$

A diferencia del método de Euler-Maruyama para simular la difusión de Langevin, que siempre se actualiza de acuerdo con la regla de actualización $Estilo de visualización X_ {k}}$

${\displaystyle X_{k+1}:=X_{k}+\tau \nabla \log \pi (X_{k})+{\sqrt {2\tau }}\xi _{k},}$

La MALA incorpora un paso adicional. Consideramos que la norma de actualización anterior define una propuesta para un nuevo estado. ${\displaystyle {\tilde {X}}_{k+1}}$

${\displaystyle {\tilde {X}}_{k+1}:=X_{k}+\tau \nabla \log \pi (X_{k})+{\sqrt {2\tau }}\xi _ {k}.}$

Esta propuesta se acepta o rechaza de acuerdo con el algoritmo Metropolis-Hastings: establecer

${\displaystyle \alpha :=\min \left\{1,{\frac {\pi ({\tilde {X}}_{k+1})q(X_{k}\mid {\tilde {X}}_{k+1})}{\pi ({X}_{k})q({\tilde {X}}_{k+1}\mid X_{k})}}\right\},}$

dónde

${\displaystyle q(x'\mid x)\propto \exp \left(-{\frac {1}{4\tau }}\|x'-x-\tau \nabla \log \pi (x)\ |_{2}^{2}\derecha)}$

es la densidad de probabilidad de transición de a (nótese que, en general ). Sea extraída de la distribución uniforme continua en el intervalo . Si , entonces se acepta la propuesta y establecemos ; de lo contrario, se rechaza la propuesta y establecemos . ${\estilo de visualización x}$${\estilo de visualización x'}$${\displaystyle q(x'\mid x)\neq q(x\mid x')}$${\estilo de visualización u}$${\estilo de visualización [0,1]}$${\displaystyle u\leq \alpha}$${\displaystyle X_{k+1}:={\tilde {X}}_{k+1}}$${\displaystyle X_{k+1}:=X_{k}}$

La dinámica combinada de la difusión de Langevin y el algoritmo de Metropolis-Hastings satisfacen las condiciones de equilibrio detalladas necesarias para la existencia de una distribución única, invariante y estacionaria . En comparación con el ingenuo Metropolis-Hastings, MALA tiene la ventaja de que generalmente propone movimientos hacia regiones de mayor probabilidad, que luego tienen más probabilidades de ser aceptadas. Por otro lado, cuando es fuertemente anisotrópico (es decir, varía mucho más rápidamente en algunas direcciones que en otras), es necesario tomar para capturar adecuadamente la dinámica de Langevin; el uso de una matriz de preacondicionamiento positiva-definida puede ayudar a aliviar este problema, al generar propuestas de acuerdo con ${\displaystyle \rho_{\infty}=\pi}$${\estilo de visualización \pi}$${\estilo de visualización \pi}$${\displaystyle 0<\tau \ll 1}$${\displaystyle A\in \mathbb {R} ^{d\times d}}$

${\displaystyle {\tilde {X}}_{k+1}:=X_{k}+\tau A\nabla \log \pi (X_{k})+{\sqrt {2\tau A}}\ xi_{k},}$

por lo que tiene media y covarianza . ${\displaystyle {\tilde {X}}_{k+1}}$${\displaystyle X_{k}+\tau A\nabla \log \pi (X_{k})}$${\estilo de visualización 2\tau A}$

Para clases limitadas de distribuciones objetivo, se puede demostrar que la tasa de aceptación óptima para este algoritmo es ; si se descubre que es sustancialmente diferente en la práctica, se debe modificar en consecuencia. ^[4]${\estilo de visualización 0,574}$${\estilo de visualización \tau}$