Estimación máxima a posteriori

En estadística bayesiana , la estimación de máxima probabilidad a posteriori ( MAP ) de una cantidad desconocida es la moda de la densidad posterior . La MAP se puede utilizar para obtener una estimación puntual de una cantidad no observada a partir de datos empíricos. Está estrechamente relacionada con el método de estimación de máxima verosimilitud (ML), pero emplea un objetivo de optimización aumentado que incorpora una densidad previa sobre la cantidad que se desea estimar. Por lo tanto, la estimación MAP es una regularización de la estimación de máxima verosimilitud.

Supongamos que queremos estimar un parámetro poblacional no observado.${\displaystyle \theta }$sobre la base de las observaciones${\displaystyle x}$. Dejar${\displaystyle f}$sea ​​la distribución muestral de${\displaystyle x}$, de modo que${\displaystyle f(x\mid \theta )}$es la probabilidad de${\displaystyle x}$cuando el parámetro de población subyacente es${\displaystyle \theta }$. Luego la función:

${\displaystyle \theta \mapsto f(x\mid \theta )\!}$

se conoce como la función de verosimilitud y la estimación:

${\displaystyle {\hat {\theta }}_{\mathrm {MLE} }(x)={\underset {\theta }{\operatorname {arg\,max} }}\ f(x\mid \theta )\!}$

es la estimación de máxima verosimilitud de${\displaystyle \theta }$.

Ahora supongamos que existe una distribución previa.${\displaystyle g}$encima${\displaystyle \theta }$existe. Esto nos permite tratar${\displaystyle \theta }$como una variable aleatoria como en la estadística bayesiana . Podemos calcular la densidad posterior de${\displaystyle \theta }$Utilizando el teorema de Bayes :

${\displaystyle \theta \mapsto f(\theta \mid x)={\frac {f(x\mid \theta )\,g(\theta )}{\displaystyle \int _{\Theta }f(x\mid \vartheta )\,g(\vartheta )\,d\vartheta }}\!}$

dónde${\displaystyle g}$es la función de densidad de${\displaystyle \theta }$,${\displaystyle \Theta }$es el dominio de${\displaystyle g}$.

El método de estimación de máxima probabilidad a posteriori estima entonces${\displaystyle \theta }$como la moda de la densidad posterior de esta variable aleatoria:

${\displaystyle {\begin{aligned}{\hat {\theta }}_{\mathrm {MAP} }(x)&={\underset {\theta }{\operatorname {arg\,max} }}\ f(\theta \mid x)\\&={\underset {\theta }{\operatorname {arg\,max} }}\ {\frac {f(x\mid \theta )\,g(\theta )}{\displaystyle \int _{\Theta }f(x\mid \vartheta )\,g(\vartheta )\,d\vartheta }}\\&={\underset {\theta }{\operatorname {arg\,max} }}\ f(x\mid \theta )\,g(\theta ).\end{aligned}}\!}$

El denominador de la densidad posterior (la verosimilitud marginal del modelo) siempre es positivo y no depende de${\displaystyle \theta }$y por lo tanto no juega ningún papel en la optimización. Observe que la estimación MAP de${\displaystyle \theta }$coincide con la estimación ML cuando la distribución a priori${\displaystyle g}$es uniforme (es decir,${\displaystyle g}$es una función constante ), lo que ocurre siempre que la distribución previa se toma como medida de referencia, como es típico en las aplicaciones de espacios de funciones.

En el contexto de los estimadores bayesianos , el MAP se puede recuperar como el minimizador del riesgo bayesiano con función de riesgo

${\displaystyle L(\theta ,a)={\begin{cases}0,&{\text{si }}|a-\theta |<c,\\1,&{\text{en otro caso}},\\\end{cases}}}$

en el límite como${\displaystyle c}$va a 0, siempre que la distribución de${\displaystyle \theta }$es cuasicóncava. ^{[ 1 ]} Generalmente, sin embargo, un estimador MAP no es un estimador bayesiano a menos que${\displaystyle \theta }$es discreto .

Las estimaciones de MAP se pueden calcular de varias maneras:

1. Analíticamente, cuando la(s) moda(s) de la densidad posterior se pueden expresar en forma cerrada . Este es el caso cuando se utilizan distribuciones a priori conjugadas .
2. Mediante optimización numérica, como el método del gradiente conjugado o el método de Newton . Esto generalmente requiere derivadas primeras o segundas , las cuales deben evaluarse analítica o numéricamente.
3. Mediante una modificación de un algoritmo de maximización de la esperanza . Esto no requiere derivadas de la densidad posterior.
4. Mediante un método de Monte Carlo utilizando recocido simulado

Aunque solo se requieren condiciones leves para que la estimación MAP sea un caso límite de la estimación bayesiana (bajo la función de pérdida 0-1), ^{[ 1 ]} no es representativa de los métodos bayesianos en general. Esto se debe a que las estimaciones MAP son estimaciones puntuales y dependen de la elección arbitraria de la medida de referencia, mientras que los métodos bayesianos se caracterizan por el uso de distribuciones para resumir datos y extraer inferencias: por lo tanto, los métodos bayesianos tienden a informar la media o mediana posterior en su lugar, junto con intervalos creíbles . Esto se debe tanto a que estos estimadores son óptimos bajo la pérdida de error cuadrático y error lineal respectivamente —que son más representativos de las funciones de pérdida típicas— como a que para una distribución posterior continua no hay ninguna función de pérdida que sugiera que la MAP sea el estimador puntual óptimo.

En muchos tipos de modelos, como los modelos de mezcla , la distribución posterior puede ser multimodal . En tales casos, la recomendación habitual es elegir la moda más alta; sin embargo, esto no siempre es factible ( la optimización global es un problema complejo), ni siquiera posible en algunos casos (como cuando surgen problemas de identificabilidad ). Además, la moda más alta puede no ser representativa de la mayoría de la distribución posterior, especialmente en múltiples dimensiones.

Finalmente, a diferencia de los estimadores ML, la estimación MAP no es invariante bajo reparametrización. Cambiar de una parametrización a otra implica introducir un jacobiano que afecta la ubicación del máximo. ^{[ 2 ]} En contraste, las expectativas posteriores bayesianas son invariantes bajo reparametrización.

Como ejemplo de la diferencia entre los estimadores bayesianos mencionados anteriormente (estimadores de la media y la mediana) y el uso de una estimación MAP, consideremos el caso en el que existe la necesidad de clasificar las entradas.${\displaystyle x}$como positivos o negativos (por ejemplo, los préstamos como riesgosos o seguros). Supongamos que solo hay tres hipótesis posibles sobre el método correcto de clasificación.${\displaystyle h_{1}}$,${\displaystyle h_{2}}$y${\displaystyle h_{3}}$con probabilidades posteriores de 0,4, 0,3 y 0,3 respectivamente. Supongamos que, dado un nuevo caso,${\displaystyle x}$,${\displaystyle h_{1}}$lo clasifica como positivo, mientras que los otros dos lo clasifican como negativo. Usando la estimación MAP para el clasificador correcto${\displaystyle h_{1}}$,${\displaystyle x}$se clasifica como positivo, mientras que los estimadores de Bayes promediarían sobre todas las hipótesis y clasificarían${\displaystyle x}$como negativo.

Supongamos que se nos da una secuencia${\displaystyle (x_{1},\dots ,x_{n})}$de IID${\ Displaystyle N (\ mu, \ sigma _ {v} ^ {2})}$variables aleatorias y una distribución previa de${\displaystyle \mu }$es dado por ${\displaystyle N(\mu _{0},\sigma _{m}^{2})}$. Deseamos encontrar la estimación MAP de${\displaystyle \mu }$Tenga en cuenta que la distribución normal es su propia distribución a priori conjugada , por lo que podremos encontrar una solución analítica en forma cerrada .

La función que se va a maximizar viene dada por ^{[ 3 ].}

${\displaystyle g(\mu )f(x\mid \mu )=\pi (\mu )L(\mu )={\frac {1}{{\sqrt {2\pi }}\sigma _{m}}}\exp \left(-{\frac {1}{2}}\left({\frac {\mu -\mu _{0}}{\sigma _{m}}}\right)^{2}\right)\prod _{j=1}^{n}{\frac {1}{{\sqrt {2\pi }}\sigma _{v}}}\exp \left(-{\frac {1}{2}}\left({\frac {x_{j}-\mu }{\sigma _{v}}}\right)^{2}\right),}$

lo cual es equivalente a minimizar la siguiente función de${\displaystyle \mu }$:

${\displaystyle \sum _{j=1}^{n}\left({\frac {x_{j}-\mu }{\sigma _{v}}}\right)^{2}+\left({\frac {\mu -\mu _{0}}{\sigma _{m}}}\right)^{2}.}$

Así, vemos que el estimador MAP para μ viene dado por ^{[ 3 ].}

${\displaystyle {\hat {\mu }}_{\mathrm {MAP} }={\frac {\sigma _{m}^{2}\,n}{\sigma _{m}^{2}\,n+\sigma _{v}^{2}}}\left({\frac {1}{n}}\sum _{j=1}^{n}x_{j}\right)+{\frac {\sigma _{v}^{2}}{\sigma _{m}^{2}\,n+\sigma _{v}^{2}}}\,\mu _{0}={\frac {\sigma _{m}^{2}\left(\sum _{j=1}^{n}x_{j}\right)+\sigma _{v}^{2}\,\mu _{0}}{\sigma _{m}^{2}\,n+\sigma _{v}^{2}}}.}$

que resulta ser una interpolación lineal entre la media previa y la media muestral ponderada por sus respectivas covarianzas.

El caso de${\displaystyle \sigma _{m}\to \infty }$se denomina distribución previa no informativa y conduce a una distribución de probabilidad impropia ; en este caso${\displaystyle {\hat {\mu }}_{\mathrm {MAP} }\to {\hat {\mu }}_{\mathrm {MLE} }.}$

• DeGroot, M. (1970). Decisiones estadísticas óptimas . McGraw-Hill. ISBN 0-07-016242-5.
• Sorenson, Harold W. (1980). Estimación de parámetros: principios y problemas . Marcel Dekker. ISBN 0-8247-6987-2.
• Hald, Anders (2007). «La derivación de Gauss de la distribución normal y el método de mínimos cuadrados, 1809». Historia de la inferencia estadística paramétrica desde Bernoulli hasta Fisher, 1713-1935 . Nueva York: Springer. pp. 55-61 . ISBN  978-0-387-46409-1.