La aproximación de Laplace o aproximación cuadrática ( QUAP ) [ 1 ] proporciona una expresión analítica para una distribución de probabilidad posterior ajustando una distribución gaussiana con una media igual a la solución MAP y una precisión igual a la información de Fisher observada . [ 2 ] [ 3 ] La aproximación se justifica por el teorema de Bernstein-von Mises , que establece que, bajo condiciones de regularidad, el error de la aproximación tiende a 0 cuando el número de puntos de datos tiende a infinito. [ 4 ] [ 5 ]
Por ejemplo, considere un modelo de regresión o clasificación con un conjunto de datos.que comprende insumosy resultadoscon vector de parámetros (desconocido)de longitudLa probabilidad se denotay el parámetro previoSupongamos que se desea aproximar la densidad conjunta de salidas y parámetros.La fórmula de Bayes dice:
La probabilidad conjunta es igual al producto de la verosimilitud y la probabilidad a priori y, según la regla de Bayes , es igual al producto de la probabilidad marginal.y posterior. Visto como una función deLa unión es una densidad no normalizada.
En la aproximación de Laplace, aproximamos la articulación mediante una gaussiana no normalizada., donde usamospara denotar densidad aproximada,para densidad no normalizada yla constante de normalización de(independiente de). Dado que la probabilidad marginalno depende del parámetroy la parte posteriornormaliza sobrepodemos identificarlos inmediatamente conyde nuestra aproximación, respectivamente.
La aproximación de Laplace es
donde hemos definido
dóndees la ubicación de un modo de la densidad del objetivo conjunto, también conocido como punto de máxima a posteriori o MAP yes elmatriz definida positiva de segundas derivadas de la densidad objetivo conjunta logarítmica negativa en el modo. Por lo tanto, la aproximación gaussiana coincide con el valor y la curvatura logarítmica de la densidad objetivo no normalizada en el modo. El valor deNormalmente se encuentra utilizando un método basado en gradientes .
En resumen, tenemos
para la posterior aproximada sobrey la verosimilitud marginal logarítmica aproximada, respectivamente.
Las principales debilidades de la aproximación de Laplace radican en su simetría respecto al modo y en su carácter muy local: toda la aproximación se deriva de propiedades en un único punto de la densidad objetivo. El método de Laplace es ampliamente utilizado y fue desarrollado inicialmente en el contexto de las redes neuronales por David MacKay [ 6 ] , y para los procesos gaussianos por Williams y Barber [ 7 ] .
Aproximación de Laplace anidada integrada
Aproximación de Laplace anidada integrada (INLA es un método parala inferencia bayesianabasado en la aproximación de Laplace. [ 8 ] Está diseñado para una clase de modelos llamados modelos gaussianos latentes (LGM), para los cuales puede ser una alternativa rápida y precisa ade Monte Carlo de cadena de Markovpara calcular distribuciones marginales posteriores. [ 9 ] [ 10 ] [ 11 ] Debido a su velocidad relativa incluso con grandes conjuntos de datos para ciertos problemas y modelos, INLA ha sido un método de inferencia popular en estadística aplicada, en particularestadística espacial,ecología,sismologíayepidemiología. [ 12 ] [ 13 ] [ 14 ] También es posible combinar INLA con unade método de elementos finitosde unaecuación diferencial parcial estocásticapara estudiar, por ejemplo, procesos puntuales espaciales ymodelos de distribución de especies. [ 15 ] [ 16 ] El método INLA está implementado en elpaquetede R. [ 17 ]
modelos gaussianos latentes
Dejardenotamos la variable de respuesta (es decir, las observaciones) que pertenece a una familia exponencial , con media(de) estar vinculado a un predictor linealmediante una función de enlace apropiada . El predictor lineal puede adoptar la forma de un modelo aditivo (bayesiano) . Todos los efectos latentes (el predictor lineal, la intersección, los coeficientes de las posibles covariables, etc.) se denotan colectivamente por el vector.. Los hiperparámetros del modelo se denotan porSegún la estadística bayesiana,yson variables aleatorias con distribuciones previas.
Se supone que las observaciones son condicionalmente independientes dadoy:dóndees el conjunto de índices para los elementos observados de(algunos elementos pueden no ser observados, y para estos INLA calcula una distribución predictiva posterior). Tenga en cuenta que el predictor lineales parte de.
Para que el modelo sea un modelo gaussiano latente, se supone quees un campo aleatorio de Markov gaussiano (GMRF) [ 8 ] (es decir, un gaussiano multivariado con propiedades adicionales de independencia condicional ) con densidad de probabilidaddóndees unmatriz de precisión dispersa dependiente yes su determinante. La matriz de precisión es dispersa debido a la suposición GMRF. La distribución previapara los hiperparámetros no es necesario que sean gaussianos. Sin embargo, el número de hiperparámetros,, se supone que es pequeño (por ejemplo, menos de 15).
Inferencia bayesiana aproximada con INLA
En la inferencia bayesiana, se busca calcular la distribución posterior de las variables latentes.yAplicando el teorema de Bayesla distribución posterior conjunta deyes dado porObtener la distribución posterior exacta suele ser un problema muy difícil. En INLA, el objetivo principal es aproximar las distribuciones marginales posteriores.dónde.
Una idea clave de INLA es construir aproximaciones anidadas dadas pordóndees una densidad posterior aproximada. La aproximación a la densidad marginalse obtiene de forma anidada aproximando primeroyy luego integrando numéricamentecomodonde la suma se realiza sobre los valores de, con pesos de integración dados por. La aproximación dese calcula mediante integración numéricafuera de.
Para obtener la distribución aproximada, se puede utilizar la relacióncomo punto de partida. Entoncesse obtiene con un valor específico de los hiperparámetroscon la aproximación de Laplace [ 8 ]dóndees la aproximación gaussiana acuyo modo en un momento dadoes. La moda se puede encontrar numéricamente, por ejemplo, con el método de Newton-Raphson .
El truco en la aproximación de Laplace anterior es el hecho de que la aproximación gaussiana se aplica sobre el condicional completo deen el denominador ya que suele estar cerca de una gaussiana debido a la propiedad GMRF deAplicar la aproximación aquí mejora la precisión del método, ya que la posterioren sí mismo no tiene por qué estar cerca de una gaussiana, por lo que la aproximación gaussiana no se aplica directamente aLa segunda propiedad importante de un GMRF es la escasez de la matriz de precisión., es necesario para el cálculo eficiente depara cada valor. [ 8 ]
Obtención de la distribución aproximadaes más complejo, y el método INLA proporciona tres opciones para esto: aproximación gaussiana, aproximación de Laplace o la aproximación de Laplace simplificada. [ 8 ] Para la integración numérica para obtener, también hay tres opciones disponibles: búsqueda en cuadrícula, diseño compuesto central o Bayes empírico. [ 8 ]
Referencias
- ↑ "quap: Calcula la distribución posterior aproximada cuadrática en el paquete de libros rmcelreath/rethinking: Statistical Rethinking" . rdrr.io. Consultado el 17 de marzo de 2026 .
- ↑ Kass, Robert E.; Tierney, Luke; Kadane, Joseph B. (1991). «El método de Laplace en el análisis bayesiano». Integración múltiple estadística . Matemáticas contemporáneas. Vol. 115. pp. 89–100 . doi : 10.1090/conm/115/07 . ISBN 0-8218-5122-5.
- ↑ MacKay, David JC (2003). "Teoría de la información, inferencia y algoritmos de aprendizaje, capítulo 27: el método de Laplace" (PDF) .
- ↑ Hartigan, JA (1983). "Normalidad asintótica de las distribuciones posteriores". Teoría bayesiana . Springer Series in Statistics. Nueva York: Springer. pp. 107–118 . doi : 10.1007/978-1-4613-8242-3_11 . ISBN 978-1-4613-8244-7.
- ↑ Kass, Robert E.; Tierney, Luke; Kadane, Joseph B. (1990). «La validez de las expansiones posteriores basadas en el método de Laplace». En Geisser, S.; Hodges, JS; Press, SJ; Zellner, A. (eds.). Métodos bayesianos y de máxima verosimilitud en estadística y econometría . Elsevier. pp. 473–488 . ISBN 0-444-88376-2.
- ↑ MacKay, David JC (1992). "Interpolación bayesiana" (PDF) . Neural Computation . 4 (3). MIT Press: 415– 447. doi : 10.1162/neco.1992.4.3.415 . S2CID 1762283 .
- ↑ Williams, Christopher KI; Barber, David (1998). "Clasificación bayesiana con procesos gaussianos" (PDF) . IEEE Transactions on Pattern Analysis and Machine Intelligence . 20 (12). IEEE: 1342– 1351. doi : 10.1109/34.735807 .
- 1 2 3 4 5 6 Rue, Håvard; Martino, Sara; Chopin, Nicolas (2009). "Inferencia bayesiana aproximada para modelos gaussianos latentes mediante aproximaciones de Laplace anidadas integradas". JR Statist. Soc. B . 71 (2): 319– 392. doi : 10.1111/j.1467-9868.2008.00700.x . hdl : 2066/75507 . S2CID 1657669 .
- ↑ Taylor, Benjamin M.; Diggle, Peter J. (2014). "¿INLA o MCMC? Un tutorial y una evaluación comparativa para la predicción espacial en procesos de Cox log-gaussianos". Journal of Statistical Computation and Simulation . 84 (10): 2266– 2284. arXiv : 1202.1738 . doi : 10.1080/00949655.2013.788653 . S2CID 88511801 .
- ↑ Teng, M.; Nathoo, F.; Johnson, TD (2017). "Cálculo bayesiano para procesos de Cox log-gaussianos: un análisis comparativo de métodos" . Journal of Statistical Computation and Simulation . 87 (11): 2227– 2252. doi : 10.1080/00949655.2017.1326117 . PMC 5708893. PMID 29200537 .
- ↑ Wang, Xiaofeng; Yue, Yu Ryan; Faraway, Julian J. (2018). Modelado de regresión bayesiana con INLA . Chapman and Hall/CRC. ISBN 9781498727259.
- ↑ Blangiardo, Marta; Cameletti, Michela (2015). Modelos bayesianos espaciales y espaciotemporales con R-INLA . John Wiley & Sons, Ltd. ISBN 9781118326558.
- ^ Opitz, T. (2017). "Modelado gaussiano latente e INLA: una revisión centrada en aplicaciones espacio-temporales". Revista de la Sociedad Francesa de Estadística . 158 : 62–85 . arXiv : 1708.02723 .
- ↑ Moraga, Paula (2019). Datos geoespaciales de salud: modelado y visualización con R-INLA y Shiny . Chapman and Hall/CRC. ISBN 9780367357955.
- ↑ Lindgren, Finn; Rue, Håvard; Lindström, Johan (2011). "Un vínculo explícito entre campos gaussianos y campos aleatorios de Markov gaussianos: el enfoque de ecuaciones diferenciales parciales estocásticas". JR Statist. Soc. B . 73 (4): 423– 498. doi : 10.1111/j.1467-9868.2011.00777.x . hdl : 20.500.11820/1084d335-e5b4-4867-9245-ec9c4f6f4645 . S2CID 120949984 .
- ^ Lezama-Ochoa, N.; Grazia Pennino, M.; Salón, MA; López, J.; Murua, H. (2020). "Uso de un enfoque de modelado bayesiano (INLA-SPDE) para predecir la aparición de Spinetail Devil Ray (Mobular mobular)" . Informes científicos . 10 (1): 18822. Bibcode : 2020NatSR..1018822L . doi : 10.1038/s41598-020-73879-3 . PMC 7606447 . PMID 33139744 .
- ↑ "Proyecto R-INLA" . Consultado el 21 de abril de 2022 .
Lecturas adicionales
- Amaral Turkman, M. Antónia; Paulino, Carlos Daniel; Müller, Peter (2019). «El método clásico de Laplace». Estadística bayesiana computacional : una introducción . Cambridge: Cambridge University Press. pp. 154–159 . ISBN 978-1-108-48103-8.
- Gomez-Rubio, Virgilio (2021). Inferencia bayesiana con INLA . Chapman and Hall/CRC. ISBN 978-1-03-217453-2.
- Tanner, Martin A. (1996). «Momentos posteriores y marginalización basados en el método de Laplace». Herramientas para la inferencia estadística . Nueva York: Springer. págs. 44–51 . ISBN 0-387-94688-8.
- Aproximaciones estadísticas
- Inferencia bayesiana