cuadratura bayesiana

Dejar${\displaystyle f:{\mathcal {X}}\rightarrow \mathbb {R} }$ser una función definida en un dominio${\displaystyle {\mathcal {X}}}$(donde normalmente${\displaystyle {\mathcal {X}}\subseteq \mathbb {R} ^{d}}$). En la integración numérica , evaluaciones de funciones${\displaystyle f(x_{1}),\ldots ,f(x_{n})}$en distintos lugares${\displaystyle x_{1},\ldots ,x_{n}}$en${\displaystyle {\mathcal {X}}}$se utilizan para estimar la integral de${\displaystyle f}$contra una medida${\displaystyle \nu }$: es decir${\displaystyle \textstyle \nu [f]:=\int _{\mathcal {X}}f(x)\nu (\mathrm {d} x).}$ Pesos dados${\displaystyle w_{1},\ldots ,w_{n}\in \mathbb {R} }$, una regla de cuadratura es un estimador de${\displaystyle \nu [f]}$de la forma $\textstyle {\hat {\nu }}[f]:=\sum _{i=1}^{n}w_{i}f(x_{i}).$

La cuadratura bayesiana consiste en especificar una distribución previa sobre${\displaystyle f}$, condicionando esto a priori en${\displaystyle f(x_{1}),\ldots ,f(x_{n})}$para obtener una distribución posterior${\displaystyle f}$, luego calculando la distribución posterior implícita en${\displaystyle \nu [f]}$. El nombre "cuadratura" proviene del hecho de que la media posterior en${\displaystyle \nu [f]}$a veces adopta la forma de una regla de cuadratura cuyos pesos están determinados por la elección de la distribución a priori.

La elección más común de distribución previa para${\displaystyle f}$es un proceso gaussiano ya que esto permite la inferencia conjugada para obtener una distribución posterior de forma cerrada sobre${\displaystyle \nu [f]}$Supongamos que tenemos un proceso gaussiano con función media previa${\displaystyle m:{\mathcal {X}}\rightarrow \mathbb {R} }$y función de covarianza (o función kernel)${\displaystyle k:{\mathcal {X}}\times {\mathcal {X}}\rightarrow \mathbb {R} }$. Luego, la distribución posterior en${\displaystyle f}$es un proceso gaussiano con media${\displaystyle m_{n}:{\mathcal {X}}\rightarrow \mathbb {R} }$y núcleo${\displaystyle k_{n}:{\mathcal {X}}\times {\mathcal {X}}\rightarrow \mathbb {R} }$dado por: $${\displaystyle m_{n}(x)=m(x)+k(x,X)k(X,X)^{-1}f(X)\qquad {\text{y}}\qquad k_{n}(x,y)=k(x,y)-k(x,X)k(X,X)^{-1}k(X,y).}$$ dónde${\displaystyle (k(X,X))_{ij}=k(x_{i},x_{j})}$,${\displaystyle (f(X))_{i}=f(x_{i})}$,${\displaystyle (k(\cdot ,X))_{i}=k(\cdot ,x_{i})}$y${\displaystyle (k(X,\cdot ))_{i}=k(x_{i},\cdot )}$.

Además, la distribución posterior en${\displaystyle \nu [f]}$es una distribución gaussiana univariada con media${\displaystyle \mathbb {E} [\nu [f]]}$y varianza${\displaystyle \mathbb {V} [\nu [f]]}$dado por $${\displaystyle \mathbb {E} [\nu [f]]=\nu [m]+\nu [k(\cdot ,X)]k(X,X)^{-1}f(X)\qquad {\text{y}}\qquad \mathbb {V} [\nu [f]]=\nu \nu [k]-\nu [k(\cdot ,X)]k(X,X)^{-1}\nu [k(X,\cdot )].}$$ La función${\displaystyle \textstyle \nu [k(\cdot ,x)]=\int _{\mathcal {X}}k(y,x)\nu (\mathrm {d} y)}$ es la incrustación media del núcleo de${\displaystyle k}$y${\displaystyle \textstyle \nu \nu [k]=\int _{\mathcal {X}}k(x,y)\nu (dx)\nu (\mathrm {d} y)}$denota la integral de${\displaystyle k}$con respecto a ambas entradas. En particular, observe que la media posterior es una regla de cuadratura con pesos${\displaystyle \textstyle w_{i}=(\nu [k(\cdot ,X)]k(X,X)^{-1})_{i}.}$ y la varianza posterior proporciona una cuantificación de la incertidumbre del usuario sobre el valor de${\displaystyle \nu [f]}$.

En problemas de integración más complejos, donde no se puede confiar en la distribución previa como una representación significativa de la incertidumbre epistémica, es necesario utilizar los datos.${\displaystyle f(x_{1}),\ldots ,f(x_{n})}$para establecer los hiperparámetros del kernel usando, por ejemplo, la estimación de máxima verosimilitud . La estimación de los hiperparámetros del kernel introduce adaptabilidad en la cuadratura bayesiana. ^{[ 6 ] [ 7 ]}

Consideremos la estimación de la integral. $${\displaystyle \nu [f]=\int _{0}^{1}f(x)\,\mathrm {d} x\approx 1.79\quad {\text{ of the function }}\quad f(x)=(1+x^{2})\sin(5\pi x)+{\frac {8}{5}}}$$ utilizando una regla de cuadratura bayesiana basada en un proceso gaussiano de media cero con la función de covarianza de suavidad de Matérn${\displaystyle 3/2}$y longitud de correlación${\displaystyle \rho =1/5}$Esta función de covarianza es ${\displaystyle \textstyle k(x,y)=(1+{\sqrt {3}}\,|x-y|/\rho )\exp(\!-{\sqrt {3}}\,|x-y|/\rho ).}$ Es sencillo (aunque tedioso) calcular que $${\displaystyle \nu [k(\cdot ,x)]=\int _{0}^{1}k(y,x)\,\mathrm {d} y={\frac {4\rho }{\sqrt {3}}}-{\frac {1}{3}}\exp {\bigg (}{\frac {{\sqrt {3}}(x-1)}{\rho }}{\bigg )}{\big (}3+2{\sqrt {3}}\,\rho -3x{\big )}-{\frac {1}{3}}\exp {\bigg (}-{\frac {{\sqrt {3}}\,x}{\rho }}{\bigg )}{\big (}3x+2{\sqrt {3}}\,\rho {\big )}}$$$${\displaystyle \nu \nu [k]=\int _{0}^{1}\int _{0}^{1}k(x,y)\,\mathrm {d} x\,\mathrm {d} y={\frac {2\rho }{3}}{\Bigg [}2{\sqrt {3}}-3\rho +\exp {\bigg (}\!-{\frac {\sqrt {3}}{\rho }}{\bigg )}{\big (}{\sqrt {3}}+3\rho {\big )}{\Bigg ]}.}$$ Convergencia de la estimación puntual de cuadratura bayesiana${\displaystyle \mathbb {E} [\nu [f]]}$y concentración de la masa posterior, cuantificada por${\displaystyle \mathbb {V} [\nu [f]]}$, alrededor de la verdadera integral${\displaystyle \nu [f]}$como${\displaystyle f}$La evaluación se realiza en cada vez más puntos, como se muestra en la animación adjunta.

Dado que la cuadratura bayesiana es un ejemplo de métodos numéricos probabilísticos , hereda ciertas ventajas en comparación con los métodos de integración numérica tradicionales :

• Permite cuantificar la incertidumbre y propagarla a través de todos los cálculos subsiguientes para modelar explícitamente el impacto del error numérico . ^{[ 8 ]}
• Proporciona una forma basada en principios para incorporar el conocimiento previo mediante una elección juiciosa de distribuciones previas para${\displaystyle f}$, que puede ser más sofisticado en comparación con el proceso gaussiano estándar que acabamos de describir. ^{[ 7 ]}
• Permite un uso más eficiente de la información, por ejemplo, inferir conjuntamente múltiples cantidades de interés relacionadas ^{[ 9 ]} o utilizar el aprendizaje activo para reducir el número de puntos necesarios. ^{[ 10 ]}

A pesar de estas ventajas, los métodos de cuadratura bayesiana presentan las siguientes limitaciones:

• Aunque el paradigma bayesiano permite un tratamiento basado en principios de la cuantificación de la incertidumbre, la inferencia posterior sobre${\displaystyle \nu [f]}$no siempre es manejable, por lo que requiere una estimación de segundo nivel. Por ejemplo, para la cuadratura bayesiana con procesos gaussianos, la incrustación de la media del núcleo${\displaystyle \nu [k(\cdot ,x)]}$No tiene una expresión de forma cerrada para un núcleo general.${\displaystyle k}$y medir${\displaystyle \nu }$.

• El coste computacional de los métodos de cuadratura bayesiana basados ​​en procesos gaussianos es en general${\displaystyle {\mathcal {O}}(n^{3})}$debido al costo de la inversión${\displaystyle n\times n}$matrices, que pueden dificultar su aplicación a problemas a gran escala.

El uso previo más común para${\displaystyle f}$es una distribución a priori de proceso gaussiano. Esto se debe principalmente a la ventaja que proporciona la conjugación gaussiana y al hecho de que los procesos gaussianos pueden codificar una amplia gama de conocimiento previo, incluyendo suavidad, periodicidad y escasez, a través de una cuidadosa elección de la covarianza a priori. Sin embargo, también se han propuesto otras distribuciones a priori. Esto incluye procesos gaussianos de múltiples salidas , ^{[ 9 ]} que son particularmente útiles cuando se abordan múltiples tareas de integración numérica relacionadas de forma simultánea o secuencial, y distribuciones a priori basadas en árboles, como los árboles de regresión aditiva bayesiana, ^{[ 10 ]} que son muy adecuados para discontinuos.${\displaystyle f}$Además, también se han propuesto procesos de Dirichlet a priori para la medida de integración.${\displaystyle \nu }$. ^{[ 11 ]}

Los puntos${\displaystyle x_{1},\ldots ,x_{n}}$se consideran dados o pueden seleccionarse de manera que se asegure la posterioridad${\displaystyle \nu [f]}$se concentra a un ritmo más rápido. Un enfoque consiste en utilizar conjuntos de puntos de otras reglas de cuadratura. Por ejemplo, tomar realizaciones independientes e idénticamente distribuidas de${\displaystyle \nu }$recupera un enfoque bayesiano para Monte Carlo , ^{[ 3 ]} mientras que el uso de ciertos conjuntos de puntos deterministas, como secuencias de baja discrepancia o retículos, recupera una alternativa bayesiana a cuasi-Monte Carlo . ^{[ 4 ] [ 12 ]} Por supuesto, también es posible utilizar conjuntos de puntos diseñados específicamente para la cuadratura bayesiana; véase, por ejemplo, el trabajo de ^{[ 13 ]} que explotó las simetrías en los conjuntos de puntos para obtener estimadores de cuadratura bayesiana escalables. Alternativamente, los puntos también pueden seleccionarse de forma adaptativa siguiendo principios del aprendizaje activo y el diseño experimental bayesiano para minimizar directamente la incertidumbre posterior, ^{[ 14 ] [ 15 ]} incluso para procesos gaussianos de múltiples salidas. ^{[ 16 ]}

Uno de los desafíos al implementar la cuadratura bayesiana es la necesidad de evaluar la función${\displaystyle \nu [k(\cdot ,x)]}$y la constante${\displaystyle \nu \nu [k]}$El primero se denomina comúnmente media del núcleo y es una magnitud clave para el cálculo de distancias basadas en el núcleo, como la discrepancia media máxima. El segundo se denomina comúnmente error inicial, ya que proporciona un límite superior para el error de integración antes de que se observen los valores de la función. Desafortunadamente, la media del núcleo y el error inicial solo se pueden calcular para un número reducido de ${\displaystyle (k,\nu )}$pares; véase, por ejemplo, la Tabla 1 en ^{[ 4 ]}