Distribución normal-inversa-de Wishart

En teoría de probabilidad y estadística , la distribución normal-inversa-de-Wishart (o distribución gaussiana-inversa-de-Wishart ) es una familia multivariante de cuatro parámetros de distribuciones de probabilidad continuas . Es la distribución conjugada previa de una distribución normal multivariante con media y matriz de covarianza desconocidas (la inversa de la matriz de precisión ). ^[1]

Suponer

${\displaystyle {\boldsymbol {\mu }}|{\boldsymbol {\mu }}_{0},\lambda ,{\boldsymbol {\Sigma }}\sim {\mathcal {N}}\left({\boldsymbol {\mu }}{\Big |}{\boldsymbol {\mu }}_{0},{\frac {1}{\lambda }}{\boldsymbol {\Sigma }}\right)}$

tiene una distribución normal multivariada con media y matriz de covarianza , donde ${\displaystyle {\boldsymbol {\mu }}_{0}}$ ${\displaystyle {\tfrac {1}{\lambda }}{\boldsymbol {\Sigma }}}$

${\displaystyle {\boldsymbol {\Sigma }}|{\boldsymbol {\Psi }},\nu \sim {\mathcal {W}}^{-1}({\boldsymbol {\Sigma }}|{\boldsymbol {\Psi }},\nu )}$

tiene una distribución Wishart inversa . Entonces tiene una distribución Wishart inversa normal, denotada como ${\displaystyle ({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})}$

${\displaystyle ({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})\sim \mathrm {NIW} ({\boldsymbol {\mu }}_{0},\lambda ,{\boldsymbol {\Psi }},\nu ).}$

${\displaystyle f({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}|{\boldsymbol {\mu }}_{0},\lambda ,{\boldsymbol {\Psi }},\nu )={\mathcal {N}}\left({\boldsymbol {\mu }}{\Big |}{\boldsymbol {\mu }}_{0},{\frac {1}{\lambda }}{\boldsymbol {\Sigma }}\right){\mathcal {W}}^{-1}({\boldsymbol {\Sigma }}|{\boldsymbol {\Psi }},\nu )}$

La versión completa del PDF es la siguiente: ^[2]

${\displaystyle f({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}|{\boldsymbol {\mu }}_{0},\lambda ,{\boldsymbol {\Psi }},\nu )={\frac {\lambda ^{D/2}|{\boldsymbol {\Psi }}|^{\nu /2}|{\boldsymbol {\Sigma }}|^{-{\frac {\nu +D+2}{2}}}}{(2\pi )^{D/2}2^{\frac {\nu D}{2}}\Gamma _{D}({\frac {\nu }{2}})}}{\text{exp}}\left\{-{\frac {1}{2}}Tr({\boldsymbol {\Psi \Sigma }}^{-1})-{ \frac {\lambda }{2}}({\boldsymbol {\mu }}-{\boldsymbol {\mu }}_{0})^{T}{\boldsymbol {\Sigma }}^{-1}({\boldsymbol { \mu }}-{\boldsymbol {\mu }}_{0})\derecha\}}$

Aquí está la función gamma multivariada y es la traza de la matriz dada. ${\displaystyle \Gamma _{D}[\cdot ]}$${\displaystyle Tr({\boldsymbol {\Psi }})}$

Por construcción, la distribución marginal sobre es una distribución Wishart inversa y la distribución condicional sobre dada es una distribución normal multivariada . La distribución marginal sobre es una distribución t multivariada . ${\displaystyle {\boldsymbol {\Sigma}}}$${\displaystyle {\boldsymbol {\mu }}}$${\displaystyle {\boldsymbol {\Sigma}}}$${\displaystyle {\boldsymbol {\mu }}}$

Supongamos que la densidad de muestreo es una distribución normal multivariada

${\displaystyle {\boldsymbol {y_{i}}}|{\boldsymbol {\mu }},{\boldsymbol {\Sigma }}\sim {\mathcal {N}}_{p}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})}$

donde es una matriz y (de longitud ) es la fila de la matriz. ${\displaystyle {\boldsymbol {y}}}$${\displaystyle n\times p}$${\displaystyle {\boldsymbol {y_{i}}}}$${\displaystyle p}$${\displaystyle i}$

Como la matriz de media y covarianza de la distribución de muestreo es desconocida, podemos colocar una prior Normal-Inversa-Wishart en los parámetros de media y covarianza conjuntamente.

${\displaystyle ({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})\sim \mathrm {NIW} ({\boldsymbol {\mu }}_{0},\lambda ,{\boldsymbol {\Psi }},\nu ).}$

La distribución posterior resultante para la matriz de media y covarianza también será una distribución Normal-Inversa-Wishart.

${\displaystyle ({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}|y)\sim \mathrm {NIW} ({\boldsymbol {\mu }}_{n},\lambda _{n},{\boldsymbol {\Psi }}_{n},\nu _{n}),}$

dónde

${\displaystyle {\boldsymbol {\mu }}_{n}={\frac {\lambda {\boldsymbol {\mu }}_{0}+n{\bar {\boldsymbol {y}}}}{\lambda +n}}}$

${\displaystyle \lambda _{n}=\lambda +n}$

${\displaystyle \nu _{n}=\nu +n}$

${\displaystyle {\boldsymbol {\Psi }}_{n}={\boldsymbol {\Psi +S}}+{\frac {\lambda n}{\lambda +n}}({\boldsymbol {{\bar {y}}-\mu _{0}}})({\boldsymbol {{\bar {y}}-\mu _{0}}})^{T}~~~\mathrm {with} ~~{\boldsymbol {S}}=\sum _{i=1}^{n}({\boldsymbol {y_{i}-{\bar {y}}}})({\boldsymbol {y_{i}-{\bar {y}}}})^{T}}$.

Para tomar muestras de la posterior conjunta de , simplemente se extraen muestras de , luego se extrae . Para tomar muestras de la predictiva posterior de una nueva observación, se extrae , dados los valores ya extraídos de y . ^[3]${\displaystyle ({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})}$${\displaystyle {\boldsymbol {\Sigma }}|{\boldsymbol {y}}\sim {\mathcal {W}}^{-1}({\boldsymbol {\Psi }}_{n},\nu _{n})}$${\displaystyle {\boldsymbol {\mu }}|{\boldsymbol {\Sigma ,y}}\sim {\mathcal {N}}_{p}({\boldsymbol {\mu }}_{n},{\boldsymbol {\Sigma }}/\lambda _{n})}$${\displaystyle {\boldsymbol {\tilde {y}}}|{\boldsymbol {\mu ,\Sigma ,y}}\sim {\mathcal {N}}_{p}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})}$${\displaystyle {\boldsymbol {\mu }}}$${\displaystyle {\boldsymbol {\Sigma }}}$

La generación de variables aleatorias es sencilla:

1. Muestra de una distribución Wishart inversa con parámetros y${\displaystyle {\boldsymbol {\Sigma }}}$${\displaystyle {\boldsymbol {\Psi }}}$${\displaystyle \nu }$
2. Muestra de una distribución normal multivariada con media y varianza${\displaystyle {\boldsymbol {\mu }}}$${\displaystyle {\boldsymbol {\mu }}_{0}}$${\displaystyle {\boldsymbol {\tfrac {1}{\lambda }}}{\boldsymbol {\Sigma }}}$

• La distribución normal-Wishart es esencialmente la misma distribución parametrizada por la precisión en lugar de la varianza. Si entonces .${\displaystyle ({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})\sim \mathrm {NIW} ({\boldsymbol {\mu }}_{0},\lambda ,{\boldsymbol {\Psi }},\nu )}$${\displaystyle ({\boldsymbol {\mu }},{\boldsymbol {\Sigma }}^{-1})\sim \mathrm {NW} ({\boldsymbol {\mu }}_{0},\lambda ,{\boldsymbol {\Psi }}^{-1},\nu )}$
• La distribución normal-inversa-gamma es el equivalente unidimensional.
• La distribución normal multivariada y la distribución Wishart inversa son las distribuciones componentes a partir de las cuales se compone esta distribución.

• Bishop, Christopher M. (2006). Reconocimiento de patrones y aprendizaje automático. Springer Science+Business Media.
• Murphy, Kevin P. (2007). “Análisis bayesiano conjugado de la distribución gaussiana”. [2]