Matriz de covarianza

{\displaystyle {\begin{bmatrix}1&0.5\\0.5&1\end{bmatrix}}} — Una función de densidad de probabilidad gaussiana bivariada centrada en (0, 0), con matriz de covarianza dada por ${\begin{bmatrix}1&0.5\\0.5&1\end{bmatrix}}$

Puntos de muestra de una distribución gaussiana bivariada con una desviación estándar de 3 en la dirección aproximadamente inferior izquierda-superior derecha y de 1 en la dirección ortogonal. Debido a que los componentes x e y covarían, las varianzas de $x$ y $y$ no describen completamente la distribución. A $2\times 2$ Se necesita la matriz de covarianza; las direcciones de las flechas corresponden a los vectores propios de esta matriz de covarianza y sus longitudes a las raíces cuadradas de los valores propios .

{\displaystyle x} — Puntos de muestra de una distribución gaussiana bivariada con una desviación estándar de 3 en la dirección aproximadamente inferior izquierda-superior derecha y de 1 en la dirección ortogonal. Debido a que los componentes x e y covarían, las varianzas de $x$ y $y$ no describen completamente la distribución. A $2\times 2$ Se necesita la matriz de covarianza; las direcciones de las flechas corresponden a los vectores propios de esta matriz de covarianza y sus longitudes a las raíces cuadradas de los valores propios .

En teoría de la probabilidad y estadística , una matriz de covarianza (también conocida como matriz de autocovarianza , matriz de dispersión , matriz de varianza o matriz de varianza-covarianza ) es una matriz cuadrada que da la covarianza entre cada par de elementos de un vector aleatorio dado .

Intuitivamente, la matriz de covarianza generaliza la noción de varianza a múltiples dimensiones. Como ejemplo, la variación en una colección de puntos aleatorios en un espacio bidimensional no puede caracterizarse completamente por un solo número, ni tampoco las varianzas en la $x$ y $y$ Las instrucciones contienen toda la información necesaria; $2\times 2$ Sería necesaria una matriz para caracterizar completamente la variación bidimensional.

Toda matriz de covarianza es simétrica y semidefinida positiva , y su diagonal principal contiene varianzas (es decir, la covarianza de cada elemento consigo mismo).

La matriz de covarianza de un vector aleatorio $\mathbf {X}$ se suele denotar por $\operatorname {K} _{\mathbf {X} \mathbf {X} }$ , $\Sigma$ o $S$ .

Definición

A lo largo de este artículo, en negrita y sin subtítulo $\mathbf {X}$ y $\mathbf {Y}$ se utilizan para referirse a vectores aleatorios y subíndices romanos $X_{i}$ y $Y_{i}$ se utilizan para referirse a variables aleatorias escalares.

Si las entradas en el vector columna $\mathbf {X} =(X_{1},X_{2},\dots ,X_{n})^{\mathsf {T}}$ son variables aleatorias , cada una con varianza finita y valor esperado , entonces la matriz de covarianza $\operatorname {K} _{\mathbf {X} \mathbf {X} }$ es la matriz cuya $(i,j)$ La entrada es la covarianza ^{[ 1 ]}^{: 177} $\operatorname {K} _{X_{i}X_{j}}=\operatorname {cov} [X_{i},X_{j}]=\operatorname {E} [(X_{i}-\operatorname {E} [X_{i}])(X_{j}-\operatorname {E} [X_{j}])]$ donde el operador $\operatorname {E}$ denota el valor esperado (media) de su argumento.

Nomenclaturas y notaciones contradictorias

Las nomenclaturas difieren. Algunos estadísticos, siguiendo al probabilista William Feller en su libro de dos volúmenes Una introducción a la teoría de la probabilidad y sus aplicaciones , ^{[ 2 ]} llaman a la matriz $\operatorname {K} _{\mathbf {X} \mathbf {X} }$ la varianza del vector aleatorio $\mathbf {X}$ , porque es la generalización natural a dimensiones superiores de la varianza unidimensional. Otros la llaman matriz de covarianza , porque es la matriz de covarianzas entre las componentes escalares del vector $\mathbf {X}$ . $\operatorname {var} (\mathbf {X} )=\operatorname {cov} (\mathbf {X} ,\mathbf {X} )=\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\mathsf {T}}\right].$

Ambas formas son bastante estándar y no hay ambigüedad entre ellas. La matriz $\operatorname {K} _{\mathbf {X} \mathbf {X} }$ También se la suele llamar matriz de varianza-covarianza , ya que los términos diagonales son, de hecho, varianzas.

En comparación, la notación para la matriz de covarianza cruzada entre dos vectores es $\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )=\operatorname {K} _{\mathbf {X} \mathbf {Y} }=\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {Y} -\operatorname {E} [\mathbf {Y} ])^{\mathsf {T}}\right].$

Propiedades

Relación con la matriz de autocorrelación

La matriz de autocovarianza $\operatorname {K} _{\mathbf {X} \mathbf {X} }$ está relacionado con la matriz de autocorrelación $\operatorname {R} _{\mathbf {X} \mathbf {X} }$ por $\operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {E} [(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\mathsf {T}}]=\operatorname {R} _{\mathbf {X} \mathbf {X} }-\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {X} ]^{\mathsf {T}}$ donde la matriz de autocorrelación se define como $\operatorname {R} _{\mathbf {X} \mathbf {X} }=\operatorname {E} [\mathbf {X} \mathbf {X} ^{\mathsf {T}}]$ .

Relación con la matriz de correlación

Una entidad estrechamente relacionada con la matriz de covarianza es la matriz de coeficientes de correlación de Pearson entre cada una de las variables aleatorias en el vector aleatorio. $\mathbf {X}$ , que se puede escribir como $\operatorname {corr} (\mathbf {X} )={\big (}\operatorname {diag} (\operatorname {K} _{\mathbf {X} \mathbf {X} }){\big )}^{-{\frac {1}{2}}}\,\operatorname {K} _{\mathbf {X} \mathbf {X} }\,{\big (}\operatorname {diag} (\operatorname {K} _{\mathbf {X} \mathbf {X} }){\big )}^{-{\frac {1}{2}}},$ dónde $\operatorname {diag} (\operatorname {K} _{\mathbf {X} \mathbf {X} })$ es la matriz de los elementos diagonales de $\operatorname {K} _{\mathbf {X} \mathbf {X} }$ (es decir, una matriz diagonal de las varianzas de $X_{i}$ para $i=1,\dots ,n$ ).

De forma equivalente, la matriz de correlación puede considerarse como la matriz de covarianza de las variables aleatorias estandarizadas. $X_{i}/\sigma (X_{i})$ para $i=1,\dots ,n$ . $\operatorname {corr} (\mathbf {X} )={\begin{bmatrix}1&{\frac {\operatorname {E} [(X_{1}-\mu _{1})(X_{2}-\mu _{2})]}{\sigma (X_{1})\sigma (X_{2})}}&\cdots &{\frac {\operatorname {E} [(X_{1}-\mu _{1})(X_{n}-\mu _{n})]}{\sigma (X_{1})\sigma (X_{n})}}\\\\{\frac {\operatorname {E} [(X_{2}-\mu _{2})(X_{1}-\mu _{1})]}{\sigma (X_{2})\sigma (X_{1})}}&1&\cdots &{\frac {\operatorname {E} [(X_{2}-\mu _{2})(X_{n}-\mu _{n})]}{\sigma (X_{2})\sigma (X_{n})}}\\\\\vdots &\vdots &\ddots &\vdots \\\\{\frac {\operatorname {E} [(X_{n}-\mu _{n})(X_{1}-\mu _{1})]}{\sigma (X_{n})\sigma (X_{1})}}&{\frac {\operatorname {E} [(X_{n}-\mu _{n})(X_{2}-\mu _{2})]}{\sigma (X_{n})\sigma (X_{2})}}&\cdots &1\end{bmatrix}}.$

Cada elemento de la diagonal principal de una matriz de correlación es la correlación de una variable aleatoria consigo misma, que siempre es igual a 1. Cada elemento fuera de la diagonal está entre -1 y +1, ambos inclusive.

Inversa de la matriz de covarianza

La inversa de esta matriz, $\operatorname {K} _{\mathbf {X} \mathbf {X} }^{-1}$ , si existe, es la matriz de covarianza inversa, también conocida como matriz de precisión (o matriz de concentración ). ^{[ 3 ]}

Así como la matriz de covarianza puede escribirse como el reescalamiento de una matriz de correlación por las varianzas marginales: $\operatorname {cov} (\mathbf {X} )={\begin{bmatrix}\sigma _{x_{1}}&&&0\\&\sigma _{x_{2}}&&\\&&\ddots &\\0&&&\sigma _{x_{n}}\end{bmatrix}}$

$\times {\begin{bmatrix}1&\rho _{x_{1},x_{2}}&\cdots &\rho _{x_{1},x_{n}}\\\rho _{x_{2},x_{1}}&1&\cdots &\rho _{x_{2},x_{n}}\\\vdots &\vdots &\ddots &\vdots \\\rho _{x_{n},x_{1}}&\rho _{x_{n},x_{2}}&\cdots &1\end{bmatrix}}$

$\times {\begin{bmatrix}\sigma _{x_{1}}&&&0\\&\sigma _{x_{2}}&&\\&&\ddots &\\0&&&\sigma _{x_{n}}\end{bmatrix}}$

Así pues, utilizando la idea de correlación parcial y varianza parcial, la matriz de covarianza inversa puede expresarse de forma análoga: $\operatorname {cov} (\mathbf {X} )^{-1}={\begin{bmatrix}{\frac {1}{\sigma _{x_{1}\mid x_{2}\dots }}}&&&0\\&{\frac {1}{\sigma _{x_{2}\mid x_{1},x_{3}\dots }}}\\&&\ddots \\0&&&{\frac {1}{\sigma _{x_{n}\mid x_{1}\dots x_{n-1}}}}\end{bmatrix}}$

$\times {\begin{bmatrix}1&-\rho _{x_{1},x_{2}\mid x_{3}\dots }&\cdots &-\rho _{x_{1},x_{n}\mid x_{2}\dots x_{n-1}}\\-\rho _{x_{2},x_{1}\mid x_{3}\dots }&1&\cdots &-\rho _{x_{2},x_{n}\mid x_{1},x_{3}\dots x_{n-1}}\\\vdots &\vdots &\ddots &\vdots \\-\rho _{x_{n},x_{1}\mid x_{2}\dots x_{n-1}}&-\rho _{x_{n},x_{2}\mid x_{1},x_{3}\dots x_{n-1}}&\cdots &1\end{bmatrix}}$

$\times {\begin{bmatrix}{\frac {1}{\sigma _{x_{1}\mid x_{2}\dots }}}&&&0\\&{\frac {1}{\sigma _{x_{2}\mid x_{1},x_{3}\dots }}}\\&&\ddots \\0&&&{\frac {1}{\sigma _{x_{n}\mid x_{1}\dots x_{n-1}}}}\end{bmatrix}}$

Esta dualidad motiva una serie de otras dualidades entre la marginalización y el condicionamiento para variables aleatorias gaussianas.

Propiedades básicas

Para $\operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {var} (\mathbf {X} )=\operatorname {E} \left[\left(\mathbf {X} -\operatorname {E} [\mathbf {X} ]\right)\left(\mathbf {X} -\operatorname {E} [\mathbf {X} ]\right)^{\mathsf {T}}\right]$ y ${\boldsymbol {\mu }}_{\mathbf {X} }=\operatorname {E} [{\textbf {X}}]$ , dónde $\mathbf {X} =(X_{1},\ldots ,X_{n})^{\mathsf {T}}$ es un $n$ Variable aleatoria de dimensión , se aplican las siguientes propiedades básicas: ^{[ 4 ]}

$\operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {E} (\mathbf {XX^{\mathsf {T}}} )-{\boldsymbol {\mu }}_{\mathbf {X} }{\boldsymbol {\mu }}_{\mathbf {X} }^{\mathsf {T}}$
$\operatorname {K} _{\mathbf {X} \mathbf {X} }\,$ es semidefinida positiva , es decir $\mathbf {a} ^{T}\operatorname {K} _{\mathbf {X} \mathbf {X} }\mathbf {a} \geq 0\quad {\text{for all }}\mathbf {a} \in \mathbb {R} ^{n}$

Prueba

En efecto, de la propiedad 4 se deduce que bajo transformación lineal de variable aleatoria $\mathbf {X}$ con matriz de covariación $\mathbf {\Sigma _{X}} =\mathrm {cov} (\mathbf {X} )$ mediante operador lineal $\mathbf {A}$ sa $\mathbf {Y} =\mathbf {A} \mathbf {X}$ , la matriz de covarianza se transforma como

\mathbf {\Sigma _{Y}} =\mathrm {cov} \left(\mathbf {Y} \right)=\mathbf {A\,\Sigma _{X}\,A} ^{\top }

.

Según la matriz de propiedad 3 $\mathbf {\Sigma _{X}}$ es simétrica, puede diagonalizarse mediante una transformación ortogonal lineal, es decir, existe tal matriz ortogonal $\mathbf {A}$ (mientras tanto $\mathbf {A} ^{\top }=\mathbf {A} ^{-1}$ ), eso

\mathbf {A\,\Sigma _{X}\,A} ^{\top }=\mathbf {A\,\Sigma _{X}\,A} ^{-1}={\mbox{diag}}(\sigma _{1},\ldots ,\sigma _{n}),

y

\sigma _{1},\ldots ,\sigma _{n}

son los valores propios de

\mathbf {\Sigma _{X}}

. Pero esto significa que esta matriz es una matriz de covarianza para una variable aleatoria.

\mathbf {Y} =\mathbf {A} \mathbf {X}

y la diagonal principal de

\mathbf {\Sigma _{Y}} =\mathrm {cov} \left(\mathbf {Y} \right)

consiste en variaciones de elementos de

\mathbf {Y}

vector. Como la varianza siempre es no negativa, concluimos que

\sigma _{i}\geq 0

para cualquier

i

. Pero esto significa que la matriz

\mathbf {\Sigma _{X}}

es semidefinido positivo.

$\operatorname {K} _{\mathbf {X} \mathbf {X} }\,$ es simétrico , es decir $\operatorname {K} _{\mathbf {X} \mathbf {X} }^{\mathsf {T}}=\operatorname {K} _{\mathbf {X} \mathbf {X} }$
Para cualquier constante (es decir, no aleatoria) $m\times n$ matriz $\mathbf {A}$ y constante $m\times 1$ vector $\mathbf {a}$ , uno tiene $\operatorname {var} (\mathbf {AX} +\mathbf {a} )=\mathbf {A} \,\operatorname {var} (\mathbf {X} )\,\mathbf {A} ^{\mathsf {T}}$
Si $\mathbf {Y}$ es otro vector aleatorio con la misma dimensión que $\mathbf {X}$ , entonces $\operatorname {var} (\mathbf {X} +\mathbf {Y} )=\operatorname {var} (\mathbf {X} )+\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )+\operatorname {cov} (\mathbf {Y} ,\mathbf {X} )+\operatorname {var} (\mathbf {Y} )$ dónde $\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )$ es la matriz de covarianza cruzada de $\mathbf {X}$ y $\mathbf {Y}$ .

Matrices de bloques

La media conjunta ${\boldsymbol {\mu }}$ y matriz de covarianza conjunta ${\boldsymbol {\Sigma }}$ de $\mathbf {X}$ y $\mathbf {Y}$ puede escribirse en forma de bloques ${\boldsymbol {\mu }}={\begin{bmatrix}{\boldsymbol {\mu }}_{X}\\{\boldsymbol {\mu }}_{Y}\end{bmatrix}},\qquad {\boldsymbol {\Sigma }}={\begin{bmatrix}\operatorname {K} _{\mathbf {XX} }&\operatorname {K} _{\mathbf {XY} }\\\operatorname {K} _{\mathbf {YX} }&\operatorname {K} _{\mathbf {YY} }\end{bmatrix}}$ dónde $\operatorname {K} _{\mathbf {XX} }=\operatorname {var} (\mathbf {X} )$ , $\operatorname {K} _{\mathbf {YY} }=\operatorname {var} (\mathbf {Y} )$ y $\operatorname {K} _{\mathbf {XY} }=\operatorname {K} _{\mathbf {YX} }^{\mathsf {T}}=\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )$ .

$\operatorname {K} _{\mathbf {XX} }$ y $\operatorname {K} _{\mathbf {YY} }$ pueden identificarse como las matrices de varianza de las distribuciones marginales para $\mathbf {X}$ y $\mathbf {Y}$ respectivamente.

Si $\mathbf {X}$ y $\mathbf {Y}$ están distribuidos conjuntamente de forma normal , $\mathbf {X} ,\mathbf {Y} \sim \ {\mathcal {N}}({\boldsymbol {\mu }},\operatorname {\boldsymbol {\Sigma }} ),$ luego la distribución condicional para $\mathbf {Y}$ dado $\mathbf {X}$ está dado por ^{[ 5 ]} $\mathbf {Y} \mid \mathbf {X} \sim \ {\mathcal {N}}({\boldsymbol {\mu }}_{\mathbf {Y|X} },\operatorname {K} _{\mathbf {Y|X} }),$ definido por la media condicional ${\boldsymbol {\mu }}_{\mathbf {Y} |\mathbf {X} }={\boldsymbol {\mu }}_{\mathbf {Y} }+\operatorname {K} _{\mathbf {YX} }\operatorname {K} _{\mathbf {XX} }^{-1}\left(\mathbf {X} -{\boldsymbol {\mu }}_{\mathbf {X} }\right)$ y varianza condicional $\operatorname {K} _{\mathbf {Y|X} }=\operatorname {K} _{\mathbf {YY} }-\operatorname {K} _{\mathbf {YX} }\operatorname {K} _{\mathbf {XX} }^{-1}\operatorname {K} _{\mathbf {XY} }.$

La matriz $\operatorname {K} _{\mathbf {YX} }\operatorname {K} _{\mathbf {XX} }^{-1}$ se conoce como la matriz de coeficientes de regresión , mientras que en álgebra lineal $\operatorname {K} _{\mathbf {Y|X} }$ es el complemento de Schur de $\operatorname {K} _{\mathbf {XX} }$ en ${\boldsymbol {\Sigma }}$ .

La matriz de coeficientes de regresión a menudo se puede dar en forma transpuesta, $\operatorname {K} _{\mathbf {XX} }^{-1}\operatorname {K} _{\mathbf {XY} }$ , adecuado para la postmultiplicación de un vector fila de variables explicativas $\mathbf {X} ^{\mathsf {T}}$ en lugar de premultiplicar un vector columna $\mathbf {X}$ . En esta forma corresponden a los coeficientes obtenidos al invertir la matriz de las ecuaciones normales de mínimos cuadrados ordinarios (MCO).

Matriz de covarianza parcial

Una matriz de covarianza con todos sus elementos distintos de cero indica que todas las variables aleatorias individuales están interrelacionadas. Esto significa que las variables no solo están correlacionadas directamente, sino también indirectamente a través de otras variables. A menudo, estas correlaciones indirectas de modo común son triviales y carecen de interés. Se pueden suprimir calculando la matriz de covarianza parcial, es decir, la parte de la matriz de covarianza que muestra únicamente la parte relevante de las correlaciones.

Si dos vectores de variables aleatorias $\mathbf {X}$ y $\mathbf {Y}$ están correlacionados a través de otro vector $\mathbf {I}$ , estas últimas correlaciones se suprimen en una matriz ^{[ 6 ]} $\operatorname {K} _{\mathbf {XY\mid I} }=\operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )=\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )-\operatorname {cov} (\mathbf {X} ,\mathbf {I} )\operatorname {cov} (\mathbf {I} ,\mathbf {I} )^{-1}\operatorname {cov} (\mathbf {I} ,\mathbf {Y} ).$ La matriz de covarianza parcial $\operatorname {K} _{\mathbf {XY\mid I} }$ es efectivamente la matriz de covarianza simple $\operatorname {K} _{\mathbf {XY} }$ como si las variables aleatorias no fueran interesantes $\mathbf {I}$ se mantuvieron constantes.

matriz de desviación estándar

La matriz de desviación estándar $\mathbf {S}$ es la extensión de la desviación estándar a múltiples dimensiones. Es la raíz cuadrada simétrica de la matriz de covarianza. $\mathbf {\Sigma }$ .

Matriz de covarianza como parámetro de una distribución

Si un vector columna $\mathbf {X}$ de $n$ Si las variables aleatorias posiblemente correlacionadas tienen una distribución normal conjunta , o más generalmente una distribución elíptica , entonces su función de densidad de probabilidad $\operatorname {f} (\mathbf {X} )$ puede expresarse en términos de la matriz de covarianza ${\boldsymbol {\Sigma }}$ de la siguiente manera ^{[ 6 ]} $\operatorname {f} (\mathbf {X} )=(2\pi )^{-n/2}|{\boldsymbol {\Sigma }}|^{-1/2}\exp \left(-{\tfrac {1}{2}}\mathbf {(X-\mu )^{\mathsf {T}}\Sigma ^{-1}(X-\mu )} \right),$ dónde ${\boldsymbol {\mu }}=\operatorname {E} [\mathbf {X} ]$ y $|{\boldsymbol {\Sigma }}|$ es el determinante de ${\boldsymbol {\Sigma }}$ , la llamada varianza generalizada .

Matriz de covarianza como operador lineal

Aplicada a un vector, la matriz de covarianza transforma una combinación lineal c de las variables aleatorias X en un vector de covarianzas con esas variables: $\mathbf {c} ^{\mathsf {T}}\Sigma =\operatorname {cov} (\mathbf {c} ^{\mathsf {T}}\mathbf {X} ,\mathbf {X} )$ Al tratarse como una forma bilineal , se obtiene la covarianza entre las dos combinaciones lineales: $\mathbf {d} ^{\mathsf {T}}{\boldsymbol {\Sigma }}\mathbf {c} =\operatorname {cov} (\mathbf {d} ^{\mathsf {T}}\mathbf {X} ,\mathbf {c} ^{\mathsf {T}}\mathbf {X} )$ La varianza de una combinación lineal es entonces $\mathbf {c} ^{\mathsf {T}}{\boldsymbol {\Sigma }}\mathbf {c}$ , su covarianza consigo misma.

De manera similar, la matriz de covarianza (pseudo)inversa proporciona un producto interno. $\langle c-\mu |\Sigma ^{+}|c-\mu \rangle$ , lo que induce la distancia de Mahalanobis , una medida de la "improbabilidad" de c .

Admisibilidad

A partir de la propiedad básica 4. anterior, sea $\mathbf {b}$ ser un $(p\times 1)$ vector de valores reales, entonces $\operatorname {var} (\mathbf {b} ^{\mathsf {T}}\mathbf {X} )=\mathbf {b} ^{\mathsf {T}}\operatorname {var} (\mathbf {X} )\mathbf {b} ,\,$ que siempre debe ser no negativa, ya que es la varianza de una variable aleatoria de valor real, por lo que una matriz de covarianza es siempre una matriz semidefinida positiva .

El argumento anterior se puede ampliar de la siguiente manera: ${\begin{aligned}&w^{\mathsf {T}}\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\mathsf {T}}\right]w=\operatorname {E} \left[w^{\mathsf {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\mathsf {T}}w\right]\\&=\operatorname {E} {\big [}{\big (}w^{\mathsf {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ]){\big )}^{2}{\big ]}\geq 0,\end{aligned}}$ donde la última desigualdad se deduce de la observación de que $w^{\mathsf {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ])$ es un escalar.

Por el contrario, toda matriz simétrica semidefinida positiva es una matriz de covarianza. Para ver esto, supongamos que... $M$ es un $p\times p$ matriz simétrica semidefinida positiva. Del caso de dimensión finita del teorema espectral , se deduce que $M$ tiene una raíz cuadrada simétrica no negativa , que se puede denotar por M ^1/2 . Sea $\mathbf {X}$ ser cualquiera $p\times 1$ variable aleatoria con valores de vector columna cuya matriz de covarianza es la $p\times p$ matriz identidad. Entonces $\operatorname {var} (\mathbf {M} ^{1/2}\mathbf {X} )=\mathbf {M} ^{1/2}\,\operatorname {var} (\mathbf {X} )\,\mathbf {M} ^{1/2}=\mathbf {M} .$

vectores aleatorios complejos

La varianza de una variable aleatoria escalar compleja con valor esperado $\mu$ convencionalmente se define mediante conjugación compleja : $\operatorname {var} (Z)=\operatorname {E} \left[(Z-\mu _{Z}){\overline {(Z-\mu _{Z})}}\right],$ donde el conjugado complejo de un número complejo $z$ se denota ${\overline {z}}$ ; por lo tanto, la varianza de una variable aleatoria compleja es un número real.

Si $\mathbf {Z} =(Z_{1},\ldots ,Z_{n})^{\mathsf {T}}$ es un vector columna de variables aleatorias de valor complejo, entonces la transpuesta conjugada $\mathbf {Z} ^{\mathsf {H}}$ se forma mediante transposición y conjugación. En la siguiente expresión, el producto de un vector con su transpuesta conjugada da como resultado una matriz cuadrada llamada matriz de covarianza , como su esperanza: ^{[ 7 ]}^{: 293} $\operatorname {K} _{\mathbf {Z} \mathbf {Z} }=\operatorname {cov} [\mathbf {Z} ,\mathbf {Z} ]=\operatorname {E} \left[(\mathbf {Z} -{\boldsymbol {\mu }}_{\mathbf {Z} })(\mathbf {Z} -{\boldsymbol {\mu }}_{\mathbf {Z} })^{\mathsf {H}}\right],$ La matriz así obtenida será hermitiana semidefinida positiva , ^{[ 8 ]} con números reales en la diagonal principal y números complejos fuera de la diagonal.

Propiedades

La matriz de covarianza es una matriz hermitiana , es decir $\operatorname {K} _{\mathbf {Z} \mathbf {Z} }^{\mathsf {H}}=\operatorname {K} _{\mathbf {Z} \mathbf {Z} }$ . ^{[ 1 ]}^{: 179}
Los elementos diagonales de la matriz de covarianza son reales. ^{[ 1 ]}^{: 179}

Matriz de pseudocovarianza

Para vectores aleatorios complejos, otro tipo de segundo momento central, la matriz de pseudocovarianza (también llamada matriz de relación ) se define de la siguiente manera: $\operatorname {J} _{\mathbf {Z} \mathbf {Z} }=\operatorname {cov} [\mathbf {Z} ,{\overline {\mathbf {Z} }}]=\operatorname {E} \left[(\mathbf {Z} -{\boldsymbol {\mu }}_{\mathbf {Z} })(\mathbf {Z} -{\boldsymbol {\mu }}_{\mathbf {Z} })^{\mathsf {T}}\right]$

A diferencia de la matriz de covarianza definida anteriormente, la transposición hermitiana se reemplaza por transposición en la definición. Sus elementos diagonales pueden ser de valor complejo; es una matriz simétrica compleja .

Estimación

Si $\mathbf {M} _{\mathbf {X} }$ y $\mathbf {M} _{\mathbf {Y} }$ son matrices de datos centradas de dimensión $p\times n$ y $q\times n$ respectivamente, es decir, con n columnas de observaciones de p y q filas de variables, de las cuales se han restado las medias de las filas, entonces, si las medias de las filas se estimaron a partir de los datos, matrices de covarianza muestrales $\mathbf {Q} _{\mathbf {XX} }$ y $\mathbf {Q} _{\mathbf {XY} }$ puede definirse como $\mathbf {Q} _{\mathbf {XX} }={\frac {1}{n-1}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {X} }^{\mathsf {T}},\qquad \mathbf {Q} _{\mathbf {XY} }={\frac {1}{n-1}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {Y} }^{\mathsf {T}}$ o, si las medias de las filas se conocieran a priori, $\mathbf {Q} _{\mathbf {XX} }={\frac {1}{n}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {X} }^{\mathsf {T}},\qquad \mathbf {Q} _{\mathbf {XY} }={\frac {1}{n}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {Y} }^{\mathsf {T}}.$

Estas matrices de covarianza de muestra empíricas son los estimadores más sencillos y utilizados con mayor frecuencia para las matrices de covarianza, pero también existen otros estimadores, incluidos los estimadores regularizados o de contracción, que pueden tener mejores propiedades.

Aplicaciones

La matriz de covarianza es una herramienta útil en diversas áreas. A partir de ella se puede derivar una matriz de transformación , denominada transformación de blanqueamiento , que permite descorrelacionar completamente los datos ^{[ 9 ]} o, desde otro punto de vista, encontrar una base óptima para representar los datos de forma compacta (véase el cociente de Rayleigh para una demostración formal y propiedades adicionales de las matrices de covarianza). Esto se conoce como análisis de componentes principales (ACP) y la transformada de Karhunen-Loève (transformada KL).

La matriz de covarianza desempeña un papel fundamental en la economía financiera , especialmente en la teoría de carteras y su teorema de separación de fondos mutuos, así como en el modelo de valoración de activos de capital . La matriz de covarianzas entre los rendimientos de diversos activos se utiliza para determinar, bajo ciertos supuestos, las cantidades relativas de diferentes activos que los inversores deberían (en un análisis normativo ) o se prevé que (en un análisis positivo ) elegirán mantener en un contexto de diversificación .

Uso en optimización

La estrategia evolutiva , una familia particular de heurísticas de búsqueda aleatoria, se basa fundamentalmente en una matriz de covarianza en su mecanismo. El operador de mutación característico extrae el paso de actualización de una distribución normal multivariada utilizando una matriz de covarianza evolutiva. Existe una prueba formal de que la matriz de covarianza de la estrategia evolutiva se adapta a la inversa de la matriz hessiana del paisaje de búsqueda, salvo un factor escalar y pequeñas fluctuaciones aleatorias (demostrado para una estrategia de un solo progenitor y un modelo estático, a medida que aumenta el tamaño de la población, basándose en la aproximación cuadrática). ^{[ 10 ]} Intuitivamente, este resultado se apoya en el razonamiento de que la distribución de covarianza óptima puede ofrecer pasos de mutación cuyos contornos de probabilidad de equidensidad coinciden con los conjuntos de nivel del paisaje, y por lo tanto maximizan la tasa de progreso.

Mapeo de covarianza

En el mapeo de covarianza los valores de la $\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )$ o $\operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )$ Las matrices se representan como un mapa bidimensional. Cuando los vectores $\mathbf {X}$ y $\mathbf {Y}$ Las funciones aleatorias discretas se representan mediante el mapa, que muestra las relaciones estadísticas entre las distintas regiones de dichas funciones. Las regiones estadísticamente independientes aparecen en el mapa como llanuras de nivel cero, mientras que las correlaciones positivas o negativas se representan, respectivamente, como colinas o valles.

En la práctica, los vectores columna $\mathbf {X} ,\mathbf {Y}$ , y $\mathbf {I}$ se adquieren experimentalmente como filas de $n$ muestras, por ejemplo $\left[\mathbf {X} _{1},\mathbf {X} _{2},\dots ,\mathbf {X} _{n}\right]={\begin{bmatrix}X_{1}(t_{1})&X_{2}(t_{1})&\cdots &X_{n}(t_{1})\\\\X_{1}(t_{2})&X_{2}(t_{2})&\cdots &X_{n}(t_{2})\\\\\vdots &\vdots &\ddots &\vdots \\\\X_{1}(t_{m})&X_{2}(t_{m})&\cdots &X_{n}(t_{m})\end{bmatrix}},$ dónde $X_{j}(t_{i})$ es el i -ésimo valor discreto en la muestra j de la función aleatoria $X(t)$ Los valores esperados necesarios en la fórmula de covarianza se estiman utilizando la media muestral , por ejemplo $\langle \mathbf {X} \rangle ={\frac {1}{n}}\sum _{j=1}^{n}\mathbf {X} _{j}$ y la matriz de covarianza se estima mediante la matriz de covarianza muestral. $\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )\approx \langle \mathbf {XY^{\mathsf {T}}} \rangle -\langle \mathbf {X} \rangle \langle \mathbf {Y} ^{\mathsf {T}}\rangle ,$ donde los corchetes angulares denotan el promedio de muestras como antes, excepto que se debe realizar la corrección de Bessel para evitar el sesgo . Usando esta estimación, la matriz de covarianza parcial se puede calcular como $\operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )=\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )-\operatorname {cov} (\mathbf {X} ,\mathbf {I} )\left(\operatorname {cov} (\mathbf {I} ,\mathbf {I} )\backslash \operatorname {cov} (\mathbf {I} ,\mathbf {Y} )\right),$ donde la barra invertida denota el operador de división matricial izquierda , que evita la necesidad de invertir una matriz y está disponible en algunos paquetes de cálculo como Matlab . ^{[ 11 ]}

La figura 1 ilustra cómo se construye un mapa de covarianza parcial en un ejemplo de un experimento realizado en el láser de electrones libres FLASH en Hamburgo. ^[¹²^] La función aleatoria $X(t)$ es el espectro de tiempo de vuelo de iones de una explosión de Coulomb de moléculas de nitrógeno ionizadas por múltiples pulsos láser. Dado que solo se ionizan unos pocos cientos de moléculas en cada pulso láser, los espectros de un solo disparo son altamente fluctuantes. Sin embargo, la recolección típicamente $m=10^{4}$ tales espectros, $\mathbf {X} _{j}(t)$ y promediándolos durante $j$ produce un espectro suave $\langle \mathbf {X} (t)\rangle$ , que se muestra en rojo en la parte inferior de la Fig. 1. El espectro promedio $\langle \mathbf {X} \rangle$ Se observan varios iones de nitrógeno en forma de picos ensanchados por su energía cinética, pero para encontrar las correlaciones entre las etapas de ionización y los momentos iónicos es necesario calcular un mapa de covarianza.

En el ejemplo de la Fig. 1 espectros $\mathbf {X} _{j}(t)$ y $\mathbf {Y} _{j}(t)$ son los mismos, excepto que el rango del tiempo de vuelo $t$ difiere. El panel a muestra $\langle \mathbf {XY^{\mathsf {T}}} \rangle$ , el panel b muestra $\langle \mathbf {X} \rangle \langle \mathbf {Y} ^{\mathsf {T}}\rangle$ y el panel c muestra su diferencia, que es $\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )$ (nótese un cambio en la escala de color). Desafortunadamente, este mapa está saturado de correlaciones de modo común poco interesantes inducidas por la fluctuación de la intensidad del láser de disparo a disparo. Para suprimir dichas correlaciones, la intensidad del láser $I_{j}$ se registra en cada disparo, se coloca en $\mathbf {I}$ y $\operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )$ se calcula como muestran los paneles d y e . Sin embargo, la supresión de las correlaciones no interesantes es imperfecta porque existen otras fuentes de fluctuaciones de modo común además de la intensidad del láser y, en principio, todas estas fuentes deberían ser monitoreadas en el vector $\mathbf {I}$ Sin embargo, en la práctica, a menudo basta con sobrecompensar la corrección de covarianza parcial, como muestra el panel f , donde ahora se aprecian claramente correlaciones interesantes de los momentos iónicos como líneas rectas centradas en las etapas de ionización del nitrógeno atómico.

Espectroscopia infrarroja bidimensional

La espectroscopia infrarroja bidimensional emplea análisis de correlación para obtener espectros 2D de la fase condensada . Existen dos versiones de este análisis: síncrona y asíncrona . Matemáticamente, la primera se expresa en términos de la matriz de covarianza de la muestra y la técnica es equivalente al mapeo de covarianza. ^{[ 13 ]}

Véase también

Referencias

1 2 3 Park, Kun Il (2018). Fundamentos de probabilidad y procesos estocásticos con aplicaciones a las comunicaciones . Springer. ISBN 978-3-319-68074-3.
↑ William Feller (1971). Introducción a la teoría de la probabilidad y sus aplicaciones . Wiley. ISBN 978-0-471-25709-7Consultado el 10 de agosto de 2012 .
↑ Wasserman, Larry (2004). All of Statistics: A Concise Course in Statistical Inference . Springer. ISBN 0-387-40272-1.
↑ Taboga, Marco (2010). "Lecciones sobre teoría de la probabilidad y estadística matemática" .
↑ Eaton, Morris L. (1983). Multivariate Statistics: a Vector Space Approach . John Wiley and Sons. pp. 116–117 . ISBN 0-471-02776-6.
1 2 W J Krzanowski "Principios de análisis multivariante" (Oxford University Press, Nueva York, 1988), Cap. 14.4; KV Mardia, JT Kent y JM Bibby "Análisis multivariante" (Academic Press, Londres, 1997), Cap. 6.5.3; TW Anderson "Introducción al análisis estadístico multivariante" (Wiley, Nueva York, 2003), 3.ª ed., Caps. 2.5.1 y 4.3.1.
↑ Lapidoth, Amos (2009). Fundamentos de la comunicación digital . Cambridge University Press. ISBN 978-0-521-19395-5.
↑ Brookes, Mike. "Manual de referencia de Matrix" .
↑ Kessy, Agnan; Strimmer, Korbinian; Lewin, Alex (2018). "Blanqueamiento óptimo y decorrelación" . The American Statistician . 72 (4). Taylor & Francis: 309–314 . arXiv : 1512.00809 . doi : 10.1080/00031305.2016.1277159 .
↑ Shir, OM; A. Yehudayoff (2020). "Sobre la relación covarianza-hessiana en estrategias evolutivas" . Theoretical Computer Science . 801. Elsevier: 157–174 . arXiv : 1806.03674 . doi : 10.1016/j.tcs.2019.09.002 .
↑ LJ Frasinski "Técnicas de mapeo de covarianza" J. Phys. B: At. Mol. Opt. Phys. 49 152004 (2016), doi : 10.1088/0953-4075/49/15/152004
1 2 O Kornilov, M Eckstein, M Rosenblatt, CP Schulz, K Motomura, A Rouzée, J Klei, L Foucar, M Siano, A Lübcke, F. Schapper, P Johnsson, DMP Holland, T Schlatholter, T Marchenko, S Düsterer, K Ueda, MJJ Vrakking y LJ Frasinski "Explosión de Coulomb de moléculas diatómicas en campos XUV intensos mapeados por covarianza parcial" J. Phys. B: At. Mol. Opt. Phys. 46 164028 (2013), doi : 10.1088/0953-4075/46/16/164028
↑ Noda, I. (1993). "Método de correlación bidimensional generalizado aplicable a espectroscopia infrarroja, Raman y de otros tipos". Appl. Spectrosc . 47 (9): 1329– 36. Bibcode : 1993ApSpe..47.1329N . doi : 10.1366/0003702934067694 .

Lecturas adicionales

"Matriz de covarianza" , Enciclopedia de Matemáticas , EMS Press , 2001 [1994]
" Matriz de covarianza explicada con imágenes ", ¡una forma sencilla de visualizar matrices de covarianza!
Weisstein, Eric W. "Matriz de covarianza" . MathWorld .
van Kampen, NG (1981). Procesos estocásticos en física y química . Nueva York: North-Holland. ISBN 0-444-86200-5.

[KunIlPark-1] 1 2 3 Park, Kun Il (2018). Fundamentos de probabilidad y procesos estocásticos con aplicaciones a las comunicaciones . Springer. ISBN 978-3-319-68074-3.

[Feller1971-2] William Feller (1971). Introducción a la teoría de la probabilidad y sus aplicaciones . Wiley. ISBN 978-0-471-25709-7Consultado el 10 de agosto de 2012 .

[3] Wasserman, Larry (2004). All of Statistics: A Concise Course in Statistical Inference . Springer. ISBN 0-387-40272-1.

[taboga-4] Taboga, Marco (2010). "Lecciones sobre teoría de la probabilidad y estadística matemática" .

[eaton-5] Eaton, Morris L. (1983). Multivariate Statistics: a Vector Space Approach . John Wiley and Sons. pp. 116–117 . ISBN 0-471-02776-6.

[KrzMarAnd-6] 1 2 W J Krzanowski "Principios de análisis multivariante" (Oxford University Press, Nueva York, 1988), Cap. 14.4; KV Mardia, JT Kent y JM Bibby "Análisis multivariante" (Academic Press, Londres, 1997), Cap. 6.5.3; TW Anderson "Introducción al análisis estadístico multivariante" (Wiley, Nueva York, 2003), 3.ª ed., Caps. 2.5.1 y 4.3.1.

[Lapidoth-7] Lapidoth, Amos (2009). Fundamentos de la comunicación digital . Cambridge University Press. ISBN 978-0-521-19395-5.

[8] Brookes, Mike. "Manual de referencia de Matrix" .

[9] Kessy, Agnan; Strimmer, Korbinian; Lewin, Alex (2018). "Blanqueamiento óptimo y decorrelación" . The American Statistician . 72 (4). Taylor & Francis: 309–314 . arXiv : 1512.00809 . doi : 10.1080/00031305.2016.1277159 .

[10] Shir, OM; A. Yehudayoff (2020). "Sobre la relación covarianza-hessiana en estrategias evolutivas" . Theoretical Computer Science . 801. Elsevier: 157–174 . arXiv : 1806.03674 . doi : 10.1016/j.tcs.2019.09.002 .

[LJF16-11] LJ Frasinski "Técnicas de mapeo de covarianza" J. Phys. B: At. Mol. Opt. Phys. 49 152004 (2016), doi : 10.1088/0953-4075/49/15/152004

[OK13-12] 1 2 O Kornilov, M Eckstein, M Rosenblatt, CP Schulz, K Motomura, A Rouzée, J Klei, L Foucar, M Siano, A Lübcke, F. Schapper, P Johnsson, DMP Holland, T Schlatholter, T Marchenko, S Düsterer, K Ueda, MJJ Vrakking y LJ Frasinski "Explosión de Coulomb de moléculas diatómicas en campos XUV intensos mapeados por covarianza parcial" J. Phys. B: At. Mol. Opt. Phys. 46 164028 (2013), doi : 10.1088/0953-4075/46/16/164028

[13] Noda, I. (1993). "Método de correlación bidimensional generalizado aplicable a espectroscopia infrarroja, Raman y de otros tipos". Appl. Spectrosc . 47 (9): 1329– 36. Bibcode : 1993ApSpe..47.1329N . doi : 10.1366/0003702934067694 .

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]