Teorema de Cochran

En estadística , el teorema de Cochran , ideado por William G. Cochran , ^{[ 1 ]} es un teorema que se utiliza para justificar los resultados relacionados con las distribuciones de probabilidad de las estadísticas que se utilizan en el análisis de varianza . ^{[ 2 ]}

Declaración

Dejar $U_{1},\cdots ,U_{N}$ sean variables aleatorias independientes e idénticamente distribuidas con distribución normal estándar , y $U=[U_{1},...,U_{N}]^{T}$ . Dejar $B^{(1)},B^{(2)},\ldots ,B^{(k)}$ sean matrices simétricas . Definimos r _i como el rango de $B^{(i)}$ . Definir $Q_{i}=U^{T}B^{(i)}U$ , de modo que las Q _i son formas cuadráticas . Supongamos además que $\sum _{i}Q_{i}=U^{T}U$ .

El teorema de Cochran establece que lo siguiente es equivalente:

$r_{1}+\cdots +r_{k}=N$ ,
Las Q _y son independientes
Cada Q _i tiene una distribución chi-cuadrado con r _i grados de libertad . ^{[ 1 ]}^{[ 3 ]}

A menudo se dice como $\sum _{i}A_{i}=A$ , dónde $A$ es idempotente y $\sum _{i}r_{i}=N$ es reemplazado por $\sum _{i}r_{i}=\operatorname {rank} (A)$ . Pero después de una transformación ortogonal, $A=\operatorname {diag} (I_{M},0)$ , y así nos reducimos al teorema anterior. Aquí, $\operatorname {diag}$ denota la transformación diagonal.

Formulación alternativa

La siguiente versión se ve a menudo al considerar la regresión lineal. ^{[ 4 ]} Supongamos que $Y\sim N_{n}(0,\sigma ^{2}I_{n})$ es un vector aleatorio normal multivariado estándar (aquí $I_{n}$ denota la matriz identidad de n por n ), y si $A_{1},\ldots ,A_{k}$ son todas matrices simétricas n por n con $\sum _{i=1}^{k}A_{i}=I_{n}$ . Luego, al definir $r_{i}=\operatorname {rank} (A_{i})$ Cualquiera de las siguientes condiciones implica las otras dos:

$\sum _{i=1}^{k}r_{i}=n,$
$Y^{T}A_{i}Y\sim \sigma ^{2}\chi _{r_{i}}^{2}$ (por lo tanto el $A_{i}$ son semidefinidas positivas )
$Y^{T}A_{i}Y$ es independiente de $Y^{T}A_{j}Y$ para $i\neq j.$

Ejemplos

Media muestral y varianza muestral

Si X ₁ , ..., X _n son variables aleatorias independientes con distribución normal, media μ y desviación estándar σ, entonces

U_{i}={\frac {X_{i}-\mu }{\sigma }}

es normal estándar para cada i . Nótese que el Q total es igual a la suma de los cuadrados de U como se muestra aquí:

\sum _{i}Q_{i}=\sum _{jik}U_{j}B_{jk}^{(i)}U_{k}=\sum _{jk}U_{j}U_{k}\sum _{i}B_{jk}^{(i)}=\sum _{jk}U_{j}U_{k}\delta _{jk}=\sum _{j}U_{j}^{2}

lo cual se deriva de la suposición original de que $B_{1}+B_{2}\ldots =I$ . Entonces, en su lugar, calcularemos esta cantidad y luego la separaremos en Q _i . Es posible escribir

\sum _{i=1}^{n}U_{i}^{2}=\sum _{i=1}^{n}\left({\frac {X_{i}-{\overline {X}}}{\sigma }}\right)^{2}+n\left({\frac {{\overline {X}}-\mu }{\sigma }}\right)^{2}

(aquí ${\overline {X}}$ es la media muestral ). Para ver esta identidad, multiplique todo por $\sigma ^{2}$ y tenga en cuenta que

\sum (X_{i}-\mu )^{2}=\sum (X_{i}-{\overline {X}}+{\overline {X}}-\mu )^{2}

y expandirse para dar

\sum (X_{i}-\mu )^{2}=\sum (X_{i}-{\overline {X}})^{2}+\sum ({\overline {X}}-\mu )^{2}+2\sum (X_{i}-{\overline {X}})({\overline {X}}-\mu ).

El tercer término es cero porque es igual a una constante por

\sum ({\overline {X}}-X_{i})=0,

y el segundo término tiene simplemente n términos idénticos sumados. Por lo tanto

\sum (X_{i}-\mu )^{2}=\sum (X_{i}-{\overline {X}})^{2}+n({\overline {X}}-\mu )^{2},

y por lo tanto

\sum \left({\tfrac {X_{i}-\mu }{\sigma }}\right)^{2}=\sum \left({\tfrac {X_{i}-{\overline {X}}}{\sigma }}\right)^{2}+n\left({\tfrac {{\overline {X}}-\mu }{\sigma }}\right)^{2}=\overbrace {\sum _{i}\left(U_{i}-{\tfrac {1}{n}}\sum _{j}{U_{j}}\right)^{2}} ^{Q_{1}}+\overbrace {{\tfrac {1}{n}}\left(\sum _{j}{U_{j}}\right)^{2}} ^{Q_{2}}=Q_{1}+Q_{2}.

Ahora $B^{(2)}={\frac {J_{n}}{n}}$ con $J_{n}$ la matriz de unos que tiene rango 1. A su vez $B^{(1)}=I_{n}-{\frac {J_{n}}{n}}$ dado que $I_{n}=B^{(1)}+B^{(2)}$ Esta expresión también se puede obtener mediante expansión. $Q_{1}$ en notación matricial. Se puede demostrar que el rango de $B^{(1)}$ es $n-1$ ya que la suma de todas sus filas es igual a cero. Por lo tanto, se cumplen las condiciones del teorema de Cochran.

El teorema de Cochran establece que Q1 y _Q2 son independientes, con distribuciones chi-cuadrado con n − 1 y 1 grado de libertad respectivamente. Esto demuestra que la media muestral y _lavarianza muestral son independientes. Esto también se puede demostrar mediante el teorema de Basu , y de hecho esta propiedad caracteriza la distribución normal, ya que en ninguna otra distribución la media muestral y la varianza muestral son independientes. ^[⁵^]

Distribuciones

El resultado de las distribuciones se escribe simbólicamente como

\sum \left(X_{i}-{\overline {X}}\right)^{2}\sim \sigma ^{2}\chi _{n-1}^{2}.

n({\overline {X}}-\mu )^{2}\sim \sigma ^{2}\chi _{1}^{2},

Ambas variables aleatorias son proporcionales a la varianza verdadera pero desconocida σ² . Por lo tanto ^, su razón no depende de σ² y, dado que son estadísticamente independientes, la distribución de su razón viene dada por ^:

{\frac {n\left({\overline {X}}-\mu \right)^{2}}{{\frac {1}{n-1}}\sum \left(X_{i}-{\overline {X}}\right)^{2}}}\sim {\frac {\chi _{1}^{2}}{{\frac {1}{n-1}}\chi _{n-1}^{2}}}\sim F_{1,n-1}

donde F _{1, n − 1} es la distribución F con 1 y n − 1 grados de libertad (véase también la distribución t de Student ). El último paso consiste, en efecto, en la definición de una variable aleatoria que sigue la distribución F.

Estimación de la varianza

Para estimar la varianza σ² , un estimador que a veces se utiliza es el estimador de máxima verosimilitud de la varianza de una distribución normal ^.

{\widehat {\sigma }}^{2}={\frac {1}{n}}\sum \left(X_{i}-{\overline {X}}\right)^{2}.

El teorema de Cochran demuestra que

{\frac {n{\widehat {\sigma }}^{2}}{\sigma ^{2}}}\sim \chi _{n-1}^{2}

y las propiedades de la distribución chi-cuadrado muestran que

{\begin{aligned}E\left({\frac {n{\widehat {\sigma }}^{2}}{\sigma ^{2}}}\right)&=E\left(\chi _{n-1}^{2}\right)\\{\frac {n}{\sigma ^{2}}}E\left({\widehat {\sigma }}^{2}\right)&=(n-1)\\E\left({\widehat {\sigma }}^{2}\right)&={\frac {\sigma ^{2}(n-1)}{n}}\end{aligned}}

Prueba

Reclamación : Dejar $X$ ser una gaussiana estándar en $\mathbb {R} ^{n}$ , entonces para cualquier matriz simétrica $Q,Q'$ , si $X^{T}QX$ y $X^{T}Q'X$ tienen la misma distribución, entonces $Q,Q'$ tienen los mismos autovalores (salvo multiplicidad).

Prueba

Sean los valores propios de $Q$ ser $\lambda _{1},...,\lambda _{n}$ , luego calcula la función característica de $X^{T}QX$ Resulta que

$\phi (t)=\left(\prod _{j}(1-2i\lambda _{j}t)\right)^{-1/2}$

(Para calcularlo, primero diagonalice) $Q$ (cambiar a ese marco de referencia y luego usar el hecho de que la función característica de la suma de variables independientes es el producto de sus funciones características).

Para $X^{T}QX$ y $X^{T}Q'X$ Para ser iguales, sus funciones características deben ser iguales, por lo tanto $Q,Q'$ tienen los mismos autovalores (salvo multiplicidad).

Afirmar : $I=\sum _{i}B_{i}$ .

Prueba

$U^{T}(I-\sum _{i}B_{i})U=0$ . Desde $(I-\sum _{i}B_{i})$ es simétrico y $U^{T}(I-\sum _{i}B_{i})U=^{d}U^{T}0U$ , por la afirmación anterior, $(I-\sum _{i}B_{i})$ tiene los mismos valores propios que 0.

Lema : Si $\sum _{i}M_{i}=I$ , todo $M_{i}$ Si son simétricas y tienen valores propios 0 y 1, entonces son diagonalizables simultáneamente.

Prueba

Fijemos i y consideremos los autovectores v de $M_{i}$ de tal manera que $M_{i}v=v$ . Entonces tenemos $v^{T}v=v^{T}Iv=v^{T}v+\sum _{j\neq i}v^{T}M_{j}v$ Observamos que el $M_{j}$ s son semidefinidas positivas, ya que sus autovectores son todos no negativos; por lo tanto, para todo $j$ debemos tener $v^{T}M_{j}v=0$ . Así obtenemos una división de $\mathbb {R} ^{N}$ en $V\oplus V^{\perp }$ , de tal manera que el 1-espacio propio $V$ de $M_{i}$ está contenido en los espacios propios 0 de $M_{j}$ para $j\neq i$ . Ahora induzca moviéndose hacia $V^{\perp }$ . Si $M_{i}\neq 0$ a pesar de $i$ s, entonces una base diagonalizando simultáneamente cada $M_{i}$ es dado por $(v_{1,1},\dots ,v_{r_{1},1},\dots ,v_{1,k},\dots ,v_{r_{k},k})$ , dónde $(v_{1,i},\dots ,v_{r_{i},i})$ es una base del 1-espacio propio de $M_{i}$ .

Ahora demostramos el teorema original. Demostramos que los tres casos son equivalentes demostrando que cada caso implica el siguiente en un ciclo ( $1\to 2\to 3\to 1$ ).

Prueba

Caso : Todos $Q_{i}$ son independientes

Arregla algunos $i$ , definir $C_{i}=I-B_{i}=\sum _{j\neq i}B_{j}$ y diagonalizar $B_{i}$ mediante una transformación ortogonal $O$ . Entonces considere $OC_{i}O^{T}=I-OB_{i}O^{T}$ También está diagonalizado.

Dejar $W=OU$ , entonces también es gaussiana estándar. Entonces tenemos

$Q_{i}=W^{T}(OB_{i}O^{T})W;\quad \sum _{j\neq i}Q_{j}=W^{T}(I-OB_{i}O^{T})W$

Inspeccione sus entradas diagonales para ver que $Q_{i}\perp \sum _{j\neq i}Q_{j}$ implica que sus entradas diagonales no nulas son disjuntas.

Por lo tanto, todos los valores propios de $B_{i}$ son 0, 1, así que $Q_{i}$ es un $\chi ^{2}$ distribución con $r_{i}$ grados de libertad.

Caso : Cada $Q_{i}$ es un $\chi ^{2}(r_{i})$ distribución.

Reparar cualquier $i$ diagonalízalo mediante una transformación ortogonal. $O$ y reindexar, de modo que $OB_{i}O^{T}=diag(\lambda _{1},...,\lambda _{r_{i}},0,...,0)$ . Entonces $Q_{i}=\sum _{j}\lambda _{j}{U'}_{j}^{2}$ para algunos $U'_{j}$ , una rotación esférica de $U_{i}$ .

Desde $Q_{i}\sim \chi ^{2}(r_{i})$ , obtenemos todo $\lambda _{j}=1$ . Así que todos $B_{i}\succeq 0$ y tienen valores propios $0,1$ .

Entonces diagonalízalos simultáneamente, súmalos, para encontrar $\sum _{i}r_{i}=N$ .

Caso : $r_{1}+\cdots +r_{k}=N$ .

Primero demostramos que las matrices B ^{( i )} pueden diagonalizarse simultáneamente mediante una matriz ortogonal y que sus autovalores no nulos son todos iguales a +1. Una vez demostrado esto, aplicamos esta transformación ortogonal a esta base de autovalores simultáneos , en la que el vector aleatorio $[U_{1},...,U_{N}]^{T}$ se convierte $[U'_{1},...,U'_{N}]^{T}$ pero todos $U_{i}'$ siguen siendo independientes y gaussianas estándar. Entonces se obtiene el resultado.

Cada una de las matrices B ^{( i )} tiene rango r _i y, por lo tanto , r _i autovalores distintos de cero . Para cada i , la suma $C^{(i)}\equiv \sum _{j\neq i}B^{(j)}$ tiene como máximo rango $\sum _{j\neq i}r_{j}=N-r_{i}$ . Desde $B^{(i)}+C^{(i)}=I_{N\times N}$ , de ello se deduce que C ^{( i )} tiene exactamente rango N − r _i .

Por lo tanto, B ^{( i )} y C ^{( i )} pueden diagonalizarse simultáneamente . Esto se puede demostrar diagonalizando primero B ^{( i )} mediante el teorema espectral . En esta base, tiene la forma:

{\begin{bmatrix}\lambda _{1}&0&0&\cdots &\cdots &&0\\0&\lambda _{2}&0&\cdots &\cdots &&0\\0&0&\ddots &&&&\vdots \\\vdots &\vdots &&\lambda _{r_{i}}&&\\\vdots &\vdots &&&0&\\0&\vdots &&&&\ddots \\0&0&\ldots &&&&0\end{bmatrix}}.

Por lo tanto, el menor $(N-r_{i})$ Las filas son cero. Dado que $C^{(i)}=I-B^{(i)}$ , se deduce que estas filas en C ^{( i )} en esta base contienen un bloque derecho que es un $(N-r_{i})\times (N-r_{i})$ matriz identidad, con ceros en el resto de estas filas. Pero como C ^{( i )} tiene rango N − r _i , debe ser cero en cualquier otro lugar. Por lo tanto, también es diagonal en esta base. De ello se deduce que todos los autovalores no nulos de B ⁽ⁱ⁾ y C ⁽ⁱ⁾ son +1. Este argumento se aplica a todo i , por lo que todas las B ⁽ⁱ⁾ son semidefinidas positivas.

Además, el análisis anterior puede repetirse en la base diagonal para $C^{(1)}=B^{(2)}+\sum _{j>2}B^{(j)}$ . Sobre esta base $C^{(1)}$ es la identidad de un $(N-r_{1})\times (N-r_{1})$ espacio vectorial, por lo que se deduce que tanto B ⁽²⁾ como $\sum _{j>2}B^{(j)}$ son simultáneamente diagonalizables en este espacio vectorial (y por lo tanto también junto con B ⁽¹⁾ ). Por iteración se deduce que todos los B son simultáneamente diagonalizables.

Por lo tanto, existe una matriz ortogonal. $S$ de tal manera que para todos $i$ , $S^{\mathrm {T} }B^{(i)}S\equiv B^{(i)\prime }$ es diagonal, donde cualquier entrada $B_{x,y}^{(i)\prime }$ con índices $x=y$ , $\sum _{j=1}^{i-1}r_{j}<x=y\leq \sum _{j=1}^{i}r_{j}$ , es igual a 1, mientras que cualquier entrada con otros índices es igual a 0.

Véase también

Teorema de Cramér , sobre la descomposición de la distribución normal
Divisibilidad infinita (probabilidad)

Referencias

1 2 Cochran, WG (abril de 1934). "La distribución de formas cuadráticas en un sistema normal, con aplicaciones al análisis de covarianza". Actas Matemáticas de la Sociedad Filosófica de Cambridge . 30 (2): 178– 191. Bibcode : 1934PCPS...30..178C . doi : 10.1017/S0305004100016595 .
↑ Bapat, RB (2000). Álgebra lineal y modelos lineales (Segunda ed.). Springer. ISBN 978-0-387-98871-9.
↑ Upton, Graham; Cook, Ian (1 de enero de 2008), "Teorema de Cochran" , Diccionario de Estadística , Oxford University Press, doi : 10.1093/acref/9780199541454.001.0001 , ISBN 978-0-19-954145-4, consultado el 18 de mayo de 2022
↑ "Teorema de Cochran (Un tutorial rápido)" (PDF) .
↑ Geary, RC (1936). "La distribución de la razón de Student para muestras no normales". Suplemento del Journal of the Royal Statistical Society . 3 (2): 178– 184. doi : 10.2307/2983669 . JFM 63.1090.03 . JSTOR 2983669 .

[Cochran-1] 1 2 Cochran, WG (abril de 1934). "La distribución de formas cuadráticas en un sistema normal, con aplicaciones al análisis de covarianza". Actas Matemáticas de la Sociedad Filosófica de Cambridge . 30 (2): 178– 191. Bibcode : 1934PCPS...30..178C . doi : 10.1017/S0305004100016595 .

[2] Bapat, RB (2000). Álgebra lineal y modelos lineales (Segunda ed.). Springer. ISBN 978-0-387-98871-9.

[3] Upton, Graham; Cook, Ian (1 de enero de 2008), "Teorema de Cochran" , Diccionario de Estadística , Oxford University Press, doi : 10.1093/acref/9780199541454.001.0001 , ISBN 978-0-19-954145-4, consultado el 18 de mayo de 2022

[4] "Teorema de Cochran (Un tutorial rápido)" (PDF) .

[5] Geary, RC (1936). "La distribución de la razón de Student para muestras no normales". Suplemento del Journal of the Royal Statistical Society . 3 (2): 178– 184. doi : 10.2307/2983669 . JFM 63.1090.03 . JSTOR 2983669 .

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[