Distribución chi-cuadrado

La distribución chi-cuadrado se utiliza principalmente en pruebas de hipótesis y, en menor medida, para intervalos de confianza de la varianza poblacional cuando la distribución subyacente es normal. A diferencia de distribuciones más conocidas, como la distribución normal y la exponencial , la distribución chi-cuadrado no se aplica con tanta frecuencia en la modelización directa de fenómenos naturales. Surge, entre otras cosas, en las siguientes pruebas de hipótesis:

• Prueba de independencia chi-cuadrado en tablas de contingencia
• Prueba de chi-cuadrado de bondad de ajuste de los datos observados a distribuciones hipotéticas
• Prueba de razón de verosimilitud para modelos anidados
• Prueba de log-rank en análisis de supervivencia
• Prueba de Cochran-Mantel-Haenszel para tablas de contingencia estratificadas
• prueba de Wald
• Prueba de puntuación

También es un componente de la definición de la distribución t y la distribución F utilizadas en las pruebas t , el análisis de varianza y el análisis de regresión.

La principal razón por la que la distribución chi-cuadrado se utiliza ampliamente en las pruebas de hipótesis es su relación con la distribución normal. Muchas pruebas de hipótesis utilizan un estadístico de prueba, como el estadístico t en una prueba t . Para estas pruebas de hipótesis, a medida que aumenta el tamaño de la muestra, n , la distribución muestral del estadístico de prueba se aproxima a la distribución normal ( teorema del límite central ). Dado que el estadístico de prueba (como t ) se distribuye asintóticamente de forma normal, siempre que el tamaño de la muestra sea suficientemente grande, la distribución utilizada para las pruebas de hipótesis puede aproximarse mediante una distribución normal. Probar hipótesis utilizando una distribución normal es un método bien conocido y relativamente sencillo. La distribución chi-cuadrado más simple es el cuadrado de una distribución normal estándar. Por lo tanto, siempre que se pueda utilizar una distribución normal para una prueba de hipótesis, se puede utilizar una distribución chi-cuadrado.

Supongamos que${\displaystyle Z}$es una variable aleatoria muestreada de la distribución normal estándar, donde la media es${\displaystyle 0}$y la varianza es${\displaystyle 1}$:${\displaystyle Z\sim N(0,1)}$Ahora, consideremos la variable aleatoria${\displaystyle X=Z^{2}}$. La distribución de la variable aleatoria${\displaystyle X}$es un ejemplo de distribución chi-cuadrado:${\displaystyle \ X\ \sim \ \chi _{1}^{2}}$El subíndice 1 indica que esta distribución chi-cuadrado en particular se construye a partir de una sola distribución normal estándar. Se dice que una distribución chi-cuadrado construida elevando al cuadrado una única distribución normal estándar tiene 1 grado de libertad. Por lo tanto, a medida que aumenta el tamaño de la muestra para una prueba de hipótesis, la distribución del estadístico de prueba se aproxima a una distribución normal. Así como los valores extremos de la distribución normal tienen baja probabilidad (y dan valores p pequeños), los valores extremos de la distribución chi-cuadrado también tienen baja probabilidad.

Una razón adicional por la que la distribución chi-cuadrado se usa ampliamente es que aparece como la distribución de muestra grande de las pruebas de razón de verosimilitud generalizadas (LRT). ^{[ 8 ]} Las LRT tienen varias propiedades deseables; en particular, las LRT simples suelen proporcionar la mayor potencia para rechazar la hipótesis nula ( lema de Neyman-Pearson ) y esto también conduce a las propiedades de optimalidad de las LRT generalizadas. Sin embargo, las aproximaciones normal y chi-cuadrado solo son válidas asintóticamente. Por esta razón, es preferible usar la distribución t en lugar de la aproximación normal o la aproximación chi-cuadrado para un tamaño de muestra pequeño. De manera similar, en los análisis de tablas de contingencia, la aproximación chi-cuadrado será deficiente para un tamaño de muestra pequeño, y es preferible usar la prueba exacta de Fisher . Ramsey muestra que la prueba binomial exacta siempre es más potente que la aproximación normal. ^{[ 9 ]}

Lancaster muestra las conexiones entre las distribuciones binomial, normal y chi-cuadrado, como sigue. ^{[ 10 ]} De Moivre y Laplace establecieron que una distribución binomial podía aproximarse mediante una distribución normal. Específicamente, demostraron la normalidad asintótica de la variable aleatoria.

$${\displaystyle \chi ={\frac {m-Np}{\sqrt {Npq}}}}$$

dónde${\displaystyle m}$es el número observado de éxitos en${\displaystyle N}$ensayos, donde la probabilidad de éxito es${\displaystyle p}$, y${\displaystyle q=1-p}$.

Elevando al cuadrado ambos lados de la ecuación se obtiene

$${\displaystyle \chi ^{2}={\frac {\left(m-Np\right)^{2}}{Npq}}}$$

Usando${\displaystyle N=Np+N(1-p)}$,${\displaystyle N=m+(N-m)}$, y${\displaystyle q=1-p}$, esta ecuación se puede reescribir como

$${\displaystyle \chi ^{2}={\frac {\left(m-Np\right)^{2}}{Np}}+{\frac {\left(N-m-Nq\right)^{2}}{Nq}}}$$

La expresión de la derecha es de la forma que Karl Pearson generalizaría a la forma

$${\displaystyle \chi ^{2}=\sum _{i=1}^{n}{\frac {\left(O_{i}-E_{i}\right)^{2}}{E_{i}}}}$$

dónde

• ${\displaystyle \chi ^{2}}$= Estadístico de prueba acumulativo de Pearson, que se aproxima asintóticamente a un${\displaystyle \chi ^{2}}$distribución;
• ${\displaystyle O_{i}}$= el número de observaciones de tipo${\displaystyle i}$;
• ${\displaystyle E_{i}=Np_{i}}$= la frecuencia esperada (teórica) de tipo${\displaystyle i}$, afirmado por la hipótesis nula de que la fracción de tipo${\displaystyle i}$en la población es${\displaystyle p_{i}}$; y
• ${\displaystyle n}$= el número de celdas en la tabla.

En el caso de un resultado binomial (lanzar una moneda), la distribución binomial puede aproximarse mediante una distribución normal (para valores suficientemente grandes).${\displaystyle n}$Dado que el cuadrado de una distribución normal estándar es la distribución chi-cuadrado con un grado de libertad, la probabilidad de un resultado como 1 cara en 10 ensayos puede aproximarse utilizando directamente la distribución normal o la distribución chi-cuadrado para la diferencia al cuadrado normalizada entre el valor observado y el esperado. Sin embargo, muchos problemas involucran más de los dos resultados posibles de una distribución binomial y requieren 3 o más categorías, lo que lleva a la distribución multinomial. Así como de Moivre y Laplace buscaron y encontraron la aproximación normal a la binomial, Pearson buscó y encontró una aproximación normal multivariada degenerada a la distribución multinomial (los números en cada categoría suman el tamaño total de la muestra, que se considera fijo). Pearson demostró que la distribución chi-cuadrado surgió de dicha aproximación normal multivariada a la distribución multinomial, teniendo en cuenta cuidadosamente la dependencia estadística (correlaciones negativas) entre los números de observaciones en diferentes categorías. ^{[ 10 ]}

La función de densidad de probabilidad (pdf) de la distribución chi-cuadrado es $${\displaystyle f(x;\,k)={\begin{cases}{\dfrac {x^{k/2-1}e^{-x/2}}{2^{k/2}\,\Gamma {\left({\frac {k}{2}}\right)}}},&x>0;\\0,&{\text{otherwise}}.\end{cases}}}$$ dónde${\textstyle \Gamma (k/2)}$denota la función gamma , que tiene valores de forma cerrada para enteros${\displaystyle k}$.

Para las derivaciones de la pdf en los casos de uno, dos y${\displaystyle k}$grados de libertad, véase Pruebas relacionadas con la distribución chi-cuadrado .

Su función de distribución acumulativa es: $${\displaystyle F(x;\,k)={\frac {\gamma {\left({\frac {k}{2}},\,{\frac {x}{2}}\right)}}{\Gamma {\left({\frac {k}{2}}\right)}}}=P{\left({\frac {k}{2}},\,{\frac {x}{2}}\right)},}$$ dónde${\displaystyle \gamma (s,t)}$es la función gamma incompleta inferior y${\textstyle P(s,t)}$es la función gamma regularizada .

En un caso especial de${\displaystyle k=2}$Esta función tiene la forma simple: $${\displaystyle F(x;\,2)=1-e^{-x/2}}$$ que se puede obtener fácilmente integrando${\textstyle f(x;\,2)={\frac {1}{2}}e^{-x/2}}$directamente. La recurrencia entera de la función gamma facilita el cálculo.${\displaystyle F(x;\,k)}$para otros pequeños, incluso${\displaystyle k}$.

Las tablas de la función de distribución acumulativa chi-cuadrado están ampliamente disponibles y la función está incluida en muchas hojas de cálculo y en todos los paquetes estadísticos .

Alquiler${\displaystyle z\equiv x/k}$Se pueden obtener cotas de Chernoff en las colas inferior y superior de la CDF. ^{[ 11 ]} Para los casos en que${\displaystyle 0<z<1}$(que incluyen todos los casos en los que esta CDF es menor a la mitad): ${\displaystyle F(zk;\,k)\leq (ze^{1-z})^{k/2}.}$

El límite de cola para los casos en que${\displaystyle z>1}$De manera similar, es $${\displaystyle 1-F(zk;\,k)\leq (ze^{1-z})^{k/2}.}$$

Para otra aproximación de la función de distribución acumulada (CDF) modelada a partir del cubo de una distribución gaussiana, consulte la sección Distribución chi-cuadrada no central .

El siguiente es un caso especial del teorema de Cochran.

Teorema. Si${\displaystyle Z_{1},...,Z_{n}}$son variables aleatorias normales estándar , independientes e idénticamente distribuidas (iid) , entonces ${\textstyle \sum _{t=1}^{n}\left(Z_{t}-{\bar {Z}}\right)^{2}\sim \chi _{n-1}^{2}}$ dónde${\textstyle {\bar {Z}}={\frac {1}{n}}\sum _{t=1}^{n}Z_{t}.}$

De la definición de la distribución chi-cuadrado se deduce que la suma de variables chi-cuadrado independientes también sigue una distribución chi-cuadrado. Específicamente, si${\displaystyle X_{i},i={\overline {1,n}}}$son variables chi-cuadrado independientes con${\displaystyle k_{i}}$,${\displaystyle i={\overline {1,n}}}$grados de libertad, respectivamente, entonces${\displaystyle Y=X_{1}+\cdots +X_{n}}$se distribuye chi-cuadrado con${\displaystyle k_{1}+\cdots +k_{n}}$grados de libertad.

La media muestral de${\displaystyle n}$variables chi-cuadrado iid de grado${\displaystyle k}$se distribuye según una distribución gamma con forma${\displaystyle \alpha }$y escala${\displaystyle \theta }$parámetros: $${\displaystyle {\overline {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}\sim \operatorname {Gamma} \left(\alpha {=}{\tfrac {nk}{2}},\,\theta {=}{\tfrac {2}{n}}\right)\qquad {\text{where }}X_{i}\sim \chi ^{2}(k)}$$

Asintóticamente , dado que para un parámetro de forma${\displaystyle \alpha }$Al tender al infinito, una distribución Gamma converge hacia una distribución normal con una esperanza${\displaystyle \mu =\alpha \theta }$y varianza${\displaystyle \sigma ^{2}=\alpha \theta ^{2}}$, la media muestral converge hacia:

$${\displaystyle {\overline {X}}\xrightarrow {n\to \infty } N{\left(\mu {=}k,\,\sigma ^{2}{=}{\tfrac {2k}{n}}\right)}}$$

Nótese que habríamos obtenido el mismo resultado invocando en cambio el teorema del límite central , teniendo en cuenta que para cada variable chi-cuadrado de grado${\displaystyle k}$la expectativa es${\displaystyle k}$y su varianza${\displaystyle 2k}$(y por lo tanto la varianza de la media muestral)${\displaystyle {\overline {X}}}$ser${\textstyle \sigma ^{2}={\tfrac {2k}{n}}}$).

La entropía diferencial viene dada por $${\displaystyle {\begin{aligned}h&=\int _{0}^{\infty }f(x;\,k)\ln f(x;\,k)\,dx\\&={\frac {k}{2}}+\ln \left[2\,\Gamma {\left({\frac {k}{2}}\right)}\right]+\left(1-{\frac {k}{2}}\right)\psi \!\left({\frac {k}{2}}\right),\end{aligned}}}$$ dónde${\displaystyle \psi (x)}$es la función Digamma .

La distribución chi-cuadrado es la distribución de probabilidad de máxima entropía para una variable aleatoria.${\displaystyle X}$para qué${\displaystyle \operatorname {E} (X)=k}$y${\displaystyle \operatorname {E} (\ln(X))=\psi (k/2)+\ln(2)}$son fijos. Dado que la chi-cuadrado pertenece a la familia de las distribuciones gamma, esto se puede derivar sustituyendo los valores apropiados en la esperanza del momento logarítmico de gamma . Para la derivación a partir de principios más básicos, véase la derivación en la función generadora de momentos del estadístico suficiente .

Los momentos no centrales (momentos brutos) de una distribución chi-cuadrado con${\displaystyle k}$Los grados de libertad vienen dados por ^{[ 12 ] [ 13 ]}$${\displaystyle {\begin{aligned}\operatorname {E} (X^{m})&=k(k+2)(k+4)\cdots (k+2m-2)\\[1ex]&=2^{m}{\frac {\Gamma {\left(m+{\frac {k}{2}}\right)}}{\Gamma {\left({\frac {k}{2}}\right)}}}.\end{aligned}}}$$

Los cumulantes se obtienen fácilmente mediante un desarrollo en serie de potencias del logaritmo de la función característica: $${\displaystyle \kappa _{n}=2^{n-1}(n-1)!\,k}$$ con función generadora de cumulantes${\textstyle \ln \operatorname {E} [e^{tX}]=-{\frac {k}{2}}\ln(1-2t)}$.

La distribución chi-cuadrado muestra una fuerte concentración alrededor de su media. Los límites estándar de Laurent-Massart ^{[ 14 ]} son: $${\displaystyle \Pr(X-k\geq 2{\sqrt {kx}}+2x)\leq e^{-x}}$$$${\displaystyle \Pr(k-X\geq 2{\sqrt {kx}})\leq e^{-x}}$$ Una consecuencia es que, si${\displaystyle Z\sim N(0,1)^{k}}$es un vector aleatorio gaussiano en${\displaystyle \mathbb {R} ^{k}}$, entonces como la dimensión${\displaystyle k}$crece, la longitud al cuadrado del vector se concentra fuertemente alrededor${\displaystyle k}$con un ancho${\displaystyle k^{1/2+\alpha }}$:$${\displaystyle \Pr \left(\left\|Z\right\|^{2}\in \left[k-2k^{1/2+\alpha },\;k+2k^{1/2+\alpha }+2k^{\alpha }\right]\right)\geq 1-e^{-k^{\alpha }}}$$donde el exponente${\displaystyle \alpha }$puede elegirse como cualquier valor en${\displaystyle \mathbb {R} }$.

Dado que la función generadora de cumulantes para${\displaystyle \chi ^{2}(k)}$es${\textstyle K(t)=-{\frac {k}{2}}\ln(1-2t)}$y su dual convexo es${\textstyle K^{*}(q)={\frac {1}{2}}\left(q-k+k\ln {\frac {k}{q}}\right)}$, el límite estándar de Chernoff produce$${\displaystyle {\begin{aligned}\ln \Pr(X\geq (1+\varepsilon )k)&\leq -{\frac {k}{2}}\left(\varepsilon -\ln(1+\varepsilon )\right)\\\ln \Pr(X\leq (1-\varepsilon )k)&\leq -{\frac {k}{2}}\left(-\varepsilon -\ln(1-\varepsilon )\right)\end{aligned}}}$$dónde${\displaystyle 0<\varepsilon <1}$. Por el vínculo de unión,$${\displaystyle Pr(X\in (1\pm \varepsilon )k)\geq 1-2e^{-{\frac {k}{2}}({\frac {1}{2}}\varepsilon ^{2}-{\frac {1}{3}}\varepsilon ^{3})}}$$Este resultado se utiliza para demostrar el lema de Johnson-Lindenstrauss . ^{[ 15 ]}

Por el teorema del límite central , dado que la distribución chi-cuadrado es la suma de${\displaystyle k}$variables aleatorias independientes con media y varianza finitas, converge a una distribución normal para valores grandes${\displaystyle k}$. Para muchos fines prácticos, para${\displaystyle k>50}$La distribución es suficientemente cercana a una distribución normal , por lo que la diferencia es despreciable. ^{[ 16 ]} Específicamente, si${\displaystyle X\sim \chi ^{2}(k)}$, entonces como${\displaystyle k}$tiende al infinito, la distribución de${\displaystyle (X-k)/{\sqrt {2k}}}$tiende a una distribución normal estándar. Sin embargo, la convergencia es lenta ya que la asimetría es${\textstyle {\sqrt {8/k}}}$y la curtosis en exceso es${\displaystyle 12/k}$.

La distribución muestral de${\displaystyle \ln(\chi ^{2})}$converge a la normalidad mucho más rápido que la distribución muestral de${\displaystyle \chi ^{2}}$, ^{[ 17 ]} ya que la transformación logarítmica elimina gran parte de la asimetría. ^{[ 18 ]}

Otras funciones de la distribución chi-cuadrado convergen más rápidamente a una distribución normal. Algunos ejemplos son:

• Si${\displaystyle X\sim \chi ^{2}(k)}$entonces${\displaystyle {\sqrt {2X}}}$se distribuye aproximadamente de forma normal con media${\displaystyle {\sqrt {2k-1}}}$y varianza unitaria (1922, por RA Fisher , véase (18.23), pág.  426 de Johnson). ^{[ 5 ]}
• Si${\displaystyle X\sim \chi ^{2}(k)}$entonces${\textstyle {\sqrt[{3}]{X/k}}}$se distribuye aproximadamente de forma normal con media${\displaystyle 1-{\frac {2}{9k}}}$y varianza${\displaystyle {\frac {2}{9k}}.}$^{[ 19 ]} Esto se conoce como latransformación de Wilson-Hilferty, véase (18.24), pág. 426 de Johnson. ^{[ 5 ]}
  • Esta transformación de normalización conduce directamente a la aproximación de la mediana comúnmente utilizada.${\displaystyle k{\bigg (}1-{\frac {2}{9k}}{\bigg )}^{3}\;}$mediante la transformación inversa a partir de la media, que también es la mediana, de la distribución normal.

La distribución chi-cuadrado se obtiene como la suma de los cuadrados de k variables aleatorias gaussianas independientes, con media cero y varianza unitaria. Se pueden obtener generalizaciones de esta distribución sumando los cuadrados de otros tipos de variables aleatorias gaussianas. A continuación se describen varias de estas distribuciones.

Si${\displaystyle X_{1},\ldots ,X_{n}}$son variables aleatorias chi cuadrado y${\displaystyle a_{1},\ldots ,a_{n}\in \mathbb {R} _{>0}}$, entonces la distribución de${\textstyle X=\sum _{i=1}^{n}a_{i}X_{i}}$es un caso especial de la distribución chi-cuadrado generalizada . No se conoce una expresión cerrada para esta distribución. Sin embargo, puede aproximarse de manera eficiente utilizando la propiedad de las funciones características de las variables aleatorias chi-cuadrado. ^{[ 21 ]}

La distribución chi-cuadrado${\displaystyle X\sim \chi _{k}^{2}}$es un caso especial de la distribución gamma , en el sentido de que${\textstyle X\sim \Gamma {\left({\tfrac {k}{2}},{\tfrac {1}{2}}\right)}}$utilizando la parametrización de la tasa de la distribución gamma (o${\textstyle X\sim \Gamma {\left({\tfrac {k}{2}},2\right)}}$utilizando la parametrización de escala de la distribución gamma), donde k es un número entero.

Debido a que la distribución exponencial también es un caso especial de la distribución gamma, también tenemos que si${\displaystyle X\sim \chi _{2}^{2}}$, entonces${\textstyle X\sim \operatorname {exp} \left({\tfrac {1}{2}}\right)}$es una distribución exponencial .

La distribución de Erlang también es un caso especial de la distribución gamma y por lo tanto también tenemos que si${\displaystyle X\sim \chi _{k}^{2}}$incluso${\displaystyle k}$, entonces${\displaystyle X}$es Erlang distribuido con parámetro de forma${\displaystyle k/2}$y parámetro de escala${\displaystyle 1/2}$.

El${\textstyle p}$El valor p es la probabilidad de observar un estadístico de prueba al menos tan extremo en una distribución chi-cuadrado. Por consiguiente, dado que la función de distribución acumulativa (FDA) para los grados de libertad (gl) apropiados proporciona la probabilidad de haber obtenido un valor menos extremo que este punto, al restar el valor de la FDA de 1 se obtiene el valor p . Un valor p bajo , por debajo del nivel de significancia elegido, indica significancia estadística , es decir, evidencia suficiente para rechazar la hipótesis nula. Un nivel de significancia de 0,05 se utiliza a menudo como umbral entre resultados significativos y no significativos.

La tabla a continuación proporciona una serie de valores p que coinciden con${\displaystyle \chi ^{2}}$para los primeros 10 grados de libertad.

Estos valores se pueden calcular evaluando la función cuantil (también conocida como "CDF inversa" o "ICDF") de la distribución chi-cuadrado; ^{[ 24 ]} por ejemplo, la χ ² ICDF para p = 0,05 y gl = 7 produce 2,1673 ≈ 2,17 como en la tabla anterior, teniendo en cuenta que 1 – p es el valor p de la tabla.