residuo estudiado

En estadística , un residuo estudentizado es la razón adimensional que resulta de dividir un residuo entre una estimación de su desviación estándar , ambas expresadas en las mismas unidades . Es una forma de la estadística t de Student , donde la estimación del error varía entre los puntos.

Esta es una técnica importante para la detección de valores atípicos . Es una de las varias que llevan el nombre de William Sealey Gosset , quien escribía bajo el seudónimo de "Student" (por ejemplo, distribución t de Student ). Dividir una estadística por la desviación estándar de la muestra se denomina estudentización , por analogía con la estandarización y la normalización .

La razón fundamental para la estudiación radica en que, en el análisis de regresión de una distribución multivariada , las varianzas de los residuos para diferentes valores de las variables de entrada pueden diferir, incluso si las varianzas de los errores para esos mismos valores son iguales. La cuestión reside en la diferencia entre errores y residuos en estadística , en particular el comportamiento de los residuos en las regresiones.

Consideremos el modelo de regresión lineal simple.

${\displaystyle Y=\alpha _ {0}+\alpha _ {1}X+\varepsilon .\,}$

Dada una muestra aleatoria ( X _i , Y _i ), i = 1, ..., n , cada par ( X _i , Y _i ) satisface      

${\displaystyle Y_{i}=\alpha _{0}+\alpha _{1}X_{i}+\varepsilon _{i},\,}$

donde los errores${\displaystyle \varepsilon _ {i}}$son independientes y todos tienen la misma varianza.${\displaystyle \sigma ^{2}}$Los residuos no son los errores verdaderos, sino estimaciones basadas en los datos observables. Cuando se utiliza el método de mínimos cuadrados para estimar${\displaystyle \alpha _{0}}$y${\displaystyle \alpha _{1}}$, luego los residuos${\displaystyle {\widehat {\varepsilon \,}}}$, a diferencia de los errores${\displaystyle \varepsilon }$no pueden ser independientes ya que satisfacen las dos restricciones

${\displaystyle \sum _{i=1}^{n}{\widehat {\varepsilon \,}}_{i}=0}$

y

${\displaystyle \sum _{i=1}^{n}{\widehat {\varepsilon \,}}_{i}x_{i}=0.}$

(Aquí ε _i es el i- ésimo error, y${\displaystyle {\widehat {\varepsilon \,}}_{i}}$es el i -ésimo residuo.)

Los residuos, a diferencia de los errores, no tienen la misma varianza: esta disminuye a medida que el valor x correspondiente se aleja del valor x promedio . Esto no es una característica de los datos en sí, sino de que la regresión se ajusta mejor a los valores en los extremos del dominio. También se refleja en las funciones de influencia de los distintos puntos de datos sobre los coeficientes de regresión : los extremos tienen mayor influencia. Esto se observa porque los residuos en los extremos dependen en gran medida de la pendiente de la línea ajustada, mientras que los residuos en el centro son relativamente insensibles a la pendiente. El hecho de que las varianzas de los residuos difieran, aunque las varianzas de los errores verdaderos sean todas iguales , es la razón principal de la necesidad de la estudentización.

No se trata simplemente de que se desconozcan los parámetros de la población (media y desviación estándar), sino de que las regresiones producen diferentes distribuciones de residuos en diferentes puntos de datos, a diferencia de los estimadores puntuales de distribuciones univariadas , que comparten una distribución común para los residuos.

Para este modelo simple, la matriz de diseño es

${\displaystyle X=\left[{\begin{matrix}1&x_{1}\\\vdots &\vdots \\1&x_{n}\end{matrix}}\right]}$

y la matriz de proyección H es la matriz de la proyección ortogonal sobre el espacio columna de la matriz de diseño:

${\displaystyle H=X(X^{T}X)^{-1}X^{T}.\,}$

El apalancamiento h _ii es la i -ésima entrada diagonal en la matriz de sombreros. La varianza del i -ésimo residuo es

${\displaystyle \operatorname {var} ({\widehat {\varepsilon \,}}_{i})=\sigma ^{2}(1-h_{ii}).}$

En caso de que la matriz de diseño X tenga solo dos columnas (como en el ejemplo anterior), esto es igual a

${\displaystyle \operatorname {var} ({\widehat {\varepsilon \,}}_{i})=\sigma ^{2}\left(1-{\frac {1}{n}}-{\frac {(x_{i}-{\bar {x}})^{2}}{\sum _{j=1}^{n}(x_{j}-{\bar {x}})^{2}}}\right).}$

En el caso de una media aritmética , la matriz de diseño X tiene solo una columna (un vector de unos ), y esto es simplemente:

${\displaystyle \operatorname {var} ({\widehat {\varepsilon \,}}_{i})=\sigma ^{2}\left(1-{\frac {1}{n}}\right).}$

Dadas las definiciones anteriores, el residuo estudentizado es entonces

${\displaystyle t_{i}={{\widehat {\varepsilon \,}}_{i} \over {\widehat {\sigma }}{\sqrt {1-h_{ii}\ }}}}$

donde h _ii es el apalancamiento y${\displaystyle {\widehat {\sigma }}}$es una estimación apropiada de σ (véase más abajo).

En el caso de una media, esto es igual a:

${\displaystyle t_{i}={{\widehat {\varepsilon \,}}_{i} \over {\widehat {\sigma }}{\sqrt {(n-1)/n}}}}$

La estimación habitual de σ² es el residuo estudentizado interno ^.

${\displaystyle {\widehat {\sigma }}^{2}={1 \over nm}\sum _{j=1}^{n}{\widehat {\varepsilon \,}}_{j}^{\,2}.}$

donde m es el número de parámetros del modelo (2 en nuestro ejemplo).

Pero si se sospecha que el i  -ésimo caso es improbablemente grande, entonces tampoco estaría distribuido normalmente. Por lo tanto, es prudente excluir la i  -ésima observación del proceso de estimación de la varianza cuando se considera si el i  -ésimo caso puede ser un valor atípico, y en su lugar utilizar el residuo estudentizado externamente , que es

${\displaystyle {\widehat {\sigma }}_{(i)}^{2}={1 \over n-m-1}\sum _{\begin{smallmatrix}j=1\\j\neq i\end{smallmatrix}}^{n}{\widehat {\varepsilon \,}}_{j}^{\,2},}$

basado en todos los residuos excepto el i- ésimo residuo sospechoso  . Aquí es para enfatizar que${\displaystyle {\widehat {\varepsilon \,}}_{j}^{\,2}(j\neq i)}$para el sospechoso i se calculan excluyendo el caso i . 

Si la estimación σ ² incluye el i  -ésimo caso, entonces se denomina residuo estudentizado interno ,${\displaystyle t_{i}}$(también conocido como residuo estandarizado ^{[ 1 ]} ). Si la estimación${\displaystyle {\widehat {\sigma }}_{(i)}^{2}}$se utiliza en su lugar, excluyendo el i  -ésimo caso, entonces se denomina el estudianteizado externamente ,${\displaystyle t_{i(i)}}$.

Si los errores son independientes y se distribuyen normalmente con un valor esperado de 0 y una varianza σ² , entonces la distribución de probabilidad del i -ésimo residuo estudentizado externamente es ^...${\displaystyle t_{i(i)}}$es una distribución t de Student con n  − m − 1 grados de libertad y puede variar desde   ${\displaystyle \scriptstyle -\infty }$a${\displaystyle \scriptstyle +\infty }$.

Por otro lado, los residuos estudentizados internamente se encuentran en el rango${\displaystyle 0\,\pm \,{\sqrt {\nu }}}$, donde ν = n  − m es el número de grados de libertad residuales. Si t _i representa el residuo estudentizado interno, y nuevamente suponiendo que los errores son variables gaussianas independientes e idénticamente distribuidas, entonces: ^{[ 2 ]} 

${\displaystyle t_{i}\sim {\sqrt {\nu }}{t \over {\sqrt {t^{2}+\nu -1}}}}$

donde t es una variable aleatoria distribuida según la distribución t de Student con ν  −  1 grados de libertad. De hecho, esto implica que t _i ² / ν sigue la distribución beta B (1/2,( ν  −  1)/2). La distribución anterior a veces se denomina distribución tau ; ^{[ 2 ]} fue derivada por primera vez por Thompson en 1935. ^{[ 3 ]}

Cuando ν = 3, los residuos estudentizados internamente se distribuyen uniformemente entre${\displaystyle \scriptstyle -{\sqrt {3}}}$y${\displaystyle \scriptstyle +{\sqrt {3}}}$Si solo hay un grado de libertad residual, la fórmula anterior para la distribución de residuos estudentizados internos no se aplica. En este caso, todos los t _i son +1 o −1, con un 50% de probabilidad para cada uno.

La desviación estándar de la distribución de los residuos estudentizados internos es siempre 1, pero esto no implica que la desviación estándar de todos los t _i de un experimento particular sea 1. Por ejemplo, los residuos estudentizados internos al ajustar una línea recta que pasa por (0, 0) a los puntos (1, 4), (2, −1), (2, −1) son${\displaystyle {\sqrt {2}},\ -{\sqrt {5}}/5,\ -{\sqrt {5}}/5}$y la desviación estándar de estos no es 1.

Tenga en cuenta que cualquier par de residuos estudentizados t _i y t _j (donde${\displaystyle i\neq j}$), NO son iid Tienen la misma distribución, pero no son independientes debido a restricciones en los residuos que deben sumar 0 y ser ortogonales a la matriz de diseño.

Muchos programas y paquetes estadísticos, como R , Python , etc., incluyen implementaciones del residuo estudentizado.

• Distancia de Cook : una medida de los cambios en los coeficientes de regresión cuando se elimina una observación.
• Prueba de Grubbs
• Normalización (estadística)
• La desigualdad de Samuelson
• Puntuación estándar
• William Sealy Gosset

• Cook, R. Dennis; Weisberg, Sanford (1982). Residuos e influencia en la regresión (  Ed. reimpresa). Nueva York: Chapman and Hall . ISBN 041224280XConsultado el 23 de febrero de 2013 .