Errores y residuos

En estadística y optimización , los errores y los residuos son dos medidas estrechamente relacionadas y fácilmente confundibles de la desviación de un valor observado de un elemento de una muestra estadística respecto de su " valor verdadero " (no necesariamente observable). El error de una observación es la desviación del valor observado respecto del valor verdadero de una magnitud de interés (por ejemplo, la media poblacional ). El residuo es la diferencia entre el valor observado y el valor estimado de la magnitud de interés (por ejemplo, la media muestral ). La distinción es de suma importancia en el análisis de regresión , donde estos conceptos se denominan a veces errores de regresión y residuos de regresión , y donde dan lugar al concepto de residuos estudentizados . En econometría , los "errores" también se denominan perturbaciones . ^{[ 1 ] [ 2 ] [ 3 ]}

Supongamos que tenemos una serie de observaciones de una distribución univariada y queremos estimar la media de dicha distribución (el llamado modelo de localización ). En este caso, los errores son las desviaciones de las observaciones respecto a la media poblacional, mientras que los residuos son las desviaciones de las observaciones respecto a la media muestral.

Un error estadístico (o perturbación ) es la diferencia entre una observación y su valor esperado , basado en la población total de la que se seleccionó aleatoriamente la unidad estadística. Por ejemplo, si la altura media de una población de hombres de 21 años es de 1,75 metros y un hombre elegido al azar mide 1,80 metros, el error es de 0,05 metros; si mide 1,70 metros, el error es de -0,05 metros. El valor esperado, al ser la media de toda la población, suele ser inobservable, por lo que el error estadístico tampoco puede observarse.

Por otro lado, un residuo (o desviación de ajuste) es una estimación observable del error estadístico no observable. Consideremos el ejemplo anterior con las alturas de los hombres y supongamos que tenemos una muestra aleatoria de n personas. La media muestral podría servir como un buen estimador de la media poblacional . Entonces tenemos:

• La diferencia entre la altura de cada hombre en la muestra y la media poblacional no observable es un error estadístico , mientras que
• La diferencia entre la altura de cada hombre en la muestra y la media muestral observable es un residuo .

Cabe señalar que, debido a la definición de la media muestral, la suma de los residuos dentro de una muestra aleatoria es necesariamente cero, por lo que los residuos no son necesariamente independientes . Los errores estadísticos, en cambio, son independientes, y su suma dentro de la muestra aleatoria casi con seguridad no es cero.

Se pueden estandarizar los errores estadísticos (especialmente los de una distribución normal ) en una puntuación z (o "puntuación estándar"), y estandarizar los residuos en una estadística t , o más generalmente residuos estudentizados .

Si asumimos una población con distribución normal con media μ y desviación estándar σ, y elegimos individuos de forma independiente, entonces tenemos

${\displaystyle X_{1},\dots ,X_{n}\sim N\left(\mu ,\sigma ^{2}\right)\,}$

y la media de la muestra

${\displaystyle {\overline {X}}={X_{1}+\cdots +X_{n} \over n}}$

es una variable aleatoria distribuida de tal manera que

${\displaystyle {\overline {X}}\sim N\left(\mu ,{\frac {\sigma ^{2}}{n}}\right).}$

Los errores estadísticos son entonces

${\displaystyle e_{i}=X_{i}-\mu ,\,}$

con valores esperados de cero, ^{[ 4 ]} mientras que los residuos son

${\displaystyle r_{i}=X_{i}-{\overline {X}}.}$

La suma de los cuadrados de los ^errores estadísticos , dividida por σ² , tiene una distribución chi-cuadrado con n grados de libertad :

${\displaystyle {\frac {1}{\sigma ^{2}}}\sum _{i=1}^{n}e_{i}^{2}\sim \chi _{n}^{2}.}$

Sin embargo, esta cantidad no es observable ya que se desconoce la media poblacional. La suma de los cuadrados de los residuos , por otro lado, sí es observable. El cociente de esa suma por σ² ^tiene una distribución chi-cuadrado con solo n  −  1 grados de libertad:

${\displaystyle {\frac {1}{\sigma ^{2}}}\sum _{i=1}^{n}r_{i}^{2}\sim \chi _{n-1}^{2}.}$

Esta diferencia entre n y n  −  1 grados de libertad da lugar a la corrección de Bessel para la estimación de la varianza muestral de una población con media y varianza desconocidas. No es necesaria ninguna corrección si se conoce la media poblacional.

En el análisis de regresión , la distinción entre errores y residuos es sutil e importante, y conduce al concepto de residuos estudentizados . Dada una función no observable que relaciona la variable independiente con la variable dependiente (por ejemplo, una línea), las desviaciones de las observaciones de la variable dependiente con respecto a esta función son los errores no observables. Si se realiza una regresión con algunos datos, las desviaciones de las observaciones de la variable dependiente con respecto a la función ajustada son los residuos. Si el modelo lineal es aplicable, un diagrama de dispersión de los residuos representados frente a la variable independiente debería ser aleatorio alrededor de cero, sin tendencia en los residuos. ^{[ 5 ]} Si los datos muestran una tendencia, es probable que el modelo de regresión sea incorrecto; por ejemplo, la función verdadera puede ser un polinomio cuadrático o de orden superior. Si son aleatorios, o no tienen tendencia, pero se "abanican", muestran un fenómeno llamado heterocedasticidad . Si todos los residuos son iguales, o no se "abanican", muestran homocedasticidad .

Sin embargo, surge una diferencia terminológica en la expresión error cuadrático medio (ECM). El error cuadrático medio de una regresión es un número calculado a partir de la suma de los cuadrados de los residuos calculados , y no de los errores no observables . Si esa suma de cuadrados se divide por n , el número de observaciones, el resultado es la media de los residuos al cuadrado. Dado que esta es una estimación sesgada de la varianza de los errores no observados, el sesgo se elimina dividiendo la suma de los residuos al cuadrado por df = n  − p − 1, en lugar de n , donde df es el número de grados de libertad ( n menos el número de parámetros (excluyendo la intersección) p que se estiman - 1). Esto forma una estimación insesgada de la varianza de los errores no observados y se denomina error cuadrático medio. ^{[ 7 ]}   

Otro método para calcular el error cuadrático medio al analizar la varianza de la regresión lineal mediante una técnica similar a la empleada en ANOVA (son lo mismo porque ANOVA es un tipo de regresión) consiste en dividir la suma de los cuadrados de los residuos (también conocida como suma de los cuadrados del error) entre los grados de libertad (donde los grados de libertad son iguales a n  − p − 1, siendo p el número de parámetros estimados en el modelo (uno por cada variable en la ecuación de regresión, sin incluir la intersección)). A continuación, se puede calcular el error cuadrático medio del modelo dividiendo la suma de los cuadrados del modelo menos los grados de libertad, que es simplemente el número de parámetros. El valor F se calcula dividiendo el error cuadrático medio del modelo entre el error cuadrático medio, y así se puede determinar la significancia (que es la razón por la que se necesitan los errores cuadráticos medios). ^{[ 8 ]}   

Sin embargo, debido al comportamiento del proceso de regresión, las distribuciones de los residuos en diferentes puntos de datos (de la variable de entrada) pueden variar incluso si los errores mismos están distribuidos de forma idéntica. Concretamente, en una regresión lineal donde los errores están distribuidos de forma idéntica, la variabilidad de los residuos de las entradas en el centro del dominio será mayor que la variabilidad de los residuos en los extremos del dominio: ^{[ 9 ]} las regresiones lineales se ajustan mejor a los extremos que al centro. Esto también se refleja en las funciones de influencia de los distintos puntos de datos sobre los coeficientes de regresión : los extremos tienen mayor influencia.

Por lo tanto, para comparar los residuos con diferentes valores de entrada, es necesario ajustarlos según la variabilidad esperada , lo que se conoce como estandarización . Esto es especialmente importante al detectar valores atípicos , donde el caso en cuestión difiere de los demás en un conjunto de datos. Por ejemplo, se puede esperar un residuo grande en la parte central del dominio, pero considerarlo un valor atípico al final del mismo.

El uso del término "error", tal como se analiza en las secciones anteriores, se refiere a una desviación de un valor respecto de un valor hipotético no observado. En estadística, también se dan al menos otros dos usos, ambos referidos a errores de predicción observables :

El error cuadrático medio (ECM) se refiere a la diferencia entre los valores predichos por un estimador y las cantidades estimadas (generalmente fuera de la muestra a partir de la cual se estimó el modelo). La raíz cuadrada del error cuadrático medio (RMSE) es la raíz cuadrada del ECM. La suma de los cuadrados de los errores (SSE) es el ECM multiplicado por el tamaño de la muestra.

La suma de los cuadrados de los residuos (SSR) es la suma de los cuadrados de las desviaciones de los valores reales respecto de los valores predichos, dentro de la muestra utilizada para la estimación. Esta es la base de la estimación por mínimos cuadrados , donde los coeficientes de regresión se eligen de manera que la SSR sea mínima (es decir, su derivada sea cero).

Asimismo, la suma de los errores absolutos (SAE) es la suma de los valores absolutos de los residuos, que se minimiza en el método de regresión de mínimas desviaciones absolutas .

El error medio (EM) es el sesgo. El residuo medio (RM) siempre es cero para los estimadores de mínimos cuadrados.

• Cook, R. Dennis; Weisberg, Sanford (1982). Residuos e influencia en la regresión (  Ed. reimpresa). Nueva York: Chapman and Hall . ISBN 041224280XConsultado el 23 de febrero de 2013 .
• Cox, David R. ; Snell, E. Joyce (1968). "Una definición general de residuos". Journal of the Royal Statistical Society, Serie B . 30 (2): 248– 275. JSTOR 2984505 . 
• Weisberg, Sanford (1985). Regresión lineal aplicada (2.ª  ed.). Nueva York: Wiley. ISBN 9780471879572Consultado el 23 de febrero de 2013 .
• "Errores, teoría de" , Enciclopedia de Matemáticas , EMS Press , 2001 [1994]

• Contenido multimedia relacionado con errores y residuos en Wikimedia Commons.