Homocedasticidad y heterocedasticidad

En estadística , una secuencia de variables aleatorias es homocedástica ( / ˌ h oʊ m oʊ s k ə ˈ d æ s t ɪ k / ) si todas sus variables aleatorias tienen la misma varianza finita ; esto también se conoce como homogeneidad de varianza . La noción complementaria se llama heterocedasticidad , también conocida como heterogeneidad de varianza . ^{[ a ]} ​​El término proviene del griego antiguo σκεδάννυμι skedánnymi , 'dispersar'. ^{[ 1 ] [ 2 ] [ 3 ]}

Suponer que una variable es homocedástica cuando en realidad es heterocedástica ( / ˌ h ɛ t ər oʊ s k ə ˈ d æ s t ɪ k / ) da como resultado estimaciones puntuales insesgadas pero ineficientes y estimaciones sesgadas de los errores estándar , y puede dar como resultado una sobreestimación de la bondad de ajuste medida por el coeficiente de Pearson .

La existencia de heterocedasticidad es una preocupación importante en el análisis de regresión y el análisis de varianza , ya que invalida las pruebas estadísticas de significancia que asumen que los errores de modelado tienen la misma varianza. Si bien el estimador de mínimos cuadrados ordinarios (MCO) sigue siendo insesgado en presencia de heterocedasticidad, es ineficiente y la inferencia basada en el supuesto de homocedasticidad es engañosa. En ese caso, los mínimos cuadrados generalizados (MCG) se usaban con frecuencia en el pasado. ^{[ 4 ] [ 5 ]} Actualmente, la práctica estándar en econometría es incluir errores estándar consistentes con heterocedasticidad en lugar de usar MCG, ya que MCG puede mostrar un fuerte sesgo en muestras pequeñas si se desconoce la función cedástica real . ^{[ 6 ]}

Debido a que la heterocedasticidad afecta las expectativas del segundo momento de los errores, su presencia se denomina especificación errónea de segundo orden. ^{[ 7 ]}

El econometrista Robert Engle fue galardonado con el Premio Nobel de Economía de 2003 por sus estudios sobre el análisis de regresión en presencia de heterocedasticidad, que lo llevaron a formular la técnica de modelado de heterocedasticidad condicional autorregresiva (ARCH). ^{[ 8 ]}

Consideremos la ecuación de regresión lineal .${\displaystyle y_{i}=x_{i}\beta _{i}+\varepsilon _{i},\ i=1,\ldots ,N,}$donde la variable aleatoria dependiente${\displaystyle y_{i}}$es igual a la variable determinista${\displaystyle x_{i}}$coeficiente de veces${\displaystyle \beta _{i}}$más un término de perturbación aleatoria${\displaystyle \varepsilon _ {i}}$que tiene media cero. Las perturbaciones son homocedásticas si la varianza de${\displaystyle \varepsilon _ {i}}$es una constante${\displaystyle \sigma ^{2}}$; de lo contrario, son heterocedásticos. En particular, las perturbaciones son heterocedásticas si la varianza de${\displaystyle \varepsilon _ {i}}$depende de${\displaystyle i}$o sobre el valor de${\displaystyle x_{i}}$. Una forma en que podrían ser heterocedásticos es si${\displaystyle \sigma _{i}^{2}=x_{i}\sigma ^{2}}$(un ejemplo de una función cedástica ), por lo que la varianza es proporcional al valor de${\displaystyle x}$.

De manera más general, si la matriz de varianza-covarianza de la perturbación${\displaystyle \varepsilon _ {i}}$al otro lado de${\displaystyle i}$tiene una diagonal no constante, la perturbación es heterocedástica. ^{[ 9 ]} Las matrices a continuación son covarianzas cuando hay solo tres observaciones a lo largo del tiempo. La perturbación en la matriz A es homocedástica; este es el caso simple donde MCO es el mejor estimador lineal insesgado. Las perturbaciones en las matrices B y C son heterocedásticas. En la matriz B, la varianza varía con el tiempo, aumentando constantemente a lo largo del tiempo; en la matriz C, la varianza depende del valor de${\displaystyle x}$. La perturbación en la matriz D es homocedástica porque las varianzas diagonales son constantes, aunque las covarianzas fuera de la diagonal no sean cero y los mínimos cuadrados ordinarios sean ineficientes por una razón diferente: la autocorrelación.

${\displaystyle {\begin{aligned}A&=\sigma ^{2}{\begin{bmatrix}1&0&0\\0&1&0\\0&0&1\\\end{bmatrix}}&B&=\sigma ^{2}{\begin{bmatrix}1&0&0\\0&2&0\\0&0&3\\\end{bmatrix}}&C&=\sigma ^{2}{\begin{bmatrix}x_{1}&0&0\\0&x_{2}&0\\0&0&x_{3}\\\end{bmatrix}}&D&=\sigma ^{2}{\begin{bmatrix}1&\rho &\rho ^{2}\\\rho &1&\rho \\\rho ^{2}&\rho &1\\\end{bmatrix}}\end{aligned}}}$

La heterocedasticidad suele producirse cuando existe una gran diferencia entre los tamaños de las observaciones.

Un ejemplo clásico de heterocedasticidad es la relación entre ingresos y gastos en alimentación. Una persona adinerada puede comer alimentos baratos en ocasiones y alimentos caros en otras. Una persona pobre casi siempre comerá alimentos baratos. Por lo tanto, las personas con mayores ingresos presentan una mayor variabilidad en sus gastos en alimentación.

Durante el lanzamiento de un cohete, un observador mide la distancia recorrida una vez por segundo. En los primeros segundos, las mediciones pueden tener una precisión de hasta un centímetro. Después de cinco minutos, la precisión puede ser de tan solo 100  metros, debido al aumento de la distancia, la distorsión atmosférica y otros factores. Por lo tanto, las mediciones de distancia pueden presentar heterocedasticidad.

Uno de los supuestos del modelo clásico de regresión lineal es la ausencia de heterocedasticidad. Si se incumple este supuesto, el teorema de Gauss-Markov deja de aplicarse, lo que implica que los estimadores de mínimos cuadrados ordinarios ( MCO ) no son los mejores estimadores lineales insesgados (BLUE) y su varianza no es la más baja entre todos los demás estimadores insesgados. La heterocedasticidad no provoca sesgo en las estimaciones de los coeficientes mediante mínimos cuadrados ordinarios, aunque sí puede provocar sesgo en las estimaciones de la varianza (y, por lo tanto, en los errores estándar) de los coeficientes, posiblemente por encima o por debajo de la varianza poblacional real. Por consiguiente, el análisis de regresión con datos heterocedásticos seguirá proporcionando una estimación insesgada de la relación entre la variable predictora y la variable de respuesta, pero los errores estándar y, por lo tanto, las inferencias obtenidas del análisis de datos, son cuestionables. Los errores estándar sesgados conducen a inferencias sesgadas, por lo que los resultados de las pruebas de hipótesis pueden ser erróneos. Por ejemplo, si se realiza un análisis de mínimos cuadrados ordinarios (MCO) en un conjunto de datos heterocedásticos, lo que produce una estimación del error estándar sesgada, un investigador podría no rechazar una hipótesis nula a un nivel de significancia determinado , cuando esa hipótesis nula en realidad no es característica de la población real (lo que implica un error de tipo II ).

Bajo ciertas suposiciones, el estimador MCO tiene una distribución asintótica normal cuando se normaliza y centra adecuadamente (incluso cuando los datos no provienen de una distribución normal ). Este resultado se utiliza para justificar el uso de una distribución normal o una distribución chi-cuadrado (dependiendo de cómo se calcule el estadístico de prueba ) al realizar una prueba de hipótesis . Esto se mantiene incluso bajo heterocedasticidad. Más precisamente, el estimador MCO en presencia de heterocedasticidad es asintóticamente normal, cuando se normaliza y centra adecuadamente, con una matriz de varianza-covarianza que difiere del caso de homocedasticidad. En 1980, White propuso un estimador consistente para la matriz de varianza-covarianza de la distribución asintótica del estimador MCO. ^{[ 2 ]} Esto valida el uso de pruebas de hipótesis con estimadores MCO y el estimador de varianza-covarianza de White bajo heterocedasticidad.

La heterocedasticidad también es un problema práctico importante que se presenta en los problemas de ANOVA . ^{[ 10 ]} La prueba F aún puede utilizarse en algunas circunstancias. ^{[ 11 ]}

Sin embargo, se ha dicho que los estudiantes de econometría no deberían reaccionar de forma exagerada ante la heterocedasticidad. ^{[ 3 ]} Un autor escribió: «Vale la pena corregir la varianza de error desigual solo cuando el problema es grave». ^{[ 12 ]} Además, otra advertencia fue: «La heterocedasticidad nunca ha sido una razón para descartar un modelo que, de otro modo, sería bueno». ^{[ 3 ] [ 13 ]} Con la llegada de los errores estándar consistentes con la heterocedasticidad, que permiten la inferencia sin especificar el segundo momento condicional del término de error, probar la homocedasticidad condicional no es tan importante como en el pasado. ^{[ 6 ]}

Para cualquier modelo no lineal (por ejemplo, los modelos Logit y Probit ), la heterocedasticidad tiene consecuencias más graves: las estimaciones de máxima verosimilitud (EMV) de los parámetros suelen estar sesgadas e inconsistentes (a menos que la función de verosimilitud se modifique para tener en cuenta correctamente la forma precisa de la heterocedasticidad o que la distribución pertenezca a la familia exponencial lineal y la función de esperanza condicional esté correctamente especificada). ^{[ 14 ] [ 15 ]} Sin embargo, en el contexto de los modelos de elección binaria ( Logit o Probit ), la heterocedasticidad solo produce un efecto de escala positivo en la media asintótica de la EMV mal especificada (es decir, el modelo que ignora la heterocedasticidad). ^{[ 16 ]} Como resultado, las predicciones basadas en la EMV mal especificada seguirán siendo correctas. Además, la EMV Probit y Logit mal especificada tendrá una distribución normal asintótica, lo que permite realizar las pruebas de significancia habituales (con la matriz de varianza-covarianza apropiada). Sin embargo, con respecto a la prueba de hipótesis general, como señala Greene , "el simple cálculo de una matriz de covarianza robusta para un estimador que de otro modo sería inconsistente no lo redime. En consecuencia, la utilidad de una matriz de covarianza robusta en este contexto no está clara". ^{[ 17 ]}

Existen varias correcciones comunes para la heterocedasticidad. Estas son:

• Una transformación estabilizadora de los datos, por ejemplo, datos logaritmizados . Las series no logaritmizadas que crecen exponencialmente suelen presentar una variabilidad creciente a medida que avanzan en el tiempo. Sin embargo, la variabilidad en términos porcentuales puede ser bastante estable.
• Utilice una especificación diferente para el modelo ( variables X diferentes , o quizás transformaciones no lineales de las variables X ).
• Aplique un método de estimación de mínimos cuadrados ponderados , en el que se aplica MCO a valores transformados o ponderados de X e Y. Los pesos varían entre las observaciones, generalmente en función de las varianzas de error cambiantes. En una variante, los pesos están directamente relacionados con la magnitud de la variable dependiente, lo que corresponde a la regresión porcentual de mínimos cuadrados. ^{[ 18 ]}
• Los errores estándar consistentes con heterocedasticidad (HCSE), aunque siguen estando sesgados, mejoran las estimaciones de MCO. ^{[ 2 ]} HCSE es un estimador consistente de errores estándar en modelos de regresión con heterocedasticidad. Este método corrige la heterocedasticidad sin alterar los valores de los coeficientes. Este método puede ser superior al MCO regular porque, si hay heterocedasticidad, la corrige; sin embargo, si los datos son homocedásticos, los errores estándar son equivalentes a los errores estándar convencionales estimados por MCO. Se han propuesto varias modificaciones del método de White para calcular errores estándar consistentes con heterocedasticidad como correcciones con propiedades superiores para muestras finitas.
• El remuestreo bootstrap puede utilizarse como método de remuestreo que respeta las diferencias en la varianza condicional del término de error. Una alternativa es remuestrear las observaciones en lugar de los errores. Cabe destacar que remuestrear los errores sin tener en cuenta los valores asociados a la observación impone la homocedasticidad y, por lo tanto, produce inferencias incorrectas.
• Utilice MINQUE o incluso los estimadores habituales.${\textstyle s_{i}^{2}=(n_{i}-1)^{-1}\sum _{j}\left(y_{ij}-{\bar {y}}_{i}\right)^{2}}$(para${\displaystyle i=1,2,...,k}$muestras independientes con${\displaystyle j=1,2,...,n_{i}}$observaciones cada una), cuyas pérdidas de eficiencia no son sustanciales cuando el número de observaciones por muestra es grande (${\displaystyle n_{i}>5}$), especialmente para un número pequeño de muestras independientes. ^{[ 19 ]}

Los residuos pueden ser probados para homocedasticidad usando la prueba de Breusch-Pagan , ^{[ 20 ]} que realiza una regresión auxiliar de los residuos al cuadrado sobre las variables independientes. De esta regresión auxiliar, se retiene la suma de cuadrados explicada, se divide por dos y luego se convierte en el estadístico de prueba para una distribución chi-cuadrado con grados de libertad iguales al número de variables independientes. ^{[ 21 ]} La hipótesis nula de esta prueba chi-cuadrado es homocedasticidad, y la hipótesis alternativa indicaría heterocedasticidad. Dado que la prueba de Breusch-Pagan es sensible a desviaciones de la normalidad o tamaños de muestra pequeños, comúnmente se usa en su lugar la prueba de Koenker-Bassett o "Breusch-Pagan generalizada". ^{[ 22 ]} De la regresión auxiliar, retiene el valor R cuadrado que luego se multiplica por el tamaño de la muestra, y luego se convierte en el estadístico de prueba para una distribución chi-cuadrado (y usa los mismos grados de libertad). Aunque no es necesario para la prueba de Koenker-Bassett, la prueba de Breusch-Pagan requiere que los residuos al cuadrado también se dividan por la suma de los cuadrados de los residuos dividida por el tamaño de la muestra. ^{[ 22 ]} La prueba de heterocedasticidad grupal se puede realizar con la prueba de Goldfeld-Quandt . ^{[ 23 ]}

Debido al uso estándar de errores estándar consistentes con heterocedasticidad y al problema de la prueba previa , los econometristas hoy en día rara vez utilizan pruebas de heterocedasticidad condicional. ^{[ 6 ]}

• Heterogeneidad
• Error esférico
• Errores estándar consistentes con la heterocedasticidad

La mayoría de los libros de texto de estadística incluyen al menos algo de material sobre homocedasticidad y heterocedasticidad. Algunos ejemplos son:

• Asteriou, Dimitros; Hall, Stephen G. (2011). Econometría aplicada (Segunda  edición). Palgrave Macmillan. pp. 109–147 . ISBN  978-0-230-27182-1.
• Davidson, Russell; MacKinnon, James G. (1993). Estimación e inferencia en econometría . Nueva York: Oxford University Press. págs. 547–582 . ISBN  978-0-19-506011-9.
• Dougherty, Christopher (2011). Introducción a la econometría . Nueva York: Oxford University Press. pp. 280–299 . ISBN  978-0-19-956708-9.
• Gujarati, Damodar N .; Porter, Dawn C. (2009). Econometría básica (Quinta  ed.). Nueva York: McGraw-Hill Irwin. págs. 365–411 . ISBN  978-0-07-337577-9.
• Kmenta, Jan (1986). Elementos de econometría (Segunda  edición). Nueva York: Macmillan. pp. 269–298 . ISBN  978-0-02-365070-3.
• Maddala, GS ; Lahiri, Kajal (2009). Introducción a la econometría (Cuarta  ed.). Nueva York: Wiley. pp. 211–238 . ISBN  978-0-470-01512-4.

• Clase de econometría (tema: heterocedasticidad) en YouTube por Mark Thoma