Errores estándar consistentes con la heterocedasticidad

El tema de los errores estándar consistentes con la heterocedasticidad ( HC ) surge en estadística y econometría en el contexto de la regresión lineal y el análisis de series temporales . Estos también se conocen como errores estándar robustos a la heterocedasticidad (o simplemente errores estándar robustos ), errores estándar de Eicker-Huber-White (también errores estándar de Huber-White o errores estándar de White ), ^{[ 1 ]} para reconocer las contribuciones de Friedhelm Eicker , ^{[ 2 ]} Peter J. Huber , ^{[ 3 ]} y Halbert White . ^{[ 4 ]}

En la regresión y el modelado de series temporales, las formas básicas de los modelos utilizan el supuesto de que los errores o perturbaciones${\textstyle \varepsilon _{i}}$tienen la misma varianza en todos los puntos de observación. Cuando esto no sucede, se dice que los errores son heterocedásticos o que tienen heterocedasticidad , y este comportamiento se reflejará en los residuos.${\textstyle {\widehat {\varepsilon }}_{i}}$estimado a partir de un modelo ajustado. Se utilizan errores estándar consistentes con la heterocedasticidad para permitir el ajuste de un modelo que contiene residuos heterocedásticos. El primer enfoque de este tipo fue propuesto por Huber (1967), y desde entonces se han desarrollado procedimientos mejorados para datos de corte transversal, datos de series temporales y estimación GARCH .

Los errores estándar consistentes con la heterocedasticidad que difieren de los errores estándar clásicos pueden indicar una especificación incorrecta del modelo. Sustituir los errores estándar consistentes con la heterocedasticidad no resuelve esta especificación incorrecta, lo que puede generar sesgos en los coeficientes. En la mayoría de los casos, el problema debe identificarse y corregirse. ^{[ 5 ]} Otros tipos de ajustes de errores estándar, como los errores estándar agrupados o los errores estándar HAC , pueden considerarse como extensiones de los errores estándar HC.

Los errores estándar consistentes con la heterocedasticidad fueron introducidos por Friedhelm Eicker , ^{[ 6 ] [ 7 ]} y popularizados en econometría por Halbert White .

Consideremos el modelo de regresión lineal para el escalar${\displaystyle y}$.

${\displaystyle y=\mathbf {x} ^{\top }{\boldsymbol {\beta }}+\varepsilon ,\,}$

dónde${\displaystyle \mathbf {x} }$es un vector columna k × 1 de variables explicativas (características),${\displaystyle {\boldsymbol {\beta }}}$es un vector columna k × 1 de parámetros a estimar, y${\displaystyle \varepsilon }$es el error residual .

El estimador de mínimos cuadrados ordinarios (MCO) es

${\displaystyle {\widehat {\boldsymbol {\beta }}}_{\mathrm {OLS} }=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {y} .\,}$

dónde${\displaystyle \mathbf {y} }$es un vector de observaciones${\displaystyle y_{i}}$, y${\displaystyle \mathbf {X} }$denota la matriz de apilados${\displaystyle \mathbf {x} _ {i}}$valores observados en los datos.

Si los errores de muestra tienen varianza igual${\displaystyle \sigma ^{2}}$y no están correlacionadas , entonces la estimación de mínimos cuadrados de${\displaystyle {\boldsymbol {\beta }}}$es BLUE (mejor estimador lineal insesgado), y su varianza se estima con

${\displaystyle {\hat {\mathbb {V} }}\left[{\widehat {\boldsymbol {\beta }}}_{\mathrm {OLS} }\right]=s^{2}(\mathbf {X} ^{\top }\mathbf {X} )^{-1},\quad s^{2}={\frac {\sum _{i=0}^{n}{\widehat {\varepsilon }}_{i}^{2}}{nk}}}$

dónde${\displaystyle {\widehat {\varepsilon }}_{i}=y_{i}-\mathbf {x} _{i}^{\top }{\widehat {\boldsymbol {\beta }}}_{\mathrm {OLS} }}$son los residuos de la regresión.

Cuando los términos de error no tienen varianza constante (es decir, el supuesto de${\displaystyle \mathbb {E} [\varepsilon \varepsilon ^{\top }]=\sigma ^{2}\mathbf {I} _{n}}$(es falso), el estimador MCO pierde sus propiedades deseables. La fórmula para la varianza ahora no se puede simplificar:

${\displaystyle \mathbb {V} \left[{\widehat {\boldsymbol {\beta }}}_{\mathrm {OLS} }\right]=\mathbb {V} {\big [}(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {y} {\big ]}=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {\Sigma } \mathbf {X} (\mathbf {X} ^{\top }\mathbf {X} )^{-1}}$

dónde${\displaystyle \mathbf {\Sigma } =\mathbb {V} [\varepsilon ].}$

Si bien el estimador puntual de MCO sigue siendo insesgado, no es "mejor" en el sentido de tener un error cuadrático medio mínimo, y el estimador de varianza de MCO${\displaystyle {\hat {\mathbb {V} }}\left[{\widehat {\boldsymbol {\beta }}}_{\mathrm {OLS} }\right]}$no proporciona una estimación consistente de la varianza de las estimaciones de MCO.

Sin embargo, para cualquier modelo no lineal (por ejemplo, los modelos logit y probit ), la heterocedasticidad tiene consecuencias más graves: las estimaciones de máxima verosimilitud de los parámetros estarán sesgadas (en una dirección desconocida), además de ser inconsistentes (a menos que la función de verosimilitud se modifique para tener en cuenta correctamente la forma precisa de la heterocedasticidad). ^{[ 8 ] [ 9 ]} Como señaló Greene , “simplemente calcular una matriz de covarianza robusta para un estimador que de otro modo sería inconsistente no lo redime”. ^{[ 10 ]}

Si los errores de regresión${\displaystyle \varepsilon _ {i}}$son independientes, pero tienen variaciones distintas${\displaystyle \sigma _{i}^{2}}$, entonces${\displaystyle \mathbf {\Sigma } =\operatorname {diag} (\sigma _{1}^{2},\ldots ,\sigma _{n}^{2})}$que se puede estimar con${\displaystyle {\widehat {\sigma }}_{i}^{2}={\widehat {\varepsilon }}_{i}^{2}}$Esto proporciona el estimador de White (1980), a menudo denominado HCE (estimador consistente con heterocedasticidad):

${\displaystyle {\begin{aligned}{\hat {\mathbb {V} }}_{\text{HCE}}{\big [}{\widehat {\boldsymbol {\beta }}}_{\text{OLS}}{\big ]}&={\frac {1}{n}}{\bigg (}{\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\bigg )}^{-1}{\bigg (}{\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\widehat {\varepsilon }}_{i}^{2}{\bigg )}{\bigg (}{\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\bigg )}^{-1}\\&=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}(\mathbf {X} ^{\top }\operatorname {diag} ({\widehat {\varepsilon }}_{1}^{2},\ldots ,{\widehat {\varepsilon }}_{n}^{2})\mathbf {X} )(\mathbf {X} ^{\top }\mathbf {X} )^{-1},\end{aligned}}}$

mientras que lo anterior${\displaystyle \mathbf {X} }$denota la matriz de apilados${\displaystyle \mathbf {x} _{i}^{\top }}$valores a partir de los datos. El estimador se puede derivar en términos del método generalizado de momentos (GMM).

También se suele hablar en la literatura (incluido el artículo de White) de la matriz de covarianza.${\displaystyle {\widehat {\mathbf {\Omega } }}_{n}}$del${\displaystyle {\sqrt {n}}}$-distribución limitante consistente:

${\displaystyle {\sqrt {n}}({\widehat {\boldsymbol {\beta }}}_{n}-{\boldsymbol {\beta }})\,\xrightarrow {d} \,{\mathcal {N}}(\mathbf {0} ,\mathbf {\Omega } ),}$

dónde

${\displaystyle \mathbf {\Omega } =\mathbb {E} [\mathbf {X} \mathbf {X} ^{\top }]^{-1}\mathbb {V} [\mathbf {X} {\boldsymbol {\varepsilon }}]\operatorname {\mathbb {E} } [\mathbf {X} \mathbf {X} ^{\top }]^{-1},}$

y

${\displaystyle {\begin{aligned}{\widehat {\mathbf {\Omega } }}_{n}&={\bigg (}{\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\bigg )}^{-1}{\bigg (}{\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\widehat {\varepsilon }}_{i}^{2}{\bigg )}{\bigg (}{\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\bigg )}^{-1}\\&=n(\mathbf {X} ^{\top }\mathbf {X} )^{-1}(\mathbf {X} ^{\top }\operatorname {diag} ({\widehat {\varepsilon }}_{1}^{2},\ldots ,{\widehat {\varepsilon }}_{n}^{2})\mathbf {X} )(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\end{aligned}}}$

De este modo,

${\displaystyle {\widehat {\mathbf {\Omega } }}_{n}=n\cdot {\hat {\mathbb {V} }}_{\text{HCE}}[{\widehat {\boldsymbol {\beta }}}_{\text{OLS}}]}$

y

${\displaystyle {\widehat {\mathbb {V} }}[\mathbf {X} {\boldsymbol {\varepsilon }}]={\frac {1}{n}}\sum _{i}\mathbf {x} _{i}\mathbf {x} _{i}^{\top }{\widehat {\varepsilon }}_{i}^{2}={\frac {1}{n}}\mathbf {X} ^{\top }\operatorname {diag} ({\widehat {\varepsilon }}_{1}^{2},\ldots ,{\widehat {\varepsilon }}_{n}^{2})\mathbf {X} .}$

La matriz de covarianza que nos interesa depende precisamente del contexto.

En MacKinnon y White (1985) se propusieron estimadores alternativos que corrigen las varianzas desiguales de los residuos de regresión debido a diferentes apalancamientos . ^{[ 11 ]} A diferencia del estimador asintótico de White, sus estimadores son insesgados cuando los datos son homocedásticos.

De las cuatro opciones disponibles, a menudo denominadas HC0-HC3, la especificación HC3 parece ser la más eficaz, ya que las pruebas que utilizan el estimador HC3 presentan mayor potencia y una mayor proximidad al tamaño objetivo , especialmente en muestras pequeñas. Cuanto mayor sea la muestra, menor será la diferencia entre los distintos estimadores. ^{[ 12 ]}

Una alternativa a modelar explícitamente la heterocedasticidad es utilizar un método de remuestreo como el bootstrap salvaje . Dado que el bootstrap estudentizado , que estandariza el estadístico remuestreado por su error estándar, produce un refinamiento asintótico, ^{[ 13 ]} los errores estándar robustos a la heterocedasticidad siguen siendo útiles.

En lugar de tener en cuenta los errores heterocedásticos, la mayoría de los modelos lineales pueden transformarse para incluir términos de error homocedásticos (a menos que el término de error sea heterocedástico por definición, por ejemplo, en un modelo de probabilidad lineal ). Una forma de hacerlo es mediante mínimos cuadrados ponderados , que además ofrecen propiedades de eficiencia mejoradas.

• EViews : La versión 8 de EViews ofrece tres métodos diferentes para mínimos cuadrados robustos: estimación M (Huber, 1973), estimación S (Rousseeuw y Yohai, 1984) y estimación MM (Yohai, 1987). ^{[ 14 ]}
• Julia : el CovarianceMatricespaquete ofrece varios métodos para matrices de covarianza de varianza robustas heterocedásticas. ^{[ 15 ]}
• MATLAB : Consulte la hacfunción en la caja de herramientas de econometría. ^{[ 16 ]}
• Python : El paquete Statsmodel ofrece varias estimaciones de error estándar robustas; consulte statsmodels.regression.linear_model.RegressionResults para obtener más información.
• R : el vcovHC()comando del paquete sandwich o lm_robust()del paquete estimatr . ^{[ 17 ] [ 18 ] [ 19 ]}
• RATS : la opción robusterrors está disponible en muchos de los comandos de regresión y optimización ( linreg , nlls , etc.).
• Stata : robustopción aplicable en muchos procedimientos basados ​​en pseudoverosimilitud. ^{[ 20 ]}
• Gretl : la opción --robustde varios comandos de estimación (como ols) en el contexto de un conjunto de datos transversales produce errores estándar robustos. ^{[ 21 ]}

• Freedman, David A. (2006). "Sobre el llamado 'estimador sándwich de Huber' y los 'errores estándar robustos'"". The American Statistician . 60 (4): 299– 302. doi : 10.1198/000313006X152207 . S2CID 6222876 . 
• Hardin, James W. (2003). «La estimación sándwich de la varianza». En Fomby, Thomas B.; Hill, R. Carter (eds.). Estimación de máxima verosimilitud de modelos mal especificados: veinte años después . Ámsterdam: Elsevier. pp. 45–74 . ISBN  0-7623-1075-8.
• Hayes, Andrew F.; Cai, Li (2007). "Uso de estimadores de error estándar consistentes con heterocedasticidad en regresión MCO: Introducción e implementación de software" . Behavior Research Methods . 39 (4): 709–722 . doi : 10.3758/BF03192961 . PMID 18183883 . 
• King, Gary ; Roberts, Margaret E. (2015). "Cómo los errores estándar robustos exponen problemas metodológicos que no solucionan y qué hacer al respecto" . Análisis Político . 23 (2): 159– 179. doi : 10.1093/pan/mpu015 .
• Wooldridge, Jeffrey M. (2009). «Inferencia robusta a la heterocedasticidad tras la estimación por mínimos cuadrados ordinarios». Econometría introductoria  : un enfoque moderno (cuarta  ed.). Mason: South-Western. pp. 265–271 . ISBN  978-0-324-66054-8.
• Buja, Andreas, et al. "Modelos como aproximaciones: una conspiración de regresores aleatorios y desviaciones del modelo contra la inferencia clásica en regresión." Statistical Science (2015): 1. pdf