mínimos cuadrados generalizados

En estadística , el método de mínimos cuadrados generalizados ( GLS ) se utiliza para estimar los parámetros desconocidos en un modelo de regresión lineal . Se emplea cuando existe una correlación no nula entre los residuos del modelo de regresión. El GLS se utiliza para mejorar la eficiencia estadística y reducir el riesgo de obtener inferencias erróneas, en comparación con los métodos convencionales de mínimos cuadrados y mínimos cuadrados ponderados . Fue descrito por primera vez por Alexander Aitken en 1935. ^{[ 1 ]}

Requiere conocer la matriz de covarianza de los residuos. Si se desconoce, estimar dicha matriz da lugar al método de mínimos cuadrados generalizados factibles (FGLS). Sin embargo, FGLS ofrece menos garantías de mejora.

En los modelos de regresión lineal estándar , se observan datos${\displaystyle \{y_{i},x_{ij}\}_{i=1,\dots ,n,j=2,\dots ,k}}$en n unidades estadísticas con k  −  1 valores predictores y un valor de respuesta cada una.

Los valores de respuesta se colocan en un vector,$${\displaystyle \mathbf {y} \equiv {\begin{pmatrix}y_{1}\\\vdots \\y_{n}\end{pmatrix}},}$$ y los valores predictivos se colocan en la matriz de diseño ,$${\displaystyle \mathbf {X} \equiv {\begin{pmatrix}1&x_{12}&x_{13}&\cdots &x_{1k}\\1&x_{22}&x_{23}&\cdots &x_{2k}\\\vdots &\vdots &\vdots &\ddots &\vdots \\1&x_{n2}&x_{n3}&\cdots &x_{nk}\end{pmatrix}},}$$ donde cada fila es un vector de los${\displaystyle k}$variables predictoras (incluida una constante) para la${\displaystyle i}$punto de datos.

El modelo supone que la media condicional de${\displaystyle \mathbf {y} }$dado${\displaystyle \mathbf {X} }$ser una función lineal de${\displaystyle \mathbf {X} }$y que la varianza condicional del término de error dado${\displaystyle \mathbf {X} }$es una matriz de covarianza no singular conocida ,${\displaystyle \mathbf {\Omega } }$. Eso es,$${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},\quad \operatorname {E} [{\boldsymbol {\varepsilon }}\mid \mathbf {X} ]=0,\quad \operatorname {Cov} [{\boldsymbol {\varepsilon }}\mid \mathbf {X} ]={\boldsymbol {\Omega }},}$$ dónde${\displaystyle {\boldsymbol {\beta }}\in \mathbb {R} ^{k}}$es un vector de constantes desconocidas, llamadas "coeficientes de regresión", que se estiman a partir de los datos.

Si${\displaystyle \mathbf {b} }$es una estimación candidata para${\displaystyle {\boldsymbol {\beta }}}$, entonces el vector residual para${\displaystyle \mathbf {b} }$es${\displaystyle \mathbf {y} -\mathbf {X} \mathbf {b} }$El método de mínimos cuadrados generalizados estima${\displaystyle {\boldsymbol {\beta }}}$minimizando la longitud de Mahalanobis al cuadrado de este vector residual:$${\displaystyle {\begin{aligned}{\hat {\boldsymbol {\beta }}}&={\underset {\mathbf {b} }{\operatorname {argmin} }}\,(\mathbf {y} -\mathbf {X} \mathbf {b} )^{\mathrm {T} }\mathbf {\Omega } ^{-1}(\mathbf {y} -\mathbf {X} \mathbf {b} )\\&={\underset {\mathbf {b} }{\operatorname {argmin} }}\,\mathbf {y} ^{\mathrm {T} }\,\mathbf {\Omega } ^{-1}\mathbf {y} +(\mathbf {X} \mathbf {b} )^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {X} \mathbf {b} -\mathbf {y} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {X} \mathbf {b} -(\mathbf {X} \mathbf {b} )^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {y} \,,\end{aligned}}}$$lo cual es equivalente a$${\displaystyle {\hat {\boldsymbol {\beta }}}={\underset {\mathbf {b} }{\operatorname {argmin} }}\,\mathbf {y} ^{\mathrm {T} }\,\mathbf {\Omega } ^{-1}\mathbf {y} +\mathbf {b} ^{\mathrm {T} }\mathbf {X} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {X} \mathbf {b} -2\mathbf {b} ^{\mathrm {T} }\mathbf {X} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {y} ,}$$que es un problema de programación cuadrática . El punto estacionario de la función objetivo ocurre cuando$${\displaystyle 2\mathbf {X} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {X} {\mathbf {b} }-2\mathbf {X} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {y} =0,}$$por lo tanto el estimador es$${\displaystyle {\hat {\boldsymbol {\beta }}}=\left(\mathbf {X} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {X} \right)^{-1}\mathbf {X} ^{\mathrm {T} }\mathbf {\Omega } ^{-1}\mathbf {y} .}$$La cantidad${\displaystyle \mathbf {\Omega } ^{-1}}$se conoce como matriz de precisión (o matriz de dispersión ), una generalización de la matriz de pesos diagonal .

Un caso especial de GLS, denominado mínimos cuadrados ponderados (WLS), se produce cuando todos los elementos fuera de la diagonal de Ω son 0. Esta situación surge cuando las varianzas de los valores observados son desiguales o cuando existe heterocedasticidad , pero no hay correlaciones entre las varianzas observadas. El peso para la unidad i es proporcional al recíproco de la varianza de la respuesta para la unidad i . ^{[ 2 ]}

Los mínimos cuadrados ordinarios pueden interpretarse como una estimación de máxima verosimilitud con la distribución a priori de que los errores son independientes y se distribuyen normalmente con media cero y varianza común. En GLS, la distribución a priori se generaliza al caso en que los errores pueden no ser independientes y pueden tener varianzas diferentes . Para parámetros de ajuste dados${\displaystyle \mathbf {b} }$Se supone que la función de densidad de probabilidad condicional de los errores es:$${\displaystyle p({\boldsymbol {\varepsilon }}|\mathbf {b} )={\frac {1}{\sqrt {(2\pi )^{n}\det {\boldsymbol {\Omega }}}}}\exp \left(-{\frac {1}{2}}{\boldsymbol {\varepsilon }}^{\mathrm {T} }{\boldsymbol {\Omega }}^{-1}{\boldsymbol {\varepsilon }}\right).}$$ Por el teorema de Bayes ,$${\displaystyle p(\mathbf {b} |{\boldsymbol {\varepsilon }})={\frac {p({\boldsymbol {\varepsilon }}|\mathbf {b} )p(\mathbf {b} )}{p({\boldsymbol {\varepsilon }})}}.}$$En GLS, se toma una distribución a priori uniforme (impropia) para${\displaystyle p(\mathbf {b} )}$y como${\displaystyle p({\boldsymbol {\varepsilon }})}$es una distribución marginal, no depende de${\displaystyle \mathbf {b} }$Por lo tanto, la probabilidad logarítmica es$${\displaystyle \log p(\mathbf {b} |{\boldsymbol {\varepsilon }})=\log p({\boldsymbol {\varepsilon }}|\mathbf {b} )+\cdots =-{\frac {1}{2}}{\boldsymbol {\varepsilon }}^{\mathrm {T} }{\boldsymbol {\Omega }}^{-1}{\boldsymbol {\varepsilon }}+\cdots ,}$$donde los términos ocultos son aquellos que no dependen de${\displaystyle \mathbf {b} }$, y${\displaystyle \log p({\boldsymbol {\varepsilon }}|\mathbf {b} )}$es la log-verosimilitud . La estimación de máxima a posteriori (MAP) es entonces la estimación de máxima verosimilitud (MLE), que es equivalente al problema de optimización anterior,${\displaystyle {\hat {\boldsymbol {\beta }}}={\underset {\mathbf {b} }{\operatorname {argmax} }}\;p(\mathbf {b} |{\boldsymbol {\varepsilon }})={\underset {\mathbf {b} }{\operatorname {argmax} }}\;\log p(\mathbf {b} |{\boldsymbol {\varepsilon }})={\underset {\mathbf {b} }{\operatorname {argmax} }}\;\log p({\boldsymbol {\varepsilon }}|\mathbf {b} ),}$

donde el problema de optimización se ha reescrito utilizando el hecho de que el logaritmo es una función estrictamente creciente y la propiedad de que el argumento que resuelve un problema de optimización es independiente de los términos de la función objetivo que no involucran dichos términos. Sustituyendo${\displaystyle \mathbf {y} -\mathbf {X} \mathbf {b} }$para${\displaystyle {\boldsymbol {\varepsilon }}}$, ${\displaystyle {\hat {\boldsymbol {\beta }}}={\underset {\mathbf {b} }{\operatorname {argmin} }}\;{\frac {1}{2}}(\mathbf {y} -\mathbf {X} \mathbf {b} )^{\mathrm {T} }{\boldsymbol {\Omega }}^{-1}(\mathbf {y} -\mathbf {X} \mathbf {b} ).}$

Si la covarianza de los errores${\displaystyle \Omega }$es desconocido, se puede obtener una estimación consistente de${\displaystyle \Omega }$, decir${\displaystyle {\widehat {\Omega }}}$, ^{[ 3 ]} utilizando una versión implementable de GLS conocida como el estimador de mínimos cuadrados generalizados factibles ( FGLS ).

En FGLS, el modelado se lleva a cabo en dos etapas:

1. El modelo se estima mediante MCO u otro estimador consistente (pero ineficiente), y los residuos se utilizan para construir un estimador consistente de la matriz de covarianza de los errores (para ello, a menudo es necesario examinar el modelo añadiendo restricciones adicionales; por ejemplo, si los errores siguen un proceso de series temporales, un estadístico generalmente necesita algunos supuestos teóricos sobre este proceso para garantizar que se disponga de un estimador consistente).
2. Luego, utilizando el estimador consistente de la matriz de covarianza de los errores, se pueden implementar ideas de Mínimos Cuadrados Generalizados (MGL).

Si bien GLS es más eficiente que OLS bajo heterocedasticidad (también escrito heteroskedasticity) o autocorrelación , esto no es cierto para FGLS. El estimador factible es asintóticamente más eficiente (siempre que la matriz de covarianza de los errores se estime de forma consistente), pero para una muestra pequeña o mediana, puede ser en realidad menos eficiente que OLS. Por esta razón, algunos autores prefieren usar OLS y reformular sus inferencias simplemente considerando un estimador alternativo para la varianza del estimador robusto a la heterocedasticidad o la autocorrelación serial. Sin embargo, para muestras grandes, FGLS es preferible a OLS bajo heterocedasticidad o autocorrelación serial. ^{[ 3 ] [ 4 ]} Una advertencia es que el estimador FGLS no siempre es consistente. Un caso en el que FGLS podría ser inconsistente es si hay efectos fijos específicos de cada individuo. ^{[ 5 ]}

En general, este estimador tiene propiedades diferentes a las de GLS. Para muestras grandes (es decir, asintóticamente), todas las propiedades son (bajo condiciones apropiadas) comunes con respecto a GLS, pero para muestras finitas, las propiedades de los estimadores FGLS son desconocidas: varían drásticamente con cada modelo particular y, por regla general, sus distribuciones exactas no pueden derivarse analíticamente. Para muestras finitas, FGLS puede ser menos eficiente que OLS en algunos casos. Por lo tanto, si bien GLS puede ser factible, no siempre es prudente aplicar este método cuando la muestra es pequeña. Un método utilizado para mejorar la precisión de los estimadores en muestras finitas es iterar; es decir, tomar los residuos de FGLS para actualizar el estimador de covarianza de los errores y luego actualizar la estimación FGLS, aplicando la misma idea iterativamente hasta que los estimadores varíen menos que cierta tolerancia. Sin embargo, este método no necesariamente mejora mucho la eficiencia del estimador si la muestra original era pequeña.

Una opción razonable cuando las muestras no son demasiado grandes es aplicar MCO pero descartar el estimador de varianza clásico.

${\displaystyle \sigma ^{2}*(X^{\operatorname {T} }X)^{-1}}$

(lo cual es inconsistente en este marco) y en su lugar usar un estimador HAC (consistente con heterocedasticidad y autocorrelación). En el contexto de la autocorrelación, se puede usar el estimador de Newey-West , y en contextos heterocedásticos, se puede usar el estimador de Eicker-White . Este enfoque es mucho más seguro y es el camino apropiado a seguir a menos que la muestra sea grande, donde "grande" a veces es un tema resbaladizo (por ejemplo, si la distribución del error es asimétrica, la muestra requerida será mucho mayor).

El estimador de mínimos cuadrados ordinarios (MCO) se calcula mediante:

${\displaystyle {\widehat {\beta }}_{\text{OLS}}=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y}$

y estimaciones de los residuos${\displaystyle {\widehat {u}}_{j}=(Y-X{\widehat {\beta }}_{\text{OLS}})_{j}}$se construyen.

Para simplificar, consideremos el modelo para errores heterocedásticos y no autocorrelacionados. Supongamos que la matriz de varianza-covarianza${\displaystyle \Omega }$del vector de error es diagonal, o equivalentemente que los errores de observaciones distintas no están correlacionados. Entonces cada entrada diagonal puede estimarse mediante los residuos ajustados.${\displaystyle {\widehat {u}}_{j}}$entonces${\displaystyle {\widehat {\Omega }}_{OLS}}$puede ser construido por:

${\displaystyle {\widehat {\Omega }}_{\text{OLS}}=\operatorname {diag} ({\widehat {\sigma }}_{1}^{2},{\widehat {\sigma }}_{2}^{2},\dots ,{\widehat {\sigma }}_{n}^{2}).}$

Es importante destacar que los residuos al cuadrado no pueden utilizarse en la expresión anterior; se necesita un estimador de las varianzas de los errores. Para ello, se puede emplear un modelo de heterocedasticidad paramétrico o un estimador no paramétrico.

Estimar${\displaystyle \beta _{FGLS1}}$usando${\displaystyle {\widehat {\Omega }}_{\text{OLS}}}$utilizando ^{[ 4 ]} mínimos cuadrados ponderados :

${\displaystyle {\widehat {\beta }}_{FGLS1}=(X^{\operatorname {T} }{\widehat {\Omega }}_{\text{OLS}}^{-1}X)^{-1}X^{\operatorname {T} }{\widehat {\Omega }}_{\text{OLS}}^{-1}y}$

El procedimiento puede repetirse. La primera iteración viene dada por:

${\displaystyle {\widehat {u}}_{FGLS1}=Y-X{\widehat {\beta }}_{FGLS1}}$

${\displaystyle {\widehat {\Omega }}_{FGLS1}=\operatorname {diag} ({\widehat {\sigma }}_{FGLS1,1}^{2},{\widehat {\sigma }}_{FGLS1,2}^{2},\dots ,{\widehat {\sigma }}_{FGLS1,n}^{2})}$

${\displaystyle {\widehat {\beta }}_{FGLS2}=(X^{\operatorname {T} }{\widehat {\Omega }}_{FGLS1}^{-1}X)^{-1}X^{\operatorname {T} }{\widehat {\Omega }}_{FGLS1}^{-1}y}$

Esta estimación de${\displaystyle {\widehat {\Omega }}}$puede iterarse hasta la convergencia.

Bajo ciertas condiciones de regularidad, el estimador FGLS (o el estimador de sus iteraciones, si se realiza un número finito de iteraciones) se distribuye asintóticamente como:

${\displaystyle {\sqrt {n}}({\hat {\beta }}_{FGLS}-\beta )\ \xrightarrow {d} \ {\mathcal {N}}\!\left(0,\,V\right)}$

dónde${\displaystyle n}$es el tamaño de la muestra y

${\displaystyle V=\operatorname {p-lim} (X^{\operatorname {T} }\Omega ^{-1}X/n)}$

dónde${\displaystyle {\text{p-lim}}}$significa límite en probabilidad .

• Región de confianza
• grados de libertad efectivos
• Estimación de Prais-Winsten
• transformación blanqueadora

• Amemiya, Takeshi (1985). "Teoría generalizada de mínimos cuadrados" . Econometría avanzada . Harvard University Press. ISBN 0-674-00560-0.
• Johnston, John (1972). "Mínimos cuadrados generalizados" . Métodos econométricos (segunda  edición). Nueva York: McGraw-Hill. págs. 208–242 . 
• Kmenta, Jan (1986). «Modelo de regresión lineal generalizado y sus aplicaciones» . Elementos de econometría (segunda  edición). Nueva York: Macmillan. págs. 607–650 . ISBN  0-472-10886-7.
• Beck, Nathaniel; Katz, Jonathan N. (septiembre de 1995). "Qué hacer (y qué no hacer) con datos de series temporales de sección transversal" . American Political Science Review . 89 (3): 634– 647. doi : 10.2307/2082979 . ISSN 1537-5943 . JSTOR 2082979. S2CID 63222945 .