Función de varianza

El modelo lineal generalizado (GLM) es una generalización del análisis de regresión convencional que se extiende a cualquier miembro de la familia exponencial . Resulta especialmente útil cuando la variable de respuesta es categórica, binaria o está sujeta a una restricción (por ejemplo, solo tienen sentido las respuestas positivas). En esta página se presenta un resumen de los componentes de un GLM, pero para obtener más detalles e información, consulte la página sobre modelos lineales generalizados .

Un GLM consta de tres ingredientes principales:

1. Componente aleatorio: una distribución de y de la familia exponencial,${\displaystyle E[y\mid X]=\mu }$

2. Predictor lineal: ${\displaystyle \eta =XB=\sum _{j=1}^{p}X_{ij}^{T}B_{j}}$

3. Función de enlace:${\displaystyle \eta =g(\mu ),\mu =g^{-1}(\eta )}$

En primer lugar, es importante deducir un par de propiedades clave de la familia exponencial.

Cualquier variable aleatoria${\displaystyle {\textit {y}}}$en la familia exponencial tiene una función de densidad de probabilidad de la forma,

${\displaystyle f(y,\theta ,\phi )=\exp \left({\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )\right)}$

con log-verosimilitud,

${\displaystyle \ell (\theta ,y,\phi )=\log(f(y,\theta ,\phi ))={\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )}$

Aquí,${\displaystyle \theta }$es el parámetro canónico y el parámetro de interés, y${\displaystyle \phi }$es un parámetro de perturbación que juega un papel en la varianza. Usamos las identidades de Bartlett para derivar una expresión general para la función de varianza . El primer y segundo resultado de Bartlett aseguran que bajo condiciones adecuadas (ver regla integral de Leibniz ), para una función de densidad que depende de${\displaystyle \theta ,f_{\theta }()}$,

${\displaystyle \operatorname {E} _{\theta }\left[{\frac {\partial }{\partial \theta }}\log(f_{\theta }(y))\right]=0}$

${\displaystyle \operatorname {Var} _{\theta }\left[{\frac {\partial }{\partial \theta }}\log(f_{\theta }(y))\right]+\operatorname {E} _{\theta }\left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log(f_{\theta }(y))\right]=0}$

Estas identidades permiten realizar cálculos sencillos del valor esperado y la varianza de cualquier variable aleatoria.${\displaystyle {\textit {y}}}$en la familia exponencial${\displaystyle E_{\theta }[y],Var_{\theta }[y]}$.

Valor esperado de Y : Tomando la primera derivada con respecto a${\displaystyle \theta }$del logaritmo de la densidad en la forma de la familia exponencial descrita anteriormente, tenemos

${\displaystyle {\frac {\partial }{\partial \theta }}\log(f(y,\theta ,\phi ))={\frac {\partial }{\partial \theta }}\left[{\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )\right]={\frac {y-b'(\theta )}{\phi }}}$

Luego, al tomar el valor esperado y establecerlo igual a cero, se obtiene:

${\displaystyle \operatorname {E} _{\theta }\left[{\frac {y-b'(\theta )}{\phi }}\right]={\frac {\operatorname {E} _{\theta }[y]-b'(\theta )}{\phi }}=0}$

${\displaystyle \operatorname {E} _{\theta }[y]=b'(\theta )}$

Varianza de Y: Para calcular la varianza utilizamos la segunda identidad de Bartlett,

${\displaystyle \operatorname {Var} _{\theta }\left[{\frac {\partial }{\partial \theta }}\left({\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )\right)\right]+\operatorname {E} _{\theta }\left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\left({\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )\right)\right]=0}$

${\displaystyle \operatorname {Var} _{\theta }\left[{\frac {y-b'(\theta )}{\phi }}\right]+\operatorname {E} _{\theta }\left[{\frac {-b''(\theta )}{\phi }}\right]=0}$

${\displaystyle \operatorname {Var} _{\theta }\left[y\right]=b''(\theta )\phi }$

Ahora tenemos una relación entre${\displaystyle \mu }$y${\displaystyle \theta }$, es decir

${\displaystyle \mu =b'(\theta )}$y${\displaystyle \theta =b'^{-1}(\mu )}$, lo que permite una relación entre${\displaystyle \mu }$y la varianza,

${\displaystyle V(\theta )=b''(\theta )={\text{the part of the variance that depends on }}\theta }$

${\displaystyle \operatorname {V} (\mu )=b''(b'^{-1}(\mu )).\,}$

Tenga en cuenta que porque${\displaystyle \operatorname {Var} _{\theta }\left[y\right]>0,b''(\theta )>0}$, entonces${\displaystyle b':\theta \rightarrow \mu }$es invertible. Derivamos la función de varianza para algunas distribuciones comunes.

La distribución normal es un caso especial donde la función de varianza es constante.${\displaystyle y\sim N(\mu ,\sigma ^{2})}$Luego, expresamos la función de densidad de y en la forma de la familia exponencial descrita anteriormente:

${\displaystyle f(y)=\exp \left({\frac {y\mu -{\frac {\mu ^{2}}{2}}}{\sigma ^{2}}}-{\frac {y^{2}}{2\sigma ^{2}}}-{\frac {1}{2}}\ln {2\pi \sigma ^{2}}\right)}$

dónde

${\displaystyle \theta =\mu ,}$

${\displaystyle b(\theta )={\frac {\mu ^{2}}{2}},}$

${\displaystyle \phi =\sigma ^{2},}$

${\displaystyle c(y,\phi )=-{\frac {y^{2}}{2\sigma ^{2}}}-{\frac {1}{2}}\ln {2\pi \sigma ^{2}}}$

Para calcular la función de varianza${\displaystyle V(\mu )}$, primero expresamos${\displaystyle \theta }$como función de${\displaystyle \mu }$Luego transformamos${\displaystyle V(\theta )}$en una función de${\displaystyle \mu }$

${\displaystyle \theta =\mu }$

${\displaystyle b'(\theta )=\theta =\operatorname {E} [y]=\mu }$

${\displaystyle V(\theta )=b''(\theta )=1}$

Por lo tanto, la función de varianza es constante.

Dejar${\displaystyle y\sim {\text{Bernoulli}}(p)}$, luego expresamos la densidad de la distribución de Bernoulli en forma de familia exponencial,

${\displaystyle f(y)=\exp \left(y\ln {\frac {p}{1-p}}+\ln(1-p)\right)}$

${\displaystyle \theta =\ln {\frac {p}{1-p}}=}$logit (p), lo que nos da${\displaystyle p={\frac {e^{\theta }}{1+e^{\theta }}}=}$expit${\displaystyle (\theta )}$

${\displaystyle b(\theta )=\ln(1+e^{\theta })}$ y

${\displaystyle b'(\theta )={\frac {e^{\theta }}{1+e^{\theta }}}=}$expit${\displaystyle (\theta )=p=\mu }$

${\displaystyle b''(\theta )={\frac {e^{\theta }}{1+e^{\theta }}}-\left({\frac {e^{\theta }}{1+e^{\theta }}}\right)^{2}}$

Esto nos da

${\displaystyle V(\mu )=\mu (1-\mu )}$

Dejar${\displaystyle y\sim {\text{Poisson}}(\lambda )}$, luego expresamos la densidad de la distribución de Poisson en forma de familia exponencial,

${\displaystyle f(y)=\exp(y\ln \lambda -\ln \lambda )}$

${\displaystyle \theta =\ln \lambda =}$lo cual nos da${\displaystyle \lambda =e^{\theta }}$

${\displaystyle b(\theta )=e^{\theta }}$ y

${\displaystyle b'(\theta )=e^{\theta }=\lambda =\mu }$

${\displaystyle b''(\theta )=e^{\theta }=\mu }$

Esto nos da

${\displaystyle V(\mu )=\mu }$

Aquí vemos la propiedad central de los datos de Poisson: que la varianza es igual a la media.

La distribución gamma y la función de densidad pueden expresarse bajo diferentes parametrizaciones. Usaremos la forma de la gamma con parámetros${\displaystyle (\mu ,\nu )}$

${\displaystyle f_{\mu ,\nu }(y)={\frac {1}{\Gamma (\nu )y}}\left({\frac {\nu y}{\mu }}\right)^{\nu }e^{-{\frac {\nu y}{\mu }}}}$

Entonces, en forma de familia exponencial, tenemos

${\displaystyle f_{\mu ,\nu }(y)=\exp \left({\frac {-{\frac {1}{\mu }}y+\ln({\frac {1}{\mu }})}{\frac {1}{\nu }}}+\ln \left({\frac {\nu ^{\nu }y^{\nu -1}}{\Gamma (\nu )}}\right)\right)}$

${\displaystyle \theta ={\frac {-1}{\mu }}\rightarrow \mu ={\frac {-1}{\theta }}}$

${\displaystyle \phi ={\frac {1}{\nu }}}$

${\displaystyle b(\theta )=-\ln(-\theta )}$

${\displaystyle b'(\theta )={\frac {-1}{\theta }}={\frac {-1}{\frac {-1}{\mu }}}=\mu }$

${\displaystyle b''(\theta )={\frac {1}{\theta ^{2}}}=\mu ^{2}}$

Y tenemos${\displaystyle V(\mu )=\mu ^{2}}$

Una aplicación muy importante de la función de varianza es su uso en la estimación e inferencia de parámetros cuando la variable de respuesta tiene la forma de la familia exponencial requerida, así como en algunos casos en los que no la tiene (lo que discutiremos en cuasi-verosimilitud ). Los mínimos cuadrados ponderados (WLS) son un caso especial de mínimos cuadrados generalizados. Cada término en el criterio WLS incluye un peso que determina la influencia de cada observación en las estimaciones finales de los parámetros. Al igual que en los mínimos cuadrados regulares, el objetivo es estimar los parámetros desconocidos en la función de regresión encontrando valores para las estimaciones de los parámetros que minimicen la suma de las desviaciones cuadráticas entre las respuestas observadas y la parte funcional del modelo.

Si bien el método de mínimos cuadrados ponderados (WLS) asume la independencia de las observaciones, no asume varianza igual y, por lo tanto, constituye una solución para la estimación de parámetros en presencia de heterocedasticidad. El teorema de Gauss-Markov y Aitken demuestran que el mejor estimador lineal insesgado (BLUE), el estimador insesgado con varianza mínima, tiene cada peso igual al recíproco de la varianza de la medición.

En el marco del GLM, nuestro objetivo es estimar los parámetros.${\displaystyle \beta }$, dónde${\displaystyle Z=g(E[y\mid X])=X\beta }$Por lo tanto, nos gustaría minimizar${\displaystyle (Z-XB)^{T}W(Z-XB)}$y si definimos la matriz de pesos W como

${\displaystyle \underbrace {W} _{n\times n}={\begin{bmatrix}{\frac {1}{\phi V(\mu _{1})g'(\mu _{1})^{2}}}&0&\cdots &0&0\\0&{\frac {1}{\phi V(\mu _{2})g'(\mu _{2})^{2}}}&0&\cdots &0\\\vdots &\vdots &\vdots &\vdots &0\\\vdots &\vdots &\vdots &\vdots &0\\0&\cdots &\cdots &0&{\frac {1}{\phi V(\mu _{n})g'(\mu _{n})^{2}}}\end{bmatrix}},}$

dónde${\displaystyle \phi ,V(\mu ),g(\mu )}$Como se definió en la sección anterior, permite la estimación iterativa de mínimos cuadrados ponderados (IRLS) de los parámetros. Consulte la sección sobre mínimos cuadrados ponderados iterativos para obtener más información y detalles sobre su desarrollo.

Además, es importante señalar que cuando la matriz de pesos tiene la forma descrita aquí, minimizando la expresión${\displaystyle (Z-XB)^{T}W(Z-XB)}$También minimiza la distancia de Pearson. Consulte la sección Correlación de distancia para obtener más información.

La matriz W se obtiene directamente de las ecuaciones de estimación para la estimación de${\displaystyle \beta }$Estimación de máxima verosimilitud para cada parámetro${\displaystyle \beta _{r},1\leq r\leq p}$, requiere

${\displaystyle \sum _{i=1}^{n}{\frac {\partial l_{i}}{\partial \beta _{r}}}=0}$, dónde${\displaystyle \operatorname {l} (\theta ,y,\phi )=\log(\operatorname {f} (y,\theta ,\phi ))={\frac {y\theta -b(\theta )}{\phi }}-c(y,\phi )}$es la log-verosimilitud.

Si observamos una sola observación, tenemos:

${\displaystyle {\frac {\partial l}{\partial \beta _{r}}}={\frac {\partial l}{\partial \theta }}{\frac {\partial \theta }{\partial \mu }}{\frac {\partial \mu }{\partial \eta }}{\frac {\partial \eta }{\partial \beta _{r}}}}$

${\displaystyle {\frac {\partial \eta }{\partial \beta _{r}}}=x_{r}}$

${\displaystyle {\frac {\partial l}{\partial \theta }}={\frac {y-b'(\theta )}{\phi }}={\frac {y-\mu }{\phi }}}$

${\displaystyle {\frac {\partial \theta }{\partial \mu }}={\frac {\partial b'^{-1}(\mu )}{\mu }}={\frac {1}{b''(b'(\mu ))}}={\frac {1}{V(\mu )}}}$

Esto nos da

${\displaystyle {\frac {\partial l}{\partial \beta _{r}}}={\frac {y-\mu }{\phi V(\mu )}}{\frac {\partial \mu }{\partial \eta }}x_{r}}$y señalando que

${\displaystyle {\frac {\partial \eta }{\partial \mu }}=g'(\mu )}$tenemos eso

${\displaystyle {\frac {\partial l}{\partial \beta _{r}}}=(y-\mu )W{\frac {\partial \eta }{\partial \mu }}x_{r}}$

La matriz hessiana se determina de manera similar y se puede demostrar que es:

${\displaystyle H=X^{T}(y-\mu )\left[{\frac {\partial }{\beta _{s}}}W{\frac {\partial }{\beta _{r}}}\right]-X^{T}WX}$

Observando que la información de Fisher (FI),

${\displaystyle {\text{FI}}=-E[H]=X^{T}WX}$, permite la aproximación asintótica de${\displaystyle {\hat {\beta }}}$

${\displaystyle {\hat {\beta }}\sim N_{p}(\beta ,(X^{T}WX)^{-1})}$y, por lo tanto, se puede realizar la inferencia.

Debido a que la mayoría de las características de los GLM solo dependen de los dos primeros momentos de la distribución, en lugar de la distribución completa, la cuasi-verosimilitud se puede desarrollar simplemente especificando una función de enlace y una función de varianza. Es decir, necesitamos especificar

• la función de enlace,${\displaystyle E[y]=\mu =g^{-1}(\eta )}$
• la función de varianza,${\displaystyle V(\mu )}$, donde el${\displaystyle \operatorname {Var} _{\theta }(y)=\sigma ^{2}V(\mu )}$

Con una función de varianza y una función de enlace especificadas, podemos desarrollar, como alternativas a la función de log-verosimilitud , la función de puntuación y la información de Fisher , una cuasi-verosimilitud , una cuasi-puntuación y la cuasi-información . Esto permite una inferencia completa de${\displaystyle \beta }$.

Cuasi-verosimilitud (QL)

Aunque se denomina cuasi-verosimilitud , en realidad se trata de una cuasi- log -verosimilitud. La QL para una observación es

${\displaystyle Q_{i}(\mu _{i},y_{i})=\int _{y_{i}}^{\mu _{i}}{\frac {y_{i}-t}{\sigma ^{2}V(t)}}\,dt}$

Y por lo tanto, el QL para todas las n observaciones es

${\displaystyle Q(\mu ,y)=\sum _{i=1}^{n}Q_{i}(\mu _{i},y_{i})=\sum _{i=1}^{n}\int _{y_{i}}^{\mu _{i}}{\frac {y-t}{\sigma ^{2}V(t)}}\,dt}$

A partir del QL tenemos la cuasi-puntuación

Puntuación cuasi-puntuación (QS)

Recordemos la función de puntuación , U , para datos con log-verosimilitud${\displaystyle \operatorname {l} (\mu \mid y)}$es

${\displaystyle U={\frac {\partial l}{d\mu }}.}$

Obtenemos la cuasi-puntuación de manera idéntica,

${\displaystyle U={\frac {y-\mu }{\sigma ^{2}V(\mu )}}}$

Observando que, para una observación, la puntuación es

${\displaystyle {\frac {\partial Q}{\partial \mu }}={\frac {y-\mu }{\sigma ^{2}V(\mu )}}}$

Las dos primeras ecuaciones de Bartlett se satisfacen para la cuasi-puntuación, a saber:

${\displaystyle E[U]=0}$

y

${\displaystyle \operatorname {Cov} (U)+E\left[{\frac {\partial U}{\partial \mu }}\right]=0.}$

Además, la cuasi-puntuación es lineal en y .

En última instancia, el objetivo es encontrar información sobre los parámetros de interés.${\displaystyle \beta }$. Tanto QS como QL son en realidad funciones de${\displaystyle \beta }$. Recordar,${\displaystyle \mu =g^{-1}(\eta )}$, y${\displaystyle \eta =X\beta }$, por lo tanto,

${\displaystyle \mu =g^{-1}(X\beta ).}$

Información cuasi-compleja (IC)

La cuasi-información es similar a la información de Fisher .

${\displaystyle i_{b}=-\operatorname {E} \left[{\frac {\partial U}{\partial \beta }}\right]}$

QL, QS, QI como funciones de${\displaystyle \beta }$

QL, QS y QI proporcionan los bloques de construcción para la inferencia sobre los parámetros de interés y, por lo tanto, es importante expresar QL, QS y QI como funciones de${\displaystyle \beta }$.

Recordando de nuevo que${\displaystyle \mu =g^{-1}(X\beta )}$, derivamos las expresiones para QL, QS y QI parametrizadas bajo${\displaystyle \beta }$.

Cuasi verosimilitud en${\displaystyle \beta }$,

${\displaystyle Q(\beta ,y)=\int _{y}^{\mu (\beta )}{\frac {y-t}{\sigma ^{2}V(t)}}\,dt}$

El QS en función de${\displaystyle \beta }$es por lo tanto

${\displaystyle U_{j}(\beta _{j})={\frac {\partial }{\partial \beta _{j}}}Q(\beta ,y)=\sum _{i=1}^{n}{\frac {\partial \mu _{i}}{\partial \beta _{j}}}{\frac {y_{i}-\mu _{i}(\beta _{j})}{\sigma ^{2}V(\mu _{i})}}}$

${\displaystyle U(\beta )={\begin{bmatrix}U_{1}(\beta )\\U_{2}(\beta )\\\vdots \\\vdots \\U_{p}(\beta )\end{bmatrix}}=D^{T}V^{-1}{\frac {(y-\mu )}{\sigma ^{2}}}}$

Dónde,

${\displaystyle \underbrace {D} _{n\times p}={\begin{bmatrix}{\frac {\partial \mu _{1}}{\partial \beta _{1}}}&\cdots &\cdots &{\frac {\partial \mu _{1}}{\partial \beta _{p}}}\\{\frac {\partial \mu _{2}}{\partial \beta _{1}}}&\cdots &\cdots &{\frac {\partial \mu _{2}}{\partial \beta _{p}}}\\\vdots \\\vdots \\{\frac {\partial \mu _{m}}{\partial \beta _{1}}}&\cdots &\cdots &{\frac {\partial \mu _{m}}{\partial \beta _{p}}}\end{bmatrix}}\underbrace {V} _{n\times n}=\operatorname {diag} (V(\mu _{1}),V(\mu _{2}),\ldots ,\ldots ,V(\mu _{n}))}$

La matriz de cuasi-información en${\displaystyle \beta }$es,

${\displaystyle i_{b}=-{\frac {\partial U}{\partial \beta }}=\operatorname {Cov} (U(\beta ))={\frac {D^{T}V^{-1}D}{\sigma ^{2}}}}$

Obtención de la función de puntuación y la información de${\displaystyle \beta }$permite la estimación de parámetros y la inferencia de manera similar a como se describe en Aplicación – mínimos cuadrados ponderados .