Estimador insesgado de mínima varianza

En estadística, un estimador insesgado de varianza mínima (MVUE, por sus siglas en inglés) o un estimador insesgado de varianza mínima uniforme (UMVUE, por sus siglas en inglés) es un estimador insesgado que tiene una varianza menor que cualquier otro estimador insesgado para todos los valores posibles del parámetro.

Para problemas estadísticos prácticos, es importante determinar la estimación óptima de medias variables (MVUE, por sus siglas en inglés), si existe, ya que, en igualdad de condiciones, se evitarían los procedimientos subóptimos. Esto ha propiciado un desarrollo sustancial de la teoría estadística relacionada con el problema de la estimación óptima.

Si bien la combinación de la restricción de imparcialidad con la métrica de deseabilidad de mínima varianza conduce a buenos resultados en la mayoría de los entornos prácticos —lo que convierte a MVUE en un punto de partida natural para una amplia gama de análisis—, una especificación dirigida puede funcionar mejor para un problema dado; por lo tanto, MVUE no siempre es el mejor punto final.

Considere la estimación de${\displaystyle g(\theta )}$basado en datos${\displaystyle X_{1},X_{2},\ldots ,X_{n}}$iid de algún miembro de una familia de densidades${\displaystyle p_{\theta },\theta \in \Omega }$, dónde${\displaystyle \Omega }$es el espacio de parámetros. Un estimador${\displaystyle \delta (X_{1},X_{2},\ldots ,X_{n})}$de${\displaystyle g(\theta )}$es imparcial si${\displaystyle \operatorname {E} (\delta (X_{1},X_{2},\ldots ,X_{n}))=\operatorname {E} (g(\theta ))}$Además, un estimador insesgado es UMVUE si${\displaystyle \forall \theta \in \Omega }$,

$${\displaystyle \operatorname {var} (\delta (X_{1},X_{2},\ldots ,X_{n}))\leq \operatorname {var} ({\tilde {\delta }}(X_{1},X_{2},\ldots ,X_{n}))}$$

para cualquier otro estimador imparcial${\displaystyle {\tilde {\delta }}.}$

Si un estimador insesgado de${\displaystyle g(\theta )}$Si existe, entonces se puede demostrar que hay un MVUE esencialmente único. ^{[ 1 ]} Usando el teorema de Rao-Blackwell también se puede demostrar que determinar el MVUE es simplemente una cuestión de encontrar una estadística suficiente completa para la familia${\displaystyle p_{\theta },\theta \in \Omega }$y condicionando cualquier estimador imparcial a ello.

Además, según el teorema de Lehmann-Scheffé , un estimador insesgado que es función de una estadística completa y suficiente es el UMVUE.

Dicho formalmente, supongamos que...${\displaystyle \delta (X_{1},X_{2},\ldots ,X_{n})}$es imparcial para${\displaystyle g(\theta )}$y que${\displaystyle T}$es una estadística suficiente completa para la familia de densidades. Entonces

$${\displaystyle \eta (X_{1},X_{2},\ldots ,X_{n})=\operatorname {E} (\delta (X_{1},X_{2},\ldots ,X_{n})\mid T)\,}$$

es el MVUE para${\displaystyle g(\theta ).}$

Un análogo bayesiano es un estimador bayesiano , particularmente con mínimo error cuadrático medio (MMSE).

No es necesario que exista un estimador eficiente , pero si existe y es insesgado, es el MVUE. Dado que el error cuadrático medio (ECM) de un estimador δ es

$${\displaystyle \operatorname {MSE} (\delta )=\operatorname {var} (\delta )+[\operatorname {bias} (\delta )]^{2}\ }$$

El MVUE minimiza el MSE entre los estimadores insesgados . En algunos casos, los estimadores sesgados tienen un MSE menor porque tienen una varianza menor que cualquier estimador insesgado; véase sesgo del estimador .

Consideremos los datos como una sola observación de una distribución absolutamente continua en${\displaystyle \mathbb {R} }$ con densidad

$${\displaystyle p_{\theta }(x)={\frac {\theta e^{-x}}{\left(1+e^{-x}\right)^{\theta +1}}},}$$

donde θ > 0, y deseamos encontrar el estimador UMVU de

$${\displaystyle g(\theta )={\frac {1}{\theta ^{2}}}}$$

Primero reconocemos que la densidad se puede escribir como

$${\displaystyle {\frac {e^{-x}}{1+e^{-x}}}\exp \left(-\theta \log(1+e^{-x})+\log(\theta )\right)}$$

que es una familia exponencial con estadística suficiente${\displaystyle T=\log(1+e^{-X})}$. De hecho, esta es una familia exponencial de rango completo y, por lo tanto,${\displaystyle T}$es suficiente y completo. Consulte la familia exponencial para una derivación que muestra

$${\displaystyle \operatorname {E} (T)={\frac {1}{\theta }},\quad \operatorname {var} (T)={\frac {1}{\theta ^{2}}}}$$

Por lo tanto,

$${\displaystyle \operatorname {E} (T^{2})={\frac {2}{\theta ^{2}}}}$$

Aquí utilizamos el teorema de Lehmann-Scheffé para obtener el MVUE. Claramente,${\displaystyle \delta (X)=T^{2}/2}$es imparcial y${\displaystyle T=\log(1+e^{-X})}$es completo suficiente, por lo tanto el estimador UMVU es

$${\displaystyle \eta (X)=\operatorname {E} (\delta (X)\mid T)=\operatorname {E} \left(\left.{\frac {T^{2}}{2}}\,\right|\,T\right)={\frac {T^{2}}{2}}={\frac {\log \left(1+e^{-X}\right)^{2}}{2}}}$$

Este ejemplo ilustra que una función insesgada del estadístico suficiente completo será UMVU, como establece el teorema de Lehmann-Scheffé .

• Para una distribución normal con media y varianza desconocidas, la media muestral y la varianza muestral (insesgada) son los errores de medición insesgados (MVUE) para la media poblacional y la varianza poblacional.

  Sin embargo, la desviación estándar de la muestra no es insesgada con respecto a la desviación estándar de la población; consulte la estimación insesgada de la desviación estándar .

  Además, para otras distribuciones, la media muestral y la varianza muestral no son, en general, errores medios de medición (EMM); para una distribución uniforme con límites superior e inferior desconocidos, el punto medio es el EMM para la media poblacional.

• Si se eligen k ejemplares (sin reemplazo) de una distribución uniforme discreta sobre el conjunto {1,  2,  ..., N } con límite superior desconocido N , el MVUE para N es: $${\displaystyle {\frac {k+1}{k}}m-1,}$$donde m es el máximo de la muestra . Esta es una transformación escalada y desplazada (por lo tanto, insesgada) del máximo de la muestra, que es una estadística suficiente y completa. Véase el problema del tanque alemán para más detalles.

• Cramér-Rao se unió
• Estimador lineal insesgado óptimo (BLUE)
• Compromiso entre sesgo y varianza
• Teorema de Lehmann-Scheffé
• Estadístico U