Cramér-Rao se unió

Suponer${\displaystyle \theta }$es un parámetro determinista desconocido que debe estimarse a partir de${\displaystyle n}$observaciones independientes (mediciones) de${\displaystyle x}$, cada uno de una distribución según alguna función de densidad de probabilidad${\displaystyle f(x;\theta )}$. La varianza de cualquier estimador insesgado${\displaystyle {\sombrero {\theta }}}$de${\displaystyle \theta }$entonces está acotado ^{[ 12 ]} por el recíproco de la información de Fisher${\displaystyle I(\theta )}$:

${\displaystyle \operatorname {var} ({\hat {\theta }})\geq {\frac {1}{I(\theta )}}}$

donde la información de Fisher${\displaystyle I(\theta )}$se define por

${\displaystyle I(\theta )=n\operatorname {E} _{X;\theta }\left[\left({\frac {\partial \ell (X;\theta )}{\partial \theta }}\right)^{2}\right]}$

y${\displaystyle \ell (x;\theta )=\log(f(x;\theta ))}$es el logaritmo natural de la función de verosimilitud para una sola muestra.${\displaystyle x}$y${\displaystyle \operatorname {E} _{x;\theta }}$denota el valor esperado con respecto a la densidad${\displaystyle f(x;\theta )}$de${\displaystyle X}$. Si no se indica, en lo que sigue, la esperanza se toma con respecto a ${\displaystyle X}$.

Si${\displaystyle \ell (x;\theta )}$Si es dos veces diferenciable y se cumplen ciertas condiciones de regularidad, entonces la información de Fisher también se puede definir de la siguiente manera: ^{[ 13 ]}

${\displaystyle I(\theta )=-n\operatorname {E} _{X;\theta }\left[{\frac {\partial ^{2}\ell (X;\theta )}{\partial \theta ^{2}}}\right]}$

La eficiencia de un estimador insesgado${\displaystyle {\sombrero {\theta }}}$mide qué tan cerca está la varianza de este estimador de este límite inferior; la eficiencia del estimador se define como

${\displaystyle e({\hat {\theta }})={\frac {I(\theta )^{-1}}{\operatorname {var} ({\hat {\theta }})}}}$

o la varianza mínima posible para un estimador insesgado dividida por su varianza real. El límite inferior de Cramér-Rao da, por lo tanto,

${\displaystyle e({\hat {\theta }})\leq 1}$.

Se puede obtener una forma más general de la cota considerando un estimador sesgado.${\displaystyle T(X)}$, cuya expectativa no es${\displaystyle \theta }$pero una función de este parámetro, por ejemplo,${\displaystyle \psi (\theta )}$. Por eso ${\displaystyle E\{T(X)\}-\theta =\psi (\theta )-\theta }$ no es generalmente igual a 0. En este caso, el límite viene dado por

${\displaystyle \operatorname {var} (T)\geq {\frac {[\psi '(\theta )]^{2}}{I(\theta )}}}$

dónde${\displaystyle \psi '(\theta )}$es el derivado de${\displaystyle \psi (\theta )}$(por${\displaystyle \theta }$), y${\displaystyle I(\theta )}$es la información de Fisher definida anteriormente.

Además de ser una cota para los estimadores de funciones del parámetro, este enfoque puede utilizarse para derivar una cota para la varianza de los estimadores sesgados con un sesgo dado, como sigue. ^{[ 14 ]} Consideremos un estimador${\displaystyle {\hat {\theta }}}$con sesgo${\displaystyle b(\theta )=E\{{\hat {\theta }}\}-\theta }$y dejar${\displaystyle \psi (\theta )=b(\theta )+\theta }$. Según el resultado anterior, cualquier estimador insesgado cuya esperanza sea${\displaystyle \psi (\theta )}$tiene varianza mayor o igual que${\displaystyle (\psi '(\theta ))^{2}/I(\theta )}$Por lo tanto, cualquier estimador${\displaystyle {\hat {\theta }}}$cuyo sesgo viene dado por una función${\displaystyle b(\theta )}$satisface ^{[ 15 ]}

${\displaystyle \operatorname {var} \left({\hat {\theta }}\right)\geq {\frac {[1+b'(\theta )]^{2}}{I(\theta )}}.}$

La versión imparcial de la cota es un caso especial de este resultado, con${\displaystyle b(\theta )=0}$.

Es trivial tener una varianza pequeña: un "estimador" que es constante tiene una varianza de cero. Pero de la ecuación anterior, encontramos que el error cuadrático medio de un estimador sesgado está acotado por

${\displaystyle \operatorname {E} \left(({\hat {\theta }}-\theta )^{2}\right)\geq {\frac {[1+b'(\theta )]^{2}}{I(\theta )}}+b(\theta )^{2},}$

utilizando la descomposición estándar del MSE. Sin embargo, tenga en cuenta que si${\displaystyle 1+b'(\theta )<1}$Este límite podría ser menor que el límite imparcial de Cramér-Rao.${\displaystyle 1/I(\theta )}$. Por ejemplo, en el ejemplo de estimación de la varianza que se muestra a continuación ,${\displaystyle 1+b'(\theta )={\frac {n}{n+2}}<1}$.

Extendiendo la cota de Cramér-Rao a múltiples parámetros, defina un vector columna de parámetros.

${\displaystyle {\boldsymbol {\theta }}=\left[\theta _{1},\theta _{2},\dots ,\theta _{d}\right]^{T}\in \mathbb {R} ^{d}}$

con función de densidad de probabilidad${\displaystyle f(x;{\boldsymbol {\theta }})}$que satisface las dos condiciones de regularidad que se indican a continuación.

La matriz de información de Fisher es una${\displaystyle d\times d}$matriz con elemento${\displaystyle I_{m,k}}$definido como

${\displaystyle I_{m,k}=\operatorname {E} \left[{\frac {\partial }{\partial \theta _{m}}}\log f\left(x;{\boldsymbol {\theta }}\right){\frac {\partial }{\partial \theta _{k}}}\log f\left(x;{\boldsymbol {\theta }}\right)\right]=-\operatorname {E} \left[{\frac {\partial ^{2}}{\partial \theta _{m}\,\partial \theta _{k}}}\log f\left(x;{\boldsymbol {\theta }}\right)\right].}$

Dejar${\displaystyle {\boldsymbol {T}}(X)}$ser un estimador de cualquier función vectorial de parámetros,${\displaystyle {\boldsymbol {T}}(X)=(T_{1}(X),\ldots ,T_{d}(X))^{T}}$y denotamos su vector de esperanza${\displaystyle \operatorname {E} [{\boldsymbol {T}}(X)]}$por${\displaystyle {\boldsymbol {\psi }}({\boldsymbol {\theta }})}$. La cota de Cramér-Rao establece entonces que la matriz de covarianza de${\displaystyle {\boldsymbol {T}}(X)}$Satisface

${\displaystyle I\left({\boldsymbol {\theta }}\right)\geq \phi (\theta )^{T}\operatorname {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)^{-1}\phi (\theta )}$,

${\displaystyle \operatorname {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)\geq \phi (\theta )I\left({\boldsymbol {\theta }}\right)^{-1}\phi (\theta )^{T}}$

dónde

• La desigualdad matricial${\displaystyle A\geq B}$se entiende que significa que la matriz${\displaystyle A-B}$es semidefinida positiva y
• ${\displaystyle \phi (\theta ):=\partial {\boldsymbol {\psi }}({\boldsymbol {\theta }})/\partial {\boldsymbol {\theta }}}$es la matriz jacobiana cuya${\displaystyle ij}$El elemento viene dado por${\displaystyle \partial \psi _{i}({\boldsymbol {\theta }})/\partial \theta _{j}}$.

Si${\displaystyle {\boldsymbol {T}}(X)}$es un estimador insesgado de${\displaystyle {\boldsymbol {\theta }}}$(es decir,${\displaystyle {\boldsymbol {\psi }}\left({\boldsymbol {\theta }}\right)={\boldsymbol {\theta }}}$), entonces la cota de Cramér-Rao se reduce a

${\displaystyle \operatorname {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)\geq I\left({\boldsymbol {\theta }}\right)^{-1}.}$

Si resulta inconveniente calcular la inversa de la matriz de información de Fisher , entonces se puede simplemente tomar el recíproco del elemento diagonal correspondiente para encontrar una cota inferior (posiblemente aproximada). ^{[ 16 ]}

${\displaystyle \operatorname {var} _{\boldsymbol {\theta }}(T_{m}(X))=\left[\operatorname {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)\right]_{mm}\geq \left[I\left({\boldsymbol {\theta }}\right)^{-1}\right]_{mm}\geq {\frac {1}{I\left({\boldsymbol {\theta }}\right)_{mm}}}.}$

El límite se basa en dos condiciones de regularidad débiles sobre la función de densidad de probabilidad ,${\displaystyle f(x;\theta )}$y el estimador${\displaystyle T(X)}$:

• La información de Fisher siempre está definida; equivalentemente, para todos${\displaystyle x}$de tal manera que${\displaystyle f(x;\theta )>0}$,$${\displaystyle {\frac {\partial }{\partial \theta }}\log f(x;\theta )}$$Existe y es finito.
• Las operaciones de integración con respecto a${\displaystyle x}$y diferenciación con respecto a${\displaystyle \theta }$pueden intercambiarse con la expectativa de${\displaystyle T}$; eso es,$${\displaystyle {\frac {\partial }{\partial \theta }}\left[\int T(x)f(x;\theta )\,dx\right]=\int T(x)\left[{\frac {\partial }{\partial \theta }}f(x;\theta )\right]\,dx}$$siempre que el lado derecho sea finito.
  Esta condición a menudo se puede confirmar utilizando el hecho de que la integración y la diferenciación se pueden intercambiar cuando se cumple cualquiera de los siguientes casos:
  1. La función${\displaystyle f(x;\theta )}$tiene apoyo limitado en${\displaystyle x}$y los límites no dependen de${\displaystyle \theta }$;
  2. La función${\displaystyle f(x;\theta )}$tiene soporte infinito, es continuamente diferenciable y la integral converge uniformemente para todo${\displaystyle \theta }$.

Prueba basada en ^{[ 17 ] .}

Para el caso escalar general :

Supongamos que${\displaystyle T=t(X)}$es un estimador con esperanza${\displaystyle \psi (\theta )}$(basado en las observaciones)${\displaystyle X}$), es decir que${\displaystyle \operatorname {E} (T)=\psi (\theta )}$El objetivo es demostrar que, para todos${\displaystyle \theta }$,

${\displaystyle \operatorname {var} (t(X))\geq {\frac {[\psi ^{\prime }(\theta )]^{2}}{I(\theta )}}.}$

Dejar${\displaystyle X}$sea ​​una variable aleatoria con función de densidad de probabilidad${\displaystyle f(x;\theta )}$. Aquí${\displaystyle T=t(X)}$es una estadística que se utiliza como estimador para${\displaystyle \psi (\theta )}$. Definir${\displaystyle V}$como la puntuación :

${\displaystyle V={\frac {\partial }{\partial \theta }}\ln f(X;\theta )={\frac {1}{f(X;\theta )}}{\frac {\partial }{\partial \theta }}f(X;\theta )}$

donde se utiliza la regla de la cadena en la igualdad final anterior. Entonces la esperanza de${\displaystyle V}$, escrito${\displaystyle \operatorname {E} (V)}$es cero. Esto se debe a que:

${\displaystyle \operatorname {E} (V)=\int f(x;\theta )\left[{\frac {1}{f(x;\theta )}}{\frac {\partial }{\partial \theta }}f(x;\theta )\right]\,dx={\frac {\partial }{\partial \theta }}\int f(x;\theta )\,dx=0}$

donde la integral y la derivada parcial se han intercambiado (justificado por la segunda condición de regularidad).

Si consideramos la covarianza${\displaystyle \operatorname {cov} (V,T)}$de${\displaystyle V}$y${\displaystyle T}$, tenemos${\displaystyle \operatorname {cov} (V,T)=\operatorname {E} (VT)}$, porque${\displaystyle \operatorname {E} (V)=0}$. Ampliando esta expresión tenemos

${\displaystyle {\begin{aligned}\operatorname {cov} (V,T)&=\operatorname {E} \left(T\cdot \left[{\frac {1}{f(X;\theta )}}{\frac {\partial }{\partial \theta }}f(X;\theta )\right]\right)\\[6pt]&=\int t(x)\left[{\frac {1}{f(x;\theta )}}{\frac {\partial }{\partial \theta }}f(x;\theta )\right]f(x;\theta )\,dx\\[6pt]&={\frac {\partial }{\partial \theta }}\left[\int t(x)f(x;\theta )\,dx\right]={\frac {\partial }{\partial \theta }}E(T)=\psi ^{\prime }(\theta )\end{aligned}}}$

Nuevamente, porque las operaciones de integración y diferenciación conmutan (segunda condición).

La desigualdad de Cauchy-Schwarz muestra que

${\displaystyle {\sqrt {\operatorname {var} (T)\operatorname {var} (V)}}\geq \left|\operatorname {cov} (V,T)\right|=\left|\psi ^{\prime }(\theta )\right|}$

por lo tanto

${\displaystyle \operatorname {var} (T)\geq {\frac {[\psi ^{\prime }(\theta )]^{2}}{\operatorname {var} (V)}}={\frac {[\psi ^{\prime }(\theta )]^{2}}{I(\theta )}}}$

lo cual demuestra la proposición.

Para el caso de una distribución normal de d variables

${\displaystyle {\boldsymbol {x}}\sim {\mathcal {N}}_{d}\left({\boldsymbol {\mu }}({\boldsymbol {\theta }}),{\boldsymbol {C}}({\boldsymbol {\theta }})\right)}$

La matriz de información de Fisher tiene elementos ^{[ 18 ].}

${\displaystyle I_{m,k}={\frac {\partial {\boldsymbol {\mu }}^{T}}{\partial \theta _{m}}}{\boldsymbol {C}}^{-1}{\frac {\partial {\boldsymbol {\mu }}}{\partial \theta _{k}}}+{\frac {1}{2}}\operatorname {tr} \left({\boldsymbol {C}}^{-1}{\frac {\partial {\boldsymbol {C}}}{\partial \theta _{m}}}{\boldsymbol {C}}^{-1}{\frac {\partial {\boldsymbol {C}}}{\partial \theta _{k}}}\right)}$

donde "tr" es el rastro .

Por ejemplo, dejemos${\displaystyle w[j]}$ser una muestra de${\displaystyle n}$observaciones independientes con media desconocida${\displaystyle \theta }$y varianza conocida${\displaystyle \sigma ^{2}}$.

${\displaystyle w[j]\sim {\mathcal {N}}_{d,n}\left(\theta {\boldsymbol {1}},\sigma ^{2}{\boldsymbol {I}}\right).}$

Entonces, la información de Fisher es un escalar dado por

${\displaystyle I(\theta )=\left({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta }}\right)^{T}{\boldsymbol {C}}^{-1}\left({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta }}\right)=\sum _{i=1}^{n}{\frac {1}{\sigma ^{2}}}={\frac {n}{\sigma ^{2}}},}$

y así el límite de Cramér-Rao es

${\displaystyle \operatorname {var} ({\hat {\theta }})\geq {\frac {\sigma ^{2}}{n}}.}$

Supongamos que X es una variable aleatoria con distribución normal y media conocida.${\displaystyle \mu }$y varianza desconocida${\displaystyle \sigma ^{2}}$Consideremos la siguiente estadística:

${\displaystyle T={\frac {\sum _{i=1}^{n}(X_{i}-\mu )^{2}}{n}}.}$

Entonces T es imparcial para${\displaystyle \sigma ^{2}}$, como${\displaystyle E(T)=\sigma ^{2}}$¿Cuál es la varianza de T ?

${\displaystyle \operatorname {var} (T)=\operatorname {var} \left({\frac {\sum _{i=1}^{n}(X_{i}-\mu )^{2}}{n}}\right)={\frac {\sum _{i=1}^{n}\operatorname {var} (X_{i}-\mu )^{2}}{n^{2}}}={\frac {n\operatorname {var} (X-\mu )^{2}}{n^{2}}}={\frac {1}{n}}\left[\operatorname {E} \left\{(X-\mu )^{4}\right\}-\left(\operatorname {E} \{(X-\mu )^{2}\}\right)^{2}\right]}$

(la segunda igualdad se deduce directamente de la definición de varianza y del hecho de que${\displaystyle X_{i}}$(son independientes). El primer término es el cuarto momento respecto a la media y tiene valor${\displaystyle 3(\sigma ^{2})^{2}}$; el segundo es el cuadrado de la varianza, o${\displaystyle (\sigma ^{2})^{2}}$. De este modo

${\displaystyle \operatorname {var} (T)={\frac {2(\sigma ^{2})^{2}}{n}}.}$

Ahora bien, ¿cuál es la información de Fisher en la muestra? Recordemos que la puntuación${\displaystyle V}$se define como

${\displaystyle V={\frac {\partial }{\partial \sigma ^{2}}}\log \left[L(\sigma ^{2},X)\right]}$

dónde${\displaystyle L}$es la función de verosimilitud . Por lo tanto, en este caso,

${\displaystyle \log \left[L(\sigma ^{2},X)\right]=\log \left[{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-(X-\mu )^{2}/{2\sigma ^{2}}}\right]=-\log({\sqrt {2\pi \sigma ^{2}}})-{\frac {(X-\mu )^{2}}{2\sigma ^{2}}}}$

${\displaystyle V={\frac {\partial }{\partial \sigma ^{2}}}\log \left[L(\sigma ^{2},X)\right]={\frac {\partial }{\partial \sigma ^{2}}}\left[-\log({\sqrt {2\pi \sigma ^{2}}})-{\frac {(X-\mu )^{2}}{2\sigma ^{2}}}\right]=-{\frac {1}{2\sigma ^{2}}}+{\frac {(X-\mu )^{2}}{2(\sigma ^{2})^{2}}}}$

donde la segunda igualdad proviene del cálculo elemental. Por lo tanto, la información en una sola observación es simplemente menos la esperanza de la derivada de${\displaystyle V}$, o

${\displaystyle I=-\operatorname {E} \left({\frac {\partial V}{\partial \sigma ^{2}}}\right)=-\operatorname {E} \left(-{\frac {(X-\mu )^{2}}{(\sigma ^{2})^{3}}}+{\frac {1}{2(\sigma ^{2})^{2}}}\right)={\frac {\sigma ^{2}}{(\sigma ^{2})^{3}}}-{\frac {1}{2(\sigma ^{2})^{2}}}={\frac {1}{2(\sigma ^{2})^{2}}}.}$

Por lo tanto, la información en una muestra de${\displaystyle n}$Las observaciones independientes son simplemente${\displaystyle n}$veces esto, o${\displaystyle {\frac {n}{2(\sigma ^{2})^{2}}}.}$

El límite de Cramér-Rao establece que

${\displaystyle \operatorname {var} (T)\geq {\frac {1}{I}}.}$

En este caso, la desigualdad se satura (se alcanza la igualdad), lo que demuestra que el estimador es eficiente .

Sin embargo, podemos lograr un error cuadrático medio menor utilizando un estimador sesgado. El estimador

${\displaystyle T={\frac {\sum _{i=1}^{n}(X_{i}-\mu )^{2}}{n+2}}.}$

Obviamente tiene una varianza menor, que es de hecho

${\displaystyle \operatorname {var} (T)={\frac {2n(\sigma ^{2})^{2}}{(n+2)^{2}}}.}$

Su sesgo es

${\displaystyle \left(1-{\frac {n}{n+2}}\right)\sigma ^{2}={\frac {2\sigma ^{2}}{n+2}}}$

por lo que su error cuadrático medio es

${\displaystyle \operatorname {MSE} (T)=\left({\frac {2n}{(n+2)^{2}}}+{\frac {4}{(n+2)^{2}}}\right)(\sigma ^{2})^{2}={\frac {2(\sigma ^{2})^{2}}{n+2}}}$

lo cual es menor que lo que pueden lograr los estimadores insesgados según la cota de Cramér-Rao.

Cuando se desconoce la media, la estimación del mínimo error cuadrático medio de la varianza de una muestra de una distribución gaussiana se obtiene dividiendo por ${\displaystyle n+1}$, en vez de${\displaystyle n-1}$o${\displaystyle n+2}$.