Información de Fisher

Las condiciones de regularidad son las siguientes: ^{[ 8 ]}

1. La derivada parcial de f ( X ; θ ) con respecto a θ existe casi en todas partes . (Puede no existir en un conjunto nulo , siempre que este conjunto no dependa de θ ).
2. La integral de f ( X ; θ ) se puede diferenciar bajo el signo integral con respecto a θ .
3. El soporte de f ( X ; θ ) no depende de θ .

Si θ es un vector, entonces las condiciones de regularidad deben cumplirse para cada componente de θ . Es fácil encontrar un ejemplo de una densidad que no satisface las condiciones de regularidad: la densidad de una variable uniforme (0, θ ) no satisface las condiciones 1 y 3. En este caso, aunque la información de Fisher se puede calcular a partir de la definición, no tendrá las propiedades que normalmente se le atribuyen.

Dado que la probabilidad de θ en función de X es siempre proporcional a la probabilidad f ( X ; θ ), sus logaritmos necesariamente difieren en una constante independiente de θ , y las derivadas de estos logaritmos con respecto a θ son necesariamente iguales. Por lo tanto, se puede sustituir el logaritmo de la verosimilitud l ( θ ; X ) por el logaritmo de f ( X ; θ ) en las definiciones de la información de Fisher.

El valor X puede representar una muestra individual extraída de una única distribución o un conjunto de muestras extraídas de varias distribuciones. Si hay n muestras y las n distribuciones correspondientes son estadísticamente independientes , la información de Fisher será necesariamente la suma de los valores de información de Fisher de cada muestra individual, uno por cada muestra de su distribución. En particular, si las n distribuciones son independientes e idénticamente distribuidas , la información de Fisher será necesariamente n veces la información de Fisher de una muestra individual de la distribución común. Dicho de otro modo, la información de Fisher de observaciones i.i.d. de una muestra de tamaño n de una población es igual al producto de n y la información de Fisher de una sola observación de la misma población.

La cota de Cramér-Rao ^{[ 9 ] [ 10 ]} establece que el inverso de la información de Fisher es una cota inferior de la varianza de cualquier estimador insesgado de θ . Van Trees (1968) y Frieden (2004) proporcionan el siguiente método para derivar la cota de Cramér-Rao , un resultado que describe el uso de la información de Fisher.

De manera informal, comenzamos considerando un estimador insesgado.${\displaystyle {\hat {\theta }}(X)}$Matemáticamente, "imparcial" significa que

${\displaystyle \operatorname {E} \left[\left.{\hat {\theta }}(X)-\theta \,\,\right|\,\,\theta \right]=\int \left({\hat {\theta }}(x)-\theta \right)\,f(x;\theta )\,dx=0{\text{ regardless of the value of }}\theta .}$

Esta expresión es cero independientemente de θ , por lo que su derivada parcial con respecto a θ también debe ser cero. Por la regla del producto , esta derivada parcial también es igual a

${\displaystyle 0={\frac {\partial }{\partial \theta }}\int \left({\hat {\theta }}(x)-\theta \right)\,f(x;\theta )\,dx=\int \left({\hat {\theta }}(x)-\theta \right){\frac {\partial f}{\partial \theta }}\,dx-\int f\,dx.}$

Para cada θ , la función de verosimilitud es una función de densidad de probabilidad y, por lo tanto,${\displaystyle \int f\,dx=1}$. Utilizando la regla de la cadena en la derivada parcial de${\displaystyle \log f}$y luego dividiendo y multiplicando por${\displaystyle f(x;\theta )}$, se puede verificar que

${\displaystyle {\frac {\partial f}{\partial \theta }}=f\,{\frac {\partial \log f}{\partial \theta }}.}$

Utilizando estos dos hechos anteriores, obtenemos:

${\displaystyle \int \left({\hat {\theta }}-\theta \right)f\,{\frac {\partial \log f}{\partial \theta }}\,dx=1.}$

Factorizar el integrando da como resultado

${\displaystyle \int \left(\left({\hat {\theta }}-\theta \right){\sqrt {f}}\right)\left({\sqrt {f}}\,{\frac {\partial \log f}{\partial \theta }}\right)\,dx=1.}$

Elevando al cuadrado la expresión en la integral, la desigualdad de Cauchy-Schwarz produce:

${\displaystyle 1={\biggl (}\int \left[\left({\hat {\theta }}-\theta \right){\sqrt {f}}\right]\cdot \left[{\sqrt {f}}\,{\frac {\partial \log f}{\partial \theta }}\right]\,dx{\biggr )}^{2}\leq \left[\int \left({\hat {\theta }}-\theta \right)^{2}f\,dx\right]\cdot \left[\int \left({\frac {\partial \log f}{\partial \theta }}\right)^{2}f\,dx\right].}$

El segundo factor entre paréntesis se define como la información de Fisher, mientras que el primer factor entre paréntesis es el error cuadrático medio (ECM) del estimador.${\displaystyle {\hat {\theta }}}$Dado que el estimador es insesgado, su MSE es igual a su varianza. Reordenando, la desigualdad nos dice que

${\displaystyle \operatorname {Var} ({\hat {\theta }})\geq {\frac {1}{{\mathcal {I}}\left(\theta \right)}}.}$

En otras palabras, la precisión con la que podemos estimar θ está fundamentalmente limitada por la información de Fisher de la función de verosimilitud.

Alternativamente, la misma conclusión se puede obtener directamente de la desigualdad de Cauchy-Schwarz para variables aleatorias ,${\displaystyle |\operatorname {Cov} (A,B)|^{2}\leq \operatorname {Var} (A)\operatorname {Var} (B)}$, aplicado a las variables aleatorias${\displaystyle {\hat {\theta }}(X)}$y${\displaystyle \partial _{\theta }\log f(X;\theta )}$y observando que para estimadores insesgados tenemos$${\displaystyle \operatorname {Cov} [{\hat {\theta }}(X),\partial _{\theta }\log f(X;\theta )]=\int {\hat {\theta }}(x)\,\partial _{\theta }f(x;\theta )\,dx=\partial _{\theta }\operatorname {E} [{\hat {\theta }}]=1.}$$

Un ensayo de Bernoulli es una variable aleatoria con dos resultados posibles, 0 y 1, donde 1 tiene una probabilidad de θ . El resultado puede considerarse determinado por el lanzamiento de una moneda trucada, donde la probabilidad de cara (1) es θ y la probabilidad de cruz (0) es 1 − θ .

Sea X un ensayo de Bernoulli de una muestra de la distribución. La información de Fisher contenida en X se puede calcular como:

${\displaystyle {\begin{aligned}{\mathcal {I}}(\theta )&=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log \left(\theta ^{X}(1-\theta )^{1-X}\right)\right|\theta \right]\\[5pt]&=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\left(X\log \theta +(1-X)\log(1-\theta )\right)\,\,\right|\,\,\theta \right]\\[5pt]&=\operatorname {E} \left[\left.{\frac {X}{\theta ^{2}}}+{\frac {1-X}{(1-\theta )^{2}}}\,\,\right|\,\,\theta \right]\\[5pt]&={\frac {\theta }{\theta ^{2}}}+{\frac {1-\theta }{(1-\theta )^{2}}}\\[5pt]&={\frac {1}{\theta (1-\theta )}}.\end{aligned}}}$

Debido a que la información de Fisher es aditiva, la información de Fisher contenida en n ensayos de Bernoulli independientes es, por lo tanto,

${\displaystyle {\mathcal {I}}(\theta )={\frac {n}{\theta (1-\theta )}}.}$

Si${\displaystyle x_{i}}$es uno de los${\displaystyle 2^{n}}$posibles resultados de n ensayos de Bernoulli independientes y${\displaystyle x_{ij}}$es el j -ésimo resultado del i- ésimo ensayo, entonces la probabilidad de${\displaystyle x_{i}}$es dado por

${\displaystyle p(x_{i},\theta )=\prod _{j=0}^{n}\theta ^{x_{ij}}(1-\theta )^{x_{ij}}}$

La media muestral del i- ésimo ensayo es${\displaystyle \mu _{i}=(1/n)\sum _{j=1}^{n}x_{ij}}$. El valor esperado de la media muestral (sobre la distribución muestral ) es

${\displaystyle E(\mu )=\sum _{x_{i}}\mu _{i}\,p(x_{i},\theta )=\theta ,}$

donde la suma es sobre todos${\displaystyle 2^{n}}$posibles resultados del ensayo. El valor esperado del cuadrado de la media muestral es

${\displaystyle E(\mu ^{2})=\sum _{x_{i}}\mu _{i}^{2}\,p(x_{i},\theta )={\frac {(1+(n-1)\theta )\theta }{n}}}$

por lo tanto, la varianza en el valor de la media es

${\displaystyle E(\mu ^{2})-E(\mu )^{2}={\frac {\theta (1-\theta )}{n}}}$

Se observa que la información de Fisher es el recíproco de la varianza del número medio de éxitos en n ensayos de Bernoulli . Esto es generalmente cierto. En este caso, la cota de Cramér-Rao es una igualdad.

Como otro ejemplo sencillo, consideremos una variable aleatoria.${\displaystyle X}$con posibles resultados 0 y 1, con probabilidades${\displaystyle p_{0}=1-{\sqrt {\theta }}}$y${\displaystyle p_{1}={\sqrt {\theta }}}$, respectivamente, para algunos${\displaystyle \theta \in [0,1]}$Nuestro objetivo es estimar${\displaystyle \theta }$a partir de observaciones de${\displaystyle X}$.

La información de Fisher dice en este caso$${\displaystyle {\begin{aligned}{\mathcal {I}}(\theta )&=\mathrm {E} \left[\left({\frac {\partial }{\partial \theta }}\log f(X;\theta )\right)^{2}{\Bigg |}\,\theta \right]\\&=(1-{\sqrt {\theta }})\left({\frac {-1}{2{\sqrt {\theta }}(1-{\sqrt {\theta }})}}\right)^{2}+{\sqrt {\theta }}\left({\frac {1}{2\theta }}\right)^{2}\\&={\frac {1}{4\theta }}\left({\frac {1}{1-{\sqrt {\theta }}}}+{\frac {1}{\sqrt {\theta }}}\right)\end{aligned}}.}$$Esta expresión también puede derivarse directamente de la fórmula de cambio de reparametrización que se da a continuación. De manera más general, para cualquier función suficientemente regular${\displaystyle f}$de tal manera que${\displaystyle f(\theta )\in [0,1]}$, la información de Fisher para recuperar${\displaystyle \theta }$de${\displaystyle X\sim \operatorname {Bern} (f(\theta ))}$se calcula de manera similar que es$${\displaystyle {\mathcal {I}}(\theta )=f'(\theta )^{2}\left({\frac {1}{1-f(\theta )}}+{\frac {1}{f(\theta )}}\right).}$$

Decimos que dos vectores de componentes de parámetros θ ₁ y θ ₂ son ortogonales en cuanto a información si la matriz de información de Fisher es diagonal por bloques, con estos componentes en bloques separados. ^{[ 16 ]} Los parámetros ortogonales son fáciles de manejar en el sentido de que sus estimaciones de máxima verosimilitud no están correlacionadas asintóticamente. Al considerar cómo analizar un modelo estadístico, se recomienda al modelador invertir tiempo en buscar una parametrización ortogonal del modelo, en particular cuando el parámetro de interés es unidimensional, pero el parámetro de perturbación puede tener cualquier dimensión. ^{[ 17 ]}

Si la matriz de información de Fisher es definida positiva para todo θ , entonces se dice que el modelo estadístico correspondiente es regular ; de lo contrario, se dice que el modelo estadístico es singular . ^{[ 18 ]} Ejemplos de modelos estadísticos singulares incluyen los siguientes: mezclas normales , mezclas binomiales, mezclas multinomiales, redes bayesianas , redes neuronales , funciones de base radial , modelos ocultos de Markov , gramáticas estocásticas libres de contexto , regresiones de rango reducido, máquinas de Boltzmann .

En el aprendizaje automático , si se diseña un modelo estadístico de manera que extraiga una estructura oculta de un fenómeno aleatorio, entonces naturalmente se vuelve singular. ^{[ 19 ]}

La FIM para una distribución normal multivariada de N variables ,${\displaystyle \,X\sim N\left(\mu (\theta ),\,\Sigma (\theta )\right)}$tiene una forma especial. Sea el vector de parámetros de K dimensiones.${\displaystyle \theta ={\begin{bmatrix}\theta _{1}&\dots &\theta _{K}\end{bmatrix}}^{\textsf {T}}}$y el vector de variables aleatorias normales sea${\displaystyle X={\begin{bmatrix}X_{1}&\dots &X_{N}\end{bmatrix}}^{\textsf {T}}}$Supongamos que los valores medios de estas variables aleatorias son:${\displaystyle \,\mu (\theta )={\begin{bmatrix}\mu _{1}(\theta )&\dots &\mu _{N}(\theta )\end{bmatrix}}^{\textsf {T}}}$y dejar${\displaystyle \,\Sigma (\theta )}$Sea la matriz de covarianza . Entonces, para${\displaystyle 1\leq m,\,n\leq K}$, la entrada ( m , n ) del FIM es: ^{[ 20 ]}

${\displaystyle {\mathcal {I}}_{m,n}={\frac {\partial \mu ^{\textsf {T}}}{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \theta _{n}}}+{\frac {1}{2}}\operatorname {tr} \left(\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{n}}}\right),}$

dónde${\displaystyle (\cdot )^{\textsf {T}}}$denota la transpuesta de un vector,${\displaystyle \operatorname {tr} (\cdot )}$denota la traza de una matriz cuadrada y:

${\displaystyle {\begin{aligned}{\frac {\partial \mu }{\partial \theta _{m}}}&={\begin{bmatrix}{\dfrac {\partial \mu _{1}}{\partial \theta _{m}}}&{\dfrac {\partial \mu _{2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \mu _{N}}{\partial \theta _{m}}}\end{bmatrix}}^{\textsf {T}};\\[8pt]{\dfrac {\partial \Sigma }{\partial \theta _{m}}}&={\begin{bmatrix}{\dfrac {\partial \Sigma _{1,1}}{\partial \theta _{m}}}&{\dfrac {\partial \Sigma _{1,2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \Sigma _{1,N}}{\partial \theta _{m}}}\\[5pt]{\dfrac {\partial \Sigma _{2,1}}{\partial \theta _{m}}}&{\dfrac {\partial \Sigma _{2,2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \Sigma _{2,N}}{\partial \theta _{m}}}\\\vdots &\vdots &\ddots &\vdots \\{\dfrac {\partial \Sigma _{N,1}}{\partial \theta _{m}}}&{\dfrac {\partial \Sigma _{N,2}}{\partial \theta _{m}}}&\cdots &{\dfrac {\partial \Sigma _{N,N}}{\partial \theta _{m}}}\end{bmatrix}}.\end{aligned}}}$

Tenga en cuenta que un caso especial, pero muy común, es aquel en el que${\displaystyle \Sigma (\theta )=\Sigma }$, una constante. Entonces

${\displaystyle {\mathcal {I}}_{m,n}={\frac {\partial \mu ^{\textsf {T}}}{\partial \theta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \theta _{n}}}.\ }$

En este caso, la matriz de información de Fisher puede identificarse con la matriz de coeficientes de las ecuaciones normales de la teoría de estimación de mínimos cuadrados .

Otro caso especial se da cuando la media y la covarianza dependen de dos parámetros vectoriales diferentes, digamos β y θ . Esto es especialmente común en el análisis de datos espaciales, que a menudo utiliza un modelo lineal con residuos correlacionados. En este caso, ^{[ 21 ]}

${\displaystyle {\mathcal {I}}(\beta ,\theta )=\operatorname {diag} \left({\mathcal {I}}(\beta ),{\mathcal {I}}(\theta )\right)}$

dónde

${\displaystyle {\begin{aligned}{\mathcal {I}}{(\beta )_{m,n}}&={\frac {\partial \mu ^{\textsf {T}}}{\partial \beta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \beta _{n}}},\\[5pt]{\mathcal {I}}{(\theta )_{m,n}}&={\frac {1}{2}}\operatorname {tr} \left(\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \theta _{m}}}{\Sigma ^{-1}}{\frac {\partial \Sigma }{\partial \theta _{n}}}\right)\end{aligned}}}$

De forma similar a la entropía o la información mutua , la información de Fisher también posee una descomposición mediante la regla de la cadena . En particular, si X e Y son variables aleatorias distribuidas conjuntamente, se cumple que: ^{[ 22 ]}

${\displaystyle {\mathcal {I}}_{X,Y}(\theta )={\mathcal {I}}_{X}(\theta )+{\mathcal {I}}_{Y\mid X}(\theta ),}$

dónde${\displaystyle {\mathcal {I}}_{Y\mid X}(\theta )=\operatorname {E} _{X}\left[{\mathcal {I}}_{Y\mid X=x}(\theta )\right]}$y${\displaystyle {\mathcal {I}}_{Y\mid X=x}(\theta )}$es la información de Fisher de Y relativa a${\displaystyle \theta }$calculado con respecto a la densidad condicional de Y dado un valor específico X = x .   

Como caso especial, si las dos variables aleatorias son independientes , la información que proporcionan las dos variables aleatorias es la suma de la información de cada variable aleatoria por separado:

${\displaystyle {\mathcal {I}}_{X,Y}(\theta )={\mathcal {I}}_{X}(\theta )+{\mathcal {I}}_{Y}(\theta ).}$

En consecuencia, la información contenida en una muestra aleatoria de n observaciones independientes e idénticamente distribuidas es n veces mayor que la información contenida en una muestra de tamaño  1.

Dada una función convexa${\displaystyle f:[0,\infty )\to (-\infty ,\infty ]}$eso${\displaystyle f(x)}$es finito para todos${\displaystyle x>0}$,${\displaystyle f(1)=0}$, y${\displaystyle f(0)=\lim _{t\to 0^{+}}f(t)}$, (que podría ser infinito), define una f -divergencia${\displaystyle D_{f}}$. Entonces si${\displaystyle f}$es estrictamente convexa en${\displaystyle 1}$, luego localmente en${\displaystyle \theta \in \Theta }$, la matriz de información de Fisher es una métrica, en el sentido de que ^{[ 23 ]}$${\displaystyle (\delta \theta )^{T}I(\theta )(\delta \theta )={\frac {1}{f''(1)}}D_{f}(P_{\theta +\delta \theta }\parallel P_{\theta })}$$dónde${\displaystyle P_{\theta }}$es la distribución parametrizada por${\displaystyle \theta }$Es decir, es la distribución con pdf${\displaystyle f(x;\theta )}$.

De esta forma, queda claro que la matriz de información de Fisher es una métrica riemanniana y varía correctamente ante un cambio de variables. (Véase la sección sobre reparametrización ).

La información proporcionada por un estadístico suficiente es la misma que la de la muestra X. Esto se puede observar utilizando el criterio de factorización de Neyman para un estadístico suficiente. Si T ( X ) es suficiente para θ , entonces

${\displaystyle f(X;\theta )=g(T(X),\theta )h(X)}$

para algunas funciones g y h . La independencia de h ( X ) de θ implica

${\displaystyle {\frac {\partial }{\partial \theta }}\log \left[f(X;\theta )\right]={\frac {\partial }{\partial \theta }}\log \left[g(T(X);\theta )\right],}$

y la igualdad de información se deduce entonces de la definición de información de Fisher. De forma más general, si T = t ( X ) es un estadístico , entonces

${\displaystyle {\mathcal {I}}_{T}(\theta )\leq {\mathcal {I}}_{X}(\theta )}$

con igualdad si y solo si T es una estadística suficiente . ^{[ 24 ]}

La información de Fisher depende de la parametrización del problema. Si θ y η son dos parametrizaciones escalares de un problema de estimación, y θ es una función continuamente diferenciable de η , entonces

${\displaystyle {\mathcal {I}}_{\eta }(\eta )={\mathcal {I}}_{\theta }(\theta (\eta ))\left({\frac {d\theta }{d\eta }}\right)^{2}}$

dónde${\displaystyle {\mathcal {I}}_{\eta }}$y${\displaystyle {\mathcal {I}}_{\theta }}$son las medidas de información de Fisher de η y θ , respectivamente. ^{[ 25 ]}

En el caso vectorial, supongamos que${\displaystyle {\boldsymbol {\theta }}}$y${\displaystyle {\boldsymbol {\eta }}}$son k -vectores que parametrizan un problema de estimación, y supongamos que${\displaystyle {\boldsymbol {\theta }}}$es una función continuamente diferenciable de${\displaystyle {\boldsymbol {\eta }}}$, entonces, ^{[ 26 ]}

${\displaystyle {\mathcal {I}}_{\boldsymbol {\eta }}({\boldsymbol {\eta }})={\boldsymbol {J}}^{\textsf {T}}{\mathcal {I}}_{\boldsymbol {\theta }}({\boldsymbol {\theta }}({\boldsymbol {\eta }})){\boldsymbol {J}}}$

donde el elemento ( i , j ) de la matriz jacobiana k  × k ${\displaystyle {\boldsymbol {J}}}$se define por

${\displaystyle J_{ij}={\frac {\partial \theta _{i}}{\partial \eta _{j}}},}$

y dónde${\displaystyle {\boldsymbol {J}}^{\textsf {T}}}$es la transpuesta de la matriz de${\displaystyle {\boldsymbol {J}}.}$

En geometría de la información , esto se considera un cambio de coordenadas en una variedad riemanniana , y las propiedades intrínsecas de la curvatura permanecen inalteradas bajo diferentes parametrizaciones. En general, la matriz de información de Fisher proporciona una métrica riemanniana (más precisamente, la métrica de Fisher-Rao) para la variedad de estados termodinámicos, y puede utilizarse como una medida de complejidad geométrica de la información para una clasificación de transiciones de fase ; por ejemplo, la curvatura escalar del tensor métrico termodinámico diverge en (y solo en) un punto de transición de fase. ^{[ 27 ]}

En el contexto termodinámico, la matriz de información de Fisher está directamente relacionada con la tasa de cambio de los parámetros de orden correspondientes . ^{[ 28 ]} En particular, dichas relaciones identifican transiciones de fase de segundo orden a través de divergencias de elementos individuales de la matriz de información de Fisher.

La matriz de información de Fisher desempeña un papel en una desigualdad como la desigualdad isoperimétrica . ^{[ 29 ]} De todas las distribuciones de probabilidad con una entropía dada, aquella cuya matriz de información de Fisher tiene la traza más pequeña es la distribución gaussiana. Esto es similar a cómo, de todos los conjuntos acotados con un volumen dado, la esfera tiene la superficie más pequeña.

La demostración implica tomar una variable aleatoria multivariada.${\displaystyle X}$con función de densidad${\displaystyle f}$y añadiendo un parámetro de ubicación para formar una familia de densidades${\displaystyle \{f(x-\theta )\mid \theta \in \mathbb {R} ^{n}\}}$. Luego, por analogía con la fórmula de Minkowski-Steiner , el "área de superficie" de${\displaystyle X}$se define como

${\displaystyle S(X)=\lim _{\varepsilon \to 0}{\frac {e^{H(X+Z_{\varepsilon })}-e^{H(X)}}{\varepsilon }}}$

dónde${\displaystyle Z_{\varepsilon }}$es una variable gaussiana con matriz de covarianza${\displaystyle \varepsilon I}$El nombre "área superficial" es apropiado debido a la entropía.${\displaystyle e^{H(X)}}$es el volumen del "conjunto de soporte efectivo", ^{[ 30 ]} así${\displaystyle S(X)}$es la "derivada" del volumen del conjunto de soporte efectivo, muy similar a la fórmula de Minkowski-Steiner. El resto de la demostración utiliza la desigualdad de potencia de entropía , que es similar a la desigualdad de Brunn-Minkowski . Se encuentra que la traza de la matriz de información de Fisher es un factor de${\displaystyle S(X)}$.

La información de Fisher se utiliza ampliamente en el diseño experimental óptimo . Debido a la reciprocidad entre la varianza del estimador y la información de Fisher, minimizar la varianza corresponde a maximizar la información .

Cuando un modelo estadístico lineal (o linealizado ) tiene varios parámetros , la media del estimador de parámetros es un vector y su varianza es una matriz . La inversa de la matriz de varianza se denomina "matriz de información". Dado que la varianza del estimador de un vector de parámetros es una matriz, el problema de "minimizar la varianza" es complejo. Mediante la teoría estadística , los estadísticos comprimen la matriz de información utilizando estadísticas descriptivas de valor real ; al ser funciones de valor real, estos "criterios de información" pueden maximizarse.

Tradicionalmente, los estadísticos han evaluado estimadores y diseños considerando alguna estadística descriptiva de la matriz de covarianza (de un estimador insesgado), generalmente con valores reales positivos (como el determinante o la traza de la matriz ). Trabajar con números reales positivos ofrece varias ventajas: si el estimador de un solo parámetro tiene una varianza positiva, entonces tanto la varianza como la información de Fisher son números reales positivos; por lo tanto, pertenecen al cono convexo de números reales no negativos (cuyos miembros distintos de cero tienen recíprocos en este mismo cono).

Para varios parámetros, las matrices de covarianza y las matrices de información son elementos del cono convexo de matrices simétricas semidefinidas positivas en un espacio vectorial parcialmente ordenado , bajo el orden de Loewner (Löwner). Este cono es cerrado bajo la suma e inversión de matrices, así como bajo la multiplicación de números reales positivos y matrices. Una exposición de la teoría de matrices y el orden de Loewner aparece en Pukelsheim. ^{[ 31 ]}

Los criterios de optimalidad tradicionales son los invariantes de la matriz de información, en el sentido de la teoría de invariantes ; algebraicamente, los criterios de optimalidad tradicionales son funcionales de los valores propios de la matriz de información (Fisher) (véase diseño óptimo ).

En estadística bayesiana , la información de Fisher se utiliza para calcular la distribución a priori de Jeffreys , que es una distribución a priori estándar no informativa para parámetros de distribución continuos. ^{[ 32 ]}

La información de Fisher se ha utilizado para determinar los límites de la precisión de los códigos neuronales . En ese caso, X suele ser la respuesta conjunta de muchas neuronas que representan una variable de baja dimensión θ (como un parámetro de estímulo ). En particular, se ha estudiado el papel de las correlaciones en el ruido de las respuestas neuronales. ^{[ 33 ]}

Se utilizó la información de Fisher para estudiar cuán informativas son las diferentes fuentes de datos para la estimación del número de reproducción del SARS-CoV-2. ^{[ 34 ]}

La información de Fisher se utiliza en técnicas de aprendizaje automático como la consolidación elástica de pesos , ^{[ 35 ]} que reduce el olvido catastrófico en las redes neuronales artificiales .

La información de Fisher se puede utilizar como alternativa al Hessiano de la función de pérdida en el entrenamiento de redes de descenso de gradiente de segundo orden. ^{[ 36 ]}

Utilizando una métrica de información de Fisher , da Fonseca et al. ^{[ 37 ]} investigaron el grado en que las elipses de MacAdam (elipses de discriminación de color) pueden derivarse de las funciones de respuesta de los fotorreceptores de la retina.