estimación de máxima verosimilitud

Si bien el dominio de la función de verosimilitud —el espacio de parámetros— es generalmente un subconjunto de dimensión finita del espacio euclidiano , a veces es necesario incorporar restricciones adicionales al proceso de estimación. El espacio de parámetros se puede expresar como$${\displaystyle \Theta =\left\{\theta$$ :\theta \in \mathbb {R} ^{k},\;h(\theta )=0\right\}~,}

dónde${\displaystyle \;h(\theta )=\left[h_{1}(\theta ),h_{2}(\theta ),\ldots ,h_{r}(\theta )\right]\;}$es una función vectorial que realiza una asignación .${\displaystyle \,\mathbb {R} ^{k}\,}$en${\displaystyle \;\mathbb {R} ^{r}~.}$Estimación del parámetro verdadero${\displaystyle \theta }$perteneciente a${\displaystyle \Theta }$Entonces, en la práctica, significa encontrar el máximo de la función de verosimilitud sujeto a la restricción.${\displaystyle ~h(\theta )=0~.}$

Teóricamente, el enfoque más natural para este problema de optimización con restricciones es el método de sustitución, es decir, "completar" las restricciones.${\displaystyle \;h_{1},h_{2},\ldots ,h_{r}\;}$a un conjunto${\displaystyle \;h_{1},h_{2},\ldots ,h_{r},h_{r+1},\ldots ,h_{k}\;}$de tal manera que${\displaystyle \;h^{\ast }=\left[h_{1},h_{2},\ldots ,h_{k}\right]\;}$es una función uno a uno de${\displaystyle \mathbb {R} ^{k}}$a sí mismo, y reparametrizar la función de verosimilitud estableciendo${\displaystyle \;\phi _{i}=h_{i}(\theta _{1},\theta _{2},\ldots ,\theta _{k})~.}$^{[ 12 ]} Debido a la equivariancia del estimador de máxima verosimilitud, las propiedades del MLE también se aplican a las estimaciones restringidas. ^{[ 13 ]} Por ejemplo, en unadistribución normal multivariada,lamatriz de covarianza${\displaystyle \,\Sigma \,}$debe ser definida positiva ; esta restricción puede imponerse reemplazando${\displaystyle \;\Sigma =\Gamma ^{\mathsf {T}}\Gamma \;,}$dónde${\displaystyle \Gamma }$es una matriz triangular superior real y${\displaystyle \Gamma ^{\mathsf {T}}}$es su transpuesta . ^{[ 14 ]}

En la práctica, las restricciones se suelen imponer utilizando el método de Lagrange que, dadas las restricciones definidas anteriormente, conduce a las ecuaciones de verosimilitud restringida.$${\displaystyle {\frac {\partial \ell }{\partial \theta }}-{\frac {\partial h(\theta )^{\mathsf {T}}}{\partial \theta }}\lambda =0}$$y${\displaystyle h(\theta )=0\;,}$

dónde${\displaystyle ~\lambda =\left[\lambda _{1},\lambda _{2},\ldots ,\lambda _{r}\right]^{\mathsf {T}}~}$es un vector columna de multiplicadores de Lagrange y${\displaystyle \;{\frac {\partial h(\theta )^{\mathsf {T}}}{\partial \theta }}\;}$es la matriz jacobiana k × r de derivadas parciales. ^{[ 12 ]} Naturalmente, si las restricciones no son vinculantes en el máximo, los multiplicadores de Lagrange deberían ser cero. ^{[ 15 ]} Esto a su vez permite una prueba estadística de la "validez" de la restricción, conocida como la prueba del multiplicador de Lagrange .

La estimación de máxima verosimilitud no paramétrica se puede realizar utilizando la verosimilitud empírica .

El método de soporte es una técnica que se utiliza para realizar inferencias a partir de conjuntos de datos. Según AWF Edwards [ ^{16 ], este} método busca realizar inferencias sobre parámetros desconocidos en función del soporte relativo, o log- verosimilitud , que proporciona un conjunto de datos para un valor de parámetro específico. La técnica puede utilizarse independientemente de si se dispone de información previa. El método de máxima verosimilitud forma parte del método de soporte, pero cabe destacar que este último también proporciona regiones de confianza definidas en función de su soporte.

Bajo las condiciones descritas a continuación, el estimador de máxima verosimilitud es consistente . La consistencia significa que si los datos fueron generados por${\displaystyle f(\cdot \,;\theta _{0})}$y tenemos un número suficientemente grande de observaciones n , entonces es posible encontrar el valor de θ ₀ con precisión arbitraria. En términos matemáticos, esto significa que cuando n tiende a infinito, el estimador${\displaystyle {\widehat {\theta \,}}}$converge en probabilidad a su valor verdadero:

$${\displaystyle {\widehat {\theta \,}}_{\mathrm {mle} }\ {\xrightarrow {\text{p}}}\ \theta _{0}.}$$

En condiciones ligeramente más estrictas, el estimador converge casi con seguridad (o fuertemente ):

$${\displaystyle {\widehat {\theta \,}}_{\mathrm {mle} }\ {\xrightarrow {\text{a.s.}}}\ \theta _{0}.}$$

En aplicaciones prácticas, los datos nunca se generan por${\displaystyle f(\cdot \,;\theta _{0})}$. Bastante,${\displaystyle f(\cdot \,;\theta _{0})}$Un modelo, a menudo idealizado, representa el proceso generado por los datos. En estadística, es un aforismo común que todos los modelos son erróneos . Por lo tanto, la consistencia verdadera no se da en las aplicaciones prácticas. Sin embargo, la consistencia suele considerarse una propiedad deseable para un estimador.

Para establecer la consistencia, las siguientes condiciones son suficientes. ^{[ 18 ]}

La condición de dominancia puede emplearse en el caso de observaciones i.i.d. En el caso no i.i.d., la convergencia uniforme en probabilidad puede comprobarse demostrando que la secuencia${\displaystyle {\widehat {\ell \,}}(\theta \mid x)}$es estocásticamente equicontinua .

Si uno quiere demostrar que el estimador ML${\displaystyle {\widehat {\theta \,}}}$Si converge a θ ₀ casi con seguridad , entonces debe imponerse una condición más fuerte de convergencia uniforme casi con seguridad: $${\displaystyle \sup _{\theta \in \Theta }\left\|\;{\widehat {\ell \,}}(\theta \mid x)-\ell (\theta )\;\right\|\ \xrightarrow {\text{a.s.}} \ 0.}$$

Además, si (como se supuso anteriormente) los datos fueron generados por${\displaystyle f(\cdot \,;\theta _{0})}$, entonces, bajo ciertas condiciones, también se puede demostrar que el estimador de máxima verosimilitud converge en distribución a una distribución normal. Específicamente, ^{[ 19 ]}$${\displaystyle {\sqrt {n}}\left({\widehat {\theta \,}}_{\mathrm {mle} }-\theta _{0}\right)\ \xrightarrow {d} \ {\mathcal {N}}\left(0,\,I^{-1}\right)}$$ donde I es la matriz de información de Fisher .

El estimador de máxima verosimilitud selecciona el valor del parámetro que otorga a los datos observados la mayor probabilidad posible (o densidad de probabilidad, en el caso continuo). Si el parámetro consta de varios componentes, definimos sus estimadores de máxima verosimilitud separados como el componente correspondiente del MLE del parámetro completo. De acuerdo con esto, si${\displaystyle {\widehat {\theta \,}}}$es el MLE para${\displaystyle \theta }$y si${\displaystyle g(\theta )}$es cualquier transformación de${\displaystyle \theta }$, entonces el MLE para${\displaystyle \alpha =g(\theta )}$es por definición ^{[ 20 ]}

$${\displaystyle {\widehat {\alpha }}=g(\,{\widehat {\theta \,}}\,).\,}$$

Maximiza la denominada probabilidad de perfil :

$${\displaystyle {\bar {L}}(\alpha )=\sup _{\theta$$ :\alpha =g(\theta )}L(\theta ).\,}

El MLE también es equivariante con respecto a ciertas transformaciones de los datos. Si${\displaystyle y=g(x)}$dónde${\displaystyle g}$es uno a uno y no depende de los parámetros a estimar, entonces las funciones de densidad satisfacen

$${\displaystyle f_{Y}(y)=f_{X}(g^{-1}(y))\,|(g^{-1}(y))^{\prime }|}$$

y por lo tanto las funciones de probabilidad para${\displaystyle X}$y${\displaystyle Y}$Se diferencian únicamente por un factor que no depende de los parámetros del modelo.

Por ejemplo, los parámetros MLE de la distribución log-normal son los mismos que los de la distribución normal ajustada al logaritmo de los datos. De hecho, en el caso log-normal si${\displaystyle X\sim {\mathcal {N}}(0,1)}$, entonces${\displaystyle Y=g(X)=e^{X}}$sigue una distribución lognormal . La densidad de Y sigue con${\displaystyle f_{X}}$estándar Normal y${\displaystyle g^{-1}(y)=\log(y)}$,${\displaystyle |(g^{-1}(y))^{\prime }|={\frac {1}{y}}}$para${\displaystyle y>0}$.

Como se supuso anteriormente, si los datos fueron generados por${\displaystyle ~f(\cdot \,;\theta _{0})~,}$Entonces, bajo ciertas condiciones, también se puede demostrar que el estimador de máxima verosimilitud converge en distribución a una distribución normal. Es √ n  -consistente y asintóticamente eficiente, lo que significa que alcanza la cota de Cramér-Rao . Específicamente, ^{[ 19 ]}

$${\displaystyle {\sqrt {n\,}}\,\left({\widehat {\theta \,}}_{\text{mle}}-\theta _{0}\right)\ \ \xrightarrow {d} \ \ {\mathcal {N}}\left(0,\ {\mathcal {I}}^{-1}\right)~,}$$ dónde${\displaystyle ~{\mathcal {I}}~}$es la matriz de información de Fisher : $${\displaystyle {\mathcal {I}}_{jk}=\operatorname {\mathbb {E} } \,{\biggl [}\;-{\frac {\partial ^{2}\ln f_{\theta _{0}}(X_{t})}{\partial \theta _{j}\,\partial \theta _{k}}}\;{\biggr ]}~.}$$

En particular, significa que el sesgo del estimador de máxima verosimilitud es igual a cero hasta el orden ⁠ 1 / √ n  ⁠ .

Sin embargo, cuando consideramos los términos de orden superior en la expansión de la distribución de este estimador, resulta que θ _mle tiene un sesgo de orden 1 ⁄ n . Este sesgo es igual a (componente por componente) ^{[ 21 ]}

$${\displaystyle b_{h}\;\equiv \;\operatorname {\mathbb {E} } {\biggl [}\;\left({\widehat {\theta }}_{\mathrm {mle} }-\theta _{0}\right)_{h}\;{\biggr ]}\;=\;{\frac {1}{\,n\,}}\,\sum _{i,j,k=1}^{m}\;{\mathcal {I}}^{hi}\;{\mathcal {I}}^{jk}\left({\frac {1}{\,2\,}}\,K_{ijk}\;+\;J_{j,ik}\right)}$$

dónde${\displaystyle {\mathcal {I}}^{jk}}$(con superíndices) denota el componente ( j,k ) de la matriz de información de Fisher inversa.${\displaystyle {\mathcal {I}}^{-1}}$, y

$${\displaystyle {\frac {1}{\,2\,}}\,K_{ijk}\;+\;J_{j,ik}\;=\;\operatorname {\mathbb {E} } \,{\biggl [}\;{\frac {1}{2}}{\frac {\partial ^{3}\ln f_{\theta _{0}}(X_{t})}{\partial \theta _{i}\;\partial \theta _{j}\;\partial \theta _{k}}}+{\frac {\;\partial \ln f_{\theta _{0}}(X_{t})\;}{\partial \theta _{j}}}\,{\frac {\;\partial ^{2}\ln f_{\theta _{0}}(X_{t})\;}{\partial \theta _{i}\,\partial \theta _{k}}}\;{\biggr ]}~.}$$

Utilizando estas fórmulas es posible estimar el sesgo de segundo orden del estimador de máxima verosimilitud y corregir dicho sesgo restándolo: $${\displaystyle {\widehat {\theta \,}}_{\text{mle}}^{*}={\widehat {\theta \,}}_{\text{mle}}-{\widehat {b\,}}~.}$$ Este estimador es insesgado hasta los términos de orden 1 / n , y se denomina estimador de máxima verosimilitud corregido por sesgo .

Este estimador corregido por sesgo es eficiente de segundo orden (al menos dentro de la familia exponencial curva), lo que significa que tiene un error cuadrático medio mínimo entre todos los estimadores corregidos por sesgo de segundo orden, hasta los términos del orden 1 / n ² . Es posible continuar este proceso, es decir , derivar el término de corrección de sesgo de tercer orden, y así sucesivamente. Sin embargo, el estimador de máxima verosimilitud no es eficiente de tercer orden. ^{[ 22 ]} 

Un estimador de máxima verosimilitud coincide con el estimador bayesiano más probable dada una distribución a priori uniforme sobre los parámetros . De hecho, la estimación a posteriori máxima es el parámetro θ que maximiza la probabilidad de θ dados los datos, según el teorema de Bayes:

$${\displaystyle \operatorname {\mathbb {P} } (\theta \mid x_{1},x_{2},\ldots ,x_{n})={\frac {f(x_{1},x_{2},\ldots ,x_{n}\mid \theta )\operatorname {\mathbb {P} } (\theta )}{\operatorname {\mathbb {P} } (x_{1},x_{2},\ldots ,x_{n})}}}$$

dónde${\displaystyle \operatorname {\mathbb {P} } (\theta )}$es la distribución previa para el parámetro θ y donde${\displaystyle \operatorname {\mathbb {P} } (x_{1},x_{2},\ldots ,x_{n})}$es la probabilidad de los datos promediada sobre todos los parámetros. Dado que el denominador es independiente de θ , el estimador bayesiano se obtiene maximizando${\displaystyle f(x_{1},x_{2},\ldots ,x_{n}\mid \theta )\operatorname {\mathbb {P} } (\theta )}$con respecto a θ . Si además asumimos que el anterior${\displaystyle \operatorname {\mathbb {P} } (\theta )}$es una distribución uniforme, el estimador bayesiano se obtiene maximizando la función de verosimilitud${\displaystyle f(x_{1},x_{2},\ldots ,x_{n}\mid \theta )}$Por lo tanto, el estimador bayesiano coincide con el estimador de máxima verosimilitud para una distribución a priori uniforme.${\displaystyle \operatorname {\mathbb {P} } (\theta )}$.

Descubrimiento${\displaystyle {\hat {\theta }}}$que maximiza la probabilidad es asintóticamente equivalente a encontrar la${\displaystyle {\hat {\theta }}}$que define una distribución de probabilidad (${\displaystyle Q_{\hat {\theta }}}$) que tiene una distancia mínima, en términos de divergencia de Kullback-Leibler , a la distribución de probabilidad real a partir de la cual se generaron nuestros datos (es decir, generados por${\displaystyle P_{\theta _{0}}}$). ^{[ 24 ]} En un mundo ideal, P y Q son lo mismo (y lo único desconocido es${\displaystyle \theta }$que define P), pero incluso si no lo son y el modelo que usamos está mal especificado, el MLE aún nos dará la distribución "más cercana" (dentro de la restricción de un modelo Q que depende de${\displaystyle {\hat {\theta }}}$) a la distribución real${\displaystyle P_{\theta _{0}}}$. ^{[ 25 ]}

Las estimaciones de máxima verosimilitud de los parámetros pueden sustituirse en expresiones para la función de densidad de probabilidad , la función de distribución acumulativa o la función cuantil , para generar predicciones de probabilidades o cuantiles de eventos fuera de la muestra. Este método para predecir probabilidades se recomienda en libros de texto de estadística ^{[ 27 ] [ 28 ] [ 29 ]} y libros de texto actuariales, ^{[ 30 ]} y se utiliza ampliamente en la literatura científica. Sin embargo, la predicción de máxima verosimilitud no propaga la incertidumbre alrededor de las estimaciones de parámetros de máxima verosimilitud en la predicción. ^{[ 31 ] [ 32 ]} Como resultado, las probabilidades predichas no están bien calibradas y no se debe esperar que correspondan a las frecuencias de eventos fuera de la muestra. En particular, las probabilidades de excedencia de cola y los cuantiles de excedencia de cola suelen subestimarse, a veces drásticamente. La subestimación es mayor cuando hay pocos datos de entrenamiento, se estiman muchos parámetros y para la cola lejana. En los casos en que este sesgo de predicción sea un problema, las predicciones bayesianas pueden proporcionar una solución si la distribución a priori se elige de manera que se reduzca o elimine el sesgo. ^{[ 33 ] [ 34 ] [ 35 ]}

Consideremos un caso en el que se colocan n boletos numerados del 1 al n en una caja y se selecciona uno al azar ( véase distribución uniforme ); por lo tanto, el tamaño de la muestra es 1. Si n es desconocido, entonces el estimador de máxima verosimilitud${\displaystyle {\widehat {n}}}$de n es el número m en el boleto sorteado. (La probabilidad es 0 para n  < m , 1 / n para n ≥ m , y es máxima cuando n = m . Nótese que la estimación de máxima probabilidad de n se produce en el extremo inferior de los valores posibles { m , m + 1, ...}, en lugar de en algún punto intermedio del rango de valores posibles, lo que resultaría en un menor sesgo). El valor esperado del número m en el boleto sorteado y, por lo tanto, el valor esperado de         ${\displaystyle {\widehat {n}}}$, es ( n  +  1)/2. Como resultado, con un tamaño de muestra de 1, el estimador de máxima verosimilitud para n subestimará sistemáticamente n en ( n  −  1)/2.

Supongamos que uno desea determinar cuán sesgada es una moneda injusta . Llamemos p a la probabilidad de lanzar una ' cara ' . El objetivo entonces es determinar p .

Supongamos que se lanza la moneda 80 veces: es decir, la muestra podría ser algo como x ₁  =  H, x ₂  =  T, ..., x ₈₀  = T, y se observa  el número de caras "H".

La probabilidad de obtener cruz es 1  − p (donde p es θ ). Supongamos que el resultado es 49 caras y 31 cruces , y que la moneda se extrajo de una caja que contiene tres monedas: una que da cara con probabilidad p = 1/3 , otra que da cara con probabilidad p = 1/2 y otra que da cara con probabilidad p = 2/3 . Las monedas han perdido sus etiquetas, por lo que se desconoce cuál era. Mediante la estimación de máxima verosimilitud, se puede encontrar la moneda con la mayor probabilidad, dados los datos observados. Utilizando la función de probabilidad de la distribución binomial con un tamaño de muestra de 80 y un número de éxitos de 49, pero para diferentes valores de p (la "probabilidad de éxito"), la función de verosimilitud (definida a continuación) toma uno de tres valores:         

$${\displaystyle {\begin{aligned}\operatorname {\mathbb {P} } {\bigl [}\;\mathrm {H} =49\mid p={\tfrac {1}{3}}\;{\bigr ]}&={\binom {80}{49}}({\tfrac {1}{3}})^{49}(1-{\tfrac {1}{3}})^{31}\approx 0.000,\\[6pt]\operatorname {\mathbb {P} } {\bigl [}\;\mathrm {H} =49\mid p={\tfrac {1}{2}}\;{\bigr ]}&={\binom {80}{49}}({\tfrac {1}{2}})^{49}(1-{\tfrac {1}{2}})^{31}\approx 0.012,\\[6pt]\operatorname {\mathbb {P} } {\bigl [}\;\mathrm {H} =49\mid p={\tfrac {2}{3}}\;{\bigr ]}&={\binom {80}{49}}({\tfrac {2}{3}})^{49}(1-{\tfrac {2}{3}})^{31}\approx 0.054~.\end{aligned}}}$$

La probabilidad se maximiza cuando p  = 2 / 3 , por lo que esta es la estimación de máxima verosimilitud para p .  

Ahora supongamos que solo hubiera una moneda, pero su valor p podría ser cualquier valor 0 ≤ p ≤ 1. La función de verosimilitud que se debe maximizar es $${\displaystyle L(p)=f_{D}(\mathrm {H} =49\mid p)={\binom {80}{49}}p^{49}(1-p)^{31}~,}$$

y la maximización se realiza sobre todos los valores posibles 0 ≤ p ≤ 1 .

Una forma de maximizar esta función es derivando con respecto a p e igualando a cero:

$${\displaystyle {\begin{aligned}0&={\frac {\partial }{\partial p}}\left({\binom {80}{49}}p^{49}(1-p)^{31}\right)~,\\[8pt]0&=49p^{48}(1-p)^{31}-31p^{49}(1-p)^{30}\\[8pt]&=p^{48}(1-p)^{30}\left[49(1-p)-31p\right]\\[8pt]&=p^{48}(1-p)^{30}\left[49-80p\right]~.\end{aligned}}}$$

Este es un producto de tres términos. El primer término es 0 cuando p  =  0. El segundo es 0 cuando p  =  1. El tercero es cero cuando p  = 49 / 80. La solución que maximiza la verosimilitud es claramente p = 49 / 80 (ya que p = 0 y p = 1 dan como resultado una verosimilitud de 0). Por lo tanto, el estimador de máxima verosimilitud para p es 49 / 80 .       

Este resultado se generaliza fácilmente sustituyendo el número 49 por una letra como la "s" para representar el número observado de "éxitos" en nuestros ensayos de Bernoulli , y el número 80 por una letra como la "n" para representar el número de ensayos de Bernoulli. El mismo cálculo da como resultado s / n, que es el estimador de máxima verosimilitud para cualquier secuencia de n ensayos de Bernoulli que resulten en s "éxitos".

Para la distribución normal${\displaystyle {\mathcal {N}}(\mu ,\sigma ^{2})}$que tiene función de densidad de probabilidad

$${\displaystyle f(x\mid \mu ,\sigma ^{2})={\frac {1}{{\sqrt {2\pi \sigma ^{2}}}\ }}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right),}$$

La función de densidad de probabilidad correspondiente para una muestra de n variables aleatorias normales independientes e idénticamente distribuidas (la verosimilitud) es

$${\displaystyle f(x_{1},\ldots ,x_{n}\mid \mu ,\sigma ^{2})=\prod _{i=1}^{n}f(x_{i}\mid \mu ,\sigma ^{2})=\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{n/2}\exp \left(-{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right).}$$

Esta familia de distribuciones tiene dos parámetros: θ  = ( μ , σ )  ; por lo tanto, maximizamos la verosimilitud,${\displaystyle {\mathcal {L}}(\mu ,\sigma ^{2})=f(x_{1},\ldots ,x_{n}\mid \mu ,\sigma ^{2})}$, sobre ambos parámetros simultáneamente o, si es posible, individualmente.

Dado que la función logaritmo es una función continua estrictamente creciente en el rango de la verosimilitud, los valores que maximizan la verosimilitud también maximizarán su logaritmo (la log-verosimilitud en sí misma no es necesariamente estrictamente creciente). La log-verosimilitud se puede escribir de la siguiente manera:

$${\displaystyle \log \left({\mathcal {L}}(\mu ,\sigma ^{2})\right)=-{\frac {n}{2}}\log(2\pi \sigma ^{2})-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}\left(x_{i}-\mu \right)^{2}}$$

(Nota: la log-verosimilitud está estrechamente relacionada con la entropía de la información y la información de Fisher ).

Ahora calculamos las derivadas de esta log-verosimilitud de la siguiente manera.

$${\displaystyle {\begin{aligned}0&={\frac {\partial }{\partial \mu }}\log \left({\mathcal {L}}(\mu ,\sigma ^{2})\right)=0-{\frac {-2n({\bar {x}}-\mu )}{2\sigma ^{2}}}.\end{aligned}}}$$ dónde${\displaystyle {\bar {x}}}$es la media muestral . Esto se resuelve mediante

$${\displaystyle {\widehat {\mu }}={\bar {x}}=\sum _{i=1}^{n}{\frac {\,x_{i}\,}{n}}.}$$

Este es, en efecto, el máximo de la función, ya que es el único punto de inflexión en μ y la segunda derivada es estrictamente menor que cero. Su valor esperado es igual al parámetro μ de la distribución dada.

$${\displaystyle \operatorname {\mathbb {E} } {\bigl [}\;{\widehat {\mu }}\;{\bigr ]}=\mu ,\,}$$

lo que significa que el estimador de máxima verosimilitud${\displaystyle {\widehat {\mu }}}$es imparcial.

De forma similar, diferenciamos la log-verosimilitud con respecto a σ y la igualamos a cero:

$${\displaystyle {\begin{aligned}0&={\frac {\partial }{\partial \sigma }}\log {\Bigl (}{\mathcal {L}}(\mu ,\sigma ^{2}){\Bigr )}=-{\frac {\,n\,}{\sigma }}+{\frac {1}{\sigma ^{3}}}\sum _{i=1}^{n}(\,x_{i}-\mu \,)^{2}.\end{aligned}}}$$

que se resuelve mediante

$${\displaystyle {\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}.}$$

Insertar la estimación${\displaystyle \mu ={\widehat {\mu }}}$obtenemos

$${\displaystyle {\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}^{2}-{\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}x_{i}x_{j}.}$$

Para calcular su valor esperado, es conveniente reescribir la expresión en términos de variables aleatorias de media cero ( error estadístico ). ${\displaystyle \delta _{i}\equiv \mu -x_{i}}$Al expresar la estimación en estas variables se obtiene

$${\displaystyle {\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(\mu -\delta _{i})^{2}-{\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}(\mu -\delta _{i})(\mu -\delta _{j}).}$$

Simplificando la expresión anterior, utilizando los hechos que${\displaystyle \operatorname {\mathbb {E} } {\bigl [}\;\delta _{i}\;{\bigr ]}=0}$y${\displaystyle \operatorname {E} {\bigl [}\;\delta _{i}^{2}\;{\bigr ]}=\sigma ^{2}}$, nos permite obtener

$${\displaystyle \operatorname {\mathbb {E} } {\bigl [}\;{\widehat {\sigma }}^{2}\;{\bigr ]}={\frac {\,n-1\,}{n}}\sigma ^{2}.}$$

Esto significa que el estimador${\displaystyle {\widehat {\sigma }}^{2}}$está sesgado por${\displaystyle \sigma ^{2}}$También se puede demostrar que${\displaystyle {\widehat {\sigma }}}$está sesgado por${\displaystyle \sigma }$pero que ambos${\displaystyle {\widehat {\sigma }}^{2}}$y${\displaystyle {\widehat {\sigma }}}$son consistentes.

Formalmente decimos que el estimador de máxima verosimilitud para${\displaystyle \theta =(\mu ,\sigma ^{2})}$es

$${\displaystyle {\widehat {\theta \,}}=\left({\widehat {\mu }},{\widehat {\sigma }}^{2}\right).}$$

En este caso, los estimadores de máxima verosimilitud (EMV) podrían obtenerse individualmente. En general, esto no suele ser así, y los EMV tendrían que obtenerse simultáneamente.

La función de verosimilitud logarítmica normal, en su valor máximo, adopta una forma particularmente sencilla:

$${\displaystyle \log {\Bigl (}{\mathcal {L}}({\widehat {\mu }},{\widehat {\sigma }}){\Bigr )}={\frac {\,-n\;\;}{2}}{\bigl (}\,\log(2\pi {\widehat {\sigma }}^{2})+1\,{\bigr )}}$$

Se puede demostrar que esta máxima verosimilitud logarítmica es la misma para mínimos cuadrados más generales , incluso para mínimos cuadrados no lineales . Esto se utiliza a menudo para determinar intervalos de confianza y regiones de confianza aproximados basados ​​en la verosimilitud , que generalmente son más precisos que los que utilizan la normalidad asintótica descrita anteriormente.

${\displaystyle X_{1},\ X_{2},\ldots ,\ X_{m}}$son recuentos en celdas / cajas 1 hasta m; cada caja tiene una probabilidad diferente (piensa en las cajas siendo más grandes o más pequeñas) y fijamos el número de bolas que caen a ser${\displaystyle n}$:${\displaystyle x_{1}+x_{2}+\cdots +x_{m}=n}$. La probabilidad de cada caja es${\displaystyle p_{i}}$, con una restricción:${\displaystyle p_{1}+p_{2}+\cdots +p_{m}=1}$. Este es un caso en el que el${\displaystyle X_{i}}$s no son independientes, la probabilidad conjunta de un vector${\displaystyle x_{1},\ x_{2},\ldots ,x_{m}}$Se llama multinomial y tiene la forma:

$${\displaystyle f(x_{1},x_{2},\ldots ,x_{m}\mid p_{1},p_{2},\ldots ,p_{m})={\frac {n!}{\prod x_{i}!}}\prod p_{i}^{x_{i}}={\binom {n}{x_{1},x_{2},\ldots ,x_{m}}}p_{1}^{x_{1}}p_{2}^{x_{2}}\cdots p_{m}^{x_{m}}}$$

Cada caja tomada por separado en comparación con todas las demás cajas es un binomio y esto es una extensión del mismo.

La verosimilitud logarítmica de esto es:

$${\displaystyle \ell (p_{1},p_{2},\ldots ,p_{m})=\log n!-\sum _{i=1}^{m}\log x_{i}!+\sum _{i=1}^{m}x_{i}\log p_{i}}$$

Hay que tener en cuenta la restricción y utilizar los multiplicadores de Lagrange:

$${\displaystyle L(p_{1},p_{2},\ldots ,p_{m},\lambda )=\ell (p_{1},p_{2},\ldots ,p_{m})+\lambda \left(1-\sum _{i=1}^{m}p_{i}\right)}$$

Al igualar todas las derivadas a cero, se obtiene la estimación más natural.

$${\displaystyle {\hat {p}}_{i}={\frac {x_{i}}{n}}}$$

Maximizar la verosimilitud logarítmica, con y sin restricciones, puede ser un problema irresoluble en forma cerrada, por lo que debemos utilizar procedimientos iterativos.

(Nota: aquí se trata de un problema de maximización, por lo que el signo que precede al gradiente está invertido).

$${\displaystyle \eta _{r}\in \mathbb {R} ^{+}}$$ que sea lo suficientemente pequeño para la convergencia y${\displaystyle \mathbf {d} _{r}\left({\widehat {\theta }}\right)=\nabla \ell \left({\widehat {\theta }}_{r};\mathbf {y} \right)}$

El método de descenso de gradiente requiere calcular el gradiente en la iteración r , pero no necesita calcular la inversa de la derivada de segundo orden, es decir, la matriz hessiana. Por lo tanto, es computacionalmente más rápido que el método de Newton - Raphson.

$${\displaystyle \eta _{r}=1}$$y${\displaystyle \mathbf {d} _{r}\left({\widehat {\theta }}\right)=-\mathbf {H} _{r}^{-1}\left({\widehat {\theta }}\right)\mathbf {s} _{r}\left({\widehat {\theta }}\right)}$

dónde${\displaystyle \mathbf {s} _{r}({\widehat {\theta }})}$es la puntuación y${\displaystyle \mathbf {H} _{r}^{-1}\left({\widehat {\theta }}\right)}$es la inversa de la matriz hessiana de la función de log-verosimilitud, ambas evaluadas en la r -ésima iteración. ^{[ 41 ] [ 42 ]} Pero debido a que el cálculo de la matriz hessiana es computacionalmente costoso , se han propuesto numerosas alternativas. El popular algoritmo de Berndt-Hall-Hall-Hausman aproxima la hessiana con el producto exterior del gradiente esperado, de tal manera que

$${\displaystyle \mathbf {d} _{r}\left({\widehat {\theta }}\right)=-\left[{\frac {1}{n}}\sum _{t=1}^{n}{\frac {\partial \ell (\theta$$ ;\mathbf {y} )}{\partial \theta }}\left({\frac {\partial \ell (\theta  ;\mathbf {y} )}{\partial \theta }}\right)^{\mathsf {T}}\right]^{-1}\mathbf {s} _{r}\left({\widehat {\theta }}\right)}

Otros métodos cuasi-Newton utilizan actualizaciones de secante más elaboradas para dar una aproximación de la matriz hessiana.

• Criterio de información de Akaike : un criterio para comparar modelos estadísticos, basado en la estimación de máxima verosimilitud (MLE).
• Estimador extremo : una clase más general de estimadores a la que pertenece el estimador de máxima verosimilitud (MLE).
• Información de Fisher : matriz de información, su relación con la matriz de covarianza de las estimaciones de máxima verosimilitud.
• Error cuadrático medio : una medida de cuán "bueno" es un estimador de un parámetro de distribución (ya sea el estimador de máxima verosimilitud u otro estimador).
• RANSAC : un método para estimar los parámetros de un modelo matemático a partir de datos que contienen valores atípicos.
• Teorema de Rao-Blackwell : proporciona un proceso para encontrar el mejor estimador insesgado posible (en el sentido de tener un error cuadrático medio mínimo ); el estimador de máxima verosimilitud suele ser un buen punto de partida para el proceso.
• Teorema de Wilks : proporciona un medio para estimar el tamaño y la forma de la región de estimaciones aproximadamente igualmente probables para los valores de los parámetros de la población, utilizando la información de una sola muestra, mediante una distribución chi-cuadrado.

• Método generalizado de momentos : métodos relacionados con la ecuación de verosimilitud en la estimación de máxima verosimilitud.
• Estimador M : un enfoque utilizado en estadística robusta
• Estimador de máxima probabilidad a posteriori (MAP): para contrastar la forma de calcular los estimadores cuando se postula conocimiento previo.
• Estimación del espaciamiento máximo : un método relacionado que es más robusto en muchas situaciones.
• Estimación de máxima entropía
• Método de los momentos (estadística) : otro método popular para hallar parámetros de distribuciones.
• Método de soporte , una variación de la técnica de máxima verosimilitud.
• Estimación de distancia mínima
• Métodos de máxima verosimilitud parcial para datos de panel
• Estimador de cuasi máxima verosimilitud : un estimador MLE mal especificado, pero aún así consistente.
• Máxima verosimilitud restringida : una variación que utiliza una función de verosimilitud calculada a partir de un conjunto de datos transformados.