Función de verosimilitud

Dejar${\textstyle X}$sea ​​una variable aleatoria discreta con función de probabilidad${\textstyle p}$dependiendo de un parámetro${\textstyle \theta }$. Luego la función

$${\displaystyle {\mathcal {L}}(\theta \mid x)=p_{\theta }(x)=P_{\theta }(X=x)={\text{Pr}}\{X=x\mid \Theta =\theta \},}$$

considerado como una función de${\textstyle \theta }$, un posible valor del parámetro determinista pero desconocido${\textstyle \Theta }$es la función de verosimilitud , dado el resultado${\textstyle x}$de la variable aleatoria${\textstyle X}$. A veces la probabilidad de "el valor${\textstyle x}$de${\textstyle X}$para el valor del parámetro${\textstyle \theta }$" se escribe como P ( X = x | θ ) o P ( X = x ; θ ) . La probabilidad es la probabilidad de que ocurra un resultado particular${\textstyle x}$se observa cuando el valor verdadero del parámetro es${\textstyle \theta }$, equivalente a la masa de probabilidad en${\textstyle x}$; no es una densidad de probabilidad sobre el parámetro${\textstyle \theta }$. La probabilidad,${\textstyle {\mathcal {L}}(\theta \mid x)}$, no debe confundirse con${\textstyle P(\theta \mid x)}$, que es la probabilidad posterior de${\textstyle \theta }$dados los datos${\textstyle x}$.

Ejemplo

Consideremos un modelo estadístico simple de lanzamiento de moneda: un único parámetro${\textstyle p_{\text{H}}}$que expresa la "justicia" de la moneda. El parámetro es la probabilidad de que una moneda caiga cara arriba ("H") al ser lanzada.${\textstyle p_{\text{H}}}$puede tomar cualquier valor dentro del rango de 0,0 a 1,0. Para una moneda perfectamente justa ,${\textstyle p_{\text{H}}=0.5}$.

Imagina lanzar una moneda justa dos veces y observar dos caras en dos lanzamientos ("HH"). Suponiendo que cada lanzamiento sucesivo de la moneda es i.i.d. , entonces la probabilidad de observar HH es

$${\displaystyle P({\text{HH}}\mid p_{\text{H}}=0.5)=0.5^{2}=0.25.}$$

De forma equivalente, la probabilidad de observar "HH" suponiendo${\textstyle p_{\text{H}}=0.5}$es

$${\displaystyle {\mathcal {L}}(p_{\text{H}}=0.5\mid {\text{HH}})=0.25.}$$

Esto no es lo mismo que decir que${\textstyle P(p_{\text{H}}=0.5\mid {\text{HH}})=0.25}$, una conclusión a la que solo se podía llegar mediante el teorema de Bayes dado el conocimiento de las probabilidades marginales.${\textstyle P(p_{\text{H}}=0.5)}$y${\textstyle P({\text{HH}})}$.

Ahora supongamos que la moneda no es una moneda justa, sino que en cambio...${\textstyle p_{\text{H}}=0.3}$Entonces, la probabilidad de obtener dos caras en dos lanzamientos es

$${\displaystyle P({\text{HH}}\mid p_{\text{H}}=0.3)=0.3^{2}=0.09.}$$

Por eso

$${\displaystyle {\mathcal {L}}(p_{\text{H}}=0.3\mid {\text{HH}})=0.09.}$$

De manera más general, para cada valor de${\textstyle p_{\text{H}}}$, podemos calcular la probabilidad correspondiente. El resultado de dichos cálculos se muestra en la Figura  1. La integral de${\textstyle {\mathcal {L}}}$sobre [0,  1] es 1/3; las probabilidades no necesitan integrarse ni sumar uno sobre el espacio de parámetros.

Dejar${\textstyle X}$sea ​​una variable aleatoria que sigue una distribución de probabilidad absolutamente continua con función de densidad${\textstyle f}$(una función de${\textstyle x}$) que depende de un parámetro${\textstyle \theta }$. Luego la función

$${\displaystyle {\mathcal {L}}(\theta \mid x)=f_{\theta }(x),}$$

considerado como una función de${\textstyle \theta }$, es la función de verosimilitud (de${\textstyle \theta }$, dado el resultado${\textstyle X=x}$). De nuevo,${\textstyle {\mathcal {L}}}$no es una función de densidad de probabilidad o de masa sobre${\textstyle \theta }$, a pesar de ser una función de${\textstyle \theta }$dada la observación${\textstyle X=x}$.

En la teoría de la probabilidad basada en la teoría de la medida , la función de densidad se define como la derivada de Radon-Nikodym de la distribución de probabilidad con respecto a una medida dominante común. ^{[ 5 ]} La función de verosimilitud es esta densidad interpretada como una función del parámetro, en lugar de la variable aleatoria. ^{[ 6 ]} Por lo tanto, podemos construir una función de verosimilitud para cualquier distribución, ya sea discreta, continua, mixta o de otro tipo. (Las verosimilitudes son comparables, por ejemplo, para la estimación de parámetros, solo si son derivadas de Radon-Nikodym con respecto a la misma medida dominante).

La discusión anterior sobre la probabilidad para variables aleatorias discretas utiliza la medida de conteo , bajo la cual la densidad de probabilidad en cualquier resultado es igual a la probabilidad de ese resultado.

Lo anterior se puede extender de manera sencilla para permitir la consideración de distribuciones que contienen componentes tanto discretas como continuas. Supongamos que la distribución consta de varias masas de probabilidad discretas.${\textstyle p_{k}(\theta )}$y una densidad${\textstyle f(x\mid \theta )}$, donde la suma de todos los${\textstyle p}$se añade a la integral de${\textstyle f}$siempre es uno. Suponiendo que es posible distinguir una observación correspondiente a una de las masas de probabilidad discretas de una que corresponde al componente de densidad, la función de verosimilitud para una observación del componente continuo se puede tratar de la manera mostrada anteriormente. Para una observación del componente discreto, la función de verosimilitud para una observación del componente discreto es simplemente $${\displaystyle {\mathcal {L}}(\theta \mid x)=p_{k}(\theta ),}$$ dónde${\textstyle k}$es el índice de la masa de probabilidad discreta correspondiente a la observación${\textstyle x}$, porque maximizar la masa de probabilidad (o probabilidad) en${\textstyle x}$equivale a maximizar la probabilidad de la observación específica.

El hecho de que la función de verosimilitud pueda definirse de una manera que incluya contribuciones que no son conmensurables (la densidad y la masa de probabilidad) surge de la forma en que la función de verosimilitud se define hasta una constante de proporcionalidad, donde esta "constante" puede cambiar con la observación.${\textstyle x}$, pero no con el parámetro${\textstyle \theta }$.

En el contexto de la estimación de parámetros, se suele asumir que la función de verosimilitud cumple ciertas condiciones, conocidas como condiciones de regularidad. Estas condiciones se asumen en diversas demostraciones que involucran funciones de verosimilitud y deben verificarse en cada aplicación particular. Para la estimación de máxima verosimilitud, la existencia de un máximo global de la función de verosimilitud es de suma importancia. Según el teorema del valor extremo , basta con que la función de verosimilitud sea continua en un espacio de parámetros compacto para que exista el estimador de máxima verosimilitud. ^{[ 7 ]} Si bien la suposición de continuidad generalmente se cumple, la suposición de compacidad sobre el espacio de parámetros a menudo no se cumple, ya que los límites de los valores reales de los parámetros pueden ser desconocidos. En ese caso, la concavidad de la función de verosimilitud juega un papel clave.

Más específicamente, si la función de verosimilitud es dos veces continuamente diferenciable en el espacio de parámetros k -dimensional${\textstyle \Theta }$se supone que es un subconjunto abierto y conexo de${\textstyle \mathbb {R} ^{k}\,,}$existe un máximo único${\textstyle {\hat {\theta }}\in \Theta }$si la matriz de segundas parciales$${\displaystyle \mathbf {H} (\theta )\equiv \left[\,{\frac {\partial ^{2}L}{\partial \theta _{i}\,\partial \theta _{j}}}\,\right]_{i,j=1,1}^{n_{\mathrm {i} },n_{\mathrm {j} }}\;}$$es definido negativo para cada${\textstyle \theta \in \Theta }$en el que el gradiente${\textstyle \nabla L\equiv \left[{\frac {\partial L}{\partial \theta _{i}}}\right]_{i=1}^{n_{\mathrm {i} }}}$se desvanece, y si la función de verosimilitud se aproxima a una constante en el límite del espacio de parámetros,${\textstyle \partial \Theta ,}$es decir, $${\displaystyle \lim _{\theta \to \partial \Theta }L(\theta )=0\;,}$$ que pueden incluir los puntos en el infinito si${\textstyle \Theta }$es ilimitado. Mäkeläinen y coautores demuestran este resultado utilizando la teoría de Morse, aunque recurriendo informalmente a una propiedad de paso de montaña. ^{[ 8 ]} Mascarenhas reformula su demostración utilizando el teorema del paso de montaña . ^{[ 9 ]}

En las pruebas de consistencia y normalidad asintótica del estimador de máxima verosimilitud, se hacen suposiciones adicionales sobre las densidades de probabilidad que forman la base de una función de verosimilitud particular. Estas condiciones fueron establecidas por primera vez por Chanda. ^{[ 10 ]} En particular, para casi todos${\textstyle x}$y para todos${\textstyle \,\theta \in \Theta \,,}$$${\displaystyle {\frac {\partial \log f}{\partial \theta _{r}}}\,,\quad {\frac {\partial ^{2}\log f}{\partial \theta _{r}\partial \theta _{s}}}\,,\quad {\frac {\partial ^{3}\log f}{\partial \theta _{r}\,\partial \theta _{s}\,\partial \theta _{t}}}\,}$$ existen para todos${\textstyle \,r,s,t=1,2,\ldots ,k\,}$para asegurar la existencia de una expansión de Taylor . Segundo, para casi todos${\textstyle x}$y por cada${\textstyle \,\theta \in \Theta \,}$debe ser que $${\displaystyle \left|{\frac {\partial f}{\partial \theta _{r}}}\right|<F_{r}(x)\,,\quad \left|{\frac {\partial ^{2}f}{\partial \theta _{r}\,\partial \theta _{s}}}\right|<F_{rs}(x)\,,\quad \left|{\frac {\partial ^{3}f}{\partial \theta _{r}\,\partial \theta _{s}\,\partial \theta _{t}}}\right|<H_{rst}(x)}$$ dónde${\textstyle H}$es tal que${\textstyle \,\int _{-\infty }^{\infty }H_{rst}(z)\,dz\leq M<\infty \;.}$Esta acotación de las derivadas es necesaria para permitir la diferenciación bajo el signo integral . Y por último, se supone que la matriz de información , $${\displaystyle \mathbf {I} (\theta )=\int _{-\infty }^{\infty }{\frac {\partial \log f}{\partial \theta _{r}}}\ {\frac {\partial \log f}{\partial \theta _{s}}}\ f\,dz}$$ es definido positivo y${\textstyle \,\left|\mathbf {I} (\theta )\right|\,}$es finito. Esto garantiza que la puntuación tenga una varianza finita. ^{[ 11 ]}

Las condiciones anteriores son suficientes, pero no necesarias. Es decir, un modelo que no cumpla con estas condiciones de regularidad puede o no tener un estimador de máxima verosimilitud con las propiedades mencionadas. Además, en caso de observaciones no independientes o no idénticamente distribuidas, puede ser necesario asumir propiedades adicionales.

En estadística bayesiana, se imponen condiciones de regularidad casi idénticas a la función de verosimilitud para demostrar la normalidad asintótica de la probabilidad posterior , ^{[ 12 ] [ 13 ]} y, por lo tanto, para justificar una aproximación de Laplace de la posterior en muestras grandes. ^{[ 14 ]}

Una razón de verosimilitud es la razón entre dos probabilidades específicas, que frecuentemente se escribe como: $${\displaystyle \Lambda (\theta _{1}:\theta _{2}\mid x)={\frac {{\mathcal {L}}(\theta _{1}\mid x)}{{\mathcal {L}}(\theta _{2}\mid x)}}.}$$

La razón de verosimilitud es fundamental en la estadística verosímil : la ley de verosimilitud establece que el grado en que los datos (considerados como evidencia) respaldan un valor de parámetro frente a otro se mide mediante la razón de verosimilitud.

En la inferencia frecuentista , la razón de verosimilitud es la base de un estadístico de prueba , la llamada prueba de razón de verosimilitud . Según el lema de Neyman-Pearson , esta es la prueba más potente para comparar dos hipótesis simples a un nivel de significancia dado . Numerosas otras pruebas pueden considerarse pruebas de razón de verosimilitud o aproximaciones de las mismas. ^{[ 15 ]} La distribución asintótica de la razón de verosimilitud logarítmica, considerada como un estadístico de prueba, viene dada por el teorema de Wilks .

La razón de verosimilitud también es de vital importancia en la inferencia bayesiana , donde se la conoce como factor de Bayes y se utiliza en la regla de Bayes . Expresada en términos de probabilidades , la regla de Bayes establece que las probabilidades posteriores de dos alternativas ,${\displaystyle A_{1}}$y​​${\displaystyle A_{2}}$⁠ , dado un evento ⁠${\displaystyle B}$⁠ , es la probabilidad previa , multiplicada por la razón de verosimilitud. Como ecuación: $${\displaystyle O(A_{1}:A_{2}\mid B)=O(A_{1}:A_{2})\cdot \Lambda (A_{1}:A_{2}\mid B).}$$

La razón de verosimilitud no se utiliza directamente en las estadísticas basadas en el AIC. En su lugar, se utiliza la verosimilitud relativa de los modelos (véase más abajo).

En la medicina basada en la evidencia , los cocientes de probabilidad se utilizan en las pruebas de diagnóstico para evaluar la utilidad de realizar una prueba de diagnóstico .

Dado que el valor real de la función de verosimilitud depende de la muestra, a menudo resulta conveniente trabajar con una medida estandarizada. Supongamos que la estimación de máxima verosimilitud para el parámetro θ es${\textstyle {\hat {\theta }}}$. Las plausibilidades relativas de otros valores de θ pueden hallarse comparando las probabilidades de esos otros valores con la probabilidad de${\textstyle {\hat {\theta }}}$. La probabilidad relativa de θ se define como ^{[ 16 ] [ 17 ] [ 18 ] [ 19 ] [ 20 ]}$${\displaystyle R(\theta )={\frac {{\mathcal {L}}(\theta \mid x)}{{\mathcal {L}}({\hat {\theta }}\mid x)}}.}$$ Por lo tanto, la probabilidad relativa es la razón de verosimilitud (discutida anteriormente) con el denominador fijo.${\textstyle {\mathcal {L}}({\hat {\theta }})}$Esto corresponde a estandarizar la probabilidad de tener un máximo de 1.

Es posible reducir las dimensiones concentrando la función de verosimilitud para un subconjunto de parámetros, expresando los parámetros de perturbación como funciones de los parámetros de interés y reemplazándolos en la función de verosimilitud. ^{[ 25 ] [ 26 ]} En general, para una función de verosimilitud que depende del vector de parámetros${\textstyle \mathbf {\theta } }$que se pueden dividir en${\textstyle \mathbf {\theta } =\left(\mathbf {\theta } _{1}:\mathbf {\theta } _{2}\right)}$y donde una correspondencia${\textstyle \mathbf {\hat {\theta }} _{2}=\mathbf {\hat {\theta }} _{2}\left(\mathbf {\theta } _{1}\right)}$puede determinarse explícitamente, la concentración reduce la carga computacional del problema de maximización original. ^{[ 27 ]}

Por ejemplo, en una regresión lineal con errores distribuidos normalmente,${\textstyle \mathbf {y} =\mathbf {X} \beta +u}$, el vector de coeficientes podría particionarse en${\textstyle \beta =\left[\beta _{1}:\beta _{2}\right]}$(y, en consecuencia, la matriz de diseño)${\textstyle \mathbf {X} =\left[\mathbf {X} _{1}:\mathbf {X} _{2}\right]}$). Maximizar con respecto a${\textstyle \beta _{2}}$produce una función de valor óptimo${\textstyle \beta _{2}(\beta _{1})=\left(\mathbf {X} _{2}^{\mathsf {T}}\mathbf {X} _{2}\right)^{-1}\mathbf {X} _{2}^{\mathsf {T}}\left(\mathbf {y} -\mathbf {X} _{1}\beta _{1}\right)}$. Utilizando este resultado, el estimador de máxima verosimilitud para${\textstyle \beta _{1}}$entonces se puede derivar como $${\displaystyle {\hat {\beta }}_{1}=\left(\mathbf {X} _{1}^{\mathsf {T}}\left(\mathbf {I} -\mathbf {P} _{2}\right)\mathbf {X} _{1}\right)^{-1}\mathbf {X} _{1}^{\mathsf {T}}\left(\mathbf {I} -\mathbf {P} _{2}\right)\mathbf {y} }$$ dónde${\textstyle \mathbf {P} _{2}=\mathbf {X} _{2}\left(\mathbf {X} _{2}^{\mathsf {T}}\mathbf {X} _{2}\right)^{-1}\mathbf {X} _{2}^{\mathsf {T}}}$es la matriz de proyección de${\textstyle \mathbf {X} _{2}}$Este resultado se conoce como el teorema de Frisch-Waugh-Lovell .

Dado que gráficamente el procedimiento de concentración es equivalente a cortar la superficie de probabilidad a lo largo de la cresta de valores del parámetro de perturbación.${\textstyle \beta _{2}}$que maximiza la función de verosimilitud, creando un perfil isométrico de la función de verosimilitud para un valor dado${\textstyle \beta _{1}}$El resultado de este procedimiento también se conoce como verosimilitud de perfil . ^{[ 28 ] [ 29 ]} Además de ser graficada, la verosimilitud de perfil también puede usarse para calcular intervalos de confianza que a menudo tienen mejores propiedades para muestras pequeñas que aquellos basados ​​en errores estándar asintóticos calculados a partir de la verosimilitud completa. ^{[ 30 ] [ 31 ]}

A veces es posible encontrar una estadística suficiente para los parámetros de perturbación, y condicionar a esta estadística da como resultado una verosimilitud que no depende de los parámetros de perturbación. ^{[ 32 ]}

Un ejemplo se da en las tablas de 2×2, donde el condicionamiento sobre los cuatro totales marginales conduce a una verosimilitud condicional basada en la distribución hipergeométrica no central . Esta forma de condicionamiento también es la base de la prueba exacta de Fisher .

En ocasiones, podemos eliminar los parámetros de confusión considerando una verosimilitud basada únicamente en una parte de la información de los datos, por ejemplo, utilizando el conjunto de rangos en lugar de los valores numéricos. Otro ejemplo se da en los modelos lineales mixtos , donde considerar una verosimilitud para los residuos solo después de ajustar los efectos fijos conduce a la estimación de máxima verosimilitud residual de los componentes de la varianza.

Una función de verosimilitud parcial es una adaptación de la función de verosimilitud completa, de modo que solo una parte de los parámetros (los parámetros de interés) aparecen en ella. ^{[ 33 ]} Es un componente clave del modelo de riesgos proporcionales : al utilizar una restricción en la función de riesgo, la función de verosimilitud no contiene la forma del riesgo a lo largo del tiempo.

La gráfica de la log-verosimilitud se llama curva de soporte (en el caso univariado ). ^{[ 36 ]} En el caso multivariado, el concepto se generaliza a una superficie de soporte sobre el espacio de parámetros . Tiene relación con, pero es distinta de, el soporte de una distribución .

El término fue acuñado por AWF Edwards ^{[ 36 ]} en el contexto de la prueba de hipótesis estadísticas , es decir, si los datos "apoyan" o no una hipótesis (o valor de parámetro) que se está probando más que cualquier otra.

La función de log-verosimilitud que se representa gráficamente se utiliza en el cálculo de la puntuación (la pendiente de la log-verosimilitud) y la información de Fisher (la curvatura de la log-verosimilitud). Por lo tanto, el gráfico tiene una interpretación directa en el contexto de la estimación de máxima verosimilitud y las pruebas de razón de verosimilitud .

Si la función de log-verosimilitud es suave , su gradiente con respecto al parámetro, conocido como puntuación y escrito${\textstyle s_{n}(\theta )\equiv \nabla _{\theta }\ell _{n}(\theta )}$, existe y permite la aplicación del cálculo diferencial . La forma básica de maximizar una función diferenciable es encontrar los puntos estacionarios (los puntos donde la derivada es cero); dado que la derivada de una suma es simplemente la suma de las derivadas, pero la derivada de un producto requiere la regla del producto , es más fácil calcular los puntos estacionarios de la log-verosimilitud de eventos independientes que para la verosimilitud de eventos independientes.

Las ecuaciones definidas por el punto estacionario de la función de puntuación sirven como ecuaciones de estimación para el estimador de máxima verosimilitud. $${\displaystyle s_{n}(\theta )=\mathbf {0} }$$ En ese sentido, el estimador de máxima verosimilitud se define implícitamente por el valor en${\textstyle \mathbf {0} }$de la función inversa${\textstyle s_{n}^{-1}:\mathbb {E} ^{d}\to \Theta }$, dónde${\textstyle \mathbb {E} ^{d}}$es el espacio euclidiano d -dimensional , y${\textstyle \Theta }$es el espacio de parámetros. Usando el teorema de la función inversa , se puede demostrar que${\textstyle s_{n}^{-1}}$está bien definido en un vecindario abierto sobre${\textstyle \mathbf {0} }$con probabilidad de tender a uno, y${\textstyle {\hat {\theta }}_{n}=s_{n}^{-1}(\mathbf {0} )}$es una estimación consistente de${\textstyle \theta }$. Como consecuencia existe una secuencia${\textstyle \left\{{\hat {\theta }}_{n}\right\}}$de tal manera que${\textstyle s_{n}({\hat {\theta }}_{n})=\mathbf {0} }$asintóticamente casi seguramente y${\textstyle {\hat {\theta }}_{n}\xrightarrow {\text{p}} \theta _{0}}$. ^{[ 37 ]} Se puede establecer un resultado similar utilizando el teorema de Rolle . ^{[ 38 ] [ 39 ]}

La segunda derivada evaluada en${\textstyle {\hat {\theta }}}$, conocida como información de Fisher , determina la curvatura de la superficie de verosimilitud, ^{[ 40 ]} y por lo tanto indica la precisión de la estimación. ^{[ 41 ]}

La log-verosimilitud también resulta particularmente útil para familias de distribuciones exponenciales, que incluyen muchas de las distribuciones de probabilidad paramétricas comunes . La función de distribución de probabilidad (y, por lo tanto, la función de verosimilitud) para familias exponenciales contiene productos de factores que implican exponenciación . El logaritmo de dicha función es una suma de productos, lo que facilita su diferenciación en comparación con la función original.

Una familia exponencial es aquella cuya función de densidad de probabilidad tiene la forma (para algunas funciones, escribiendo${\textstyle \langle -,-\rangle }$para el producto interno ):

$${\displaystyle p(x\mid {\boldsymbol {\theta }})=h(x)\exp {\Big (}\langle {\boldsymbol {\eta }}({\boldsymbol {\theta }}),\mathbf {T} (x)\rangle -A({\boldsymbol {\theta }}){\Big )}.}$$

Cada uno de estos términos tiene una interpretación, ^{[ a ]} ​​pero simplemente cambiando de probabilidad a verosimilitud y tomando logaritmos se obtiene la suma:

$${\displaystyle \ell ({\boldsymbol {\theta }}\mid x)=\langle {\boldsymbol {\eta }}({\boldsymbol {\theta }}),\mathbf {T} (x)\rangle -A({\boldsymbol {\theta }})+\log h(x).}$$

El${\textstyle {\boldsymbol {\eta }}({\boldsymbol {\theta }})}$y${\textstyle h(x)}$cada una corresponde a un cambio de coordenadas , por lo que en estas coordenadas, la log-verosimilitud de una familia exponencial viene dada por la fórmula simple:

$${\displaystyle \ell ({\boldsymbol {\eta }}\mid x)=\langle {\boldsymbol {\eta }},\mathbf {T} (x)\rangle -A({\boldsymbol {\eta }}).}$$

En otras palabras, la log-verosimilitud de una familia exponencial es el producto interno del parámetro natural .${\displaystyle {\boldsymbol {\eta }}}$y el estadístico suficiente${\displaystyle \mathbf {T} (x)}$⁠ , menos el factor de normalización ( función de partición logarítmica ) ⁠${\displaystyle A({\boldsymbol {\eta }})}$⁠ . Así, por ejemplo ,la estimación de máxima verosimilitud se puede calcular tomando derivadas del estadístico suficiente T y la función de partición logarítmica A.

El término «verosimilitud» se ha utilizado en inglés al menos desde finales del inglés medio . ^{[ 42 ]} Su uso formal para referirse a una función específica en estadística matemática fue propuesto por Ronald Fisher , ^{[ 43 ]} en dos artículos de investigación publicados en 1921 ^{[ 44 ]} y 1922. ^{[ 45 ]} El artículo de 1921 introdujo lo que hoy se denomina «intervalo de verosimilitud»; el artículo de 1922 introdujo el término « método de máxima verosimilitud ». Citando a Fisher:

En 1922, propuse el término «verosimilitud», en vista de que, con respecto al parámetro, no es una probabilidad y no obedece las leyes de la probabilidad, mientras que al mismo tiempo guarda con el problema de la elección racional entre los posibles valores del parámetro una relación similar a la que la probabilidad guarda con el problema de predecir eventos en juegos de azar. . . . Sin embargo, en relación con el juicio psicológico, la verosimilitud tiene cierta semejanza con la probabilidad, pero ambos conceptos son totalmente distintos. . . . ^{[ 46 ]}

El concepto de probabilidad no debe confundirse con la probabilidad mencionada por Sir Ronald Fisher.

Hago hincapié en esto porque, a pesar del énfasis que siempre he puesto en la diferencia entre probabilidad y verosimilitud, todavía existe la tendencia a tratar la verosimilitud como si fuera una especie de probabilidad. El primer resultado es, por lo tanto, que existen dos medidas diferentes de creencia racional apropiadas para distintos casos. Conociendo la población, podemos expresar nuestro conocimiento incompleto, o expectativa, de la muestra en términos de probabilidad; conociendo la muestra, podemos expresar nuestro conocimiento incompleto de la población en términos de verosimilitud. ^{[ 47 ]}

La invención de Fisher de la probabilidad estadística fue una reacción contra una forma anterior de razonamiento llamada probabilidad inversa . ^{[ 48 ]} Su uso del término "probabilidad" fijó el significado del término dentro de la estadística matemática.

AWF Edwards (1972) estableció la base axiomática para el uso de la razón de verosimilitud logarítmica como medida del apoyo relativo a una hipótesis frente a otra. La función de apoyo es entonces el logaritmo natural de la función de verosimilitud. Ambos términos se utilizan en filogenética , pero no se adoptaron en un tratamiento general del tema de la evidencia estadística. ^{[ 49 ]}

Entre los estadísticos, no existe consenso sobre cuál debería ser el fundamento de la estadística . Se han propuesto cuatro paradigmas principales para dicho fundamento: frecuentismo , bayesianismo , verosimilitud y basado en el criterio de información de Akaike (AIC) . ^{[ 50 ]} Para cada uno de los fundamentos propuestos, la interpretación de la verosimilitud es diferente. Las cuatro interpretaciones se describen en las subsecciones siguientes.