En estadística , el principio de verosimilitud postula que, dado un modelo estadístico , toda la evidencia en una muestra relevante para los parámetros del modelo está contenida en la función de verosimilitud . Este principio es controvertido porque es inconsistente con el enfoque frecuentista predominante en la inferencia. Si bien la función de verosimilitud es importante para los frecuentistas, estos no aceptan el principio de verosimilitud.
Una función de verosimilitud surge de una función de densidad de probabilidad considerada como una función de su argumento de parametrización de distribución. Por ejemplo, consideremos un modelo que da la función de densidad de probabilidadde variable aleatoria observableen función de un parámetro . Luego, para un valor específicode, la funciónes una función de probabilidad de : proporciona una medida de cuán "probable" es cualquier valor particular dees, si sabemos quetiene el valor . La función de densidad puede ser una densidad con respecto a la medida de conteo, es decir, una función de masa de probabilidad .
Dos funciones de verosimilitud son equivalentes si una es un múltiplo escalar de la otra. [ a ] El principio de verosimilitud establece que toda la información de los datos relevante para las inferencias sobre el valor de los parámetros del modelo pertenece a la clase de equivalencia a la que pertenece la función de verosimilitud. El principio de verosimilitud fuerte aplica este mismo criterio a casos como los experimentos secuenciales, donde la muestra de datos disponible resulta de la aplicación de una regla de parada a las observaciones anteriores del experimento. [ 1 ]
Ejemplo
Suponer
- es el número de éxitos en doce ensayos de Bernoulli independientes , donde cada intento tiene una probabilidadde éxito en cada prueba y
- es el número de ensayos de Bernoulli independientes necesarios para obtener un total de tres éxitos, nuevamente cada intento con probabilidadde éxito en cada prueba (si fuera una moneda justa, cada lanzamiento tendríade cualquiera de los dos resultados, cara o cruz).
Luego la observación de queinduce la función de probabilidad
mientras que la observación de queinduce la función de probabilidad
El principio de probabilidad dice que, como los datos son los mismos en ambos casos, las inferencias extraídas sobre el valor deTambién debería ser lo mismo. Además, todo el contenido inferencial en los datos sobre el valor deestá contenida en las dos probabilidades, y es la misma si son proporcionales entre sí. Este es el caso en el ejemplo anterior, lo que refleja el hecho de que la diferencia entre observary observandoLa clave no reside en los datos recopilados ni en la conducta del experimentador, sino en los dos diseños diferentes del experimento .
Específicamente, en un caso, la decisión previa fue intentar doce veces, independientemente del resultado; en el otro caso, la decisión previa fue seguir intentándolo hasta que se observaran tres éxitos. Si apoyas el principio de probabilidad, entonces la inferencia sobreDebería ser lo mismo para ambos casos porque las dos probabilidades son proporcionales entre sí: excepto por un factor principal constante de 220 frente a 55 , las dos funciones de probabilidad son las mismas: múltiplos constantes una de la otra.
Por el contrario, el uso de métodos frecuentistas que involucran valores p conduce a inferencias diferentes para los dos casos anteriores, [ 2 ] lo que demuestra que el resultado de los métodos frecuentistas depende del procedimiento experimental y, por lo tanto, viola el principio de verosimilitud. Desde el punto de vista frecuentista, tales ejemplos resaltan la inadecuación del principio de verosimilitud.
La ley de probabilidad
Un concepto relacionado es la ley de verosimilitud , la noción de que el grado en que la evidencia respalda un valor de parámetro o hipótesis contra otro está indicado por la razón de sus verosimilitudes, su razón de verosimilitud . Es decir,
es el grado en que la observación x respalda el valor del parámetro o la hipótesis a frente a b . Si esta razón es 1, la evidencia es indiferente; si es mayor que 1, la evidencia respalda el valor a frente a b ; o si es menor, entonces viceversa.
En estadística bayesiana , esta razón se conoce como factor de Bayes , y la regla de Bayes puede considerarse como la aplicación de la ley de verosimilitud a la inferencia.
En la inferencia frecuentista , la razón de verosimilitud se utiliza en la prueba de razón de verosimilitud , pero también se emplean otras pruebas que no se basan en la verosimilitud. El lema de Neyman-Pearson establece que la prueba de razón de verosimilitud tiene la misma potencia estadística que la prueba más potente para comparar dos hipótesis simples a un nivel de significancia dado , lo que proporciona una justificación frecuentista para la ley de verosimilitud.
La combinación del principio de verosimilitud con la ley de verosimilitud da como resultado que el valor del parámetro que maximiza la función de verosimilitud es el valor que cuenta con mayor respaldo empírico. Este es uno de los fundamentos del método de máxima verosimilitud , ampliamente utilizado .
Historia
El principio de verosimilitud fue identificado por primera vez con ese nombre en una publicación impresa en 1962 (Barnard et al ., Birnbaum y Savage et al .), pero los argumentos a favor del mismo principio, sin nombre, y su uso en aplicaciones se remontan a los trabajos de R. A. Fisher en la década de 1920. El principio de verosimilitud no ha sido adoptado por el enfoque frecuentista de la inferencia. La ley de verosimilitud fue identificada con ese nombre por I. Hacking (1965). Más recientemente, el principio de verosimilitud como principio general de inferencia ha sido defendido por A. W. F. Edwards . El principio de verosimilitud ha sido aplicado a la filosofía de la ciencia por R. Royall. [ 3 ]
Birnbaum (1962) argumentó inicialmente que el principio de probabilidad se deriva de dos principios más primitivos y aparentemente razonables, el principio de condicionalidad y el principio de suficiencia :
- El principio de condicionalidad establece que si un experimento es elegido mediante un proceso aleatorio independiente de los estados de la naturaleza,Entonces, solo el experimento realmente realizado es relevante para las inferencias sobre
- El principio de suficiencia dice que sies una estadística suficiente paray si en dos experimentos con datosytenemosentonces la evidencia sobreEl resultado obtenido en ambos experimentos es el mismo.
Sin embargo, tras una reflexión más profunda, Birnbaum rechazó tanto su principio de condicionalidad como el principio de probabilidad. [ 4 ] La adecuación del argumento original de Birnbaum también ha sido cuestionada por otros ( véase más abajo para más detalles ).
Argumentos a favor y en contra
Algunos métodos ampliamente utilizados en estadística convencional, como por ejemplo muchas pruebas de significación , no son coherentes con el principio de verosimilitud.
Consideremos brevemente algunos de los argumentos a favor y en contra del principio de verosimilitud.
El argumento original de Birnbaum
Según Giere (1977), [ 5 ] Birnbaum rechazó [ 4 ] tanto su propio principio de condicionalidad como el principio de verosimilitud porque ambos eran incompatibles con lo que él llamó el “concepto de confianza de la evidencia estadística”, que Birnbaum (1970) describe como tomado “de las técnicas del enfoque de Neyman-Pearson para evaluar y acotar sistemáticamente las probabilidades (bajo hipótesis respectivas) de interpretaciones de datos seriamente engañosas” ( [ 4 ] p. 1033). El concepto de confianza incorpora solo aspectos limitados del concepto de verosimilitud y solo algunas aplicaciones del concepto de condicionalidad. Birnbaum señala más tarde que fue la formulación de equivalencia sin cualificaciones de su versión de 1962 del principio de condicionalidad lo que condujo “al monstruo del axioma de verosimilitud” ( [ 6 ] p. 263).
El argumento original de Birnbaum para el principio de verosimilitud también ha sido cuestionado por otros estadísticos, incluidos Akaike , [ 7 ] Evans [ 8 ] y filósofos de la ciencia, incluida Deborah Mayo . [ 9 ] [ 10 ] Dawid señala diferencias fundamentales entre las definiciones de Mayo y Birnbaum del principio de condicionalidad, argumentando que el argumento de Birnbaum no puede descartarse tan fácilmente. [ 11 ] Gandenberger ha proporcionado una nueva demostración del principio de verosimilitud que aborda algunos de los contraargumentos a la demostración original. [ 12 ]
Argumentos de diseño experimental basados en el principio de probabilidad
En algunos métodos estadísticos comunes, intervienen eventos no realizados. Por ejemplo, el resultado de una prueba de significancia depende del valor p , la probabilidad de obtener un resultado tan extremo o más extremo que la observación, y dicha probabilidad puede depender del diseño del experimento. En la medida en que se acepta el principio de verosimilitud, estos métodos quedan, por lo tanto, descartados.
Las pruebas de significancia clásicas no se basan en el principio de verosimilitud. A continuación se presentan un ejemplo simple y otro más complejo, utilizando un ejemplo comúnmente citado denominado problema de parada opcional .
- Ejemplo 1 – versión simple
Supongamos que te digo que lancé una moneda 12 veces y obtuve 3 caras. Podrías deducir algo sobre la probabilidad de obtener cara y si la moneda era justa.
Supongamos ahora que les digo que lancé la moneda hasta obtener 3 caras, y que la lancé 12 veces. ¿Harán ahora alguna deducción diferente?
La función de verosimilitud en ambos casos es proporcional a: .
Así pues, según el principio de verosimilitud , en ambos casos la inferencia debería ser la misma.
- Ejemplo 2: una versión más elaborada de las mismas estadísticas.
Supongamos que varios científicos están evaluando la probabilidad de un resultado determinado (que llamaremos «éxito») en ensayos experimentales. La sabiduría convencional sugiere que si no hay sesgo hacia el éxito o el fracaso, la probabilidad de éxito sería de un medio. Adam, un científico, realizó 12 ensayos y obtuvo 3 éxitos y 9 fracasos. Uno de esos éxitos fue la duodécima y última observación. Luego, Adam abandonó el laboratorio.
Bill, un colega del mismo laboratorio, continuó el trabajo de Adam y publicó sus resultados, junto con una prueba de significancia. Probó la hipótesis nula de que p , la probabilidad de éxito, es igual a un medio, frente a p < 0,5 . Si ignoramos la información de que el tercer éxito fue la duodécima y última observación, la probabilidad del resultado observado de que de 12 ensayos 3 o algo menos (es decir, más extremos) fueron éxitos, si H₀ es verdadera, es
- ,
lo cual es 299 / 4096 = 7,3% . Por lo tanto, la hipótesis nula no se rechaza al nivel de significancia del 5% si ignoramos el conocimiento de que el tercer éxito fue el resultado número 12.
Sin embargo, observe que este primer cálculo también incluye secuencias de 12 tokens que terminan en colas, ¡contrario a lo que indica el enunciado del problema!
Si repetimos este cálculo, nos damos cuenta de que la probabilidad según la hipótesis nula debe ser la probabilidad de que una moneda justa caiga 2 o menos caras en 11 ensayos multiplicada por la probabilidad de que la moneda justa caiga cara en el 12º ensayo:
- ,
que es 67 / 2048 1 / 2 = 67 / 4096 = 1,64 % . Ahora el resultado es estadísticamente significativo al nivel del 5 % . Esta probabilidad no incluye la posibilidad de encontrar un valor más extremo que el que observamos, lo cual es atípico; sin embargo, plantea una comparación interesante con el siguiente ejemplo .
Charlotte, otra científica, lee el artículo de Bill y escribe una carta diciendo que es posible que Adam haya seguido intentándolo hasta obtener 3 éxitos, en cuyo caso la probabilidad de necesitar realizar 12 o más experimentos viene dada por
- ,
lo cual es 67 / 2048 = 3,27 % . Ahora el resultado también es estadísticamente significativo al nivel del 5 % .
Nótese que los dos últimos análisis dan como resultado funciones de verosimilitud proporcionales salvo una constante multiplicativa de 1/2 . Según el principio de verosimilitud , la inferencia en ambos casos debería ser la misma. Sin embargo, si el nivel de significancia fuera del 2 % en lugar del 5% , se llegaría a conclusiones diferentes. Por lo tanto, para estos científicos, la significancia de su resultado depende del diseño del experimento, ya que este determina el valor específico de la función de verosimilitud para un valor de parámetro determinado (p = 0,5 ), que se comparará con el umbral de significancia.
- Resumen de los números ilustrados
Algunos consideran que este tipo de resultados constituyen argumentos en contra del principio de verosimilitud. Para otros, ejemplifican el valor de dicho principio y son un argumento en contra de las pruebas de significación.
Se observan temas similares al comparar la prueba exacta de Fisher con la prueba chi-cuadrado de Pearson .
La historia del voltímetro
Edwards presenta un argumento a favor del principio de verosimilitud en su libro Likelihood . Cita la siguiente anécdota de JW Pratt, ligeramente resumida aquí. Cabe destacar que la función de verosimilitud depende únicamente de lo que realmente sucedió, y no de lo que podría haber sucedido.
- Un ingeniero toma una muestra aleatoria de tubos electrónicos y mide sus voltajes. Las mediciones oscilan entre 75 y 99 voltios. Un estadístico calcula la media muestral y un intervalo de confianza para la media real. Posteriormente, el estadístico descubre que el voltímetro solo mide hasta 100 voltios, por lo que, técnicamente, la población parece estar " censurada ". Si el estadístico es ortodoxo, esto requiere un nuevo análisis.
- Sin embargo, el ingeniero afirma tener otro medidor con una lectura de hasta 1000 voltios, el cual habría utilizado si algún voltaje hubiera superado los 100. Esto tranquiliza al estadístico, pues significa que, después de todo, la población no había sido censurada. Pero más tarde, el estadístico descubre que el segundo medidor no funcionaba cuando se tomaron las mediciones. El ingeniero le informa que no habría retenido las mediciones originales hasta que el segundo medidor estuviera reparado, y el estadístico le comunica que se requieren nuevas mediciones. El ingeniero se queda atónito. «¡ Lo siguiente que preguntarás es por mi osciloscopio! ».
- Retomando el Ejemplo 2 de la sección anterior
Esta historia se puede traducir a la regla de parada de Adam mencionada anteriormente, de la siguiente manera: Adam se detuvo inmediatamente después de 3 éxitos, porque su jefe Bill se lo había indicado. Tras la publicación del análisis estadístico de Bill, Adam se da cuenta de que había omitido una instrucción posterior de Bill de realizar 12 ensayos, y que el artículo de Bill se basa en esta segunda instrucción. Adam se alegra mucho de haber obtenido sus 3 éxitos después de exactamente 12 ensayos y le explica a su amiga Charlotte que, por casualidad, ejecutó la segunda instrucción. Más tarde, Adam se sorprende al leer la carta de Charlotte, en la que le explica que ahora el resultado es significativo.
Véase también
Notas
- ↑ Geométricamente, si ocupan el mismo punto en el espacio proyectivo .
Referencias
- ↑ Dodge, Y. (2003). The Oxford Dictionary of Statistical Terms . Oxford University Press. ISBN 0-19-920613-9.
- ↑ Vidakovic, Brani. "El principio de probabilidad" (PDF) . Escuela de Ingeniería Industrial y de Sistemas H. Milton Stewart . Georgia Tech . Consultado el 21 de octubre de 2017 .
- ↑ Royall, Richard (1997). Evidencia estadística: Un paradigma de verosimilitud . Boca Raton, FL: Chapman and Hall. ISBN 0-412-04411-0.
- 1 2 3 Birnbaum, A. (14 de marzo de 1970). "Métodos estadísticos en la inferencia científica". Nature . 225 (5237): 1033. Bibcode : 1970Natur.225.1033B . doi : 10.1038/2251033a0 . PMID 16056904 .
- ^ Giere, R. (1977) La concepción de la evidencia estadística de Allan Birnbaum. Síntesis , 36, pp.5-13.
- ↑ Birnbaum, A., (1975) Discusión del artículo de JD Kalbfleisch 'Suficiencia y condicionalidad'. Biometrika, 62, pp. 262-264.
- ↑ Akaike, H., 1982. Sobre la falacia del principio de verosimilitud. Statistics & probability letters, 1(2), pp.75-78]
- ↑ Evans, Michael (2013). "¿Qué prueba la demostración del teorema de Birnbaum?". arXiv : 1302.5468 [ math.ST ].
- ↑ Mayo, D. (2010). «Un error en el argumento de Condicionalidad y Suficiencia al Principio de Probabilidad». En Mayo, D .; Spanos, A. (eds.). Error e Inferencia: Intercambios recientes sobre razonamiento experimental, fiabilidad y objetividad y racionalidad de la ciencia (PDF) . Cambridge, GB: Cambridge University Press. pp. 305–314 .
- ↑ Mayo, D. (2014). "Sobre el argumento de Birnbaum para el principio de máxima verosimilitud" . Statistical Science . 29 : 227–266 (con discusión).
- ↑ Dawid, AP (2014). "Discusión de "Sobre el argumento de Birnbaum para el principio de alta probabilidad"" . Ciencia Estadística . 29 (2): 240– 241. arXiv : 1411.0807 . doi : 10.1214/14-STS470 . S2CID 55068072 .
- ↑ Gandenberger, Greg (2014). "Una nueva prueba del principio de verosimilitud". British Journal for the Philosophy of Science . 66 (3): 475– 503. doi : 10.1093/bjps/axt039 .
Fuentes
- Barnard, GA ; Jenkins, GM; Winsten, CB (1962). "Inferencia de verosimilitud y series temporales". Journal of the Royal Statistical Society . Serie A. 125 (3): 321–372 . doi : 10.2307/2982406 . ISSN 0035-9238 . JSTOR 2982406 .
- Berger, JO ; Wolpert, RL (1988). El principio de verosimilitud (2.ª ed.). Haywood, CA: The Institute of Mathematical Statistics. ISBN 0-940600-13-7.
- Birnbaum, A. (1962). "Sobre los fundamentos de la inferencia estadística (con discusión)". Journal of the American Statistical Association . 57 (298): 269– 326. doi : 10.2307/2281640 . ISSN 0162-1459 . JSTOR 2281640. MR 0138176 .
- Edwards, AWF (1972). Probabilidad (1.ª ed.). Cambridge, Reino Unido: Cambridge University Press. ISBN 9780521082990.
- Edwards, AWF (1992). Probabilidad (2.ª ed.). Baltimore, MD: Johns Hopkins University Press. ISBN 0-8018-4445-2.
- Edwards, AWF (1974). "La historia de la verosimilitud". International Statistical Review . 42 (1): 9– 15. doi : 10.2307/1402681 . ISSN 0306-7734 . JSTOR 1402681. MR 0353514 .
- Fisher, RA (1922). "Sobre los fundamentos matemáticos de la estadística teórica" (PDF) . Philosophical Transactions of the Royal Society A. 222 ( 594–604 ) : 326. Bibcode : 1922RSPTA.222..309F . doi : 10.1098/rsta.1922.0009 . hdl : 2440/15172 . Consultado el 28 de diciembre de 2008 .
- Hacking, I. (1965). Lógica de la inferencia estadística . Cambridge, GB: Cambridge University Press. ISBN 0-521-05165-7.
- Jeffreys, H. (1961). La teoría de la probabilidad . Oxford University Press.
- Mayo, DG (2010). «Un error en el argumento de condicionalidad y suficiencia al principio de verosimilitud» (PDF) . En Mayo, D.; Spanos, A. (eds.). Error e inferencia: Intercambios recientes sobre razonamiento experimental, fiabilidad y objetividad y racionalidad de la ciencia . Cambridge, Reino Unido: Cambridge University Press. pp. 305–314 . ISBN 9780521180252.
- Royall, Richard M. (1997). Evidencia estadística: Un paradigma de verosimilitud . Londres, Reino Unido: Chapman & Hall. ISBN 0-412-04411-0– vía Internet Archive (archive.org).
- Savage, LJ ; et al. (1962). Los fundamentos de la inferencia estadística . Londres, Reino Unido: Methuen.
Enlaces externos
- Edwards, Anthony WF "Probabilidad" . cimat.mx/reportes . Archivado del original el 26 de enero de 2020. Recuperado el 17 de febrero de 2004 .
- Miller, Jeff. "L" . tripod.com . Primeros usos conocidos de algunas palabras de las matemáticas.
- Aldrich, John. "Verosimilitud y probabilidad en Métodos estadísticos para investigadores de R.A. Fisher " . economics.soton.ac.uk . Guía de Fisher. Southampton, Reino Unido: Universidad de Southampton / Departamento de Economía.
- Teoría de la estimación
- Probabilidad
- Principios estadísticos