factor de Bayes

El factor de Bayes es una razón entre dos modelos estadísticos en competencia, representados por su evidencia , y se utiliza para cuantificar el respaldo a un modelo sobre el otro. ^{[ 1 ]} Los modelos en cuestión pueden tener un conjunto común de parámetros, como una hipótesis nula y una alternativa, pero esto no es necesario; por ejemplo, también podría tratarse de un modelo no lineal comparado con su aproximación lineal . El factor de Bayes puede considerarse un análogo bayesiano de la prueba de razón de verosimilitud , aunque utiliza la verosimilitud integrada (es decir, marginal) en lugar de la verosimilitud maximizada. Por lo tanto, ambas cantidades solo coinciden bajo hipótesis simples (por ejemplo, dos valores de parámetros específicos). ^{[ 2 ]} Además, a diferencia de las pruebas de significancia de hipótesis nulas , los factores de Bayes respaldan la evaluación de la evidencia a favor de una hipótesis nula, en lugar de solo permitir que la hipótesis nula sea rechazada o no rechazada. ^{[ 3 ]}

Aunque conceptualmente simple, el cálculo del factor de Bayes puede ser desafiante dependiendo de la complejidad del modelo y las hipótesis. ^{[ 4 ]} Dado que generalmente no se dispone de expresiones de forma cerrada de la verosimilitud marginal, se han sugerido aproximaciones numéricas basadas en muestras MCMC . ^{[ 5 ]} Para ciertos casos especiales, se pueden derivar expresiones algebraicas simplificadas; por ejemplo, la razón de densidad de Savage-Dickey en el caso de una hipótesis precisa (con restricción de igualdad) frente a una alternativa no restringida. ^{[ 6 ] [ 7 ]} Otra aproximación, derivada al aplicar la aproximación de Laplace a las verosimilitudes integradas, se conoce como el criterio de información bayesiano (BIC); ^{[ 8 ]} en conjuntos de datos grandes el factor de Bayes se aproximará al BIC a medida que la influencia de las distribuciones a priori disminuye. En conjuntos de datos pequeños, las distribuciones a priori generalmente importan y no deben ser impropias ya que el factor de Bayes no estará definido si alguna de las dos integrales en su razón no es finita.

El factor de Bayes es la razón de dos verosimilitudes marginales; es decir, las verosimilitudes de dos modelos estadísticos integradas sobre las probabilidades previas de sus parámetros. ^{[ 9 ]}

La probabilidad posterior${\displaystyle \Pr(M|D)}$La función de un modelo M dados los datos D viene dada por el teorema de Bayes :

${\displaystyle \Pr(M|D)={\frac {\Pr(D|M)\Pr(M)}{\Pr(D)}}.}$

El término clave dependiente de los datos${\displaystyle \Pr(D|M)}$representa la probabilidad de que se produzcan ciertos datos bajo el supuesto del modelo M ; evaluarlo correctamente es la clave para la comparación de modelos bayesianos.

Dado un problema de selección de modelos en el que se desea elegir entre dos modelos basándose en datos observados D , se debe evaluar la plausibilidad de los dos modelos diferentes M ₁ y M ₂ , parametrizados por vectores de parámetros del modelo.${\displaystyle \theta _{1}}$y${\displaystyle \theta _{2}}$, se evalúa mediante el factor de Bayes K dado por

${\displaystyle K={\frac {\Pr(D|M_{1})}{\Pr(D|M_{2})}}={\frac {\int \Pr(\theta _{1}|M_{1})\Pr(D|\theta _{1},M_{1})\,d\theta _{1}}{\int \Pr(\theta _{2}|M_{2})\Pr(D|\theta _{2},M_{2})\,d\theta _{2}}}={\frac {\frac {\Pr(M_{1}|D)\Pr(D)}{\Pr(M_{1})}}{\frac {\Pr(M_{2}|D)\Pr(D)}{\Pr(M_{2})}}}={\frac {\Pr(M_{1}|D)}{\Pr(M_{2}|D)}}{\frac {\Pr(M_{2})}{\Pr(M_{1})}}.}$

Cuando los dos modelos tienen la misma probabilidad previa, de modo que${\displaystyle \Pr(M_{1})=\Pr(M_{2})}$El factor de Bayes es igual a la razón de las probabilidades posteriores de M ₁ y M ₂ . Si en lugar de la integral del factor de Bayes se utiliza la verosimilitud correspondiente a la estimación de máxima verosimilitud del parámetro para cada modelo estadístico, entonces la prueba se convierte en una prueba clásica de razón de verosimilitud . A diferencia de una prueba de razón de verosimilitud, esta comparación de modelos bayesianos no depende de ningún conjunto único de parámetros, ya que integra sobre todos los parámetros en cada modelo (con respecto a las distribuciones a priori respectivas). Una ventaja del uso de factores de Bayes es que automáticamente, y de forma bastante natural, incluye una penalización por incluir demasiada estructura del modelo. ^{[ 10 ]} Por lo tanto, protege contra el sobreajuste . Para modelos donde no se dispone de una versión explícita de la verosimilitud o es demasiado costoso evaluarla numéricamente, se puede utilizar el cálculo bayesiano aproximado para la selección de modelos en un marco bayesiano, ^{[ 11 ]} con la salvedad de que las estimaciones bayesianas aproximadas de los factores de Bayes a menudo están sesgadas. ^{[ 12 ]}

Otros enfoques son:

• tratar la comparación de modelos como un problema de decisión , calculando el valor o coste esperado de cada opción de modelo;
• utilizar la longitud mínima del mensaje (MML).
• utilizar la longitud mínima de descripción (MDL).

Un valor de K > 1 significa que M ₁ está más respaldada por los datos considerados que M _2. Cabe señalar que la prueba de hipótesis clásica otorga un estatus preferencial a una hipótesis (o modelo) (la «hipótesis nula») y solo considera la evidencia en su contra. El hecho de que un factor de Bayes pueda generar evidencia a favor y no solo en contra de una hipótesis nula es una de las principales ventajas de este método de análisis. ^{[ 13 ]}

Harold Jeffreys proporcionó una escala ( escala de Jeffreys ) para la interpretación de${\displaystyle K}$: ^{[ 14 ]}

La segunda columna muestra los pesos de evidencia correspondientes en decihartleys (también conocidos como decibans ); se agregan bits en la tercera columna para mayor claridad. La tabla continúa en la otra dirección, de modo que, por ejemplo,${\displaystyle K\leq 10^{-2}}$es evidencia decisiva para${\displaystyle M_{2}}$.

Kass y Raftery (1995) proporcionan una tabla alternativa, ampliamente citada: ^{[ 10 ]}

Según IJ Good , la diferencia apenas perceptible de los humanos en su vida cotidiana, cuando se trata de un cambio en el grado de creencia en una hipótesis, es de aproximadamente un factor de 1,3x, o 1 deciban, o 1/3 de bit, o de 1:1 a 5:4 en razón de probabilidades. ^{[ 15 ]}

Supongamos que tenemos una variable aleatoria que produce un éxito o un fracaso. Queremos comparar un modelo${\displaystyle M_{1}}$donde la probabilidad de éxito es q = 1/2 , y otro modelo${\displaystyle M_{2}}$donde q es desconocido y tomamos una distribución previa para q que es uniforme en [0,1]. Tomamos una muestra de 200 y encontramos 115 éxitos y 85 fracasos. La probabilidad se puede calcular según la distribución binomial :

${\displaystyle {{200 \choose 115}q^{115}(1-q)^{85}}.}$

Así tenemos para${\displaystyle M_{1}}$

${\displaystyle P(X=115\mid M_{1})={200 \choose 115}\left({1 \over 2}\right)^{200}\approx 0.006}$

mientras que para${\displaystyle M_{2}}$tenemos

${\displaystyle P(X=115\mid M_{2})=\int _{0}^{1}{200 \choose 115}q^{115}(1-q)^{85}dq={1 \over 201}\approx 0.005}$

La proporción es entonces 1,2, lo cual "apenas merece mención" aunque apunta muy ligeramente hacia${\displaystyle M_{1}}$.

Una prueba de hipótesis frecuentista de${\displaystyle M_{1}}$(considerada aquí como una hipótesis nula ) habría producido un resultado muy diferente. Dicha prueba dice que ${\displaystyle M_{1}}$Debe rechazarse al nivel de significancia del 5%, ya que la probabilidad de obtener 115 o más éxitos de una muestra de 200 si q = 1/2 es 0,02 , y como prueba bilateral de obtener una cifra tan extrema o más extrema que 115 es 0,04. Nótese que 115 está a más de dos desviaciones estándar de 100. Por lo tanto, mientras que una prueba de hipótesis frecuentista arrojaría resultados significativos al nivel de significancia del 5%, el factor de Bayes difícilmente considera esto como un resultado extremo. Sin embargo, tenga en cuenta que una distribución previa no uniforme (por ejemplo, una que refleje que se espera que el número de éxitos y fracasos sea del mismo orden de magnitud) podría resultar en un factor de Bayes que esté más en concordancia con la prueba de hipótesis frecuentista.

Una prueba clásica de razón de verosimilitud habría encontrado la estimación de máxima verosimilitud para q , a saber:${\displaystyle {\sombrero {q}}={\frac {115}{200}}=0,575}$, de donde

${\displaystyle \textstyle P(X=115\mid M_{2})={{200 \choose 115}{\hat {q}}^{115}(1-{\hat {q}})^{85}}\approx 0.06}$

(en lugar de promediar sobre todos los q posibles ). Eso da una razón de verosimilitud de 0,1 y apunta hacia M ₂ .

${\displaystyle M_{2}}$es un modelo más complejo que${\displaystyle M_{1}}$porque posee un parámetro libre que le permite modelar los datos con mayor precisión. La capacidad de los factores de Bayes para tener esto en cuenta es una de las razones por las que la inferencia bayesiana se ha propuesto como una justificación teórica y una generalización de la navaja de Occam , reduciendo los errores ^de tipo I. ^{[ 16} ]

Por otro lado, el método moderno de verosimilitud relativa tiene en cuenta el número de parámetros libres en los modelos, a diferencia de la razón de verosimilitud clásica. El método de verosimilitud relativa podría aplicarse de la siguiente manera. El modelo M ₁ tiene 0 parámetros, por lo que su valor del criterio de información de Akaike (AIC) es${\displaystyle 2\cdot 0-2\cdot \ln(0.005956)\approx 10.2467}$_El modelo M2 tiene 1 parámetro, por lo que su valor AIC es${\displaystyle 2\cdot 1-2\cdot \ln(0.056991)\approx 7.7297}$Por lo tanto, M ₁ es aproximadamente${\displaystyle \exp \left({\frac {7.7297-10.2467}{2}}\right)\approx 0.284}$veces más probable que M ₂ para minimizar la pérdida de información. Por lo tanto, M ₂ es ligeramente preferible, pero M ₁ no puede descartarse.

• criterio de información de Akaike
• Computación bayesiana aproximada
• Criterio de información bayesiano
• criterio de información de desviación
• La paradoja de Lindley
• Longitud mínima del mensaje
• Selección de modelos
• Valor E

Razones estadísticas

• Razón de probabilidades
• Riesgo relativo

• Bernardo, J.; Smith, AFM (1994). Teoría bayesiana . John Wiley. ISBN 0-471-92416-4.
• Denison, DGT; Holmes, CC; Mallick, BK; Smith, AFM (2002). Métodos bayesianos para clasificación y regresión no lineal . John Wiley. ISBN 0-471-49036-9.
• Dienes, Z. (2019). ¿Cómo sé qué predice mi teoría? Avances en métodos y prácticas en ciencias psicológicas doi : 10.1177/2515245919876960
• Duda, Richard O.; Hart, Peter E.; Stork, David G. (2000). «Sección 9.6.5». Clasificación de patrones (2.ª  ed.). Wiley. págs. 487–489 . ISBN  0-471-05669-3.
• Gelman, A.; Carlin, J.; Stern, H.; Rubin, D. (1995). Análisis de datos bayesianos . Londres: Chapman & Hall . ISBN 0-412-03991-5.
• Jaynes, ET (1994), Teoría de la probabilidad: la lógica de la ciencia Archivado el 24-10-2018 en Wayback Machine , capítulo 24.
• Kadane, Joseph B.; Dickey, James M. (1980). «Teoría de la decisión bayesiana y la simplificación de modelos». En Kmenta, Jan; Ramsey, James B. (eds.). Evaluación de modelos econométricos . Nueva York: Academic Press. pp. 245–268 . ISBN  0-12-416550-8.
• Lee, PM (2012). Estadística bayesiana: una introducción . Wiley. ISBN 9781118332573.
• Richard, Mark; Vecer, Jan (2021). "Prueba de eficiencia de mercados de predicción: enfoque de martingala, razón de verosimilitud y análisis del factor de Bayes" . Risks . 9 (2): 31. doi : 10.3390/risks9020031 . hdl : 10419/258120 .
• Winkler, Robert (2003). Introducción a la inferencia y decisión bayesiana (2.ª  ed.). Probabilistic. ISBN 0-9647938-4-9.

• "Factor Bayesiano" . Archivado del original el 21 de junio de 2013.— un paquete de R para calcular factores de Bayes en diseños de investigación comunes
• Calculadora del factor de Bayes . Archivado del original el 7 de mayo de 2015.— Calculadora en línea para factores de Bayes informados
• Calculadoras del factor de Bayes . Archivado del original el 7 de mayo de 2015.— versión web de gran parte del paquete BayesFactor