La paradoja de Lindley

La paradoja de Lindley es una situación contraintuitiva en estadística en la que los enfoques bayesiano y frecuentista para un problema de prueba de hipótesis arrojan resultados diferentes para ciertas elecciones de la distribución previa . El problema del desacuerdo entre los dos enfoques se analizó en el libro de texto de Harold Jeffreys de 1939; ^[1] se conoció como la paradoja de Lindley después de que Dennis Lindley llamara al desacuerdo una paradoja en un artículo de 1957. ^[2]

Aunque se hace referencia a ellos como una paradoja , los diferentes resultados de los enfoques bayesiano y frecuentista pueden explicarse como resultado de su uso para responder preguntas fundamentalmente diferentes, en lugar de como un desacuerdo real entre los dos métodos.

Sin embargo, para una gran clase de valores a priori, las diferencias entre el enfoque frecuentista y el bayesiano se deben a que se mantiene fijo el nivel de significación: como reconoció el propio Lindley, "la teoría no justifica la práctica de mantener fijo el nivel de significación" e incluso "algunos cálculos del profesor Pearson en la discusión de ese artículo enfatizaron cómo el nivel de significación tendría que cambiar con el tamaño de la muestra, si las pérdidas y las probabilidades a priori se mantuvieran fijas". ^[2] De hecho, si el valor crítico aumenta con el tamaño de la muestra de manera adecuadamente rápida, entonces el desacuerdo entre los enfoques frecuentista y bayesiano se vuelve insignificante a medida que aumenta el tamaño de la muestra. ^[3]

La paradoja sigue siendo fuente de debate activo. ^{[3] [4] [5] [6]}

El resultado de algún experimento tiene dos explicaciones posibles – hipótesis y  – y una distribución previa que representa la incertidumbre en cuanto a qué hipótesis es más precisa antes de tomarla en cuenta . ${\estilo de visualización x}$$Estilo de visualización H_{0}$$Estilo de visualización H_{1}$${\estilo de visualización \pi}$${\estilo de visualización x}$

La paradoja de Lindley ocurre cuando

1. El resultado es "significativo" según una prueba frecuentista que indica evidencia suficiente para rechazar , digamos, al nivel del 5%, y${\estilo de visualización x}$${\estilo de visualización H_{0},}$${\estilo de visualización H_{0},}$
2. La probabilidad posterior de que se dé es alta, lo que indica una evidencia sólida de que concuerda mejor con$Estilo de visualización H_{0}$${\estilo de visualización x}$$Estilo de visualización H_{0}$${\estilo de visualización x}$${\estilo de visualización H_{1}.}$

Estos resultados pueden ocurrir al mismo tiempo cuando es muy específico, más difuso y la distribución previa no favorece fuertemente a uno u otro, como se ve a continuación. $Estilo de visualización H_{0}$$Estilo de visualización H_{1}$

El siguiente ejemplo numérico ilustra la paradoja de Lindley. En una ciudad determinada nacieron 49.581 niños y 48.870 niñas durante un período de tiempo determinado. La proporción observada de nacimientos de varones es, por tanto:${\estilo de visualización x}$49 581 /98 451 ≈ 0,5036. Suponemos que la fracción de nacimientos de varones es una variable binomial con parámetro Nos interesa comprobar si es 0,5 o algún otro valor. Es decir, nuestra hipótesis nula es y la alternativa es${\displaystyle \theta .}$${\estilo de visualización \theta}$${\displaystyle H_{0}:\theta = 0,5,}$${\displaystyle H_{1}:\theta \neq 0,5.}$

El enfoque frecuentista para realizar pruebas consiste en calcular un valor p , la probabilidad de observar una fracción de niños al menos tan grande como la que se supone que es verdadera. Debido a que el número de nacimientos es muy grande, podemos utilizar una aproximación normal para la fracción de nacimientos de varones con y para calcular $Estilo de visualización H_{0}$${\estilo de visualización x}$$Estilo de visualización H_{0}$${\displaystyle X\sim N(\mu ,\sigma ^{2}),}$${\displaystyle \mu = np=n\theta = 98\,451\times 0.5=49\,225.5}$${\displaystyle \sigma ^{2}=n\theta (1-\theta )=98\,451\times 0.5\times 0.5=24\,612.75,}$

${\displaystyle {\begin{aligned}P(X\geq x\mid \mu =49\,225.5)=\int _{x=49\,581}^{98\,451}{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {1}{2}}\left({\frac {u-\mu }{\sigma }}\right)^{2}}\,du\\=\int _{x=49\,581}^{98\,451}{\frac {1}{\sqrt {2\pi (24\,612.75)}}}e^{-{\frac {(u-49\,225.5)^{2}}{2\times 24\,612.75}}}\,du\approx 0,0117.\end{alineado}}}$

Nos habríamos sorprendido igualmente si hubiéramos visto49 581 nacimientos de niñas, es decir, un frecuentista normalmente realizaría una prueba bilateral , para la cual el valor p sería En ambos casos, el valor p es menor que el nivel de significancia α = 5%, por lo que el enfoque frecuentista rechaza ya que no está de acuerdo con los datos observados. ${\displaystyle x\aproximadamente 0,4964,}$${\displaystyle p\aprox 2\veces 0,0117=0,0235.}$${\estilo de visualización H_{0},}$

Suponiendo que no hay motivos para favorecer una hipótesis sobre la otra, el enfoque bayesiano sería asignar probabilidades previas y una distribución uniforme a y luego calcular la probabilidad posterior de utilizando el teorema de Bayes : ${\displaystyle \pi(H_{0})=\pi(H_{1})=0,5}$${\estilo de visualización \theta}$${\estilo de visualización H_{1},}$$Estilo de visualización H_{0}$

${\displaystyle P(H_{0}\mid k)={\frac {P(k\mid H_{0})\pi (H_{0})}{P(k\mid H_{0})\pi (H_{0})+P(k\mid H_{1})\pi (H_{1})}}.}$

Después de observar los nacimientos de niños , podemos calcular la probabilidad posterior de cada hipótesis utilizando la función de masa de probabilidad para una variable binomial: ${\displaystyle k=49\,581}$${\displaystyle n=98\,451}$

${\displaystyle {\begin{aligned}P(k\mid H_{0})&={n \choose k}(0.5)^{k}(1-0.5)^{n-k}\approx 1.95\times 10^{-4},\\P(k\mid H_{1})&=\int _{0}^{1}{n \choose k}\theta ^{k}(1-\theta )^{n-k}\,d\theta ={n \choose k}\operatorname {\mathrm {B} } (k+1,n-k+1)=1/(n+1)\approx 1.02\times 10^{-5},\end{aligned}}}$

¿Dónde está la función Beta ? ${\displaystyle \operatorname {\mathrm {B} } (a,b)}$

A partir de estos valores, encontramos la probabilidad posterior de que favorece fuertemente a más de . ${\displaystyle P(H_{0}\mid k)\approx 0.95,}$${\displaystyle H_{0}}$${\displaystyle H_{1}}$

Los dos enfoques, el bayesiano y el frecuentista, parecen estar en conflicto, y esa es la "paradoja".

Naaman ^[3] propuso una adaptación del nivel de significancia al tamaño de la muestra para controlar los falsos positivos: α _n , tal que α _n = n ^{− r} con r > 1/2 . Al menos en el ejemplo numérico, tomando r = 1/2 , resulta un nivel de significancia de 0,00318, por lo que el frecuentista no rechazaría la hipótesis nula, lo que concuerda con el enfoque bayesiano.

Si utilizamos una hipótesis previa no informativa y probamos una hipótesis más similar a la del enfoque frecuentista, la paradoja desaparece.

Por ejemplo, si calculamos la distribución posterior , utilizando una distribución previa uniforme en (es decir, ), encontramos ${\displaystyle P(\theta \mid x,n)}$${\displaystyle \theta }$${\displaystyle \pi (\theta \in [0,1])=1}$

${\displaystyle P(\theta \mid k,n)=\operatorname {\mathrm {B} } (k+1,n-k+1).}$

Si usamos esto para comprobar la probabilidad de que un recién nacido tenga más probabilidades de ser un niño que una niña, es decir, encontramos ${\displaystyle P(\theta >0.5\mid k,n),}$

${\displaystyle \int _{0.5}^{1}\operatorname {\mathrm {B} } (49\,582,48\,871)\approx 0.983.}$

En otras palabras, es muy probable que la proporción de nacimientos varones sea superior al 0,5.

Ninguno de los análisis proporciona una estimación directa del tamaño del efecto , pero ambos podrían utilizarse para determinar, por ejemplo, si es probable que la fracción de nacimientos de niños sea superior a un umbral particular.

El aparente desacuerdo entre los dos enfoques se debe a una combinación de factores. En primer lugar, el enfoque frecuentista anterior prueba sin referencia a . El enfoque bayesiano evalúa como una alternativa a y encuentra que el primero está en mejor acuerdo con las observaciones. Esto se debe a que la última hipótesis es mucho más difusa, como puede serlo en cualquier parte de , lo que resulta en que tenga una probabilidad posterior muy baja. Para entender por qué, es útil considerar las dos hipótesis como generadoras de las observaciones: ${\displaystyle H_{0}}$${\displaystyle H_{1}}$${\displaystyle H_{0}}$${\displaystyle H_{1}}$${\displaystyle \theta }$${\displaystyle [0,1]}$

• En , elegimos y preguntamos qué probabilidad hay de ver${\displaystyle H_{0}}$${\displaystyle \theta \approx 0.500}$49 581 niños en98 451 nacimientos.
• En , elegimos aleatoriamente un número entre 0 y 1 y hacemos la misma pregunta.${\displaystyle H_{1}}$${\displaystyle \theta }$

La mayoría de los valores posibles para under no están respaldados por las observaciones. En esencia, el aparente desacuerdo entre los métodos no es un desacuerdo en absoluto, sino más bien dos afirmaciones diferentes sobre cómo se relacionan las hipótesis con los datos: ${\displaystyle \theta }$${\displaystyle H_{1}}$

• El frecuentista considera que ésta es una explicación pobre de la observación.${\displaystyle H_{0}}$
• El hallazgo bayesiano es que es una explicación mucho mejor para la observación que${\displaystyle H_{0}}$${\displaystyle H_{1}.}$

Según la prueba frecuentista, la proporción de sexos de los recién nacidos es improbablemente 50/50 masculino/femenino. Sin embargo, 50/50 es una mejor aproximación que la mayoría de las demás proporciones, pero no todas . La hipótesis se habría ajustado a la observación mucho mejor que casi todas las demás proporciones, incluidas${\displaystyle \theta \approx 0.504}$${\displaystyle \theta \approx 0.500.}$

Por ejemplo, esta elección de hipótesis y probabilidades previas implica la afirmación "si > 0,49 y < 0,51, entonces la probabilidad previa de ser exactamente 0,5 es 0,50/0,51 ≈ 98%". Dada una preferencia tan fuerte por es fácil ver por qué el enfoque bayesiano favorece a pesar de que el valor observado de se encuentra lejos de 0,5. La desviación de más de 2 σ de se considera significativa en el enfoque frecuentista, pero su importancia es anulada por la probabilidad previa en el enfoque bayesiano. ${\displaystyle \theta }$${\displaystyle \theta }$${\displaystyle \theta }$${\displaystyle \theta =0.5,}$${\displaystyle H_{0}}$${\displaystyle x\approx 0.5036,}$${\displaystyle x}$${\displaystyle 2.28\sigma }$${\displaystyle H_{0}}$

Mirándolo de otra manera, podemos ver que la distribución previa es esencialmente plana con una función delta en Claramente, esto es dudoso. De hecho, al imaginar los números reales como continuos, sería más lógico suponer que sería imposible que cualquier número dado fuera exactamente el valor del parámetro, es decir, deberíamos suponer${\displaystyle \theta =0.5.}$${\displaystyle P(\theta =0.5)=0.}$

Una distribución más realista para en la hipótesis alternativa produce un resultado menos sorprendente para la posterior de Por ejemplo, si reemplazamos con ie, la estimación de máxima verosimilitud para la probabilidad posterior de sería solo 0,07 en comparación con 0,93 para (por supuesto, en realidad no se puede usar la MLE como parte de una distribución previa). ${\displaystyle \theta }$${\displaystyle H_{0}.}$${\displaystyle H_{1}}$${\displaystyle H_{2}:\theta =x,}$${\displaystyle \theta ,}$${\displaystyle H_{0}}$${\displaystyle H_{2}}$

• Factor de Bayes

• Shafer, Glenn (1982). "La paradoja de Lindley". Revista de la Asociación Estadounidense de Estadística . 77 (378): 325–334. doi :10.2307/2287244. JSTOR  2287244. MR  0664677.