Hispanopedia Wiki
Articulo de referencia

La paradoja de Simpson

La paradoja de Simpson para datos cuantitativos: aparece una tendencia positiva ( , ) para dos grupos separados, mientras que aparece una tendencia negativa ( ) cuando se ...

Hispanopedia WikiContenido en espanolLectura gratuita
La paradoja de Simpson para datos cuantitativos: aparece una tendencia positiva (  ,  ) para dos grupos separados, mientras que  aparece una tendencia negativa ( ) cuando se combinan los grupos.
La visualización de la paradoja de Simpson en datos que se asemejan a la variabilidad del mundo real indica que el riesgo de juzgar erróneamente la verdadera relación causal puede ser difícil de detectar.

La paradoja de Simpson es un fenómeno de probabilidad y estadística en el que una tendencia aparece en varios grupos de datos, pero desaparece o se invierte al combinarlos. Este resultado se observa con frecuencia en la estadística de las ciencias sociales y médicas, [ 1 ] [ 2 ] [ 3 ] y resulta particularmente problemático cuando se atribuyen indebidamente interpretaciones causales a los datos de frecuencia . [ 4 ] La paradoja puede resolverse cuando las variables de confusión y las relaciones causales se abordan adecuadamente en el modelado estadístico [ 4 ] [ 5 ] (por ejemplo, mediante análisis de conglomerados ). [ 6 ]

La paradoja de Simpson se ha utilizado para ilustrar el tipo de resultados engañosos que puede generar el mal uso de las estadísticas . [ 7 ] [ 8 ]

Edward H. Simpson describió por primera vez este fenómeno en un artículo técnico en 1951; [ 9 ] los estadísticos Karl Pearson (en 1899) [ 10 ] y Udny Yule (en 1903) [ 11 ] habían mencionado efectos similares anteriormente. El nombre de paradoja de Simpson fue introducido por Colin R. Blyth en 1972. [ 12 ] También se la conoce como inversión de Simpson , efecto Yule-Simpson , paradoja de la amalgamación o paradoja de la inversión . [ 13 ]

Ejemplos

sesgo de género en la UC Berkeley

Uno de los ejemplos más conocidos de la paradoja de Simpson proviene de un estudio sobre el sesgo de género en las admisiones a programas de posgrado en la Universidad de California, Berkeley . Las cifras de admisión para el otoño de 1973 mostraron que los hombres que solicitaban ingreso tenían más probabilidades de ser admitidos que las mujeres, y la diferencia era tan grande que era improbable que se debiera al azar. [ 14 ] [ 15 ]

Sin embargo, al considerar la información sobre los departamentos a los que se postulaba, los diferentes porcentajes de rechazo revelan la distinta dificultad para ingresar a cada departamento. Al mismo tiempo, se observó que las mujeres tendían a postular a departamentos más competitivos con tasas de admisión más bajas, incluso entre solicitantes calificados (como en el departamento de inglés), mientras que los hombres tendían a postular a departamentos menos competitivos con tasas de admisión más altas (como en el departamento de ingeniería). Los datos agrupados y corregidos mostraron un "sesgo pequeño pero estadísticamente significativo a favor de las mujeres". [ 15 ]

A continuación se muestran los datos de los seis departamentos más grandes:

Los datos completos mostraron que un total de 4 de 85 departamentos presentaban un sesgo significativo contra las mujeres, mientras que 6 mostraron un sesgo significativo contra los hombres (no todos presentes en la tabla de "los seis departamentos más grandes" anterior). Cabe destacar que la conclusión no se basó en el número de departamentos con sesgo, sino en la suma de las admisiones por género de todos los departamentos, ponderadas según la tasa de rechazo de cada departamento entre todos sus solicitantes. [ 15 ]

Tratamiento de cálculos renales

Otro ejemplo proviene de un estudio médico real [ 16 ] que compara las tasas de éxito de dos tratamientos para cálculos renales . [ 17 ] La ​​tabla a continuación muestra las tasas de éxito y el número de tratamientos para cálculos renales pequeños y grandes, donde el Tratamiento A incluye procedimientos quirúrgicos abiertos y el Tratamiento B incluye procedimientos quirúrgicos cerrados. Los números entre paréntesis indican el número de casos de éxito sobre el tamaño total del grupo.

La conclusión paradójica es que el tratamiento A es más eficaz en cálculos pequeños y también en cálculos grandes, mientras que el tratamiento B parece ser más eficaz al considerar ambos tamaños simultáneamente. En este ejemplo, la variable oculta (o variable de confusión ) que causa la paradoja es el tamaño de los cálculos, cuya importancia desconocían los investigadores hasta que se incluyeron sus efectos.

El tratamiento que se considera mejor se determina por cuál índice de éxito (éxitos/total) es mayor. La inversión de la desigualdad entre los dos índices al considerar los datos combinados, que crea la paradoja de Simpson, ocurre porque dos efectos se producen simultáneamente:

  1. Los tamaños de los grupos, que se combinan al ignorar la variable oculta, son muy diferentes. Los médicos tienden a aplicar el mejor tratamiento (A) a los casos con cálculos grandes y el tratamiento inferior (B) a los casos con cálculos pequeños. Por lo tanto, los totales están dominados por los grupos 3 y 2, y no por los dos grupos mucho más pequeños, el 1 y el 4.
  2. La variable latente, el tamaño del cálculo, influye considerablemente en las proporciones; es decir, la tasa de éxito está más influenciada por la gravedad del caso que por la elección del tratamiento. Por lo tanto, el grupo de pacientes con cálculos grandes que utiliza el tratamiento A (grupo 3) obtiene peores resultados que el grupo con cálculos pequeños, incluso si este último utilizó el tratamiento B (grupo 2), que es inferior.

Basándonos en estos efectos, se observa que el resultado paradójico surge porque el efecto del tamaño de los cálculos anula los beneficios del mejor tratamiento (A). En resumen, el tratamiento B, menos efectivo, pareció ser más efectivo porque se aplicó con mayor frecuencia a los casos de cálculos pequeños, que eran más fáciles de tratar, por lo que cualquier tratamiento seleccionado tenía mayor probabilidad de éxito. [ 17 ]

Jaynes sostiene que la conclusión correcta es que, si bien el tratamiento A sigue siendo notablemente mejor que el tratamiento B, el tamaño del cálculo renal es más importante. [ 18 ]

Promedios de bateo

Un ejemplo común de la paradoja de Simpson involucra los promedios de bateo de los jugadores de béisbol profesional . Es posible que un jugador tenga un promedio de bateo más alto que otro durante varios años, pero un promedio de bateo más bajo en el conjunto de esos años. Este fenómeno puede ocurrir cuando existen grandes diferencias en el número de turnos al bate entre los años. El matemático Ken Ross lo demostró utilizando el promedio de bateo de dos jugadores de béisbol, Derek Jeter y David Justice , durante los años 1995 y 1996: [ 19 ] [ 20 ]

Tanto en 1995 como en 1996, Justice tuvo un promedio de bateo más alto (en negrita) que Jeter. Sin embargo, al combinar ambas temporadas, Jeter muestra un promedio de bateo superior al de Justice. Según Ross, este fenómeno se observaría aproximadamente una vez al año entre las posibles parejas de jugadores. [ 19 ]

Interpretación vectorial

Interpretación vectorial de la paradoja de Simpson

La paradoja de Simpson también se puede ilustrar utilizando un espacio vectorial bidimensional . [ 21 ] Una tasa de éxito depagq{\textstyle {\frac {p}{q}}}(es decir, éxitos/intentos ) se pueden representar mediante un vectorA→=(q,pag){\displaystyle {\vec {A}}=(q,p)}, con una pendiente depagq{\textstyle {\frac {p}{q}}}Un vector más inclinado representa entonces una mayor tasa de éxito. Si dos tasaspag1q1{\textstyle {\frac {p_{1}}{q_{1}}}}ypag2q2{\textstyle {\frac {p_{2}}{q_{2}}}}Si se combinan, como en los ejemplos dados anteriormente, el resultado puede representarse mediante la suma de los vectores.(q1,pag1){\displaystyle (q_{1},p_{1})}y(q2,pag2){\displaystyle (q_{2},p_{2})}, que según la regla del paralelogramo es el vector(q1+q2,pag1+pag2){\displaystyle (q_{1}+q_{2},p_{1}+p_{2})}, con pendientepag1+pag2q1+q2{\textstyle {\frac {p_{1}+p_{2}}{q_{1}+q_{2}}}}.

La paradoja de Simpson dice que incluso si un vectorL→1{\displaystyle {\vec {L}}_{1}}(en naranja en la figura) tiene una pendiente menor que otro vectorB→1{\displaystyle {\vec {B}}_{1}}(en azul), yL→2{\displaystyle {\vec {L}}_{2}}tiene una pendiente menor queB→2{\displaystyle {\vec {B}}_{2}}, la suma de los dos vectoresL→1+L→2{\displaystyle {\vec {L}}_{1}+{\vec {L}}_{2}}potencialmente aún puede tener una pendiente mayor que la suma de los dos vectores.B→1+B→2{\displaystyle {\vec {B}}_{1}+{\vec {B}}_{2}}, como se muestra en el ejemplo. Para que esto ocurra, uno de los vectores naranjas debe tener una pendiente mayor que uno de los vectores azules (aquíL→2{\displaystyle {\vec {L}}_{2}}yB→1{\displaystyle {\vec {B}}_{1}}), y estos generalmente serán más largos que los vectores con subíndices alternativos, dominando así la comparación general.

Correlación entre variables

La inversión de Simpson también puede surgir en correlaciones , en las que dos variables parecen tener (por ejemplo) una correlación positiva entre sí, cuando en realidad tienen una correlación negativa, siendo la inversión provocada por un factor de confusión "oculto". Berman et al. [ 22 ] dan un ejemplo de economía, donde un conjunto de datos sugiere que la demanda general está correlacionada positivamente con el precio (es decir, precios más altos conducen a una mayor demanda), en contradicción con lo esperado. El análisis revela que el tiempo es la variable de confusión: al graficar tanto el precio como la demanda en función del tiempo, se revela la correlación negativa esperada durante varios períodos, que luego se invierte para volverse positiva si se ignora la influencia del tiempo simplemente graficando la demanda en función del precio.

Psicología

El interés psicológico en la paradoja de Simpson busca explicar por qué la gente considera imposible la inversión de signos en un principio. La pregunta es de dónde proviene esta fuerte intuición y cómo se codifica en la mente .

La paradoja de Simpson demuestra que esta intuición no puede derivarse únicamente de la lógica clásica ni del cálculo de probabilidades , lo que llevó a los filósofos a especular que está respaldada por una lógica causal innata que guía a las personas en el razonamiento sobre las acciones y sus consecuencias. [ 4 ] El principio de la cosa segura de Savage [ 12 ] es un ejemplo de lo que dicha lógica puede implicar. Una versión cualificada del principio de la cosa segura de Savage puede derivarse del cálculo do de Pearl [ 4 ] y dice: "Una acción A que aumenta la probabilidad de un evento B en cada subpoblación C i de C también debe aumentar la probabilidad de B en la población en su conjunto, siempre que la acción no cambie la distribución de las subpoblaciones". Esto sugiere que el conocimiento sobre las acciones y las consecuencias se almacena en una forma que se asemeja a las redes bayesianas causales .

Probabilidad

Un artículo de Pavlides y Perlman presenta una prueba, debida a Hadjicostas, de que en una tabla aleatoria de 2 × 2 × 2 con distribución uniforme, la paradoja de Simpson ocurrirá con una probabilidad de exactamente 1/60 . [ 23 ] Un estudio de Kock sugiere que la probabilidad de que la paradoja de Simpson ocurra al azar en modelos de ruta (es decir, modelos generados por análisis de ruta ) con dos predictores y una variable criterio es aproximadamente del 12,8 por ciento; ligeramente superior a 1 ocurrencia por cada 8 modelos de ruta. [ 24 ]

La segunda paradoja de Simpson

En el artículo de Simpson de 1951 también se analizó una segunda paradoja, menos conocida. Esta puede ocurrir cuando la "interpretación sensata" no se encuentra necesariamente en los datos separados, como en el ejemplo de los cálculos renales, sino que reside en los datos combinados. El uso de la forma particionada o combinada de los datos depende del proceso que los origina, lo que significa que la interpretación correcta de los datos no siempre puede determinarse simplemente observando las tablas. [ 25 ]

Judea Pearl ha demostrado que, para que los datos particionados representen las relaciones causales correctas entre dos variables cualesquiera,incógnita{\displaystyle X}yY{\displaystyle Y}, las variables de partición deben satisfacer una condición gráfica llamada "criterio de puerta trasera": [ 26 ] [ 27 ]

  1. Deben bloquear todos los caminos espurios entreincógnita{\displaystyle X}yY{\displaystyle Y}
  2. Ninguna variable puede verse afectada porincógnita{\displaystyle X}

Este criterio proporciona una solución algorítmica a la segunda paradoja de Simpson y explica por qué la interpretación correcta no puede determinarse solo con datos; dos gráficos diferentes, ambos compatibles con los datos, pueden dictar dos criterios de puerta trasera diferentes .

Cuando el criterio de puerta trasera se satisface con un conjunto Z de covariables, la fórmula de ajuste (véase confusión ) da el efecto causal correcto de X sobre Y. Si no existe tal conjunto, se puede recurrir al cálculo do de Pearl para descubrir otras formas de estimar el efecto causal. [ 4 ] [ 28 ] La completitud del cálculo do [ 29 ] [ 28 ] puede considerarse como una solución completa a la paradoja de Simpson.

Crítica

Una crítica es que la paradoja no es realmente una paradoja, sino más bien una falla al no considerar adecuadamente las variables de confusión o al no tener en cuenta las relaciones causales entre las variables. [ 30 ] Centrarse en la paradoja puede desviar la atención de estos problemas estadísticos más importantes. [ 31 ]

Otra crítica a la aparente paradoja de Simpson es que podría deberse a la forma específica en que se estratifican o agrupan los datos. El fenómeno podría desaparecer o incluso invertirse si los datos se estratifican de manera diferente o si se consideran distintas variables de confusión. El ejemplo de Simpson, de hecho, puso de relieve un fenómeno llamado no colapsabilidad [ 32 ] , que se produce cuando los subgrupos con altas proporciones no generan promedios simples al combinarse. Esto sugiere que la paradoja podría no ser un fenómeno universal, sino más bien un caso específico de un problema estadístico más general.

A pesar de estas críticas, la aparente paradoja de Simpson sigue siendo un tema popular e interesante en estadística y análisis de datos. Continúa siendo objeto de estudio y debate entre investigadores y profesionales de diversos campos, y sirve como un valioso recordatorio de la importancia de un análisis estadístico riguroso y de los posibles riesgos de las interpretaciones simplistas de los datos.

Véase también

Referencias

  1. ↑ Clifford H. Wagner (febrero de 1982). "La paradoja de Simpson en la vida real". The American Statistician . 36 (1): 46– 48. doi : 10.2307/2684093 . JSTOR 2684093 . 
  2. ↑ Holt, GB (2016). Posible paradoja de Simpson en un estudio multicéntrico de quimioterapia intraperitoneal para el cáncer de ovario. Journal of Clinical Oncology, 34(9), 1016–1016.
  3. ↑ Franks, Alexander; Airoldi, Edoardo ; Slavov, Nikolai (2017). "Regulación postranscripcional en tejidos humanos" . PLOS Computational Biology . 13 (5) e1005535. arXiv : 1506.00219 . Bibcode : 2017PLSCB..13E5535F . doi : 10.1371 / journal.pcbi.1005535 . ISSN 1553-7358 . PMC 5440056. PMID 28481885 .   
  4. 1 2 3 4 5 Judea Pearl . Causalidad: Modelos, razonamiento e inferencia , Cambridge University Press (2000, 2.ª edición 2009). ISBN 0-521-77362-8.
  5. ↑ Kock, N., & Gaskins, L. (2016). La paradoja de Simpson, la moderación y la aparición de relaciones cuadráticas en modelos de trayectorias: una ilustración de sistemas de información. International Journal of Applied Nonlinear Science, 2(3), 200–234.
  6. ^ Rogier A. Kievit, Willem E. Frankenhuis, Lourens J. Waldorp y Denny Borsboom, La paradoja de Simpson en la ciencia psicológica: una guía práctica https://doi.org/10.3389/fpsyg.2013.00513
  7. ↑ Robert L. Wardrop (febrero de 1995). "La paradoja de Simpson y la racha ganadora en el baloncesto". The American Statistician , 49 (1) : págs. 24-28.
  8. ↑ Alan Agresti (2002). "Análisis de datos categóricos" (Segunda edición). John Wiley and Sons ISBN 0-471-36093-7
  9. ↑ Simpson, Edward H. (1951). "La interpretación de la interacción en las tablas de contingencia". Journal of the Royal Statistical Society, Serie B. 13 ( 2): 238– 241. doi : 10.1111/j.2517-6161.1951.tb00088.x .
  10. ↑ Pearson, Karl ; Lee, Alice; Bramley-Moore, Lesley (1899). "Selección genética (reproductiva): Herencia de la fertilidad en el hombre y de la fecundidad en los caballos de carreras pura sangre" . Philosophical Transactions of the Royal Society A. 192 : 257–330 . doi : 10.1098 /rsta.1899.0006 .
  11. ↑ GU Yule (1903). "Notas sobre la teoría de la asociación de atributos en estadística" . Biometrika . 2 (2): 121– 134. doi : 10.1093/biomet/2.2.121 .
  12. 1 2 Colin R. Blyth (junio de 1972). "Sobre la paradoja de Simpson y el principio de la certeza". Journal of the American Statistical Association . 67 (338): 364– 366. doi : 10.2307/2284382 . JSTOR 2284382 . 
  13. ↑ IJ Good , Y. Mittal (junio de 1987). "La fusión y geometría de las tablas de contingencia de dos por dos" . The Annals of Statistics . 15 (2): 694–711 . doi : 10.1214/aos/1176350369 . ISSN 0090-5364 . JSTOR 2241334 .  
  14. ↑ David Freedman , Robert Pisani y Roger Purves (2007), Estadística (4.ª edición), WW Norton . ISBN 0-393-92972-8.
  15. 1 2 3 P.J. Bickel , EA Hammel y JW O'Connell (1975). "Sesgo de género en las admisiones de posgrado: datos de Berkeley" ( PDF) . Science . 187 (4175): 398–404 . Bibcode : 1975Sci...187..398B . doi : 10.1126/science.187.4175.398 . PMID 17835295. S2CID 15278703. Archivado (PDF) del original el 4 de junio de 2016 .  
  16. ↑ CR Charig; DR Webb; SR Payne; JE Wickham (29 de marzo de 1986). "Comparación del tratamiento de cálculos renales mediante cirugía abierta, nefrolitotomía percutánea y litotricia extracorpórea por ondas de choque" . Br Med J (Clin Res Ed) . 292 (6524): 879–882 . ​​doi : 10.1136/bmj.292.6524.879 . PMC 1339981. PMID 3083922 .  
  17. 1 2 Steven A. Julious; Mark A. Mullee (3 de diciembre de 1994). "Confusión y la paradoja de Simpson" . BMJ . 309 ( 6967): 1480– 1481. doi : 10.1136/bmj.309.6967.1480 . PMC 2541623. PMID 7804052 .  
  18. ↑ Jaynes, ET; Bretthorst, G. Larry (2003). "8.10 Agrupación de datos". Teoría de la probabilidad: la lógica de la ciencia . Cambridge, Reino Unido; Nueva York, NY: Cambridge University Press. ISBN 978-0-521-59271-0.
  19. 1 2 Ken Ross. " Un matemático en el estadio: probabilidades y probabilidades para los aficionados al béisbol (Libro de bolsillo) " Pi Press, 2004. ISBN 0-13-147990-3. 12–13
  20. ↑ Estadísticas disponibles en Baseball-Reference.com : Datos de Derek Jeter ; Datos de David Justice .
  21. ↑ Kocik Jerzy (2001). "Pruebas sin palabras: la paradoja de Simpson" ( PDF) . Mathematics Magazine . 74 (5): 399. doi : 10.2307/2691038 . JSTOR 2691038. Archivado (PDF) del original el 12 de junio de 2010. 
  22. ↑ Berman, S. DalleMule, L. Greene, M., Lucker, J. (2012), " La paradoja de Simpson: una historia aleccionadora en análisis avanzados Archivado el 10 de mayo de 2020 en Wayback Machine ", Significance .
  23. ↑ Marios G. Pavlides y Michael D. Perlman (agosto de 2009). "¿Qué tan probable es la paradoja de Simpson?". The American Statistician . 63 (3): 226– 233. doi : 10.1198/tast.2009.09007 . S2CID 17481510 . 
  24. ↑ Kock, N. (2015). ¿Qué tan probable es la paradoja de Simpson en los modelos de trayectorias? International Journal of e-Collaboration, 11(1), 1–7.
  25. ↑ Norton, H. James; Divine, George (agosto de 2015). "La paradoja de Simpson... y cómo evitarla" . Significance . 12 (4): 40– 43. doi : 10.1111/j.1740-9713.2015.00844.x .
  26. ↑ Pearl, Judea (2014). "Comprendiendo la paradoja de Simpson" . The American Statistician . 68 (1): 8– 13. doi : 10.2139/ssrn.2343788 . S2CID 2626833 . 
  27. ↑ Pearl, Judea (1993). "Modelos gráficos, causalidad e intervención" . Statistical Science . 8 (3): 266– 269. doi : 10.1214/ss/1177010894 .
  28. 1 2 Pearl, J.; Mackenzie, D. (2018). El libro del porqué: La nueva ciencia de la causa y el efecto . Nueva York, NY: Basic Books.
  29. ↑ Shpitser, I.; Pearl, J. (2006). Dechter, R.; Richardson, TS (eds.). "Identificación de distribuciones de intervención condicional". Actas de la Vigésimo Segunda Conferencia sobre Incertidumbre en Inteligencia Artificial . Corvallis, OR: AUAI Press: 437–444 .
  30. ↑ Blyth, Colin R. (junio de 1972). "Sobre la paradoja de Simpson y el principio de la certeza" . Journal of the American Statistical Association . 67 (338): 364–366 . doi : 10.1080/01621459.1972.10482387 . ISSN 0162-1459 . 
  31. ↑ Hernán, Miguel A.; Clayton, David; Keiding, Niels (junio de 2011). "La paradoja de Los Simpson resuelta" . Revista Internacional de Epidemiología . 40 (3): 780– 785. doi : 10.1093/ije/dyr041 . ISSN 1464-3685 . PMC 3147074 . PMID 21454324 .   
  32. ↑ Greenland, Sander (1 de noviembre de 2021). "No colapsabilidad, confusión y sesgo por datos escasos. Parte 2: ¿Qué deberían pensar los investigadores sobre las controversias persistentes acerca de la razón de probabilidades?" . Journal of Clinical Epidemiology . 139 : 264–268 . doi : 10.1016/j.jclinepi.2021.06.004 . ISSN 0895-4356 . PMID 34119647 .  

Bibliografía

  • La paradoja de Simpson en la Enciclopedia de Filosofía de Stanford , por Jan Sprenger y Naftali Weinberger.
  • Cómo las estadísticas pueden ser engañosas – Mark Liddell – Vídeo y lección de TED-Ed.
  • Pearl, Judea , "Comprendiendo la paradoja de Simpson" (PDF)
  • La paradoja de Simpson , un breve artículo de Alexander Bogomolny sobre la interpretación vectorial de la paradoja de Simpson.
  • La columna "The Numbers Guy" del Wall Street Journal del 2 de diciembre de 2009 abordó casos recientes de la paradoja de Simpson en las noticias. En particular, una paradoja de Simpson en la comparación de las tasas de desempleo de la recesión de 2009 con las de la recesión de 1983.
  • En el plato, un enigma estadístico: Entendiendo la paradoja de Simpson por Arthur Smith, 20 de agosto de 2010
  • La paradoja de Simpson , un vídeo de Henry Reich de MinutePhysics.