falacia de la tasa base

Imaginemos que un grupo de policías dispone de alcoholímetros que dan falsos positivos en el 5% de los casos en los que el conductor está sobrio. Sin embargo, los alcoholímetros nunca fallan al detectar a una persona realmente ebria. Uno de cada mil conductores conduce bajo los efectos del alcohol. Supongamos que los policías detienen a un conductor al azar para realizarle una prueba de alcoholemia. Esta indica que el conductor está ebrio. No se dispone de ninguna otra información sobre él.

Muchos estimarían que la probabilidad de que el conductor esté ebrio es de hasta un 95%, pero la probabilidad correcta es de alrededor del 2%.

Una explicación para esto es la siguiente: en promedio, por cada 1.000 conductores evaluados,

• Un conductor está ebrio y es 100% seguro que para ese conductor hay un resultado positivo verdadero en la prueba, por lo tanto, hay 1 resultado positivo verdadero en la prueba.
• 999 conductores no están ebrios, y entre esos conductores hay un 5% de resultados falsos positivos en las pruebas, por lo que hay 49,95 resultados falsos positivos en las pruebas.

Por lo tanto, la probabilidad de que cualquier conductor dado entre los 1 + 49.95 = 50.95 resultados positivos de la prueba realmente esté ebrio es${\displaystyle 1/50.95\approx 1.9627\%}$.

Sin embargo, la validez de este resultado depende de la validez del supuesto inicial de que el agente de policía detuvo al conductor al azar, y no por una conducción temeraria. Si existiera ese u otro motivo no arbitrario para detener al conductor, el cálculo también incluiría la probabilidad de que un conductor ebrio conduzca de forma competente y un conductor sobrio conduzca de forma (in)competente.

De forma más formal, se puede establecer la misma probabilidad de aproximadamente 0,02 utilizando el teorema de Bayes . El objetivo es hallar la probabilidad de que el conductor esté ebrio dado que el alcoholímetro indicó que está ebrio, lo que se puede representar como

$${\displaystyle p(\mathrm {borracho} \mid D)}$$

donde D significa que el alcoholímetro indica que el conductor está ebrio. Usando el teorema de Bayes,

$${\displaystyle p(\mathrm {borracho} \mid D)={\frac {p(D\mid \mathrm {borracho} )\,p(\mathrm {borracho} )}{p(D)}}.}$$

En este escenario se conoce la siguiente información:

$${\displaystyle {\begin{aligned}p(\mathrm {borracho} )&=0.001,\\p(\mathrm {sobrio} )&=0.999,\\p(D\mid \mathrm {borracho} )&=1.00,\\p(D\mid \mathrm {sobrio} )&=0.05.\end{aligned}}}$$

Como se puede observar en la fórmula, se necesita p ( D ) para el teorema de Bayes, que se puede calcular a partir de los valores anteriores utilizando la ley de probabilidad total :

$${\displaystyle p(D)=p(D\mid \mathrm {borracho} )\,p(\mathrm {borracho} )+p(D\mid \mathrm {sobrio} )\,p(\mathrm {sobrio} )}$$

lo cual da

$${\displaystyle p(D)=(1.00\times 0.001)+(0.05\times 0.999)=0.05095.}$$

Sustituyendo estos números en el teorema de Bayes, se encuentra que

$${\displaystyle p(\mathrm {borracho} \mid D)={\frac {1.00\times 0.001}{0.05095}}\approx 0.019627,}$$

que es la precisión de la prueba.

En una ciudad de 1 millón de habitantes, supongamos que hay 100 terroristas y 999.900 personas que no son terroristas. Para simplificar el ejemplo, supongamos que todas las personas presentes en la ciudad son habitantes. Por lo tanto, la probabilidad base de que un habitante seleccionado al azar de la ciudad sea un terrorista es 0,0001, y la probabilidad base de que ese mismo habitante no sea un terrorista es 0,9999. En un intento por capturar a los terroristas, la ciudad instala un sistema de alarma con una cámara de vigilancia y un software de reconocimiento facial automático .

El software tiene dos tasas de fallo del 1%:

• Tasa de falsos negativos: Si la cámara detecta a un terrorista, sonará una alarma el 99% de las veces y no sonará el 1% de las veces.
• Tasa de falsos positivos: Si la cámara escanea a una persona que no es terrorista, la alarma no sonará el 99% de las veces, pero sí lo hará el 1% de las veces.

Supongamos ahora que un habitante activa la alarma. Alguien que incurriera en la falacia de la tasa base inferiría que existe una probabilidad del 99 % de que la persona detectada sea un terrorista. Si bien la inferencia parece lógica, en realidad es un razonamiento erróneo, y el cálculo que se muestra a continuación demostrará que la probabilidad de que se trate de un terrorista es cercana al 1 %, no al 99 %.

La falacia surge de confundir la naturaleza de dos tasas de fallo diferentes. El «número de alarmas que no suenan por cada 100 terroristas» (P(¬B | T), o la probabilidad de que la alarma no suene dado que el habitante es un terrorista) y el «número de no terroristas por cada 100 alarmas» (P(¬T | B), o la probabilidad de que el habitante no sea un terrorista dado que la alarma suena) son cantidades no relacionadas; una no es necesariamente igual —ni siquiera cercana— a la otra. Para demostrarlo, consideremos qué sucede si se instala un sistema de alarma idéntico en una segunda ciudad sin terroristas. Al igual que en la primera ciudad, la alarma suena para 1 de cada 100 habitantes no terroristas detectados, pero a diferencia de la primera ciudad, la alarma nunca suena para un terrorista. Por lo tanto, el 100% de las veces que suena la alarma es para no terroristas, pero ni siquiera se puede calcular una tasa de falsos negativos. En esa ciudad, el número de personas que no son terroristas por cada 100 campanadas es 100, pero P(T | B) = 0%. No hay ninguna posibilidad de que se haya detectado a un terrorista al sonar la campana.

Imaginemos que toda la población de la primera ciudad, un millón de personas, pasa frente a la cámara. Aproximadamente 99 de los 100 terroristas activarán la alarma, al igual que unos 9999 de los 999 900 no terroristas. Por lo tanto, unas 10 098 personas activarán la alarma, de las cuales unas 99 serán terroristas. La probabilidad de que una persona que active la alarma sea realmente un terrorista es de tan solo 99 entre 10 098, lo que representa menos del 1 % y está muy por debajo de la estimación inicial del 99 %.

La falacia de la tasa base resulta muy engañosa en este ejemplo porque hay muchos más no terroristas que terroristas, y el número de falsos positivos (no terroristas detectados como terroristas) es mucho mayor que el de verdaderos positivos (terroristas detectados como terroristas).

Varios profesionales han argumentado que, dado que la tasa base de terrorismo es extremadamente baja, el uso de minería de datos y algoritmos predictivos para identificar terroristas no puede funcionar de manera factible debido a la paradoja de los falsos positivos. ^{[ 9 ] [ 10 ] [ 11 ] [ 12 ]} Las estimaciones del número de falsos positivos para cada resultado preciso varían de más de diez mil ^{[ 12 ]} a mil millones; ^{[ 10 ]} en consecuencia, investigar cada pista sería prohibitivo en términos de costo y tiempo. ^{[ 9 ] [ 11 ]} El nivel de precisión requerido para que estos modelos sean viables es probablemente inalcanzable. Principalmente, la baja tasa base de terrorismo también significa que hay una falta de datos con los que crear un algoritmo preciso. ^{[ 11 ]} Además, en el contexto de la detección de terrorismo, los falsos negativos son altamente indeseables y, por lo tanto, deben minimizarse tanto como sea posible; sin embargo, esto requiere aumentar la sensibilidad a costa de la especificidad , aumentando los falsos positivos. ^{[ 12 ]} También es cuestionable si el uso de tales modelos por parte de las fuerzas del orden cumpliría con la carga de la prueba requerida dado que más del 99% de los resultados serían falsos positivos. ^{[ 12 ]}

Un mecanismo distinto amplifica este efecto en el cribado multiatributo. Mientras que la coincidencia de 15 atributos predeterminados específicos tiene una probabilidad de 10⁻³⁵ ⁽ uno en 30 decillones), los sistemas que señalan a individuos que coinciden con 15 de 1000 atributos tienen probabilidades de falsas alertas por persona de alrededor de 10⁻⁴ ^, una diferencia de 31 órdenes de magnitud que surge de la combinatoria de las reglas de umbral, no solo de las bajas tasas base. En una ciudad de un millón de habitantes, esto produce aproximadamente 226 falsas alertas; la probabilidad de cero falsas alertas es aproximadamente 10⁻⁹⁹ ^. Dichos sistemas exhiben transiciones de fase abruptas en tamaños de población críticos, más allá de los cuales el fallo se vuelve seguro y no se puede prevenir mediante el ajuste del umbral. ^{[ 13 ]}

Se comete un delito. El análisis forense determina que el autor tiene un determinado grupo sanguíneo que comparte el 10% de la población. Se detiene a un sospechoso, quien resulta tener ese mismo grupo sanguíneo.

Un fiscal podría acusar al sospechoso del delito basándose únicamente en eso, y alegar en el juicio que la probabilidad de que el acusado sea culpable es del 90%.

Sin embargo, esta conclusión solo se aproxima a la verdad si el acusado fue seleccionado como principal sospechoso basándose en pruebas sólidas descubiertas antes del análisis de sangre y sin relación con este. De lo contrario, el razonamiento presentado es erróneo, ya que ignora la alta probabilidad previa (es decir, antes del análisis de sangre) de que se trate de una persona inocente elegida al azar. Supongamos, por ejemplo, que 1000 personas viven en la ciudad donde ocurrió el crimen. Esto significa que 100 personas viven allí con el mismo grupo sanguíneo que el perpetrador, de las cuales solo una es el verdadero culpable; por lo tanto, la probabilidad real de que el acusado sea culpable —basándose únicamente en el hecho de que su grupo sanguíneo coincide con el del asesino— es solo del 1%, mucho menor que el 90% que argumenta el fiscal.

La falacia del fiscal consiste en asumir que la probabilidad previa de una coincidencia aleatoria es igual a la probabilidad de que el acusado sea inocente. Al utilizarla, un fiscal que interroga a un perito puede preguntar: «Las probabilidades de encontrar esta evidencia en un hombre inocente son tan pequeñas que el jurado puede descartar con seguridad la posibilidad de que este acusado sea inocente, ¿correcto?» ^{[ 14 ]} La afirmación supone que la probabilidad de que se encuentre evidencia en un hombre inocente es la misma que la probabilidad de que un hombre sea inocente dado que se encontró evidencia en él, lo cual no es cierto. Si bien la primera suele ser pequeña (10% en el ejemplo anterior) debido a buenos procedimientos de evidencia forense , la segunda (99% en ese ejemplo) no se relaciona directamente con ella y a menudo será mucho mayor, ya que, de hecho, depende de las probabilidades previas bastante altas de que el acusado sea una persona inocente elegida al azar.

OJ Simpson fue juzgado y absuelto en 1995 por los asesinatos de su ex esposa Nicole Brown Simpson y su amigo Ronald Goldman.

La sangre encontrada en la escena del crimen coincidía con la de Simpson, cuyas características son compartidas por 1 de cada 400 personas. Sin embargo, la defensa argumentó que la cantidad de personas de Los Ángeles que coincidían con la muestra podría llenar un estadio de fútbol y que la cifra de 1 de cada 400 era inútil. ^{[ 15 ] [ 16 ]} Habría sido incorrecto, y un ejemplo de falacia del fiscal, basarse únicamente en la cifra de "1 de cada 400" para deducir que una persona determinada que coincidiera con la muestra probablemente sería el culpable.

En el mismo juicio, la fiscalía presentó pruebas de que Simpson había sido violento con su esposa. La defensa argumentó que solo había una mujer asesinada por cada 2500 mujeres que eran víctimas de violencia doméstica, y que cualquier antecedente de violencia de Simpson hacia su esposa era irrelevante para el juicio. Sin embargo, el razonamiento detrás del cálculo de la defensa era falaz. Según el autor Gerd Gigerenzer , la probabilidad correcta requiere contexto adicional: la esposa de Simpson no solo había sido víctima de violencia doméstica, sino que había sido víctima de violencia doméstica (por parte de Simpson) y asesinada (por alguien). Gigerenzer escribe: "las probabilidades de que un agresor realmente haya asesinado a su pareja, dado que ella ha sido asesinada, son de aproximadamente 8 en 9 o aproximadamente el 90 %". ^{[ 17 ]} Si bien la mayoría de los casos de violencia doméstica no terminan en asesinato, la mayoría de los casos de asesinato donde hay antecedentes de violencia doméstica fueron cometidos por el cónyuge.

Sally Clark , una mujer británica, fue acusada en 1998 de haber matado a su primer hijo a las 11 semanas de edad y luego a su segundo hijo a las 8 semanas de edad. La fiscalía presentó como testigo experto al profesor y pediatra consultor Sir Roy Meadow , ^{[ 18 ]} quien testificó que la probabilidad de que dos niños de la misma familia mueran por SMSL es de aproximadamente 1 entre 73 millones. Esto era mucho menos frecuente que la tasa real medida en datos históricos ; Meadow la estimó a partir de datos de muertes por SMSL individuales y la suposición de que la probabilidad de tales muertes no debería estar correlacionada entre los bebés. ^{[ 19 ]} 

Meadow reconoció que 1 entre 73  millones no es imposible, pero argumentó que tales accidentes ocurrirían "una vez cada cien años" y que, en un país con 15 millones de familias de dos hijos, es mucho más probable que las muertes dobles se deban al síndrome de Münchausen por poder que a un accidente tan raro. Sin embargo, hay buenas razones para suponer que la probabilidad de una muerte por SMSL en una familia es significativamente mayor si un hijo anterior ya ha fallecido en estas circunstancias (una predisposición genética al SMSL probablemente invalide esa independencia estadística asumida ^{[ 20 ]} ), lo que hace que algunas familias sean más susceptibles al SMSL y el error sea una consecuencia de la falacia ecológica . ^{[ 21 ]} La probabilidad de dos muertes por SMSL en la misma familia no puede estimarse con precisión elevando al cuadrado la probabilidad de una sola muerte de este tipo en todas las familias que, por lo demás, son similares. ^{[ 22 ]}

La cifra de 1 entre 73  millones subestimó enormemente la probabilidad de dos accidentes consecutivos, pero incluso si esa evaluación fuera precisa, el tribunal parece haber pasado por alto que la  cifra de 1 entre 73 millones no significaba nada por sí sola. Como probabilidad a priori , debería haberse sopesado frente a las probabilidades a priori de las alternativas. Dado que se produjeron dos muertes, una de las siguientes explicaciones debe ser cierta, y todas ellas son a priori extremadamente improbables:

1. Dos muertes sucesivas en la misma familia, ambas por síndrome de muerte súbita del lactante (SMSL).
2. Doble homicidio (caso de la fiscalía)
3. Otras posibilidades (incluyendo un homicidio y un caso de SMSL)

No está claro si durante el juicio se propuso alguna vez una estimación de la probabilidad de la segunda posibilidad, o si se entendía que la comparación de las dos primeras probabilidades era la estimación clave que debía realizarse en el análisis estadístico para evaluar el caso de la fiscalía frente al caso de inocencia.

Clark fue condenado en 1999, lo que dio lugar a un comunicado de prensa de la Real Sociedad Estadística que señalaba los errores. ^{[ 23 ]}

En 2002, Ray Hill (profesor de matemáticas en Salford ) intentó comparar con precisión las probabilidades de estas dos posibles explicaciones; concluyó que los accidentes sucesivos son entre 4,5 y 9 veces más probables que los asesinatos sucesivos, de modo que las probabilidades a priori de la culpabilidad de Clark estaban entre 4,5 a 1 y 9 a 1 en su contra. ^{[ 24 ]}

Después de que el tribunal determinara que el patólogo forense que había examinado a ambos bebés había ocultado pruebas exculpatorias , un tribunal superior anuló posteriormente la condena de Clark, el 29 de enero de 2003. ^{[ 25 ]}