Prueba GRIM

La prueba de inconsistencia de medias relacionada con la granularidad (GRIM) es una prueba estadística sencilla que se utiliza para identificar inconsistencias en el análisis de conjuntos de datos. La prueba se basa en el hecho de que, dado un conjunto de datos que contiene N valores enteros , la media aritmética (comúnmente llamada simplemente promedio) está restringida a unos pocos valores posibles: siempre debe poder expresarse como una fracción cuyo denominador es N y cuyo numerador es un entero. Si la media reportada no se ajusta a esta descripción, debe haber un error en alguna parte; el término preferido para tales errores es "inconsistencias", para enfatizar que su origen, al ser descubierto inicialmente, suele ser desconocido. Las inconsistencias GRIM pueden resultar de errores inadvertidos de entrada de datos o tipográficos , o de fraude científico . La prueba GRIM es más útil en campos como la psicología, donde los investigadores suelen trabajar con grupos pequeños y las mediciones a menudo son números enteros . La prueba GRIM fue propuesta por Nick Brown y James Heathers en 2016, tras una mayor conciencia de la crisis de replicación en algunos campos de la ciencia. ^{[ 1 ]}

La prueba GRIM es sencilla de realizar. Para cada media reportada en un artículo, se determina el tamaño de la muestra ( N ) y se calculan todas las fracciones con denominador N. A continuación, se compara la media con esta lista (teniendo en cuenta que los valores pueden redondearse de forma inconsistente: según el contexto, una media de 1,125 puede reportarse como 1,12 o 1,13). Si la media no se encuentra en esta lista, se resalta como matemáticamente imposible. ^{[ 2 ] [ 3 ]}

Consideremos un experimento en el que se lanza un dado justo 20 veces. Cada lanzamiento produce un número entero entre 1 y 6, y el valor medio hipotético es 3,5. Los resultados de los lanzamientos se promedian y la media se reporta como 3,48. Este valor se aproxima al esperado y parece respaldar la hipótesis. Sin embargo, una prueba GRIM revela que la media reportada es matemáticamente imposible: el resultado de dividir cualquier número entero entre 20, escrito con dos decimales , debe tener la forma X.X0 o X.X5; es imposible dividir cualquier número entero entre 20 y obtener un resultado con un "8" en el segundo decimal. ^{[ 4 ]}

Aunque los datos no superen la prueba GRIM, esto no implica automáticamente manipulación. Los errores en la media pueden deberse a errores del evaluador, errores tipográficos, errores de cálculo y programación, o a una declaración incorrecta del tamaño de la muestra. ^{[ 2 ]} Sin embargo, también puede indicar que se han excluido datos de forma indebida o que la media se ha manipulado ilegítimamente para que los resultados parezcan más significativos . La ubicación de los fallos puede ser indicativa de la causa subyacente: una media imposible aislada puede deberse a un error, varios valores imposibles en la misma fila de una tabla indican una baja tasa de respuesta , y varios valores imposibles en la misma columna indican que el tamaño de la muestra es incorrecto. Varios errores dispersos en una tabla pueden ser señal de problemas más profundos, y se pueden utilizar otras pruebas estadísticas para analizar los datos sospechosos. ^{[ 5 ]}

La prueba GRIM funciona mejor con conjuntos de datos en los que: el tamaño de la muestra es relativamente pequeño, el número de subcomponentes en las medidas compuestas también es pequeño y la media se informa con varios decimales. ^{[ 2 ]} En algunos casos, una media válida puede parecer que no pasa la prueba si los datos de entrada no están discretizados como se espera; por ejemplo, si se pregunta a las personas cuántas porciones de pizza comieron en un bufé, algunas personas pueden responder con una fracción como "tres y media" en lugar de un número entero como se espera. ^{[ 5 ]}

Brown y Heathers aplicaron la prueba a 260 artículos publicados en Psychological Science , Journal of Experimental Psychology: General y Journal of Personality and Social Psychology . De estos artículos, 71 fueron susceptibles de análisis mediante la prueba GRIM; 36 de ellos contenían al menos un valor imposible y 16 contenían múltiples valores imposibles. ^{[ 3 ]}

Las pruebas GRIM también desempeñaron un papel importante en el descubrimiento de errores en las publicaciones del Laboratorio de Alimentos y Marcas de la Universidad de Cornell, dirigido por Brian Wansink . Las pruebas GRIM revelaron que una serie de artículos sobre el efecto del precio en el consumo en un bufé libre de pizza contenían muchos medios imposibles; un análisis más profundo de los datos brutos reveló que, en muchos casos, los tamaños de muestra se indicaron incorrectamente y los valores se calcularon erróneamente. ^{[ 1 ] [ 5 ]}

• Calculadora de la prueba GRIM en línea
• Calculadora de prueba GRIM en línea ligera