Fiabilidad entre evaluadores

La probabilidad conjunta de acuerdo es la medida más simple y menos robusta. Se estima como el porcentaje de veces que los evaluadores coinciden en un sistema de calificación nominal o categórico. No tiene en cuenta que el acuerdo puede darse únicamente por azar. Existe cierta controversia sobre la necesidad de «corregir» el acuerdo por azar; algunos sugieren que, en cualquier caso, dicho ajuste debería basarse en un modelo explícito de cómo el azar y el error afectan las decisiones de los evaluadores. ^{[ 3 ]}

Cuando el número de categorías utilizadas es pequeño (por ejemplo, 2 o 3), la probabilidad de que dos evaluadores coincidan por pura casualidad aumenta drásticamente. Esto se debe a que ambos evaluadores deben limitarse al número reducido de opciones disponibles, lo que afecta al índice de concordancia general, y no necesariamente a su propensión a la concordancia "intrínseca" (una concordancia se considera "intrínseca" si no se debe al azar).

Por lo tanto, la probabilidad conjunta de acuerdo seguirá siendo alta incluso en ausencia de cualquier acuerdo "intrínseco" entre los evaluadores. Se espera que un coeficiente de fiabilidad interevaluador útil (a) sea cercano a 0 cuando no hay acuerdo "intrínseco" y (b) aumente a medida que mejora la tasa de acuerdo "intrínseco". La mayoría de los coeficientes de acuerdo corregidos por azar logran el primer objetivo. Sin embargo, muchas medidas conocidas corregidas por azar no logran el segundo objetivo. ^{[ 4 ]}

Kappa es una forma de medir la concordancia o confiabilidad, corrigiendo la frecuencia con la que las calificaciones podrían coincidir por azar. El kappa de Cohen, ^{[ 5 ]} que funciona con dos evaluadores, y el kappa de Fleiss, ^{[ 6 ]} una adaptación que funciona con cualquier número fijo de evaluadores, mejoran la probabilidad conjunta al tener en cuenta la cantidad de concordancia que podría esperarse por azar. Las versiones originales tenían el mismo problema que la probabilidad conjunta, ya que tratan los datos como nominales y asumen que las calificaciones no tienen un orden natural; si los datos realmente tienen un rango (nivel de medición ordinal), entonces esa información no se considera completamente en las mediciones.

Las extensiones posteriores del enfoque incluyeron versiones que podían manejar "crédito parcial" y escalas ordinales. ^{[ 7 ]} Estas extensiones convergen con la familia de correlaciones intraclase (CCI), por lo que hay una forma conceptualmente relacionada de estimar la confiabilidad para cada nivel de medición desde nominal (kappa) a ordinal (kappa ordinal o CCI, ampliando supuestos) a intervalo (CCI, o kappa ordinal, tratando la escala de intervalo como ordinal), y razón (CCI). También hay variantes que pueden examinar el acuerdo entre evaluadores en un conjunto de ítems (por ejemplo, ¿dos entrevistadores coinciden en las puntuaciones de depresión para todos los ítems en la misma entrevista semiestructurada para un caso?) así como evaluadores x casos (por ejemplo, qué tan bien coinciden dos o más evaluadores sobre si 30 casos tienen un diagnóstico de depresión, sí/no, una variable nominal).

El coeficiente Kappa es similar a un coeficiente de correlación, ya que no puede superar +1,0 ni ser inferior a -1,0. Dado que se utiliza como medida de concordancia, en la mayoría de los casos se esperan valores positivos; los valores negativos indicarían un desacuerdo sistemático. Kappa solo puede alcanzar valores muy altos cuando existe una buena concordancia y la tasa de la condición objetivo se acerca al 50 % (porque incluye la tasa base en el cálculo de las probabilidades conjuntas). Diversas autoridades han propuesto "reglas prácticas" para interpretar el nivel de concordancia, muchas de las cuales coinciden en esencia, aunque no estén formuladas con las mismas palabras. ^{[ 8 ] [ 9 ] [ 10 ] [ 11 ]}

Ya sea Pearson o${\displaystyle r}$, el τ de Kendall o el de Spearman${\displaystyle \rho }$ Se puede utilizar para medir la correlación por pares entre evaluadores utilizando una escala ordenada. Pearson asume que la escala de calificación es continua; las estadísticas de Kendall y Spearman asumen solo que es ordinal. Si se observan más de dos evaluadores, se puede calcular un nivel promedio de acuerdo para el grupo como la media de los${\displaystyle r}$, τ o${\displaystyle \rho }$valores de cada posible par de evaluadores.

Otra forma de realizar pruebas de fiabilidad es utilizar el coeficiente de correlación intraclase (CCI). ^{[ 12 ]} Existen varios tipos de este coeficiente y uno se define como "la proporción de la varianza de una observación debida a la variabilidad entre sujetos en las puntuaciones verdaderas". ^{[ 13 ]} El rango del CCI puede estar entre 0,0 y 1,0 (una definición temprana del CCI podría estar entre -1 y +1). El CCI será alto cuando haya poca variación entre las puntuaciones dadas a cada ítem por los evaluadores, por ejemplo, si todos los evaluadores dan puntuaciones iguales o similares a cada uno de los ítems. El CCI es una mejora con respecto al coeficiente de correlación de Pearson.${\displaystyle r}$y Spearman${\displaystyle \rho }$, ya que tiene en cuenta las diferencias en las calificaciones de los segmentos individuales, junto con la correlación entre los evaluadores.

Otro método para evaluar la concordancia (útil cuando solo hay dos evaluadores y la escala es continua) consiste en calcular las diferencias entre cada par de observaciones de ambos evaluadores. La media de estas diferencias se denomina sesgo y el intervalo de referencia (media  ±  1,96  × desviación estándar ) se denomina límites de concordancia . Los límites de concordancia permiten comprender la influencia de la variación aleatoria en las calificaciones. 

Si los evaluadores tienden a coincidir, las diferencias entre sus observaciones serán cercanas a cero. Si un evaluador suele calificar por encima o por debajo del otro de forma consistente, el sesgo será distinto de cero. Si los evaluadores tienden a discrepar, pero sin un patrón consistente de una calificación superior a la otra, la media será cercana a cero. Se pueden calcular intervalos de confianza (generalmente del 95 %) tanto para el sesgo como para cada uno de los límites de concordancia.

Existen varias fórmulas que se pueden utilizar para calcular los límites de concordancia. La fórmula simple, que se presentó en el párrafo anterior y funciona bien para tamaños de muestra mayores de 60, ^{[ 14 ]} es

${\displaystyle {\bar {x}}\pm 1,96s}$

Para tamaños de muestra más pequeños, otra simplificación común ^{[ 15 ]} es

${\displaystyle {\bar {x}}\pm 2s}$

Sin embargo, la fórmula más precisa (que es aplicable a todos los tamaños de muestra) ^{[ 14 ]} es

${\displaystyle {\bar {x}}\pm t_{0.05,n-1}s{\sqrt {1+{\frac {1}{n}}}}}$

Bland y Altman ^{[ 15 ]} ampliaron esta idea graficando la diferencia de cada punto, la diferencia media y los límites de concordancia en el eje vertical frente al promedio de las dos calificaciones en el eje horizontal. El gráfico de Bland-Altman resultante muestra no solo el grado general de concordancia, sino también si esta se relaciona con el valor subyacente del elemento. Por ejemplo, dos evaluadores podrían coincidir en gran medida al estimar el tamaño de elementos pequeños, pero discrepar sobre elementos más grandes.

Al comparar dos métodos de medición, no solo interesa estimar el sesgo y los límites de concordancia entre ambos (concordancia entre evaluadores), sino también evaluar estas características para cada método individualmente. Es posible que la concordancia entre dos métodos sea baja simplemente porque uno tiene límites de concordancia amplios, mientras que el otro tiene límites estrechos. En este caso, el método con límites de concordancia estrechos sería superior desde un punto de vista estadístico, aunque consideraciones prácticas o de otra índole podrían modificar esta apreciación. Determinar qué constituye límites de concordancia estrechos o amplios, o un sesgo grande o pequeño, es una cuestión de evaluación práctica en cada caso.

El alfa de Krippendorff ^{[ 16 ] [ 17 ]} es una estadística versátil que evalúa el grado de concordancia entre observadores que categorizan, evalúan o miden un conjunto determinado de objetos en función de los valores de una variable. Generaliza varios coeficientes de concordancia especializados al aceptar cualquier número de observadores, ser aplicable a niveles de medición nominales, ordinales, de intervalo y de razón, poder manejar datos faltantes y estar corregido para tamaños de muestra pequeños.

Alpha surgió en el análisis de contenido, donde codificadores capacitados categorizan unidades textuales, y se utiliza en asesoramiento e investigación mediante encuestas, donde expertos codifican datos de entrevistas abiertas en términos analizables; en psicometría , donde se prueban atributos individuales mediante múltiples métodos; en estudios observacionales , donde se registran sucesos no estructurados para su posterior análisis; y en lingüística computacional, donde se anotan textos con diversas cualidades sintácticas y semánticas.