juicio comparativo adaptativo

"No existe el juicio absoluto"

La ciencia del juicio comparativo se originó con Louis Leon Thurstone de la Universidad de Chicago . Pionero de la psicofísica , propuso varias formas de construir escalas para medir la sensación y otras propiedades psicológicas . Una de ellas fue la ley del juicio comparativo , ^{[ 2 ] [ 3 ] [ 4 ]} que definió una forma matemática de modelar la probabilidad de que un objeto «supere» a otro en una comparación, dados los valores de la «calidad» de cada uno. Esto es todo lo que se necesita para construir un sistema de medición completo.

Una variación de su modelo (véase Comparación por pares y el modelo BTL) establece que la diferencia entre sus valores de calidad es igual al logaritmo de las probabilidades de que el objeto A supere al objeto B:

${\displaystyle \mathrm {log\;odds} (A\ {\text{vence}}\ B\mid v_{a},v_{b})=v_{a}-v_{b}}$

Antes de la llegada de las computadoras modernas, las matemáticas necesarias para calcular los "valores" de la calidad de cada objeto limitaban el uso del método a conjuntos pequeños de objetos y restringían su aplicación. Para Thurstone, los objetos solían ser sensaciones, como la intensidad, o actitudes, como la gravedad de los delitos o la expresión de opiniones. Los investigadores sociales continuaron utilizando el método, al igual que los investigadores de mercado, para quienes los objetos podían ser diferentes diseños de habitaciones de hotel o variaciones de una nueva galleta propuesta.

En las décadas de 1970 y 1980, el juicio comparativo surgió, casi por primera vez en la evaluación educativa, como base teórica o precursor de las nuevas teorías de rasgos latentes o de respuesta al ítem (Andrich, 1978). Estos modelos son ahora estándar, especialmente en los bancos de ítems y los sistemas de evaluación adaptativa.

El primer artículo publicado que utilizó el Juicio Comparativo en educación fue el de Pollitt y Murray (1994), esencialmente un trabajo de investigación sobre la naturaleza de la escala de competencia en inglés evaluada en la parte oral del examen CPE de Cambridge. Los sujetos de estudio fueron los candidatos, representados por fragmentos de vídeo de dos minutos de sus sesiones de examen, y los jueces fueron estudiantes de posgrado en Lingüística sin formación en evaluación. Los jueces compararon pares de fragmentos de vídeo, simplemente indicando cuál consideraban que era el mejor estudiante, y posteriormente fueron entrevistados clínicamente para obtener las razones de sus decisiones.

Pollitt introdujo entonces el método de Juicio Comparativo en los organismos certificadores del Reino Unido, como método para comparar los estándares de los exámenes A Levels de diferentes juntas examinadoras. El Juicio Comparativo sustituyó al método anterior, que requería la evaluación directa de un examen comparándolo con el estándar oficial de otra junta examinadora. Durante los dos o tres primeros años, Pollitt llevó a cabo todos los análisis para todas las juntas examinadoras, utilizando un programa que había escrito para tal fin. Inmediatamente se convirtió en el único método experimental utilizado para investigar la comparabilidad de los exámenes en el Reino Unido; las aplicaciones para este propósito entre 1996 y 2006 se describen detalladamente en Bramley (2007). ^{[ 5 ]}

En 2004, Pollitt presentó una ponencia en la conferencia de la Asociación Internacional para la Evaluación Educativa titulada «Dejemos de calificar los exámenes», y otra en la misma conferencia en 2009 titulada «Abolir el sistema de calificaciones». En ambas ponencias, el objetivo era convencer a la comunidad de evaluadores de las importantes ventajas de utilizar el juicio comparativo en lugar de la calificación para ciertos tipos de evaluación. En 2010, presentó una ponencia en la Asociación para la Evaluación Educativa – Europa, titulada «Cómo evaluar la escritura de forma fiable y válida», en la que se exponía la extraordinaria fiabilidad alcanzada con el juicio comparativo para evaluar la habilidad de los alumnos de primaria en la escritura en inglés como lengua materna.

El juicio comparativo se convierte en una alternativa viable a la calificación cuando se implementa como un sistema de evaluación adaptativo basado en la web. En este, las "puntuaciones" (el parámetro del modelo para cada objeto) se reestiman después de cada "ronda" de juicios en la que, en promedio, cada objeto ha sido evaluado una vez más. En la siguiente ronda, cada guion se compara solo con otro cuya puntuación estimada actual sea similar, lo que aumenta la cantidad de información estadística contenida en cada juicio. Como resultado, el procedimiento de estimación es más eficiente que el emparejamiento aleatorio o cualquier otro sistema de emparejamiento predeterminado como los utilizados en las aplicaciones clásicas de juicio comparativo. (Pollitt, 2012). ^{[ 6 ]} Al igual que con las pruebas adaptativas por computadora, esta adaptabilidad maximiza la eficiencia del procedimiento de estimación, aumentando la separación de las puntuaciones y reduciendo los errores estándar. La ventaja más obvia es que esto produce una confiabilidad significativamente mejorada, en comparación con la evaluación por calificación, sin pérdida de validez.

No está claro si el juicio comparativo adaptativo realmente aumenta la fiabilidad. (Bramley, Vitello, 2016). ^{[ 7 ]}