Prueba de clasificación computarizada

Una prueba de clasificación computarizada ( CCT ) se refiere a un sistema de evaluación del desempeño administrado por computadora con el propósito de clasificar a los examinados. La CCT más común es una prueba de dominio que clasifica a los examinados como "Aprobado" o "Reprobado", pero el término también incluye pruebas que clasifican a los examinados en más de dos categorías. Si bien el término generalmente se considera que se refiere a todas las pruebas de clasificación administradas por computadora, suele usarse para referirse a pruebas de administración interactiva o de longitud variable, similares a las pruebas adaptativas computarizadas (CAT). Al igual que las CAT, las CCT de longitud variable pueden lograr el objetivo de la prueba (clasificación precisa) con una fracción de la cantidad de ítems utilizados en una prueba convencional de formato fijo.

Un CCT requiere varios componentes:

1. Un banco de ítems calibrado con un modelo psicométrico seleccionado por el diseñador de la prueba.
2. Un punto de partida
3. Un algoritmo de selección de elementos
4. Un criterio de terminación y un procedimiento de puntuación

El punto de partida no es motivo de controversia; la investigación sobre CCT se centra principalmente en la aplicación de diferentes métodos para los otros tres componentes. Nota: El criterio de finalización y el procedimiento de puntuación son distintos en CAT, pero iguales en CCT, ya que la prueba finaliza al obtenerse una clasificación. Por lo tanto, existen cinco componentes que deben especificarse para diseñar una CAT.

Una introducción a la CCT se encuentra en Thompson (2007) ^{[ 1 ]} y en un libro de Parshall, Spray, Kalohn y Davey (2006). ^{[ 2 ]} A continuación se incluye una bibliografía de investigaciones publicadas sobre CCT.

Una prueba CCT es muy similar a una CAT. Los ítems se administran uno a uno al examinado. Después de que el examinado responde al ítem, la computadora lo califica y determina si el examinado puede ser clasificado. Si lo es, la prueba finaliza y el examinado es clasificado. Si no, se administra otro ítem. Este proceso se repite hasta que el examinado sea clasificado o se alcance otro punto final (se hayan administrado todos los ítems del banco o se haya alcanzado la duración máxima de la prueba).

Existen dos enfoques para el modelo psicométrico de una prueba de competencias cognitivas (PCC): la teoría clásica de los tests (TCT) y la teoría de respuesta al ítem (TRI). La TCT presupone un modelo de estado, ya que se aplica determinando los parámetros de los ítems para una muestra de examinados clasificados en cada categoría. Por ejemplo, se podría muestrear a varios cientos de "expertos" y varios cientos de "no expertos" para determinar la dificultad y la discriminación de cada grupo, pero esto requiere poder identificar fácilmente un conjunto distinto de personas en cada grupo. La TRI, por otro lado, presupone un modelo de rasgo; el conocimiento o la habilidad que mide la prueba es un continuo. Los grupos de clasificación deberán definirse de forma más o menos arbitraria a lo largo del continuo, como el uso de un punto de corte para delimitar a los expertos de los no expertos, pero la especificación de los parámetros de los ítems presupone un modelo de rasgo.

Cada método tiene sus ventajas y desventajas. La TCT ofrece mayor simplicidad conceptual. Más importante aún, la TCT requiere menos participantes en la muestra para la calibración de los parámetros de los ítems que se utilizarán posteriormente en el diseño de la CCT, lo que la hace útil para programas de evaluación más pequeños. Véase Frick (1992) ^{[ 3 ]} para una descripción de una CCT basada en la TCT. Sin embargo, la mayoría de las CCT utilizan la IRT. La IRT ofrece mayor especificidad , pero la razón más importante puede ser que el diseño de una CCT (y una CAT) es costoso y, por lo tanto, es más probable que lo realice un programa de evaluación grande con amplios recursos. Dicho programa probablemente utilizaría la IRT.

Un CCT debe tener un punto de partida específico para habilitar ciertos algoritmos. Si se utiliza la prueba de razón de probabilidad secuencial como criterio de terminación, se asume implícitamente una razón inicial de 1.0 (igual probabilidad de que el examinado sea un maestro o no maestro). Si el criterio de terminación es un enfoque de intervalo de confianza , se debe especificar un punto de partida en theta. Por lo general, este es 0.0, el centro de la distribución , pero también podría extraerse aleatoriamente de una distribución determinada si se conocen los parámetros de la distribución del examinado. Además, se puede utilizar información previa sobre un examinado individual, como su puntuación la última vez que realizó la prueba (si la está repitiendo).

En una CCT, los ítems se seleccionan para su administración a lo largo de la prueba, a diferencia del método tradicional de administrar un conjunto fijo de ítems a todos los examinados. Si bien esto generalmente se hace ítem por ítem, también se puede hacer en grupos de ítems conocidos como testlets (Leucht y Nungester, 1996; ^{[ 4 ]} Vos y Glas, 2000 ^{[ 5 ]} ).

Los métodos de selección de ítems se dividen en dos categorías: basados ​​en el punto de corte y basados ​​en la estimación. Los métodos basados ​​en el punto de corte (también conocidos como selección secuencial) maximizan la información proporcionada por el ítem en el punto de corte, o puntos de corte si hay más de uno, independientemente de la habilidad del examinado. Los métodos basados ​​en la estimación (también conocidos como selección adaptativa) maximizan la información en la estimación actual de la habilidad del examinado, independientemente de la ubicación del punto de corte. Ambos funcionan de manera eficiente, pero la eficiencia depende en parte del criterio de terminación empleado. Dado que la prueba de razón de probabilidad secuencial solo evalúa probabilidades cercanas al punto de corte, la selección de ítems basada en el punto de corte es más apropiada. Dado que el criterio de terminación del intervalo de confianza se centra en la estimación de la habilidad del examinado, la selección de ítems basada en la estimación es más apropiada. Esto se debe a que la prueba realizará una clasificación cuando el intervalo de confianza sea lo suficientemente pequeño como para estar completamente por encima o por debajo del punto de corte (véase más adelante). El intervalo de confianza será menor cuando el error estándar de medición sea menor, y el error estándar de medición será menor cuando haya más información en el nivel theta del examinado.

Existen tres criterios de terminación comúnmente utilizados para las CCT. Los métodos de la teoría de decisión bayesiana ofrecen gran flexibilidad al presentar una selección infinita de estructuras de pérdida/utilidad y consideraciones de evaluación, pero también introducen mayor arbitrariedad. Un enfoque de intervalo de confianza calcula un intervalo de confianza alrededor de la estimación actual de theta del examinado en cada punto de la prueba, y clasifica al examinado cuando el intervalo cae completamente dentro de una región de theta que define una clasificación. Esto se conocía originalmente como prueba de dominio adaptativa ( Kingsbury y Weiss 1983 ) , pero no requiere necesariamente una selección adaptativa de ítems, ni se limita a la situación de prueba de dominio de dos clasificaciones. La prueba de razón de probabilidad secuencial ( Reckase 1983 ) define el problema de clasificación como una prueba de hipótesis de que el theta del examinado es igual a un punto especificado por encima de la puntuación de corte o un punto especificado por debajo de la puntuación de corte.

• Rudner, Lawrence. "Teoría de la decisión de medición" . Archivado del original el 16 de mayo de 2024.
• Weiss, David J. "CAT Central" . Archivado del original el 11 de julio de 2006.