Algoritmo de resultados de exámenes de Ofqual

En 2020, Ofqual , el regulador de calificaciones, exámenes y pruebas en Inglaterra, produjo un algoritmo de estandarización de calificaciones para combatir la inflación de calificaciones y moderar las calificaciones previstas por los profesores para las calificaciones de nivel A y GCSE en ese año, después de que se cancelaran los exámenes como parte de la respuesta a la pandemia de COVID-19 .

A finales de marzo de 2020, Gavin Williamson , secretario de Estado de Educación del gobierno conservador de Boris Johnson , dio instrucciones a la jefa de Ofqual, Sally Collier , para que "garantizara, en la medida de lo posible, que se mantuvieran los estándares de calificación y que la distribución de calificaciones siguiera un perfil similar al de años anteriores". El 31 de marzo, emitió una directiva ministerial en virtud de la Ley de Infancia y Aprendizaje de 2009. ^[1]

En agosto, el 82% de las calificaciones de los exámenes de nivel A se calcularon utilizando un algoritmo ideado por Ofqual. Más de 4,6 millones de GCSE en Inglaterra (alrededor del 97% del total) se asignaron únicamente mediante el algoritmo. Se tomaron en cuenta las clasificaciones de los profesores, pero no las calificaciones evaluadas por los profesores presentadas por las escuelas y universidades. ^[2]

El 25 de agosto, Collier, que supervisó el desarrollo del cálculo del algoritmo de Williamson, renunció al puesto de regulador jefe de Ofqual tras la creciente presión. ^{[3] [4]}

El algoritmo no se aplicó a las cualificaciones vocacionales y técnicas (VTQ), como los BTEC , que se evalúan en base a los cursos o a la finalización de módulos cortos, y en algunos casos se realizaron evaluaciones adaptadas. ^[5] Sin embargo, debido al alto nivel de inflación de calificaciones resultante de la decisión de Ofqual de no aplicar el algoritmo a los niveles A y GCSE, Pearson Edexcel , el examinador de BTEC, decidió cancelar la publicación de los resultados de BTEC el 19 de agosto, el día antes de su publicación, para permitir que se volvieran a moderar de acuerdo con la inflación de calificaciones de Ofqual. ^[6]

El modelo de desempeño directo de los centros de Ofqual se basa en el historial de cada centro (escuela o facultad) en la materia que se está evaluando. Los detalles del algoritmo no se dieron a conocer hasta después de los resultados de su primer uso en agosto de 2020, y entonces solo en parte. ^[7]

A las escuelas no solo se les pidió que hicieran un juicio justo y objetivo sobre la calificación que creían que habría obtenido un estudiante, sino también que clasificaran a los estudiantes dentro de cada calificación . Esto se debió a que el proceso de estandarización estadística requería información más granular que la calificación por sí sola. ^[9] Algunas juntas examinadoras emitieron una guía sobre el proceso de formación del juicio que se utilizaría en los centros, donde varios maestros enseñaban una materia. ^[10] Esta guía debía presentarse el 29 de mayo de 2020.

En el caso de los estudiantes de nivel A, su escuela ya había incluido una calificación prevista como parte de la referencia de solicitud universitaria de UCAS . ^[11] Esta calificación se envió antes del 15 de enero (15 de octubre de 2019 para Oxbridge y Medicina) y se compartió con los estudiantes. Esta calificación prevista de UCAS no es la misma que la calificación prevista de Ofqual.

La forma habitual de probar un algoritmo predictivo es ejecutarlo con los datos del año anterior, pero esto no fue posible porque en años anteriores no se había recopilado el orden de clasificación de los docentes. En cambio, en las pruebas se utilizó el orden de clasificación que había surgido de los resultados finales de 2019. ^[7]

Las calificaciones de nivel A se anunciaron en Inglaterra, Gales e Irlanda del Norte el 13 de agosto de 2020. Casi el 36 % fueron inferiores a las evaluaciones de los docentes (CAG) y el 3 % fueron dos grados inferiores. ^[12]

Los estudiantes de escuelas pequeñas o que cursan asignaturas minoritarias, como las que se ofrecen en escuelas privadas pequeñas (que también tienen más probabilidades de tener menos estudiantes incluso en las asignaturas populares), podrían ver sus calificaciones más altas que las predichas por sus maestros, especialmente si pertenecen al grupo de clases pequeñas/intereses minoritarios. Estos estudiantes tradicionalmente tienen un rango de notas más estrecho, ya que los estudiantes más débiles han sido invitados a irse. Los estudiantes de escuelas estatales grandes, colegios de sexto curso y colegios de educación superior que tienen políticas de acceso abierto e históricamente han educado a estudiantes BAME o estudiantes vulnerables vieron caer sus resultados, para ajustarse a la curva de distribución histórica. ^[7]

Los estudiantes consideraron que el sistema era injusto y presionaron a Williamson para que explicara los resultados y revirtiera su decisión de utilizar el algoritmo que él había encargado y que Ofqual había implementado. ^[13] El 12 de agosto, Williamson anunció "un triple bloqueo" que permitía a los estudiantes apelar el resultado utilizando un resultado simulado válido no definido. ^[14] Pero el 15 de agosto, se publicó el aviso con ocho condiciones establecidas que diferían de la declaración del ministro. ^[15] Horas después del anuncio, Ofqual suspendió el sistema. ^[16] El 17 de agosto, Ofqual aceptó que se otorgara a los estudiantes la calificación CAG, en lugar de la calificación predicha por el algoritmo. ^[13]

El 19 de agosto, la UCAS informó de que 15.000 alumnos habían sido rechazados por la universidad de su primera opción debido a las notas generadas por el algoritmo. Tras la decisión de Ofqual de utilizar predicciones de profesores no moderadas, muchos de los estudiantes afectados tenían notas que cumplían con su oferta y volvieron a solicitar plaza. El 90% de ellos dijo que su objetivo era estudiar en universidades de primer nivel. El resultado fue que las universidades de primer nivel parecían tener un problema de capacidad. ^{[1] [13]}

La Royal Statistical Society dijo que se había ofrecido a ayudar con la construcción del algoritmo, pero retiró esa oferta cuando vio la naturaleza del acuerdo de confidencialidad que se le habría exigido firmar. Ofqual no estaba dispuesta a discutirlo y demoró 55 días en responder. ^[17]

Lord Falconer , ex fiscal general , opinó que se habían violado tres leyes y dio un ejemplo de cómo Ofqual había ignorado una instrucción directa del Secretario de Estado de Educación. ^[18]

Falconer dijo que la fórmula para estandarizar las calificaciones violaba los objetivos generales bajo los cuales se creó Ofqual por la Ley de Aprendizaje, Habilidades, Niños y Aprendizaje de 2009. Los objetivos requieren que el sistema de calificación brinde una indicación confiable del conocimiento, las habilidades y la comprensión del estudiante , y que permita realizar comparaciones confiables con estudiantes que toman exámenes calificados por otras juntas y con estudiantes que tomaron exámenes comparables en años anteriores. ^{[2] [18]}

El Partido Laborista sugirió que el proceso era ilegal porque a los estudiantes no se les dio ningún mecanismo de apelación, ^{[18] [2]} afirmando: "Habrá una gran cantidad de impactos discriminatorios al operar el proceso sobre la base de reflejar los resultados de los años anteriores de sus instituciones", y "Es inevitable que ponga en desventaja a toda una gama de grupos con características protegidas, en violación de una serie de leyes contra la discriminación". ^[18]

• Controversia sobre la calificación de los exámenes escolares en el Reino Unido en 2020

• Requisitos para el cálculo de los resultados en el verano de 2020 – Ofqual, 7 de julio de 2020, actualizado el 20 de agosto
• Guía para estudiantes sobre los resultados de las titulaciones post-16: verano de 2020 – Ofqual, 27 de julio de 2020, actualizado el 19 de agosto
• Realización de exámenes durante el brote de coronavirus (COVID-19): orientación del Departamento de Educación, publicada el 20 de marzo de 2020, actualizada el 27 de agosto
• Debate sobre algoritmos en el Instituto de Políticas de Educación Superior, mayo de 2020
• Comité de Educación Testimonio oral: El impacto de la COVID-19 en la educación y los servicios para niños, HC 254 Miércoles 2 de septiembre de 2020