Calificación automatizada de ensayos

La calificación automatizada de ensayos ( CAE ) consiste en el uso de programas informáticos especializados para asignar calificaciones a ensayos escritos en un contexto educativo. Es una forma de evaluación educativa y una aplicación del procesamiento del lenguaje natural . Su objetivo es clasificar un gran conjunto de entidades textuales en un número reducido de categorías discretas, que corresponden a las posibles calificaciones, por ejemplo, de 1 a 6. Por lo tanto, puede considerarse un problema de clasificación estadística .

Diversos factores han contribuido al creciente interés en la evaluación del rendimiento académico. Entre ellos se encuentran el costo, la rendición de cuentas, los estándares y la tecnología. El aumento de los costos educativos ha generado presión para que el sistema educativo rinda cuentas de los resultados mediante la imposición de estándares. El avance de la tecnología de la información promete medir el rendimiento académico a un costo reducido.

El uso de AES para pruebas de alto impacto en la educación ha generado una importante reacción en contra, y los opositores señalan investigaciones que demuestran que las computadoras aún no pueden calificar la escritura con precisión y argumentan que su uso para tales fines promueve la enseñanza de la escritura de manera reduccionista (es decir, enseñar para el examen ).

La mayoría de los resúmenes históricos de AES rastrean los orígenes del campo hasta el trabajo de Ellis Batten Page . ^{[ 1 ]} En 1966, argumentó ^{[ 2 ]} a favor de la posibilidad de calificar ensayos por computadora, y en 1968 publicó ^{[ 3 ]} su exitoso trabajo con un programa llamado Project Essay Grade (PEG). Utilizando la tecnología de ese momento, la calificación computarizada de ensayos no habría sido rentable, ^{[ 4 ]} por lo que Page redujo sus esfuerzos durante aproximadamente dos décadas. Finalmente, Page vendió PEG a Measurement Incorporated .

Para 1990, las computadoras de escritorio se habían vuelto tan potentes y estaban tan extendidas que AES era una posibilidad práctica. Ya en 1982, un programa de UNIX llamado Writer's Workbench podía ofrecer consejos sobre puntuación, ortografía y gramática. ^{[ 5 ]} En colaboración con varias empresas (en particular Educational Testing Service), Page actualizó PEG y realizó algunas pruebas exitosas a principios de la década de 1990. ^{[ 6 ]}

Peter Foltz y Thomas Landauer desarrollaron un sistema que utiliza un motor de calificación llamado Intelligent Essay Assessor (IEA). IEA se utilizó por primera vez para calificar ensayos en 1997 para sus cursos de pregrado. ^{[ 7 ]} Actualmente es un producto de Pearson Educational Technologies y se utiliza para la calificación en varios productos comerciales y exámenes estatales y nacionales.

IntelliMetric es el motor AES de Vantage Learning. Su desarrollo comenzó en 1996. ^{[ 8 ]} Se utilizó comercialmente por primera vez para calificar ensayos en 1998. ^{[ 9 ]}

Educational Testing Service ofrece "e-rater", un programa automatizado para calificar ensayos. Se utilizó comercialmente por primera vez en febrero de 1999. ^{[ 10 ]} Jill Burstein fue la líder del equipo en su desarrollo. El servicio de evaluación de escritura en línea Criterion de ETS utiliza el motor de e-rater para proporcionar tanto calificaciones como retroalimentación específica.

Lawrence Rudner ha trabajado con la puntuación bayesiana y ha desarrollado un sistema llamado BETSY (Bayesian Essay Test Scoring System). ^{[ 11 ]} Algunos de sus resultados se han publicado en formato impreso o en línea, pero hasta el momento ningún sistema comercial incorpora BETSY.

Bajo el liderazgo de Howard Mitzel y Sue Lottridge, Pacific Metrics desarrolló CRASE, un motor de calificación automatizado para respuestas elaboradas. Actualmente utilizado por varios departamentos de educación estatales y en un proyecto financiado por el Departamento de Educación de los Estados Unidos para la Mejora de la Evaluación, la tecnología de Pacific Metrics se ha empleado en entornos de evaluación formativa y sumativa a gran escala desde 2007.

Measurement Inc. adquirió los derechos de PEG en 2002 y ha continuado desarrollándolo. ^{[ 12 ]}

En 2012, la Fundación Hewlett patrocinó una competición en Kaggle llamada Premio de Evaluación Automatizada de Estudiantes (ASAP). ^{[ 13 ]} 201 participantes del desafío intentaron predecir, utilizando AES, las puntuaciones que los evaluadores humanos darían a miles de ensayos escritos a partir de ocho indicaciones diferentes. El objetivo era demostrar que AES puede ser tan fiable como los evaluadores humanos, o incluso más. La competición también incluyó una demostración independiente entre nueve proveedores de AES en un subconjunto de los datos de ASAP. Aunque los investigadores informaron de que la calificación automatizada de ensayos era tan fiable como la calificación humana, ^{[ 14 ]} esta afirmación no se corroboró con ninguna prueba estadística porque algunos de los proveedores exigieron que no se realizaran tales pruebas como condición previa para su participación. ^{[ 15 ]} Además, la afirmación de que el Estudio Hewlett demostró que el AES puede ser tan fiable como los evaluadores humanos ha sido desde entonces fuertemente cuestionada, ^{[ 16 ] [ 17 ]} incluso por Randy E. Bennett , titular de la Cátedra Norman O. Frederiksen de Innovación en Evaluación en el Educational Testing Service . ^{[ 18 ]} Algunas de las principales críticas al estudio han sido que cinco de los ocho conjuntos de datos consistían en párrafos en lugar de ensayos, cuatro de los ocho conjuntos de datos fueron calificados por lectores humanos solo por contenido en lugar de por habilidad de escritura, y que en lugar de medir a los lectores humanos y las máquinas AES con respecto a la "puntuación verdadera", el promedio de las puntuaciones de los dos lectores, el estudio empleó una construcción artificial, la "puntuación resuelta", que en cuatro conjuntos de datos consistía en la más alta de las dos puntuaciones humanas si había un desacuerdo. Esta última práctica, en particular, dio a las máquinas una ventaja injusta al permitirles redondear hacia arriba para estos conjuntos de datos. ^{[ 16 ]}

En 1966, Page planteó la hipótesis de que, en el futuro, el juez basado en computadora estaría mejor correlacionado con cada juez humano que los otros jueces humanos. ^{[ 2 ]} A pesar de criticar la aplicabilidad de este enfoque a la calificación de ensayos en general, esta hipótesis fue respaldada para calificar respuestas de texto libre a preguntas cortas, como las típicas del sistema GCSE británico. ^{[ 19 ]} Los resultados del aprendizaje supervisado demuestran que los sistemas automáticos funcionan bien cuando la calificación de diferentes profesores humanos coincide. El agrupamiento no supervisado de respuestas mostró que los trabajos excelentes y los trabajos débiles formaban grupos bien definidos, y la regla de calificación automatizada para estos grupos funcionó bien, mientras que las calificaciones otorgadas por profesores humanos para el tercer grupo ("mixto") pueden ser controvertidas, y la confiabilidad de cualquier evaluación de trabajos del grupo "mixto" a menudo puede ser cuestionada (tanto por humanos como por computadora). ^{[ 19 ]}

Según una encuesta reciente, ^{[ 20 ]} los sistemas AES modernos intentan calificar diferentes dimensiones de la calidad de un ensayo para proporcionar retroalimentación a los usuarios. Estas dimensiones incluyen los siguientes elementos:

• Gramaticalidad: seguir las reglas gramaticales
• Uso: uso de preposiciones, uso de palabras
• Mecánica: seguir las reglas de ortografía, puntuación y uso de mayúsculas.
• Estilo: elección de palabras, variedad en la estructura de las oraciones.
• Relevancia: qué tan relevante es el contenido para la consigna.
• Organización: qué tan bien está estructurado el ensayo.
• Desarrollo: desarrollo de ideas con ejemplos
• Cohesión: uso apropiado de frases de transición
• Coherencia: transiciones apropiadas entre ideas
• Claridad de la tesis: claridad de la tesis
• Persuasión: capacidad de convencer del argumento principal.

Desde sus inicios, el procedimiento básico de AES ha consistido en comenzar con un conjunto de ensayos de entrenamiento cuidadosamente calificados manualmente. ^{[ 21 ]} El programa evalúa características superficiales del texto de cada ensayo, como el número total de palabras, el número de oraciones subordinadas o la proporción de mayúsculas y minúsculas ; cantidades que pueden medirse sin intervención humana. A continuación, construye un modelo matemático que relaciona estas cantidades con las calificaciones obtenidas por los ensayos. Este mismo modelo se aplica posteriormente para calcular las calificaciones de nuevos ensayos.

Recientemente, Isaac Persing y Vincent Ng crearon un modelo matemático de este tipo ^{[ 22 ]} que no solo evalúa los ensayos según las características mencionadas, sino también según la solidez de sus argumentos. Evalúa diversas características del ensayo, como el nivel de acuerdo del autor y las razones del mismo, la adhesión al tema de la consigna, la ubicación de los componentes argumentativos (tesis principal, argumento, premisa), los errores en los argumentos y la cohesión argumentativa, entre otras. A diferencia de los otros modelos mencionados, este se acerca más a la capacidad de replicar la intuición humana al calificar ensayos. Debido a la creciente popularidad de las redes neuronales profundas, se han adoptado enfoques de aprendizaje profundo para la calificación automatizada de ensayos, obteniendo generalmente resultados superiores, a menudo superando los niveles de acuerdo entre humanos ^{[ 23 ] .}

Los distintos programas AES difieren en las características superficiales específicas que miden, en la cantidad de ensayos necesarios en el conjunto de entrenamiento y, sobre todo, en la técnica de modelado matemático. Los primeros intentos emplearon regresión lineal . Los sistemas modernos pueden utilizar regresión lineal u otras técnicas de aprendizaje automático, a menudo en combinación con otras técnicas estadísticas como el análisis semántico latente ^{[ 24 ]} y la inferencia bayesiana ^{[ 11 ]} .

La tarea de calificación automatizada de ensayos también se ha estudiado en un contexto interdisciplinario mediante modelos de aprendizaje automático, donde los modelos se entrenan con ensayos escritos para un tema y se prueban con ensayos escritos para otro tema. Los enfoques exitosos en el escenario interdisciplinario se basan en redes neuronales profundas ^{[ 25 ]} o modelos que combinan características profundas y superficiales ^{[ 26 ] .}

Todo método de evaluación debe juzgarse según su validez, imparcialidad y fiabilidad. ^{[ 27 ]} Un instrumento es válido si mide realmente el rasgo que pretende medir. Es imparcial si, en la práctica, no penaliza ni privilegia a ningún grupo de personas. Es fiable si su resultado es reproducible, incluso cuando se modifican factores externos irrelevantes.

Antes de la llegada de los ordenadores, los ensayos importantes solían ser calificados por dos evaluadores humanos capacitados. Si las calificaciones diferían en más de un punto, un tercer evaluador con más experiencia resolvía la discrepancia. En este sistema, existe una forma sencilla de medir la fiabilidad: mediante el acuerdo entre evaluadores . Si los evaluadores no coinciden de forma consistente con una diferencia máxima de un punto, su formación podría ser deficiente. Si un evaluador discrepa sistemáticamente con la forma en que otros evaluadores califican los mismos ensayos, probablemente necesite formación adicional.

Se han propuesto varias estadísticas para medir el acuerdo entre evaluadores. Entre ellas se encuentran el porcentaje de acuerdo, el coeficiente π de Scott , el coeficiente κ de Cohen , el coeficiente α de Krippendorf , el coeficiente de correlación de Pearson r , el coeficiente de correlación de rangos de Spearman ρ y el coeficiente de correlación de concordancia de Lin .

El porcentaje de acuerdo es una estadística simple aplicable a escalas de calificación con puntuaciones de 1 a n, donde generalmente 4 ≤ n ≤ 6. Se informa como tres cifras, cada una como un porcentaje del número total de ensayos calificados: acuerdo exacto (los dos evaluadores dieron al ensayo la misma puntuación), acuerdo adyacente (los evaluadores difirieron en un máximo de un punto; esto incluye el acuerdo exacto) y desacuerdo extremo (los evaluadores difirieron en más de dos puntos). Se encontró que los evaluadores humanos expertos lograron un acuerdo exacto en el 53 % al 81 % de todos los ensayos, y un acuerdo adyacente en el 97 % al 100 %. ^{[ 28 ]}

Ahora se puede aplicar la concordancia entre evaluadores para medir el rendimiento de la computadora. Se entrega un conjunto de ensayos a dos evaluadores humanos y a un programa AES. Si las puntuaciones asignadas por la computadora coinciden con las de uno de los evaluadores humanos, y además existe concordancia entre los evaluadores, se considera que el programa AES es fiable. Alternativamente, a cada ensayo se le asigna una "puntuación verdadera" calculando el promedio de las puntuaciones de los dos evaluadores humanos, y se comparan las puntuaciones de ambos con las de la computadora en función de su concordancia con dicha puntuación verdadera.

Algunos investigadores han informado que sus sistemas AES pueden, de hecho, hacerlo mejor que un humano. Page hizo esta afirmación para PEG en 1994. ^{[ 6 ]} Scott Elliot dijo en 2003 que IntelliMetric generalmente superaba a los evaluadores humanos. ^{[ 8 ]} Sin embargo, las máquinas AES parecen ser menos confiables que los lectores humanos para cualquier tipo de prueba de escritura compleja. ^{[ 29 ]}

En la práctica actual, las evaluaciones de alto riesgo como el GMAT siempre son calificadas por al menos un evaluador humano. El AES se utiliza en lugar de un segundo evaluador. Un evaluador humano resuelve cualquier desacuerdo de más de un punto. ^{[ 30 ]}

AES ha sido criticado por varios motivos. Yang et al . mencionan "la excesiva dependencia de las características superficiales de las respuestas, la insensibilidad al contenido de las respuestas y a la creatividad, y la vulnerabilidad a nuevos tipos de trampas y estrategias para realizar exámenes". ^{[ 30 ]} Varios críticos están preocupados de que la motivación de los estudiantes disminuya si saben que ningún ser humano leerá sus escritos. ^{[ 31 ]} Entre las críticas más reveladoras se encuentran los informes de ensayos intencionalmente incoherentes que recibieron altas calificaciones. ^{[ 32 ]}

La mayoría de los recursos para la calificación automatizada de ensayos son de propiedad privada.

• eRater – publicado por Educational Testing Service
• Intellimetric – por Vantage Learning
• Ensayo de proyecto Calificación ^{[ 38 ]} – por Measurement, Inc.