Modelado de valor añadido

El modelado de valor agregado (también conocido como medición de valor agregado , análisis de valor agregado y evaluación de valor agregado ) es un método de evaluación docente que mide la contribución del profesor en un año determinado comparando las calificaciones actuales de sus alumnos con las calificaciones de esos mismos alumnos en años escolares anteriores, así como con las calificaciones de otros alumnos del mismo grado. De esta manera, el modelado de valor agregado busca aislar la contribución, o valor agregado , que cada docente aporta en un año determinado, la cual puede compararse con las medidas de desempeño de otros docentes. Los modelos de valor agregado se consideran más justos que simplemente comparar las calificaciones de rendimiento o las puntuaciones de ganancia de los estudiantes sin considerar variables contextuales potencialmente confusoras como el desempeño anterior o los ingresos. También es posible utilizar este enfoque para estimar el valor agregado por el director de la escuela o por la escuela en su conjunto.

Los críticos afirman que el uso de pruebas para evaluar a los docentes individualmente no ha sido validado científicamente, y que gran parte de los resultados se deben al azar o a condiciones ajenas al control del docente, como las clases particulares. ^{[ 1 ]} Sin embargo, las investigaciones demuestran que las diferencias en la eficacia docente, medida por el valor añadido de los profesores, se asocian con pequeños efectos económicos en los estudiantes. ^{[ 2 ]}

Los investigadores utilizan procesos estadísticos aplicados a las calificaciones anteriores de un estudiante para predecir sus calificaciones futuras, partiendo de la premisa de que los estudiantes suelen obtener calificaciones similares cada año a las de años anteriores. La calificación real del estudiante se compara con la calificación predicha. Se asume que la diferencia entre ambas, si la hay, se debe al profesor y a la escuela, y no a la capacidad natural del estudiante ni a sus circunstancias socioeconómicas.

De esta manera, el modelado de valor agregado intenta aislar las contribuciones del docente de factores ajenos a su control que se sabe que afectan fuertemente el rendimiento de los estudiantes en las pruebas, incluyendo la inteligencia general del estudiante , la pobreza y la participación de los padres.

Al sumar todos estos resultados individuales, los estadísticos pueden determinar cuánto mejora el rendimiento estudiantil un profesor en particular, en comparación con cuánto lo habría mejorado un profesor típico.

Los estadísticos utilizan modelos lineales jerárquicos para predecir la puntuación de un estudiante en un aula específica de una escuela determinada. Esta predicción se basa en los resultados agregados de todos los estudiantes. La puntuación prevista de cada estudiante puede tener en cuenta variables relacionadas con el nivel del estudiante (por ejemplo, rendimiento anterior, estatus socioeconómico, raza/etnia), el nivel del profesor (por ejemplo, certificación, años de experiencia, máximo título obtenido, prácticas docentes, materiales didácticos, currículo) y el nivel de la escuela (por ejemplo, tamaño, tipo, contexto). Las variables incluidas dependen del modelo.

A partir de 2010Algunos distritos escolares de Estados Unidos habían adoptado el sistema, entre ellos las Escuelas Públicas de Chicago , el Departamento de Educación de la Ciudad de Nueva York y las Escuelas Públicas del Distrito de Columbia . Las clasificaciones se han utilizado para decidir sobre cuestiones de retención de docentes y la concesión de bonificaciones, así como una herramienta para identificar a los docentes que más se beneficiarían de la formación docente. ^{[ 1 ]} En el marco de Race to the Top y otros programas que abogan por mejores métodos de evaluación del desempeño docente, los distritos han recurrido al modelado de valor añadido como complemento a la observación de los docentes en las aulas. ^{[ 1 ]}

El legislador de Luisiana, Frank A. Hoffmann, presentó un proyecto de ley para autorizar el uso de técnicas de modelado de valor agregado en las escuelas públicas del estado como medio para recompensar a los maestros destacados e identificar métodos pedagógicos exitosos, así como para brindar desarrollo profesional adicional a aquellos maestros identificados como menos competentes. A pesar de la oposición de la Federación de Maestros de Luisiana, el proyecto de ley fue aprobado por el Senado del Estado de Luisiana el 26 de mayo de 2010 y fue promulgado inmediatamente por el gobernador Bobby Jindal . ^{[ 3 ]}

Los expertos no recomiendan utilizar el modelado de valor agregado como único determinante de ninguna decisión. ^{[ 4 ]} En cambio, recomiendan utilizarlo como un factor significativo en un programa de evaluación multifacético. ^{[ 5 ]}

Como sistema de evaluación basado en normas , el desempeño del docente se compara con los resultados de otros docentes del grupo de comparación seleccionado. Por lo tanto, este modelo permite inferir si un docente es mejor, peor o igual que el docente promedio, pero no permite determinar si un determinado nivel de desempeño es deseable.

Dado que la puntuación esperada de cada estudiante se basa principalmente en sus puntuaciones reales de años anteriores, resulta difícil utilizar este modelo para evaluar a los maestros de preescolar y primer grado. Algunas investigaciones limitan su aplicación a los maestros de tercer grado en adelante.

Es posible que las escuelas no puedan obtener las calificaciones previas de los nuevos estudiantes de sus escuelas anteriores, o que dichas calificaciones no sean útiles debido a la falta de comparabilidad de algunas pruebas. Una escuela con una alta rotación estudiantil podría tener dificultades para recopilar datos suficientes para aplicar este modelo. Cuando los estudiantes cambian de escuela a mitad de año, su progreso durante el año no se debe únicamente a sus últimos profesores.

Las puntuaciones de valor agregado son más sensibles a los efectos del profesor en matemáticas que en lenguaje. ^{[ 4 ]} Esto puede deberse al uso generalizado de pruebas mal diseñadas para las habilidades de lectura y lenguaje, o puede deberse a que los profesores, en última instancia, tienen menos influencia sobre el desarrollo del lenguaje . ^{[ 4 ]} Los estudiantes aprenden habilidades lingüísticas de muchas fuentes, especialmente de sus familias, mientras que aprenden habilidades matemáticas principalmente en la escuela.

Existe cierta variación en las puntuaciones de un año a otro y de una clase a otra. Esta variación es similar a las medidas de rendimiento en otros campos, como las Grandes Ligas de Béisbol , y por lo tanto puede reflejar variaciones reales y naturales en el desempeño del profesor. ^{[ 4 ]} Debido a esta variación, las puntuaciones son más precisas si se derivan de un gran número de estudiantes (normalmente 50 o más). En consecuencia, es difícil utilizar este modelo para evaluar a los profesores de primer año, especialmente en la escuela primaria, ya que es posible que solo hayan impartido clases a 20 estudiantes. Una clasificación basada en una sola aula probablemente clasifique correctamente al profesor aproximadamente el 65% de las veces. Este número aumenta al 88% si se dispone de datos de diez años. ^{[ 6 ]} Además, debido a que el intervalo de confianza es amplio, el método es más fiable al identificar a los profesores que se encuentran consistentemente en el 10% superior o inferior, en lugar de intentar establecer distinciones sutiles entre profesores que producen logros más o menos típicos, como intentar determinar si un profesor debería ser calificado como ligeramente por encima o ligeramente por debajo de la mediana. ^{[ 6 ]}

Las puntuaciones de valor agregado presuponen que los estudiantes son asignados aleatoriamente a los profesores. En realidad, los estudiantes rara vez son asignados aleatoriamente a profesores o escuelas. Según el economista y profesor Dr. Jesse M. Rothstein de la Universidad de California, Berkeley , "la asignación no aleatoria de estudiantes a profesores puede sesgar las estimaciones de valor agregado de los efectos causales de los profesores". ^{[ 7 ]} La ​​cuestión del posible sesgo en el uso de medidas de valor agregado ha sido objeto de numerosos estudios recientes, y otros investigadores llegan a la conclusión de que estas medidas proporcionan buenas estimaciones de la eficacia docente. Véase, por ejemplo, el trabajo reciente del proyecto Medidas de Enseñanza Eficaz ^{[ 8 ]} y el análisis de cómo las medidas de valor agregado se relacionan con los ingresos futuros realizado por el profesor Raj Chetty de Harvard y sus colegas. ^{[ 9 ]}

La idea de juzgar la efectividad de los docentes en función de los logros de aprendizaje de los estudiantes fue introducida por primera vez ^{[ 10 ]} en la literatura de investigación en 1971 por Eric Hanushek , ^{[ 11 ]} actualmente investigador principal en la conservadora ^{[ 12 ] [ 13 ] [ 14 ]} Hoover Institution , un centro de estudios de políticas públicas estadounidense ubicado en la Universidad de Stanford en California . Posteriormente fue analizada por Richard Murnane de la Universidad de Harvard, entre otros. ^{[ 15 ]} El enfoque se ha utilizado en diversos análisis para evaluar la variación en la efectividad docente dentro de las escuelas, y la estimación ha mostrado grandes y consistentes diferencias entre los docentes en el ritmo de aprendizaje de sus estudiantes. ^{[ 16 ]}

El estadístico William Sanders , gerente sénior de investigación en SAS, introdujo el concepto en la gestión escolar al desarrollar modelos de valor añadido para distritos escolares en Carolina del Norte y Tennessee . Creada inicialmente como una herramienta de evaluación docente para programas escolares en Tennessee en la década de 1990, el uso de la técnica se expandió con la aprobación de la ley No Child Left Behind en 2002. Basándose en su experiencia e investigación, Sanders argumentó que «si se utilizan métodos rigurosos y sólidos, y se les añaden medidas de seguridad, se puede distinguir de forma fiable a los docentes altamente eficaces de los docentes promedio y de los docentes ineficaces». ^{[ 1 ]}

Un estudio de 2003 realizado por la RAND Corporation para la Carnegie Corporation de Nueva York , afirmó que el modelado de valor agregado "promete separar los efectos de los maestros y las escuelas de los poderosos efectos de factores no educativos como el entorno familiar" y que los estudios habían demostrado que existía una amplia variación en las puntuaciones de los maestros al utilizar dichos modelos, lo que podría convertir al modelado de valor agregado en una herramienta eficaz para evaluar y recompensar el desempeño docente si se pudiera demostrar que la variabilidad está vinculada al desempeño de los maestros individuales. ^{[ 17 ]}

El Los Angeles Times informó sobre el uso del programa en las escuelas de esa ciudad, creando un sitio web de búsqueda que proporcionaba la puntuación calculada por el sistema de modelado de valor agregado para 6000 maestros de primaria del distrito. El Secretario de Educación de los Estados Unidos, Arne Duncan, elogió el reportaje del periódico sobre las puntuaciones de los maestros, citándolo como un modelo de mayor transparencia, aunque señaló que una mayor apertura debe equilibrarse con las preocupaciones sobre "la privacidad, la equidad y el respeto a los maestros". ^{[ 1 ]} En febrero de 2011, Derek Briggs y Ben Domingue del Centro Nacional de Política Educativa (NEPC) publicaron un informe que reanalizaba el mismo conjunto de datos del Distrito Escolar Unificado de Los Ángeles, intentando replicar los resultados publicados en el Times , y encontraron serias limitaciones de la investigación anterior, concluyendo que "la investigación en la que se basó el Los Angeles Times para su informe de agosto de 2010 sobre la efectividad de los maestros era demostrablemente inadecuada para respaldar las clasificaciones publicadas". ^{[ 18 ]}

La Fundación Bill y Melinda Gates patrocina un estudio plurianual sobre el modelado de valor añadido con su programa Medidas de Enseñanza Eficaz (MET). Los resultados iniciales, publicados en diciembre de 2010, indican que tanto el modelado de valor añadido como la percepción de los estudiantes sobre varias características clave del profesorado, como el control del aula y el desafío a los alumnos con un trabajo riguroso, identifican correctamente a los profesores eficaces. ^{[ 4 ]} El estudio sobre las evaluaciones de los estudiantes fue realizado por Ronald Ferguson . El estudio también descubrió que los profesores que se centran en preparar a los alumnos para el examen son mucho menos eficaces y obtienen puntuaciones significativamente más bajas en el modelado de valor añadido que los profesores que promueven una comprensión conceptual profunda de todo el currículo. ^{[ 4 ]} Sin embargo, un nuevo análisis de los resultados del informe MET realizado por Jesse Rothstein, economista y profesor de la Universidad de California, Berkeley , cuestiona algunas de estas interpretaciones. ^{[ 19 ]} Rothstein argumenta que los análisis del informe no respaldan las conclusiones y que, «interpretados correctamente, socavan en lugar de validar los enfoques de evaluación docente basados ​​en el valor añadido». ^{[ 20 ]} Sin embargo, trabajos más recientes del proyecto MET validan el uso de enfoques de valor añadido. ^{[ 8 ]}

La idea general del modelado de valor agregado también se ha extendido para considerar a los directores y líderes escolares. Si bien ha habido una considerable discusión anecdótica sobre la importancia de los líderes escolares, ha habido muy poca investigación sistemática sobre su impacto en los resultados de los estudiantes. Un análisis reciente en Texas ha proporcionado evidencia sobre la efectividad de los líderes al observar cómo cambian las mejoras en el rendimiento estudiantil de una escuela después de un cambio de director. Este enfoque basado en resultados para medir la efectividad de los directores es muy similar al modelado de valor agregado que se ha aplicado a la evaluación de los docentes. La investigación inicial en Texas encuentra que los directores tienen un gran impacto en el rendimiento estudiantil. ^{[ 21 ]} Las estimaciones conservadoras indican que un líder escolar efectivo mejora el rendimiento de todos los estudiantes en una escuela, con una magnitud equivalente en promedio a dos meses adicionales de ganancias de aprendizaje para los estudiantes en cada año escolar. Estas ganancias provienen, al menos en parte, del impacto del director en la selección y retención de buenos docentes. Sin embargo, los directores ineficaces tienen un efecto negativo igualmente grande en el rendimiento escolar, lo que sugiere que los temas de evaluación son tan importantes con respecto al liderazgo escolar como lo son para los docentes.

Un informe publicado por el Instituto de Política Económica en agosto de 2010 reconoció que "las escuelas públicas estadounidenses generalmente no desarrollan ni evalúan sistemáticamente a sus docentes", pero expresó preocupación por el hecho de que el uso del desempeño en pruebas estandarizadas como herramienta de medición no conduzca a un mejor desempeño. El informe del EPI recomienda que las medidas de desempeño basadas en los resultados de las pruebas estandarizadas sean uno de los muchos factores que deben considerarse para "proporcionar una visión más precisa de lo que los docentes hacen en el aula y cómo esto contribuye al aprendizaje de los estudiantes". El estudio calificó el modelado de valor agregado como un medio más justo para comparar a los docentes, que permite mejores mediciones de las metodologías educativas y del desempeño escolar general, pero argumentó que los resultados de las pruebas de los estudiantes no eran suficientemente confiables como medio para tomar "decisiones de personal de alto impacto". ^{[ 22 ]}

Edward Haertel, quien dirigió el equipo de investigación del Instituto de Política Económica, escribió que las metodologías promovidas como parte del programa Race to the Top ponían "demasiado énfasis en medidas de crecimiento en el rendimiento estudiantil que aún no se han estudiado adecuadamente para evaluar a maestros y directores" y que las técnicas de modelado de valor agregado necesitan ser evaluadas más exhaustivamente y solo deberían usarse "en proyectos piloto estudiados minuciosamente". ^{[ 1 ]}

El investigador de políticas educativas Gerald Bracey argumentó además que es posible que una correlación entre los docentes y los cambios a corto plazo en las calificaciones de las pruebas sea irrelevante para la calidad real de la enseñanza. Por lo tanto, "no permite inferencias causales sobre docentes individuales. En el mejor de los casos, es un primer paso para identificar a los docentes que podrían necesitar desarrollo profesional adicional". ^{[ 23 ]}

La Asociación Estadounidense de Estadística emitió un comunicado el 8 de abril de 2014 criticando el uso de modelos de valor agregado en la evaluación educativa , sin descartar la utilidad de dichos modelos. La ASA citó limitaciones en los datos de entrada, la influencia de factores no incluidos en los modelos y grandes errores estándar que resultan en clasificaciones inestables año tras año. ^{[ 24 ]}

John Ewing, en un artículo publicado en Notices of the American Mathematical Society, criticó el uso de modelos de valor añadido en la evaluación educativa como una forma de «intimidación matemática» y un «arma retórica». Ewing mencionó problemas con los datos de entrada y la influencia de factores no incluidos en el modelo. ^{[ 25 ]}

Se han implementado varias alternativas para la evaluación del profesorado:

• Evaluación por parte de los estudiantes : Si se les hacen preguntas validadas, los estudiantes, incluso los de cuarto grado, pueden identificar con precisión a los profesores eficaces. ^{[ 4 ]} Las evaluaciones de cursos son comunes en las universidades, pero rara vez representan más que una fracción insignificante en la decisión de mantener o despedir a un profesor.
• Actividades fuera del aula : Parte de la evaluación de un docente generalmente incluye la participación en eventos de capacitación del personal. Por ejemplo, un docente que completa una maestría casi siempre recibe un salario mayor, aunque tener una maestría no influye en el rendimiento estudiantil. ^{[ 26 ]}

La mayoría de los expertos recomiendan utilizar múltiples medidas para evaluar la eficacia docente. ^{[ 27 ]}

• eficacia del educador
• Evaluación ipsativa , en la que se compara a los estudiantes con su propio desempeño anterior.
• evaluación de la calidad docente
• Valor contextual añadido

• Base de datos de calificaciones de maestros de Los Ángeles y noticias del Los Angeles Times