Evaluación basada en la teoría

La evaluación basada en la teoría (también llamada evaluación impulsada por la teoría ) es un término general para cualquier enfoque de evaluación de programas —cuantitativo, cualitativo o de método mixto— que desarrolla una teoría del cambio y la utiliza para diseñar, implementar, analizar e interpretar los hallazgos de una evaluación. ^{[ 1 ] [ 2 ] [ 3 ]} Más específicamente, una evaluación está impulsada por la teoría si: ^{[ 4 ]}

1. formula una teoría del cambio utilizando una combinación de ciencias sociales , experiencia vivida y conocimientos especializados de profesionales relacionados con el programa;
2. Desarrolla y prioriza preguntas de evaluación utilizando la teoría;
3. Utiliza la teoría para guiar el diseño y la implementación de la evaluación;
4. Utiliza la teoría para operacionalizar las variables contextuales, de proceso y de resultado;
5. proporciona una explicación causal de cómo y por qué se lograron los resultados, incluyendo si el programa funcionó y/o tuvo consecuencias no deseadas (deseables o perjudiciales); y
6. Explica qué factores moderan los resultados.

Al investigar los mecanismos que conducen a los resultados, los enfoques basados ​​en la teoría facilitan el aprendizaje para mejorar los programas y su implementación, y ayudan a acumular conocimiento, incluso entre programas aparentemente diferentes. ^{[ 5 ] [ 6 ]} Esto contrasta con las evaluaciones de "caja negra" basadas en métodos, que se centran en seguir los pasos de un método (por ejemplo, un experimento aleatorio o un grupo focal ) y solo evalúan si un programa logra los resultados previstos. ^{[ 7 ]} Los enfoques basados ​​en la teoría también pueden mejorar la validez de las evaluaciones, por ejemplo, al conducir a estimaciones más precisas del impacto en ensayos controlados aleatorios . ^{[ 8 ]}

La evaluación basada en la teoría surgió en las décadas de 1970 y 1980 como respuesta a las limitaciones de las evaluaciones de "caja negra" basadas en métodos. El término evaluación basada en la teoría fue acuñado por Huey T. Chen y Peter H. Rossi . ^{[ 9 ]} Chen (1990) ^{[ 10 ]} escribió la primera introducción completa a la realización de evaluaciones basadas en la teoría, explicando, por ejemplo, cómo desarrollar una teoría del cambio del programa y los diferentes tipos de diseño. Sus orígenes se han rastreado ^{[ 11 ]} hasta un libro de Carol Weiss (1972) ^{[ 12 ]} y un artículo poco citado de Carol Taylor Fitz-Gibbon y Lynn Lyons Morris (1975). ^{[ 13 ]} Sin embargo, "el primer uso publicado de lo que reconoceríamos como teoría del programa" fue en una evaluación de programas de capacitación, por Don Kirkpatrick en 1959. ^{[ 14 ]}

Funnell y Rogers (2011, pp. 23–24) comentan la confusa nomenclatura del campo, enumerando 22 enfoques como la evaluación basada en la teoría y la ciencia de la evaluación impulsada por la teoría del programa que son equivalentes o se superponen significativamente con la evaluación impulsada por la teoría. La primera definición de evaluación basada en la teoría , de Fitz-Gibbon y Morris (1975), es casi idéntica a la evaluación impulsada por la teoría : ^{[ 15 ]}

Una evaluación teórica de un programa es aquella en la que la selección de las características del programa a evaluar está determinada por una conceptualización explícita del programa en términos de una teoría […] que intenta explicar cómo el programa produce los efectos deseados. La teoría puede ser psicológica […] o sociopsicológica […] o filosófica […]. La característica esencial es que la teoría señala una relación causal entre un proceso A y un resultado B.

En consecuencia, los términos evaluación basada en la teoría y evaluación impulsada por la teoría se utilizan a menudo indistintamente en la literatura. ^{[ 16 ] [ 17 ] [ 18 ]} Sin embargo, la evaluación basada en la teoría a veces se interpreta de forma más restringida para referirse a evaluaciones cualitativas o basadas en estudios de caso con una muestra pequeña , realizadas sin un grupo de comparación, por ejemplo, aquellas que utilizan el seguimiento de procesos o el análisis comparativo cualitativo . ^{[ 19 ]} Un ejemplo de este significado más restringido se encuentra en el manual del gobierno del Reino Unido sobre evaluación, el Libro Magenta . ^{[ 20 ]}

La evaluación basada en la teoría también está estrechamente relacionada con el pluralismo de la evidencia , un enfoque desarrollado dentro de la filosofía de la ciencia desde alrededor de 2007 que sostiene que para que los científicos puedan hacer una afirmación causal, deben proporcionar tanto evidencia de una asociación entre una supuesta causa y su efecto como evidencia de los mecanismos que conectan ambos. ^{[ 21 ]} Este doble requisito se alinea naturalmente con la evaluación basada en la teoría, que de manera similar enfatiza no solo identificar si una intervención está asociada con resultados, sino también comprender cómo surgen esos resultados a través de procesos causales subyacentes.

La teoría de la evaluación basada en la teoría busca acercarse lo más posible a las causas de un problema social y al lugar de intervención. Esto contrasta con una teoría "global" o "grandiosa" , que intenta proporcionar una comprensión general de la sociedad o una teoría metafísica sobre la naturaleza de la realidad social. Chen y Rossi (1983) lo ilustran de la siguiente manera: ^{[ 22 ]}

Adoptar una u otra de las teorías globales actuales para abordar, por ejemplo, el problema de la delincuencia juvenil, no contribuye mucho a la práctica de la evaluación, pero sí ayuda enormemente comprender la estructura de autoridad en las escuelas y los mecanismos de influencia del grupo de pares y la disciplina parental al diseñar y evaluar un programa que se supone que reduce los problemas disciplinarios en las escuelas. [...] La perspectiva basada en la teoría se acerca más a lo que los econometristas llaman "especificación del modelo" que las teorías más complejas, abstractas y generales.

También se establece una distinción entre la teoría normativa , que se refiere a lo que se supone que debe hacer un programa y cómo debe implementarse, y la teoría causal , que especifica cómo se supone que funciona el programa. ^{[ 23 ]} Existen entonces dos formas generales en que un programa puede no lograr los resultados deseados: (1) un programa puede implementarse según lo previsto de acuerdo con la teoría normativa; sin embargo, resulta que la teoría causal es incorrecta; o (2) la teoría causal es correcta; sin embargo, el programa no se implementó correctamente. ^{[ 24 ]}

Los modelos causales gráficos (MCG) pueden utilizarse para formalizar teorías causales y diseñar, por ejemplo, cuasiexperimentos basados ​​en la teoría. ^{[ 25 ]} Una de las ventajas de los MCG es que pueden utilizarse para determinar automáticamente qué variables necesitan ajustarse o emparejarse estadísticamente para estimar el efecto causal de un programa. ^{[ 26 ]}

Esquema del modelo de acción/modelo de cambio de Chen

El esquema del modelo de acción/modelo de cambio de Chen ^{[ 27 ]} proporciona un ejemplo de cómo se conceptualizan la teoría de un programa y su contexto. Los elementos del esquema se completan posteriormente para cada programa en particular.

El modelo de cambio especifica cómo una intervención de un programa conduce a resultados a través de determinantes , también conocidos como variables intermedias o mediadoras.

El modelo de acción especifica cómo el personal y las organizaciones ejecutoras llevan a cabo la intervención para los beneficiarios:

• La población objetivo incluye una especificación de quiénes son los participantes y cómo se les recluta.
• La organización implementadora (por ejemplo, una clínica o una escuela) y su personal de implementadores (por ejemplo, terapeutas o maestros) son responsables de asignar los recursos , capacitar y brindar las intervenciones.
• Los protocolos de intervención y prestación de servicios incluirían manuales de terapia o planes de estudio temáticos.
• Las organizaciones asociadas y los socios comunitarios se refieren a organizaciones distintas de la organización implementadora. En el caso de una intervención de psicoterapia, esto puede incluir escuelas o médicos generales que publicitan el programa o derivan beneficiarios al mismo.
• El contexto ecológico se refiere a aspectos del entorno, como por ejemplo la familia, los amigos, los compañeros de trabajo, otros estudiantes, etc., que pueden moderar los efectos de un programa.

Se ha argumentado que se puede aplicar toda la gama de métodos de investigación. Chen (2015) proporciona ejemplos que utilizan experimentos aleatorios , diseños cuasiexperimentales , monitoreo de procesos y resultados , y métodos cualitativos . ^{[ 28 ]} Aunque los defensores de la evaluación basada en la teoría critican los experimentos de "caja negra", Chen y Rossi (1983, p. 292) ^{[ 29 ]} argumentan que los experimentos basados ​​en la teoría son posibles y deseables:

Los defensores del paradigma experimental de caja negra suelen pasar por alto que, tras la aleatorización, las variables exógenas siguen correlacionadas con las variables de resultado. Conocer cómo afectan estos factores exógenos a los resultados permite obtener estimaciones más precisas de los efectos experimentales controlando dichas variables.

Se ha argumentado que la evaluación basada en la teoría se centra demasiado en enfoques estadísticos, como experimentos aleatorios, cuasiexperimentos y modelado de ecuaciones estructurales ; ^{[ 30 ]} sin embargo, también se ha defendido la importancia de los métodos cualitativos, particularmente al desarrollar teorías de programas y comprender la implementación. ^{[ 31 ]}

También existe un debate metodológico sobre si las evaluaciones realistas , consideradas un tipo particular de enfoque basado en la teoría, pueden incluir ensayos controlados aleatorios de cualquier tipo. Algunos evaluadores creen que sí y realizan lo que denominan "ensayos realistas". ^{[ 32 ] [ 33 ] [ 34 ]} Otros argumentan que un ensayo realista es un "oxímoron" y recomiendan en su lugar llamarlos "ensayos orientados a la teoría". ^{[ 35 ]} Una revisión de 2023 de ensayos descritos como realistas concluyó que si realmente son realistas depende de los compromisos "ontológicos y epistemológicos" de los evaluadores y que las diferencias "no pueden resolverse" revisando los estudios realizados. ^{[ 36 ]}

Los ejemplos analizados en una revisión sistemática de 2011 de 45 evaluaciones basadas en la teoría incluyen: ^{[ 37 ]}

• Una evaluación del programa piloto de salud mental infantil y adolescente de Fort Bragg, un sistema de atención de salud mental gestionado con un único punto de entrada, que utilizó entrevistas individuales, grupos focales y revisión de documentos para ayudar al desarrollo de una teoría del cambio. ^{[ 38 ]} La teoría explicaba por qué se pensaba que un sistema de atención integrada sería más rentable que un sistema fragmentado.
• Una evaluación de un juego de mesa creado para ayudar a enseñar educación empresarial en la escuela secundaria . ^{[ 39 ]} Esta evaluación desarrolló una teoría del cambio y la utilizó para seleccionar medidas y diseñar análisis de regresión de proceso y resultado.
• Evaluación de un programa de reducción de basura. ^{[ 40 ]} El programa buscaba incentivar a los residentes a reducir el volumen de basura que producen disminuyendo la frecuencia de recolección; sin embargo, una consecuencia negativa no deseada identificada en la evaluación fue que los residentes produjeron el mismo volumen que antes, simplemente almacenando su basura en sus hogares los días que no se recolectaba. Este efecto se identificó mediante un análisis comparativo de series temporales interrumpidas con un modelo autorregresivo integrado de media móvil (ARIMA) .

Una revisión de 2014 sobre la evaluación basada en la teoría en psicología escolar ^{[ 41 ]} destacó dos ejemplos ilustrativos:

• Una evaluación de la consulta conductual conjunta, una "intervención basada en fortalezas centrada en desarrollar la competencia conductual y social en los niños". ^{[ 42 ]} La evaluación puso a prueba una teoría del cambio utilizando un ensayo controlado aleatorizado por conglomerados y un análisis de mediación .
• Una evaluación de la lectura repetida y la previsualización de vocabulario que puso a prueba la teoría causal utilizando la metodología de estudio de caso , un diseño de tratamientos alternados adaptado con seis estudiantes. ^{[ 43 ]}