Hispanopedia Wiki
Articulo de referencia

Evaluación de impacto

La evaluación de impacto evalúa hasta qué punto una intervención (como un proyecto, programa o política) es causalmente responsable de los resultados observados, previstos y no ...

Hispanopedia WikiContenido en espanolLectura gratuita

La evaluación de impacto evalúa hasta qué punto una intervención (como un proyecto, programa o política) es causalmente responsable de los resultados observados, previstos y no previstos. [ 1 ] A diferencia del seguimiento de resultados, que examina si se han alcanzado los objetivos, la evaluación de impacto está estructurada para responder a la pregunta: ¿cómo habrían cambiado los resultados, como el bienestar de los participantes, si no se hubiera llevado a cabo la intervención? Esto implica un análisis contrafactual, es decir, "una comparación entre lo que realmente sucedió y lo que habría sucedido en ausencia de la intervención". [ 2 ] Las evaluaciones de impacto buscan responder a preguntas de causa y efecto . En otras palabras, buscan los cambios en los resultados que son directamente atribuibles a un programa. [ 3 ]

La evaluación de impacto ayuda a las personas a responder preguntas clave para la formulación de políticas basadas en evidencia : ¿qué funciona, qué no funciona, dónde, por qué y en qué medida? Ha recibido una atención creciente en la formulación de políticas en los últimos años, tanto en el contexto de países desarrollados como en desarrollo . [ 4 ] Es un componente importante del arsenal de herramientas y enfoques de evaluación e integral para los esfuerzos globales para mejorar la efectividad de la entrega de ayuda y el gasto público en general para mejorar los niveles de vida . Originalmente más orientada hacia la evaluación de programas del sector social en países en desarrollo, en particular las transferencias monetarias condicionadas , la evaluación de impacto ahora se está aplicando cada vez más en otras áreas como la agricultura , la energía y el transporte .

Diseños de evaluación contrafactual

El análisis contrafactual permite a los evaluadores atribuir causalidad entre las intervenciones y los resultados. El "contrafactual" mide lo que habría sucedido a los beneficiarios en ausencia de la intervención, y el impacto se estima comparando los resultados contrafactuales con los observados bajo la intervención. El principal desafío en la evaluación de impacto es que el contrafactual no puede observarse directamente y debe aproximarse con referencia a un grupo de comparación . Existen diversos enfoques aceptados para determinar un grupo de comparación apropiado para el análisis contrafactual, utilizando diseños de evaluación prospectivos (ex ante) o retrospectivos (ex post). Las evaluaciones prospectivas comienzan durante la fase de diseño de la intervención, e implican la recopilación de datos iniciales y finales de los beneficiarios de la intervención (el "grupo de tratamiento") y de los no beneficiarios (el "grupo de comparación"); pueden implicar la selección de individuos o comunidades para formar parte de los grupos de tratamiento y comparación. Las evaluaciones retrospectivas generalmente se llevan a cabo después de la fase de implementación y pueden utilizar datos de encuestas existentes , aunque las mejores evaluaciones recopilarán datos lo más cercanos posible a la línea de base, para garantizar la comparabilidad de los grupos de intervención y comparación.

Hay cinco principios clave relacionados con la validez interna ( diseño del estudio ) y la validez externa ( generalización ) que las evaluaciones de impacto rigurosas deben abordar: factores de confusión , sesgo de selección , efectos indirectos , contaminación y heterogeneidad del impacto . [ 5 ]

  • El sesgo de confusión se produce cuando ciertos factores, generalmente relacionados con el estatus socioeconómico , se correlacionan con la exposición a la intervención y, independientemente de dicha exposición, guardan una relación causal con el resultado de interés. Por lo tanto, los factores de confusión constituyen explicaciones alternativas para una relación observada (posiblemente espuria) entre la intervención y el resultado.
  • El sesgo de selección , un caso especial de confusión, ocurre cuando los participantes en la intervención no se eligen aleatoriamente de la población beneficiaria, y los criterios de selección están correlacionados con los resultados. Los factores no observados , asociados con el acceso o la participación en la intervención, y que tienen una relación causal con el resultado de interés, pueden generar una relación espuria entre la intervención y el resultado si no se tienen en cuenta. La autoselección ocurre cuando, por ejemplo, las personas o comunidades más capacitadas u organizadas, que tienen más probabilidades de obtener mejores resultados de interés, también tienen más probabilidades de participar en la intervención. La selección endógena del programa ocurre cuando se elige a individuos o comunidades para participar porque se considera que tienen más probabilidades de beneficiarse de la intervención. Ignorar los factores de confusión puede generar un problema de sesgo por variable omitida. En el caso especial del sesgo de selección, la endogeneidad de las variables de selección puede causar un sesgo de simultaneidad.
  • El efecto contagio (o efecto de desbordamiento, en el caso de evaluaciones experimentales) se produce cuando los miembros del grupo de comparación (control) se ven afectados por la intervención.
  • La contaminación se produce cuando los miembros de los grupos de tratamiento y/o comparación tienen acceso a otra intervención que también afecta al resultado de interés.
  • La heterogeneidad del impacto se refiere a las diferencias en el impacto según el tipo de beneficiario y el contexto. Las evaluaciones de impacto de alta calidad valorarán el grado en que diferentes grupos (por ejemplo, los más desfavorecidos) se benefician de una intervención, así como el posible efecto del contexto en el impacto. El grado de generalización de los resultados determinará la aplicabilidad de las lecciones aprendidas a las intervenciones en otros contextos.

Los diseños de evaluación de impacto se identifican por el tipo de métodos utilizados para generar el contrafactual y pueden clasificarse en tres categorías principales: diseños experimentales, cuasiexperimentales y no experimentales, que varían en cuanto a viabilidad, costo, participación durante el diseño o después de la fase de implementación de la intervención, y grado de sesgo de selección. White (2006) [ 6 ] y Ravallion (2008) [ 7 ] analizan enfoques alternativos de evaluación de impacto.

Enfoques experimentales

En las evaluaciones experimentales, los grupos de tratamiento y comparación se seleccionan aleatoriamente y se aíslan tanto de la intervención como de cualquier otra intervención que pueda afectar el resultado de interés. Estos diseños de evaluación se denominan ensayos controlados aleatorizados (ECA). En las evaluaciones experimentales, el grupo de comparación se denomina grupo de control . Cuando la aleatorización se implementa sobre una muestra suficientemente grande sin contagio por la intervención, la única diferencia entre los grupos de tratamiento y control, en promedio, es que este último no recibe la intervención. Las encuestas de muestreo aleatorio, en las que la muestra para la evaluación se elige al azar, no deben confundirse con los diseños de evaluación experimental, que requieren la asignación aleatoria del tratamiento.

El enfoque experimental se suele considerar el "estándar de oro" de la evaluación. Es el único diseño de evaluación que puede explicar de manera concluyente el sesgo de selección al demostrar una relación causal entre la intervención y los resultados. La aleatorización y el aislamiento de las intervenciones podrían no ser practicables en el ámbito de la política social y podrían ser éticamente difíciles de defender, [ 8 ] [ 9 ] aunque podrían existir oportunidades para utilizar experimentos naturales. Bamberger y White (2007) [ 10 ] destacan algunas de las limitaciones de la aplicación de los ECA a las intervenciones de desarrollo. Scriven (2008) [ 11 ] ha formulado críticas metodológicas debido a los sesgos introducidos, ya que las intervenciones sociales no pueden ser completamente ciegas , y Deaton (2009) [ 12 ] ha señalado que, en la práctica, el análisis de los ECA recurre a los enfoques basados ​​en la regresión que pretenden evitar y, por lo tanto, están sujetos a los mismos sesgos potenciales. Otros problemas incluyen los contextos a menudo heterogéneos y cambiantes de las intervenciones, los desafíos logísticos y prácticos, las dificultades para monitorear la prestación de servicios, el acceso a la intervención por parte del grupo de comparación y los cambios en los criterios de selección y/o la intervención a lo largo del tiempo. Por lo tanto, se estima que los ECA solo son aplicables al 5 por ciento de la financiación para el desarrollo. [ 10 ]

Ensayos controlados aleatorios (ECA)

Los ECA son estudios que se utilizan para medir la efectividad de una nueva intervención. Es poco probable que demuestren causalidad por sí solos; sin embargo, la aleatorización reduce el sesgo y proporciona una herramienta para examinar las relaciones causa-efecto. [ 13 ] Los ECA se basan en la asignación aleatoria, lo que significa que esa evaluación casi siempre debe diseñarse ex ante , ya que es raro que la asignación natural de un proyecto sea aleatoria. [ 14 ] Al diseñar un ECA, hay cinco preguntas clave que deben hacerse: ¿Qué tratamiento se está probando?, ¿Cuántos grupos de tratamiento habrá?, ¿Cuál será la unidad de asignación?, ¿Qué tamaño de muestra se necesita?, ¿Cómo se aleatorizará la prueba? [ 14 ] Un ECA bien realizado proporcionará una estimación creíble sobre el efecto promedio del tratamiento dentro de una población o unidad de asignación específica. [ 15 ] Una desventaja de los ECA es el "problema de transporte", que indica que lo que funciona en una población no necesariamente funciona en otra, lo que significa que el efecto promedio del tratamiento no es aplicable a diferentes unidades de asignación. [ 15 ]

experimentos naturales

Los experimentos naturales se utilizan porque estos métodos alivian la tensión inherente a los enfoques de recopilación de datos de campo no controlados y de laboratorio controlados. [ 16 ] Los experimentos naturales aprovechan eventos fuera del control de los investigadores y los sujetos para abordar varias amenazas a la validez interna, minimizando la posibilidad de elementos de confusión, aunque sacrifican algunas de las características de los datos de campo, como rangos más naturales de efectos del tratamiento y la presencia de un contexto formado orgánicamente. [ 16 ] Un problema principal de los experimentos naturales es la cuestión de la replicabilidad. El trabajo de laboratorio, cuando se describe y repite adecuadamente, debería poder producir resultados similares. Debido a la singularidad de los experimentos naturales, la replicación a menudo se limita al análisis de datos alternativos de un evento similar. [ 16 ]

Enfoques no experimentales

Diseño cuasiexperimental

Los enfoques cuasiexperimentales pueden eliminar el sesgo derivado de la selección basada en variables observables y, cuando se dispone de datos de panel, en variables no observables invariantes en el tiempo. Los métodos cuasiexperimentales incluyen el emparejamiento, la diferenciación, las variables instrumentales y el enfoque de pipeline; generalmente se llevan a cabo mediante análisis de regresión multivariante .

Si se conocen y observan las características de selección, se pueden controlar para eliminar el sesgo. El emparejamiento implica comparar a los participantes del programa con los no participantes en función de las características de selección observadas. El emparejamiento por puntuación de propensión (PSM) utiliza un modelo estadístico para calcular la probabilidad de participación a partir de un conjunto de características observables y empareja a los participantes y no participantes con puntuaciones de probabilidad similares. El diseño de discontinuidad de regresión aprovecha una regla de decisión sobre quién recibe o no la intervención para comparar los resultados de quienes se encuentran justo a ambos lados de este punto de corte.

La diferencia en diferencias o diferencia doble, que utiliza datos recopilados al inicio y al final del estudio para los grupos de intervención y comparación, puede emplearse para corregir el sesgo de selección bajo el supuesto de que los factores no observables que determinan la selección son fijos en el tiempo (invariables en el tiempo). La diferencia en diferencias también puede aplicarse a múltiples momentos y cuando una intervención se introduce gradualmente por fases. [ 17 ]

La estimación mediante variables instrumentales corrige el sesgo de selección al modelar la participación utilizando factores ("instrumentos") que están correlacionados con la selección pero no con el resultado, aislando así los aspectos de la participación en el programa que pueden tratarse como exógenos.

El enfoque de selección secuencial ( diseño de cuña escalonada ) utiliza como grupo de comparación a los beneficiarios ya seleccionados para participar en un proyecto en una etapa posterior. Se parte de la premisa de que, al haber sido seleccionados para recibir la intervención en el futuro, son similares al grupo de tratamiento y, por lo tanto, comparables en cuanto a las variables de resultado de interés. Sin embargo, en la práctica, no se puede garantizar la comparabilidad entre los grupos de tratamiento y de comparación, por lo que será necesario aplicar algún método de emparejamiento para verificarla.

Diseño no experimental

Las evaluaciones de impacto no experimentales se denominan así porque no incluyen un grupo de comparación que no tenga acceso a la intervención. El método utilizado en la evaluación no experimental consiste en comparar los grupos de intervención antes y después de su implementación. Las evaluaciones de series temporales interrumpidas (ITS) requieren múltiples puntos de datos de los individuos tratados antes y después de la intervención, mientras que los diseños de antes versus después (o pre-prueba post-prueba) solo requieren un único punto de datos antes y después. Los análisis post-prueba incluyen datos posteriores a la intervención únicamente del grupo de intervención. Los diseños no experimentales son los más débiles, ya que para demostrar de forma convincente una relación causal entre la intervención y los resultados, la evaluación debe demostrar que cualquier explicación alternativa probable para los resultados es irrelevante. Sin embargo, aún existen aplicaciones para las que este diseño es relevante, por ejemplo, en el cálculo del ahorro de tiempo derivado de una intervención que mejora el acceso a servicios. Además, puede haber casos en los que los diseños no experimentales sean el único diseño de evaluación de impacto viable, como en programas de implementación universal o reformas de políticas nacionales en los que es improbable que existan grupos de comparación aislados.

Sesgos en la estimación de los efectos de los programas

Los experimentos de campo aleatorios constituyen el diseño de investigación más sólido para evaluar el impacto de un programa. Se considera que este diseño en particular es el preferido cuando resulta factible, ya que permite una estimación justa y precisa de los efectos reales del programa (Rossi, Lipsey y Freeman, 2004).

Dicho esto, los experimentos de campo aleatorios no siempre son factibles de llevar a cabo, y en estas situaciones existen diseños de investigación alternativos a disposición del evaluador. Sin embargo, el principal problema radica en que, independientemente del diseño elegido, todos son propensos a un problema común: por muy bien concebido o implementado que esté, cada diseño puede generar estimaciones sesgadas de los efectos del programa. Estos sesgos exageran o minimizan dichos efectos. Además, la dirección que tome el sesgo generalmente no se puede predecir (Rossi et al., 2004). Estos sesgos afectan los intereses de las partes interesadas. Asimismo, es posible que los participantes del programa se vean perjudicados si el sesgo contribuye a que un programa ineficaz o perjudicial parezca eficaz. También existe la posibilidad de que un sesgo haga que un programa eficaz parezca ineficaz o incluso perjudicial. Esto podría hacer que los logros del programa parezcan pequeños o incluso insignificantes, lo que obligaría al personal e incluso provocaría que los patrocinadores del programa redujeran o eliminaran la financiación del programa (Rossi et al., 2004).

Es seguro afirmar que si un diseño inadecuado genera sesgos, las partes interesadas, quienes son en gran medida responsables de la financiación del programa, serán las más afectadas. Los resultados de la evaluación les ayudan a decidir si continúan o no financiando el programa, ya que la decisión final recae en los financiadores y patrocinadores. No solo las partes interesadas son las más afectadas, sino también quienes participan en el programa o a quienes este pretende beneficiar, quienes se verán afectados por el diseño elegido y los resultados obtenidos. Por lo tanto, la preocupación del evaluador es minimizar el sesgo en la estimación de los efectos del programa (Rossi et al., 2004).

Los sesgos suelen ser visibles en dos situaciones: cuando la medición del resultado con la exposición al programa o la estimación de cuál habría sido el resultado sin la exposición al programa es mayor o menor que el valor "verdadero" correspondiente (pág. 267). Desafortunadamente, no todas las formas de sesgo que pueden comprometer la evaluación de impacto son evidentes (Rossi et al., 2004).

La forma más común de diseño de evaluación de impacto consiste en comparar dos grupos de individuos u otras unidades: un grupo de intervención que recibe el programa y un grupo de control que no lo recibe. La estimación del efecto del programa se basa entonces en la diferencia entre los grupos en una medida de resultado adecuada (Rossi et al., 2004). La asignación aleatoria de individuos a los grupos de intervención y control permite asumir una equivalencia continua. Las comparaciones de grupos que no se han formado mediante aleatorización se conocen como diseños de comparación no equivalentes (Rossi et al., 2004).

sesgo de selección

Cuando no se asume la equivalencia, la diferencia en el resultado entre los grupos que habría ocurrido de todos modos genera un sesgo en la estimación de los efectos del programa. Esto se conoce como sesgo de selección (Rossi et al., 2004). Este sesgo amenaza la validez de la estimación del efecto del programa en cualquier evaluación de impacto que utilice un diseño de comparación de grupos no equivalentes y se presenta en situaciones donde algún proceso, influenciado por factores desconocidos, determina qué individuos estarán en cada grupo en lugar de que la asignación a los grupos se determine por puro azar (Rossi et al., 2004). Esto puede deberse a la autoselección de los participantes o a la asignación al programa (sesgo de asignación). [ 18 ]

El sesgo de selección puede producirse mediante procesos naturales o deliberados que provocan la pérdida de datos de resultados para los miembros de los grupos de intervención y control ya formados. Esto se conoce como deserción y puede ocurrir de dos maneras (Rossi et al., 2004): los participantes abandonan el grupo de intervención o no se puede contactar con ellos, o se niegan a cooperar en la medición de resultados. Se asume una deserción diferencial cuando esta se produce como resultado de un proceso distinto al azar explícito (Rossi et al., 2004). Esto significa que "no se puede asumir que los individuos del grupo de intervención cuyos datos de resultados faltan tengan las mismas características relevantes para los resultados que los del grupo de control cuyos datos de resultados también faltan" (Rossi et al., 2004, p. 271). Sin embargo, los diseños de asignación aleatoria no están exentos del sesgo de selección inducido por la deserción (Rossi et al., 2004).

Otras formas de sesgo

Existen otros factores que pueden generar sesgos en los resultados de una evaluación de impacto. Estos generalmente se relacionan con eventos o experiencias distintas a la recepción del programa, que ocurren durante la intervención. Dichos sesgos incluyen tendencias seculares, eventos que interfieren y la maduración (Rossi et al., 2004).

Las tendencias seculares se definen como tendencias a largo plazo en la comunidad, región o país. También se denominan deriva secular y pueden producir cambios que potencien o enmascaren los efectos aparentes de una intervención (Rossi et al., 2004). Por ejemplo, cuando la tasa de natalidad de una comunidad está disminuyendo, un programa para reducir la fertilidad puede parecer eficaz debido al sesgo derivado de esa tendencia a la baja (Rossi et al., 2004, p. 273).

Eventos interferentes

Los eventos interferentes son similares a las tendencias seculares; en este caso, son los eventos a corto plazo los que pueden producir cambios que pueden introducir sesgos en las estimaciones del efecto del programa, como un corte de energía que interrumpe las comunicaciones o dificulta la entrega de suplementos alimenticios que pueden interferir con un programa de nutrición (Rossi et al., 2004, p273).

Maduración

La evaluación de impacto debe tener en cuenta que los procesos naturales de maduración y desarrollo pueden producir cambios considerables independientemente del programa. Incluir estos cambios en las estimaciones de los efectos del programa daría lugar a estimaciones sesgadas. Un ejemplo de este tipo de sesgo sería un programa para mejorar las prácticas de salud preventiva en adultos, que podría parecer ineficaz debido a que la salud generalmente disminuye con la edad (Rossi et al., 2004, p. 273).

"El mantenimiento riguroso de circunstancias comparables para los grupos de intervención y control entre la asignación aleatoria y la medición de resultados debería prevenir el sesgo derivado de la influencia de otras experiencias o eventos diferenciales en los grupos. Si alguna de estas condiciones no se cumple en el diseño, existe la posibilidad de sesgo en las estimaciones del efecto del programa" (Rossi et al., 2004, p. 274).

Métodos de estimación

Los métodos de estimación siguen, en general, los diseños de evaluación. Los diferentes diseños requieren diferentes métodos de estimación para medir los cambios en el bienestar con respecto al contrafactual. En la evaluación experimental y cuasiexperimental, el impacto estimado de la intervención se calcula como la diferencia en los resultados promedio entre el grupo de tratamiento (quienes reciben la intervención) y el grupo de control o comparación (quienes no la reciben). Este método también se denomina ensayo controlado aleatorizado (ECA). Según una entrevista con Jim Rough, exrepresentante de la Asociación Americana de Evaluación, publicada en la revista D+C Development and Cooperation , este método no funciona para asuntos complejos y multifacéticos. El estimador de diferencia simple compara los resultados promedio al final del estudio y es válido cuando los grupos de tratamiento y control tienen los mismos valores de resultado al inicio. El estimador de diferencia en diferencias (o diferencia doble) calcula la diferencia en el cambio del resultado a lo largo del tiempo para los grupos de tratamiento y comparación, utilizando así los datos recopilados al inicio para ambos grupos y una segunda ronda de datos recopilados al final del estudio, después de la implementación de la intervención, que puede ocurrir años después. [ 19 ]

Las evaluaciones de impacto que comparan los resultados promedio en el grupo de tratamiento, independientemente de la participación de los beneficiarios (también denominada "cumplimiento" o "adherencia"), con los resultados en el grupo de comparación se denominan análisis por intención de tratar (ITT). Las evaluaciones de impacto que comparan los resultados entre los beneficiarios que cumplen o se adhieren a la intervención en el grupo de tratamiento con los resultados en el grupo de control se denominan análisis de tratamiento en los tratados (TOT). Por lo tanto, el ITT proporciona una estimación del límite inferior del impacto, pero posiblemente tenga mayor relevancia política que el TOT en el análisis de programas voluntarios. [ 20 ] ...sí

Debates

Aunque hay acuerdo sobre la importancia de la evaluación de impacto y está surgiendo un consenso en torno al uso de métodos de evaluación contrafactuales, también ha habido un amplio debate en los últimos años sobre la definición de evaluación de impacto y el uso de métodos apropiados (véase White 2009 [ 21 ] para una visión general).

Definiciones

La Iniciativa Internacional para la Evaluación de Impacto (3ie) define las evaluaciones de impacto rigurosas como: "análisis que miden el cambio neto en los resultados para un grupo particular de personas que puede atribuirse a un programa específico utilizando la mejor metodología disponible, factible y apropiada para la pregunta de evaluación que se está investigando y para el contexto específico". [ 22 ]

Según la Iniciativa DIME del Banco Mundial, «las evaluaciones de impacto comparan los resultados de un programa con un contrafactual que muestra lo que les habría sucedido a los beneficiarios sin el programa. A diferencia de otras formas de evaluación, permiten atribuir los cambios observados en los resultados al programa evaluado mediante diseños experimentales y cuasiexperimentales». [ 23 ]

De manera similar, según la Agencia de Protección Ambiental de los Estados Unidos , la evaluación de impacto es una forma de evaluación que valora el efecto neto de un programa comparando los resultados del programa con una estimación de lo que habría ocurrido en ausencia del programa. [ 24 ]

Según el Grupo de Evaluación Independiente (IEG) del Banco Mundial, la evaluación de impacto es la identificación sistemática de los efectos positivos o negativos, intencionados o no, sobre los hogares, las instituciones y el medio ambiente causados ​​por una determinada actividad de desarrollo, como un programa o proyecto. [ 25 ]

La evaluación de impacto se ha definido de manera diferente en las últimas décadas. [ 6 ] Otras interpretaciones de la evaluación de impacto incluyen:

  • Una evaluación que analiza el impacto de una intervención en los resultados finales de bienestar, en lugar de centrarse únicamente en los resultados del proyecto, o una evaluación de procesos que se centra en la implementación;
  • Una evaluación realizada algún tiempo (de cinco a diez años) después de que se haya completado la intervención para dar tiempo a que aparezcan los efectos; y
  • Una evaluación que considera todas las intervenciones dentro de un sector o área geográfica determinada.

Otros autores distinguen entre "evaluación de impacto" y "valoración de impacto". La "evaluación de impacto" utiliza técnicas empíricas para estimar los efectos de las intervenciones y su significación estadística, mientras que la "valoración de impacto" incluye un conjunto más amplio de métodos, como simulaciones estructurales y otros enfoques que no permiten comprobar la significación estadística. [ 18 ]

Las definiciones comunes de «impacto» utilizadas en la evaluación generalmente se refieren a la totalidad de las consecuencias a largo plazo asociadas con una intervención en los resultados de la calidad de vida. Por ejemplo, el Comité de Asistencia para el Desarrollo de la Organización para la Cooperación y el Desarrollo Económicos (OCDE-CAD) define el impacto como los «efectos a largo plazo, positivos y negativos, primarios y secundarios, producidos por una intervención de desarrollo, directa o indirectamente, previstos o no previstos». [ 26 ] Varias agencias internacionales también han adoptado esta definición de impacto. Por ejemplo, UNICEF define el impacto como «Los resultados a largo plazo de un programa —técnicos, económicos, socioculturales, institucionales, ambientales u otros—, ya ​​sean previstos o no previstos. El impacto previsto debe corresponder al objetivo del programa». [ 27 ] De manera similar, Evaluationwiki.org define la evaluación de impacto como una evaluación que va más allá de los resultados inmediatos de las políticas, la instrucción o los servicios para identificar los efectos a largo plazo, así como los efectos no previstos del programa. [ 28 ]

Técnicamente, se podría realizar una evaluación para valorar el "impacto" tal como se define aquí, sin recurrir a un contrafactual. Sin embargo, gran parte de la literatura existente (por ejemplo, las Directrices de NONIE sobre evaluación de impacto [ 29 ] ) adopta la definición de impacto de la OCDE-CAD, al tiempo que considera que las técnicas utilizadas para atribuir impacto a una intervención se basan necesariamente en un análisis contrafactual.

Lo que falta en el término "evaluación de impacto" es la forma en que el impacto se manifiesta a largo plazo. Por ejemplo, la mayoría de los planes de "marco lógico" de Monitoreo y Evaluación tienen insumos, productos, resultados e impactos. Si bien los tres primeros aparecen durante la duración del proyecto, el impacto tarda mucho más en producirse. Por ejemplo, en un proyecto agrícola de 5 años, las semillas son insumos, los agricultores capacitados en su uso son nuestros productos, los cambios en los rendimientos de los cultivos como resultado de la correcta siembra de las semillas son un resultado y la mayor seguridad alimentaria sostenible de las familias a lo largo del tiempo es un impacto. Este tipo de evaluaciones de impacto posteriores al proyecto son muy raras. También se las denomina evaluaciones ex post o, como estamos acuñando, evaluaciones de impacto sostenido . Si bien cientos de miles de documentos las solicitan, rara vez los donantes tienen la flexibilidad de financiamiento, o el interés, para volver a comprobar cuán sostenidas y duraderas se mantuvieron nuestras intervenciones después de la finalización del proyecto, después de que se retiraron los recursos. Hay muchas lecciones que aprender sobre diseño, implementación, monitoreo y evaluación, y cómo fomentar la apropiación nacional .

Debates metodológicos

En los círculos académicos existe un intenso debate sobre las metodologías apropiadas para la evaluación de impacto, entre los defensores de los métodos experimentales, por un lado, y los defensores de metodologías más generales, por otro. William Easterly se ha referido a esto como «La guerra civil en la economía del desarrollo» (Archivado el 6 de febrero de 2010 en Wayback Machine) . Los defensores de los diseños experimentales, a veces denominados «randomistas» [ 8 ], argumentan que la aleatorización es el único medio para garantizar que se tenga en cuenta el sesgo de selección no observable, y que la construcción de la frágil base de evidencia experimental debe desarrollarse como una cuestión prioritaria [ 30 ] . En contraste, otros argumentan que la asignación aleatoria rara vez es apropiada para las intervenciones de desarrollo e incluso cuando lo es, los experimentos nos proporcionan información sobre los resultados de una intervención específica aplicada a un contexto específico, y poca relevancia externa [ 31 ] . Ha habido críticas de organismos de evaluación y otros que señalan que algunos donantes y académicos dan demasiada importancia a los métodos preferidos para la evaluación de impacto [ 32 ] , y que esto puede, de hecho, obstaculizar el aprendizaje y la rendición de cuentas. [ 33 ] Además, ha habido un debate sobre el papel apropiado de los métodos cualitativos dentro de las evaluaciones de impacto. [ 34 ] [ 35 ]

Evaluación de impacto basada en la teoría

Si bien el conocimiento de la efectividad es vital, también es importante comprender las razones de la efectividad y las circunstancias bajo las cuales es probable que los resultados se repliquen. A diferencia de los enfoques de evaluación de impacto de "caja negra", que solo informan las diferencias promedio en los resultados entre los grupos de tratamiento y comparación, la evaluación de impacto basada en la teoría implica trazar la cadena causal desde los insumos hasta los resultados y el impacto, y probar los supuestos subyacentes. [ 36 ] [ 29 ] La mayoría de las intervenciones dentro del ámbito de las políticas públicas son de naturaleza voluntaria, en lugar de coercitiva (legalmente requerida). Además, las intervenciones suelen ser activas en lugar de pasivas, lo que requiere un mayor grado de participación entre los beneficiarios y, por lo tanto, un cambio de comportamiento como requisito previo para la efectividad. Por lo tanto, las políticas públicas tendrán éxito en la medida en que las personas se vean incentivadas a cambiar su comportamiento favorablemente. Un enfoque basado en la teoría permite a los responsables políticos comprender las razones de los diferentes niveles de participación en el programa (denominados "cumplimiento" o "adherencia") y los procesos que determinan el cambio de comportamiento. Los enfoques basados ​​en la teoría utilizan tanto la recopilación de datos cuantitativos como cualitativos, siendo estos últimos particularmente útiles para comprender las razones del cumplimiento y, por lo tanto, determinar si la intervención puede replicarse en otros contextos y cómo hacerlo. Los métodos de recopilación de datos cualitativos incluyen grupos focales, entrevistas en profundidad, evaluación rural participativa (ERP) y visitas de campo, así como la lectura de literatura antropológica y política.

White (2009b) [ 36 ] aboga por una aplicación más generalizada de un enfoque basado en la teoría para la evaluación de impacto como un medio para mejorar la relevancia política de las evaluaciones de impacto, describiendo seis principios clave del enfoque basado en la teoría:

  1. Trazar la cadena causal (teoría del programa) que explica cómo se espera que la intervención conduzca a los resultados previstos y recopilar datos para comprobar los supuestos subyacentes de los vínculos causales.
  2. Comprender el contexto, incluyendo el entorno social, político y económico de la intervención.
  3. Es conveniente prever la heterogeneidad para facilitar la identificación de subgrupos y ajustar el tamaño de la muestra en función de los niveles de desagregación que se utilizarán en el análisis.
  4. Evaluación rigurosa del impacto mediante un contrafactual creíble (como se mencionó anteriormente).
  5. Análisis fáctico riguroso de los vínculos en la cadena causal.
  6. Utilice métodos mixtos (una combinación de métodos cuantitativos y cualitativos).

Ejemplos

Si bien las metodologías de evaluación de impacto experimental se han utilizado para evaluar las intervenciones de nutrición, agua y saneamiento en países en desarrollo desde la década de 1980, la primera y más conocida aplicación de métodos experimentales a un programa de desarrollo a gran escala es la evaluación del programa de Transferencias Monetarias Condicionadas (TMC) Progresa (ahora llamado Oportunidades ) en México, que examinó una variedad de resultados de desarrollo, incluyendo la escolarización, las tasas de inmunización y el trabajo infantil. [ 37 ] [ 38 ] Desde entonces, varios gobiernos de América Latina y otros lugares han implementado programas de TMC, y un informe publicado por el Banco Mundial en febrero de 2009 examina el impacto de las TMC en veinte países. [ 39 ]

Más recientemente, la evaluación de impacto se ha aplicado a diversas intervenciones en los sectores social y productivo. 3ie ha lanzado una base de datos en línea de evaluaciones de impacto que abarca estudios realizados en países de ingresos bajos y medios. Otras organizaciones que publican evaluaciones de impacto incluyen Innovations for Poverty Action , la Iniciativa DIME del Banco Mundial y NONIE . El IEG del Banco Mundial ha evaluado y resumido sistemáticamente la experiencia de diez evaluaciones de impacto de programas de desarrollo en diversos sectores realizadas durante los últimos 20 años. [ 40 ]

Organizaciones que promueven la evaluación del impacto de las intervenciones de desarrollo.

En 2006, el Grupo de Trabajo sobre la Brecha de Evaluación [ 41 ] señaló una importante brecha en la evidencia sobre intervenciones de desarrollo y, en particular, la necesidad de crear un organismo independiente para subsanarla mediante la financiación y la promoción de una evaluación de impacto rigurosa en países de ingresos bajos y medios. La Iniciativa Internacional para la Evaluación de Impacto (3ie) se creó en respuesta a este informe. 3ie busca mejorar la vida de las personas pobres en países de ingresos bajos y medios proporcionando y resumiendo evidencia sobre qué funciona, cuándo, por qué y en qué medida. 3ie gestiona un programa de subvenciones que financia estudios de impacto en países de ingresos bajos y medios, así como revisiones sintéticas de la evidencia existente, actualizadas a medida que aparece nueva evidencia, y apoya la evaluación de impacto de calidad mediante sus servicios de garantía de calidad.

Otra iniciativa dedicada a la evaluación de impactos es el Comité de Evaluación de la Sostenibilidad (COSA) . COSA es un consorcio global sin fines de lucro, integrado por instituciones y sostenido en colaboración con la Iniciativa de Productos Básicos Sostenibles del Instituto Internacional para el Desarrollo Sostenible (IISD) , la Conferencia de las Naciones Unidas sobre Comercio y Desarrollo (UNCTAD) y el Centro de Comercio Internacional de las Naciones Unidas (CCI). COSA desarrolla y aplica una herramienta de medición independiente para analizar los distintos impactos sociales, ambientales y económicos de las prácticas agrícolas, en particular los asociados a la implementación de programas específicos de sostenibilidad (orgánicos, de comercio justo , etc.). El objetivo de la iniciativa es establecer indicadores y herramientas de medición globales que los agricultores, los responsables políticos y la industria puedan utilizar para comprender y mejorar la sostenibilidad de sus cultivos o sectores agrícolas. COSA busca facilitar este proceso, permitiéndoles calcular con precisión los costos y beneficios relativos de participar en cualquier iniciativa de sostenibilidad.

Se han creado varias organizaciones adicionales para promover la evaluación de impacto a nivel mundial, entre ellas Innovations for Poverty Action , el Fondo Estratégico de Evaluación de Impacto (SIEF) del Banco Mundial , la Iniciativa de Evaluación del Impacto en el Desarrollo (DIME) del Banco Mundial, la Iniciativa de Aprendizaje y Cambio Institucional (ILAC) del CGIAR y la Red de Redes sobre Evaluación de Impacto (NONIE) .

Revisiones sistemáticas de la evidencia de impacto

Diversas organizaciones trabajan para coordinar la elaboración de revisiones sistemáticas . Estas revisiones buscan cerrar la brecha entre la investigación y las políticas públicas, evaluando la evidencia existente sobre un tema específico y presentándola en un formato accesible. Al igual que las evaluaciones de impacto rigurosas, se elaboran a partir de un protocolo de estudio que establece de antemano los criterios de inclusión, la búsqueda y los métodos de síntesis. Las revisiones sistemáticas constan de cinco pasos clave: determinación de las intervenciones, poblaciones, resultados y diseños de estudio que se incluirán; búsquedas para identificar literatura publicada y no publicada, y aplicación de los criterios de inclusión (relacionados con las intervenciones, poblaciones, resultados y diseño de estudio), según lo establecido en el protocolo; codificación de la información de los estudios; presentación de estimaciones cuantitativas sobre la efectividad de las intervenciones mediante diagramas de bosque y, cuando las intervenciones se consideran suficientemente homogéneas, cálculo de una estimación resumida combinada mediante metaanálisis; finalmente, las revisiones sistemáticas deben actualizarse periódicamente a medida que surja nueva evidencia. Las revisiones sistemáticas también pueden incluir la síntesis de información cualitativa, por ejemplo, sobre las barreras o los facilitadores de la efectividad de las intervenciones.

Véase también

Referencias

  1. ↑ Grupo de Pobreza del Banco Mundial sobre Evaluación de Impacto , consultado el 6 de enero de 2008.
  2. ↑ "White, H. (2006) Impact Evaluation: The Experience of the Independent Evaluation Group of the World Bank, Banco Mundial, Washington, DC, p. 3" (PDF) . Archivado del original (PDF) el 19 de febrero de 2018. Consultado el 7 de enero de 2010 .
  3. ↑ "Gertler, Martinez, Premand, Rawlings y Vermeersch (2011) Impact Evaluation in Practice, Washington, DC:The World Bank" . Archivado del original el 17 de julio de 2011. Consultado el 15 de diciembre de 2010 .
  4. ↑ "Iniciar sesión" (PDF) . Consultado el 16 de enero de 2017 .
  5. ↑ "Iniciar sesión" (PDF) . Consultado el 16 de enero de 2017 .
  6. 1 2 "White, H. (2006) Evaluación de impacto: La experiencia del Grupo de Evaluación Independiente del Banco Mundial, Banco Mundial, Washington, DC" (PDF) . Archivado del original (PDF) el 19 de febrero de 2018. Recuperado el 7 de enero de 2010 .
  7. ↑ Ravallion, M. (2008) Evaluación de programas contra la pobreza
  8. 1 2 Martin, Ravallion (1 de enero de 2009). "¿Deberían gobernar los Randomistas?" . 6 (2): 1– 5 . Recuperado el 16 de enero de 2017 – vía RePEc - IDEAS.{{cite journal}}: Para citar una revista se requiere |journal=( ayuda )
  9. ↑ Cabe señalar que se ha argumentado que « Randomistas » es un término coloquial utilizado por los críticos para describir a los defensores de la metodología de los ECA. Es casi seguro que se trata de un término despectivo y sexista, con la intención de desestimar con ligereza a los economistas experimentales y su éxito, en particular a Esther Duflo, una de las expertas más exitosas en aleatorización. Véase Webber, S., & Prouse, C. (2018). The New Gold Standard: The Rise of Randomized Control Trials and Experimental Development. Economic Geography, 94(2), 166–187.
  10. 1 2 Bamberger, M. y White, H. (2007) Uso de diseños de evaluación sólidos en países en desarrollo: experiencia y desafíos, Journal of MultiDisciplinary Evaluation , Volumen 4, Número 8, 58-73
  11. ↑ Scriven (2008) Una evaluación sumativa de la metodología de los ECA: y un enfoque alternativo para la investigación causal, Journal of MultiDisciplinary Evaluation , Volumen 5, Número 9, 11-24
  12. ↑ Deaton, Angus (1 de enero de 2009). "Instrumentos de desarrollo: aleatorización en los trópicos y la búsqueda de las esquivas claves del desarrollo económico". SSRN 1335715 . {{cite journal}}: Para citar una revista se requiere |journal=( ayuda )
  13. ↑ Hariton, Eduardo; Locascio, Joseph J. (diciembre de 2018). "Ensayos controlados aleatorios: el estándar de oro para la investigación de la efectividad" . BJOG : An International Journal of Obstetrics and Gynaecology . 125 (13): 1716. doi : 10.1111/1471-0528.15199 . ISSN 1470-0328 . PMC 6235704. PMID 29916205 .   
  14. 1 2 White, Howard (8 de marzo de 2013). "Una introducción al uso de ensayos controlados aleatorios para evaluar intervenciones de desarrollo" . Journal of Development Effectiveness . 5 : 30–49 . doi : 10.1080/19439342.2013.764652 . S2CID 51812043 . 
  15. 1 2 Deaton, Angus; Cartwright, Nancy (2016-11-09). "Las limitaciones de los ensayos controlados aleatorios" . VoxEU.org . Recuperado el 26-10-2020 .
  16. 1 2 3 Roe, Brian E.; Just, David R. (diciembre de 2009). "Validez interna y externa en la investigación económica: compensaciones entre experimentos, experimentos de campo, experimentos naturales y datos de campo" . American Journal of Agricultural Economics . 91 (5): 1266– 1271. doi : 10.1111/j.1467-8276.2009.01295.x . hdl : 10.1111/j.1467-8276.2009.01295.x . ISSN 0002-9092 . 
  17. ↑ Callaway, Brantly; Sant'Anna, Pedro HC (1 de diciembre de 2021). "Diferencias en diferencias con múltiples períodos de tiempo" . Journal of Econometrics . Número temático: Efecto del tratamiento 1. 225 (2): 200– 230. doi : 10.1016/j.jeconom.2020.12.001 . ISSN 0304-4076 . 
  18. 1 2 White, Howard; Raitzer, David (2017). Evaluación del impacto de las intervenciones de desarrollo: una guía práctica (PDF) . Manila: Banco Asiático de Desarrollo. ISBN 978-92-9261-059-3.
  19. ↑ Rugh, Jim (22 de junio de 2012). "Martillo en busca de clavos" . D+C Desarrollo y Cooperación . 2012 (7): 300.
  20. ↑ Bloom, H. (2006) El análisis fundamental de los experimentos aleatorios para la investigación social. Documentos de trabajo del MDRC sobre metodología de la investigación. MDRC, Nueva York.
  21. ↑ "White, H. (2009) Algunas reflexiones sobre los debates actuales en la evaluación de impacto, Documento de trabajo 1, Iniciativa Internacional para la Evaluación de Impacto, Nueva Delhi" . Archivado del original el 8 de enero de 2013. Consultado el 29 de octubre de 2012 .
  22. ↑ "Iniciar sesión" (PDF) . Consultado el 16 de enero de 2017 .
  23. ↑ Banco Mundial (s.f.) Iniciativa de Evaluación del Impacto en el Desarrollo (DIME), Documento del proyecto, Banco Mundial, Washington, D.C.
  24. ↑ Glosario de evaluación de programas de la Agencia de Protección Ambiental de EE. UU. [ enlace eliminado ] , consultado el 6 de enero de 2008.
  25. ↑ Grupo de Evaluación Independiente del Banco Mundial , consultado el 6 de enero de 2008.
  26. ↑ OCDE-CAD (2002) Glosario de términos clave en evaluación y gestión basada en resultados. Terminología armonizada propuesta, OCDE, París.
  27. ↑ UNICEF (2004) Normas para los informes de evaluación de UNICEF, Oficina de Evaluación, Sede de UNICEF en Nueva York, Nueva York
  28. ↑ "Definición de evaluación: ¿Qué es la evaluación? - EvaluationWiki" . Consultado el 16 de enero de 2017 .
  29. 1 2 "Página no encontrada" . Consultado el 16 de enero de 2017 .{{cite web}}: La cita utiliza un título genérico ( ayuda )
  30. ↑ "Banerjee, AV (2007) 'Making Aid Work' Cambridge, Boston Review Book, MIT Press, MA" (PDF) . Consultado el 16 de enero de 2017 .
  31. ↑ Bamberger, M. y White, H. (2007) Uso de diseños de evaluación sólidos en países en desarrollo: experiencia y desafíos, Journal of MultiDisciplinary Evaluation, Volumen 4, Número 8, 58-73
  32. ↑ http://www.europeanevaluation.org/download/?noGzip=1&id=1969403 Declaración de la EES sobre la importancia de un enfoque metodológicamente diverso para la evaluación de impacto
  33. ↑ http://www.odi.org.uk/resources/odi-publications/opinions/127-impact-evaluation.pdf El "estándar de oro" no es la solución definitiva para la evaluación.
  34. ↑ "Eficacia de la ayuda: El papel de la investigación cualitativa en la evaluación de impacto" . 27 de junio de 2014.
  35. ↑ Prowse, Martin; Camfield, Laura (2013). "Mejorando la calidad de la asistencia para el desarrollo". Progress in Development Studies . 13 : 51–61 . doi : 10.1177/146499341201300104 . S2CID 44482662 . 
  36. 1 2 "White, H. (2009b) Evaluación de impacto basada en la teoría: Principios y práctica, Documento de trabajo 3, Iniciativa internacional para la evaluación de impacto, Nueva Delhi" . Archivado del original el 6 de noviembre de 2012. Recuperado el 29 de octubre de 2012 .
  37. ↑ Gertler, P. (2000) Informe final: El impacto de PROGRESA en la salud. Instituto Internacional de Investigación sobre Políticas Alimentarias, Washington, DC.
  38. ↑ "Documento sin título" (PDF) . Consultado el 16 de enero de 2017 .
  39. ↑ Fiszbein, A. y Schady, N. (2009) Transferencias monetarias condicionadas: Reducción de la pobreza presente y futura: Informe de investigación de políticas del Banco Mundial, Banco Mundial, Washington, DC
  40. ↑ "Evaluación de impacto: La experiencia del Grupo de Evaluación Independiente del Banco Mundial, 2006" (PDF) . Archivado del original (PDF) el 10 de mayo de 2008. Consultado el 7 de enero de 2008 .
  41. ↑ "¿Cuándo aprenderemos? Mejorando vidas a través de la evaluación de impacto" . 31 de mayo de 2006. Consultado el 16 de enero de 2017 .