Evaluación del adversario

Un enfoque de evaluación adversarial en el análisis de políticas refleja una orientación valorativa. ^{[ 1 ]} Este enfoque se desarrolló en respuesta a los enfoques objetivadores dominantes en la evaluación de políticas ^{[ 2 ]} y se basa en las nociones de que: 1) ningún evaluador puede ser verdaderamente objetivo, y 2) ninguna evaluación puede estar libre de valores. ^{[ 3 ]} Para ello, el enfoque utiliza equipos de evaluadores que presentan dos puntos de vista opuestos (estos equipos se denominan comúnmente adversarios y defensores ). Estas dos partes acuerdan los temas a tratar, recopilan datos o evidencia que conforman una base de datos común y presentan sus argumentos. Se asigna una parte neutral para arbitrar la audiencia, y se espera que llegue a un veredicto justo después de considerar toda la evidencia presentada. ^{[ 4 ]}

Existen diversos modelos para la evaluación de adversarios, incluyendo modelos judiciales , de audiencias congresionales y de debate . Sin embargo, los modelos que se adhieren a un marco legal son los más destacados en la literatura. ^{[ 5 ]}

El modelo de evaluación judicial es una adaptación de los procedimientos legales para un marco evaluativo. A diferencia de las audiencias contradictorias legales, el objetivo de este enfoque no es ganar, sino proporcionar una comprensión integral del programa en cuestión. ^{[ 2 ] [ 4 ] [ 5 ]} Este modelo asume que es imposible que un evaluador no tenga un impacto sesgado. Por lo tanto, el enfoque de estas evaluaciones cambia de la justificación científica a la rendición de cuentas pública. ^{[ 2 ]} Participan múltiples partes interesadas, y este enfoque tiene como objetivo informar tanto al público como a los involucrados en la evaluación sobre el objeto de la misma. Si bien el modelo es flexible, generalmente incorpora una audiencia, acusación, defensa, un jurado, cargos y refutaciones. ^{[ 3 ]} Dependiendo de la evaluación en cuestión, este modelo también puede incorporar conferencias previas al juicio, interrogatorio directo y preguntas redirigidas, y resúmenes por parte de la fiscalía y la defensa (Owens, 1973). ^{[ 1 ]} Sin embargo, los defensores de este modelo enfatizan la importancia de adaptar cuidadosamente el modelo al entorno en el que se implementa y a la política que pretende abordar.

Si bien se recomienda flexibilidad al implementar una evaluación de adversarios, algunos teóricos han intentado identificar las etapas de modelos de adversarios específicos.

Wolf (1979) ^{[ 2 ]} y Thurston, ^{[ 6 ]} proponen las siguientes cuatro etapas para una evaluación judicial:

1. La etapa de generación de problemas

En esta etapa, se identifica una amplia gama de problemas. Thurston ^{[ 6 ]} recomienda que los problemas que reflejen los percibidos por diversas personas involucradas o afectadas por el programa en cuestión se tomen en consideración en las etapas preliminares.

2. La etapa de selección del tema

Esta etapa consiste en la reducción de temas. Wolf (1979) ^{[ 2 ]} propone que los temas sobre los que no existe debate deben eliminarse. Thurston ^{[ 6 ]} afirma que esta reducción puede implicar un análisis exhaustivo (que incluye contenido, lógica e inferencia). El objeto del debate también debe definirse y centrarse durante esta etapa (Wolf, 1979). ^{[ 2 ]}

3. Etapa de preparación de argumentos

Esta etapa consiste en la recopilación de datos, la localización de documentos relevantes y la síntesis de la información disponible. Los datos o pruebas recopilados deben ser relevantes para los argumentos a favor y en contra que se presentarán en la audiencia (Wolf, 1979). ^{[ 2 ] [ 6 ]}

4. La propia fase de la audiencia.

Esta etapa también puede denominarse foro de aclaración e implica la presentación pública del objeto de debate (Wolf, 1979). ^{[ 2 ]} A esto le sigue la presentación de pruebas y la deliberación del panel o jurado. ^{[ 2 ] [ 6 ]}

Owens (1973) ^{[ 2 ]} proporciona una descripción más detallada de la etapa de audiencia en un contexto abogado-adversario. Atribuye las siguientes características a este aspecto del modelo (lista adaptada de Crabbe y Leroy, p. 129):

• Las normas de procedimiento deben ser flexibles.
• No existen reglas estrictas para la valoración de las pruebas. El único requisito es que el juez o los jueces determinen de antemano si las pruebas son admisibles o no.
• Antes de la audiencia, se podrá solicitar a las partes que presenten a los jueces todos los hechos relevantes, las pruebas y los nombres de los testigos/expertos.
• Antes de la audiencia pública, se deberá entregar una copia de la denuncia al juez o jueces y a la defensa. La defensa podrá declararse culpable de algunos cargos y negar otros.
• Los testigos pueden hablar libremente y ser sometidos a interrogatorio.
• Se podrá convocar a expertos para que presten declaración antes o durante la audiencia.
• Las reuniones de todas las partes involucradas con el juez o los jueces antes de la audiencia pública tienden a suavizar el debate y pueden propiciar un esfuerzo conjunto para llegar a la verdad del asunto sobre la base de los hechos relevantes.
• Además de las dos partes involucradas, también se podrá permitir la participación de otros interesados.

A continuación se identifican los beneficios de utilizar un enfoque adversarial:

1. Debido a la naturaleza pública de la evaluación, se fomenta la apertura y la transparencia con respecto al objeto de evaluación. ^{[ 2 ]}
2. Dado que el modelo tiene en cuenta múltiples formas de datos (incluidos hechos estadísticos, opiniones, suposiciones, valores y percepciones), se argumenta que hace justicia a la compleja realidad social que forma parte de la evaluación (Wolf, 1975). ^{[ 4 ] [ 2 ] [ 6 ]}
3. La naturaleza judicial de este enfoque puede reducir la controversia política en torno a un objeto de evaluación. ^{[ 2 ]}
4. Al presentar ambos lados de un argumento, se deben minimizar los riesgos de retención táctica de información. ^{[ 4 ]}
5. Este enfoque permite la incorporación de multitud de perspectivas, lo que debería promover una evaluación más holística (Wolf, 1975, 1979). ^{[ 4 ]}
6. La presentación de pruebas a favor y en contra, y una plataforma que permite el contrainterrogatorio, posibilita el acceso público a diversas interpretaciones de las pruebas introducidas en el contexto evaluativo (Wolf, 1975). ^{[ 4 ]}
7. La presentación de hipótesis y explicaciones rivales puede mejorar tanto los enfoques cuantitativos como cualitativos (Yin, 1999). ^{[ 4 ]}
8. Todos los datos deben presentarse de forma comprensible y lógica para persuadir al jurado. Dependiendo del jurado en cuestión, esto puede hacer que los datos presentados sean más accesibles para el público y otras partes interesadas involucradas en la evaluación. ^{[ 6 ]}
9. Finalmente, este enfoque es adecuado para la metaevaluación y puede combinarse con otros enfoques participativos o basados ​​en la experiencia. ^{[ 4 ]}

Según Smith (1985), ^{[ 4 ]} muchas de las limitaciones de este enfoque se relacionan con su naturaleza competitiva, la complejidad del proceso y la necesidad de personas capacitadas dispuestas a desempeñar las diversas funciones necesarias para una audiencia. A continuación se enumeran las principales limitaciones de la evaluación adversarial:

1. Esta forma de evaluación puede provocar un debate acalorado y el conflicto puede tener un impacto negativo en el resultado de la evaluación. ^{[ 2 ]}
2. El enfoque de la evaluación puede cambiar hacia la asignación de culpa o responsabilidad, en lugar de la optimización de políticas. ^{[ 5 ]}
3. Como los modelos adversario-abogado se basan en el conflicto, las posibilidades de alcanzar un resultado consensuado se ven reducidas. ^{[ 2 ]}
4. Las partes interesadas clave no siempre tienen las mismas habilidades, y las personas elocuentes se encuentran en una posición ventajosa. ^{[ 2 ]}
5. Este método puede ser laborioso y costoso (Owens, 1973). ^{[ 4 ] [ 2 ]}
6. A veces resulta difícil para los miembros oyentes elaborar recomendaciones operativas específicas (Wolf, 1979). ^{[ 4 ]}
7. Las limitaciones de tiempo pueden permitir únicamente un enfoque limitado. ^{[ 4 ]}

Aunque actualmente está en desuso, este enfoque se ha utilizado ampliamente en el campo de la evaluación educativa (Owens, 1973). ^{[ 4 ]} También se ha aplicado a la investigación etnográfica (Schensul, 1985) ^{[ 4 ]} y a la evaluación de agencias estatales de empleo (Braithwaite y Thompson, 1981). ^{[ 4 ]}

Crabbe y Leroy ^{[ 2 ]} sostienen que un enfoque adversarial para la evaluación debería ser beneficioso cuando:

1. El programa que se está evaluando puede afectar a un gran grupo de personas;
2. cuando el tema en cuestión es controvertido y atrae la atención pública;
3. cuando las partes involucradas comprenden y aceptan el poder de un juicio público;
4. cuando el objeto de evaluación está bien definido y se presta a posiciones polarizadas;
5. en contextos en los que es probable que los jueces sean percibidos como neutrales, y;
6. cuando se dispone de tiempo y recursos monetarios suficientes para aplicar el método.

Popham y Carlson ^{[ 7 ]} propusieron que la evaluación del adversario era defectuosa basándose en los siguientes seis puntos:

1. Disparidad en las habilidades del adversario
2. Jueces falibles
3. Confianza excesiva en la utilidad del modelo.
4. Dificultad para plantear los problemas
5. Potencial de manipulación de resultados
6. Costo excesivo

Popham y Carlson, ^{[ 7 ]} sin embargo, fueron a su vez criticados por otros en el campo. Gregg Jackson ^{[ 8 ]} argumenta que estas críticas hacen una "grave injusticia" (p.  2) a la evaluación adversarial. Propone que la única crítica válida entre las enumeradas es la "dificultad para plantear los problemas" (p.  2), afirmando que los demás puntos son injustos, falsos o exagerados. Además, señaló que Popham y Carlson ^{[ 7 ]} parecían aplicar a la evaluación adversarial un estándar más alto o diferente al de otras formas de evaluación. Thurston ^{[ 6 ]} argumenta en consonancia con Jackson, ^{[ 8 ]} pero propone dos críticas alternativas a la evaluación adversarial. Afirma que la definición de los problemas y el uso del jurado plantean grandes problemas para este enfoque.

Finalmente, Worthen ^{[ 5 ]} señala que, en la actualidad, la elección del tipo de evaluación más adecuado para un programa depende en gran medida de las preferencias personales. Crabbe y Leroy ^{[ 2 ]} advierten que todas las evaluaciones deben abordarse considerando sus necesidades y objetivos específicos, y ajustarse e implementarse en consecuencia; es improbable que exista un único enfoque que satisfaga las necesidades de todos los programas.

• Evaluación del programa