Evaluación basada en el consenso

La evaluación basada en el consenso amplía la práctica común de la toma de decisiones por consenso y la observación teórica de que la pericia puede ser aproximada con precisión por un gran número de principiantes o personas con experiencia. Crea un método para determinar estándares de medición en ámbitos de conocimiento muy ambiguos, como la inteligencia emocional , la política, la religión, los valores y la cultura en general. Desde esta perspectiva, el conocimiento compartido que conforma el consenso cultural puede evaluarse de forma muy similar a la pericia o la inteligencia general.

La evaluación basada en el consenso se fundamenta en un hallazgo simple: que muestras de individuos con diferente competencia (por ejemplo, expertos y aprendices) califican escenarios relevantes, utilizando escalas Likert , con puntuaciones medias similares. Por lo tanto, desde la perspectiva de un marco de evaluación basada en el consenso, los estándares culturales para la puntuación de las claves pueden derivarse de la población evaluada. Peter Legree y Joseph Psotka, quienes colaboraron durante décadas, propusieron que la inteligencia general (g) psicométrica podría medirse discretamente mediante escalas tipo encuesta que requerían juicios. Esto podría utilizarse mediante la puntuación de desviación de cada persona con respecto a la media del grupo o de los expertos, o mediante una correlación de Pearson entre sus juicios y la media del grupo. Ambas técnicas están perfectamente correlacionadas. Posteriormente, Legree y Psotka crearon escalas que solicitaban a los individuos que estimaran la frecuencia de las palabras, juzgaran probabilidades binarias de buena continuidad, identificaran implicaciones del conocimiento y aproximaran distribuciones de empleo. Los ítems se seleccionaron cuidadosamente para evitar referentes objetivos, por lo que las escalas requerían que los encuestados proporcionaran juicios que se puntuaban según estándares consensuales ampliamente desarrollados. El desempeño en esta batería de juicios se correlacionó aproximadamente con 0,80 con las medidas convencionales de g psicométrica . Las claves de respuesta se derivaron por consenso. A diferencia de las preguntas de matemáticas o física, la selección de ítems, escenarios y opciones para evaluar la g psicométrica se guió, en líneas generales, por una teoría que enfatizaba el juicio complejo, pero las claves explícitas se desconocían hasta que se realizaron las evaluaciones: se determinaron mediante el promedio de las respuestas de todos, utilizando puntuaciones de desviación, correlaciones o puntuaciones factoriales.

Una forma de comprender la relación entre la pericia y el consenso es considerar que, en muchos ámbitos de desempeño, la pericia refleja en gran medida el conocimiento derivado de la experiencia. Dado que los principiantes suelen tener menos experiencia, sus opiniones tienden a ser inconsistentes. Sin embargo, a medida que se adquiere experiencia, las opiniones de los profesionales, desde los más experimentados hasta los expertos, se vuelven más consistentes. Según esta perspectiva, los errores son aleatorios. Por lo tanto, los datos de calificación recopilados de grandes muestras de encuestados con distintos niveles de pericia pueden utilizarse para aproximar las calificaciones promedio que proporcionaría un número considerable de expertos si estos estuvieran disponibles. Dado que la desviación estándar de la media tiende a cero a medida que aumenta el número de observaciones, las estimaciones basadas en grupos con diferentes niveles de competencia proporcionarán estimaciones convergentes de los mejores estándares de desempeño. Las medias de las respuestas de estos grupos pueden utilizarse para crear rúbricas de calificación efectivas o estándares de medición para evaluar el desempeño. Este enfoque es particularmente relevante para calificar áreas de conocimiento subjetivas que se miden mediante escalas de respuesta Likert, y se ha aplicado para desarrollar estándares de calificación en varios ámbitos donde los expertos son escasos.

En la práctica, los análisis han demostrado altos niveles de convergencia entre los estándares de expertos y los de CBA, con valores que cuantifican dichos estándares altamente correlacionados (coeficientes de correlación de Pearson que oscilan entre 0,72 y 0,95), y con puntuaciones basadas en esos estándares también altamente correlacionadas ( coeficientes de correlación que oscilan entre 0,88 y 0,99), siempre que el tamaño de la muestra de ambos grupos sea grande (Legree, Psotka, Tremble y Bourne, 2005). Esta convergencia entre las puntuaciones de CBA y las de referencia de expertos, junto con los datos de validez asociados, indica que la puntuación basada en CBA y la basada en expertos pueden utilizarse indistintamente, siempre que los datos de las calificaciones se recopilen utilizando muestras grandes de expertos y principiantes o profesionales.

La CBA se suele calcular mediante la correlación de Pearson ( R) entre las valoraciones individuales en la escala Likert sobre un conjunto de ítems y la media de las valoraciones de todos los participantes sobre esos mismos ítems. Esta correlación mide la proximidad de cada persona al consenso. En ocasiones, también se calcula como una desviación estándar respecto a la media del consenso de los grupos. Ambos procedimientos son matemáticamente isomorfos. Si la cultura se considera conocimiento compartido y la media de las valoraciones del grupo en un dominio específico del conocimiento se considera una medida del consenso cultural en dicho dominio, entonces ambos procedimientos evalúan la CBA como una medida de la comprensión cultural de cada individuo.

Sin embargo, es posible que el consenso no se distribuya uniformemente entre todos los elementos subordinados de un tema. Quizás el contenido del conocimiento de los elementos se distribuya en dominios con diferentes niveles de consenso. Por ejemplo, los conservadores libertarios pueden tener una opinión distinta sobre la invasión de la privacidad que los conservadores que defienden firmemente el orden público. De hecho, el análisis factorial estándar pone de manifiesto esta cuestión.

Tanto en el análisis de centroides como en el análisis de componentes principales (ACP), las primeras puntuaciones factoriales se obtienen multiplicando cada calificación por la correlación del factor (generalmente la media de todas las calificaciones estandarizadas para cada persona) con respecto a las calificaciones de cada ítem. Esta multiplicación pondera cada ítem según la correlación del patrón de diferencias individuales en cada ítem (las puntuaciones del componente). Si el consenso se distribuye de forma desigual entre estos ítems, algunos pueden centrarse más en los aspectos generales del factor común. Si un ítem se correlaciona fuertemente con el patrón de diferencias individuales generales, se le otorga mayor peso en las puntuaciones factoriales generales. Esta ponderación también influye implícitamente en la puntuación CBA, ya que son los ítems que comparten un patrón común de consenso CBA los que reciben mayor peso en el análisis factorial.

El análisis factorial transpuesto o metodología Q , creado por William Stephenson (psicólogo), pone de manifiesto esta relación. Las puntuaciones CBA son estadísticamente isomorfas a las puntuaciones de los componentes en el PCA para un análisis factorial Q. Representan la carga de las respuestas de cada persona sobre la media de las respuestas de todas las personas. Por lo tanto, el análisis factorial Q puede proporcionar una medida CBA superior si se utiliza primero para seleccionar a las personas que representan la dimensión dominante, en lugar de los ítems que mejor representan una dimensión de atributo subordinada de un dominio (como el liberalismo en un dominio político). El análisis factorial puede entonces proporcionar el CBA de los individuos a lo largo de ese eje particular del dominio.

En la práctica, cuando los ítems no se crean ni se organizan fácilmente para proporcionar una escala altamente fiable, el análisis factorial Q no es necesario, ya que el análisis factorial original también debería seleccionar aquellos ítems que tienen un consenso común. Así, por ejemplo, en una escala de ítems sobre actitudes políticas, los ítems pueden preguntar sobre actitudes hacia el gran gobierno ; la ley y el orden; cuestiones económicas; cuestiones laborales; o cuestiones libertarias. Puede ser difícil determinar a priori cuáles de estos ítems influyen más en las actitudes políticas de los grupos encuestados. Sin embargo, dado que el análisis factorial es un cálculo simétrico sobre la matriz de ítems y personas, el análisis factorial original de los ítems (cuando se trata de escalas Likert) selecciona no solo aquellos ítems que pertenecen a un dominio similar, sino, de forma más general, aquellos ítems que tienen un consenso similar. La ventaja adicional de esta técnica de análisis factorial es que los ítems se organizan automáticamente a lo largo de un factor, de modo que las calificaciones Likert más altas también corresponden a las puntuaciones estándar CBA más altas. Una vez seleccionado, ese factor determina las puntuaciones CBA (componente).

La crítica más común a los estándares CBA consiste en cuestionar cómo un promedio puede ser un estándar máximo. Esta crítica argumenta que el CBA no es adecuado para pruebas de rendimiento máximo de atributos psicológicos, especialmente la inteligencia. Aun así, las técnicas CBA se emplean habitualmente en diversas mediciones de inteligencias no tradicionales (por ejemplo, práctica, emocional, social, etc.). Se presentan críticas detalladas en Gottfredson (2003) y MacCann, Roberts, Matthews y Zeidner (2004), así como en otras publicaciones científicas .

• Inteligencia colectiva
• Toma de decisiones por consenso
• democracia de consenso
• Teoría del consenso de la verdad
• Inteligencia emocional
• Inteligencia
• Participación (toma de decisiones)
• Modelo de pólder
• Representaciones sociales
• Unanimidad
• socialismo libertario

• Gottfredson, LS (2003). Diseccionando la teoría práctica de la inteligencia: sus afirmaciones y evidencias. Intelligence, 31(4), 343 – 397.
• Legree, PJ, Psotka J., Tremble, TR y Bourne, D. (2005). Uso de la medición basada en el consenso para evaluar la inteligencia emocional. En R. Schulze y R. Roberts (Eds.), Manual internacional de inteligencia emocional. (pp. 99-123 ) . Berlín, Alemania: Hogrefe & Huber.
• MacCann, C., Roberts, RD, Matthews, G., & Zeidner, M. (2004). Puntuación por consenso y ponderación de opciones empíricas de pruebas de inteligencia emocional (IE) basadas en el desempeño. Personality and Individual Differences, 36, 645 – 662.

• Tecnologías de la información y la colaboración (véase el capítulo 5): Gestión de la inteligencia colectiva, hacia una nueva gobernanza corporativa.
• Multitudes inteligentes
• La sabiduría de las multitudes