Daño representativo

Los sistemas causan daño representacional cuando tergiversan a un grupo de personas de manera negativa. Los daños representacionales incluyen perpetuar estereotipos dañinos o minimizar la existencia de un grupo social, como un grupo racial, étnico, de género o religioso. ^{[ 1 ]} Los algoritmos de aprendizaje automático a menudo cometen daño representacional cuando aprenden patrones de datos que tienen sesgo algorítmico , y se ha demostrado que esto ocurre con los grandes modelos de lenguaje . ^{[ 2 ]} Si bien prevenir el daño representacional en los modelos es esencial para prevenir sesgos dañinos, los investigadores a menudo carecen de definiciones precisas de daño representacional y lo confunden con el daño asignativo, una distribución desigual de recursos entre grupos sociales, que está más ampliamente estudiado y es más fácil de medir. ^{[ 1 ]} Sin embargo, el reconocimiento de los daños representacionales está creciendo y su prevención se ha convertido en un área de investigación activa. Recientemente, los investigadores han desarrollado métodos para cuantificar eficazmente el daño representacional en los algoritmos, lo que permite avanzar en la prevención de este daño en el futuro. ^{[ 3 ] [ 4 ]}

Tres tipos prominentes de daño representacional incluyen la estereotipación, la denigración y el reconocimiento erróneo. ^{[ 5 ]} Estas subcategorías presentan muchos peligros para individuos y grupos.

Los estereotipos son representaciones simplificadas y generalmente indeseables de un grupo específico de personas, normalmente por raza y género. Esto suele conllevar la negación de oportunidades educativas, laborales, de vivienda y de otro tipo. ^{[ 6 ]} Por ejemplo, el estereotipo de la minoría modelo que presenta a los estadounidenses de origen asiático como personas muy inteligentes y con gran aptitud para las matemáticas puede ser perjudicial tanto a nivel profesional como académico. ^{[ 7 ]}

El daño representacional se produce cuando la representación de grupos específicos perpetúa estereotipos dañinos , fomentando la exclusión social y los prejuicios . Esta situación se hace especialmente evidente en la representación de grupos marginados, como personas de color , mujeres, personas LGBTQ+ y personas con discapacidad. Las representaciones mediáticas de estos grupos suelen dejar de captar su diversidad y complejidad, reduciéndolos a caricaturas unidimensionales que, en última instancia, perpetúan los prejuicios sociales. Estas representaciones sistemáticas contribuyen a perpetuar estereotipos perjudiciales y a la marginación de estos colectivos.

La denigración es la acción de criticar injustamente a individuos. Esto ocurre frecuentemente cuando se degrada a grupos sociales. ^{[ 6 ]} Por ejemplo, al buscar nombres que suenan a "negros" en comparación con nombres que suenan a "blancos", algunos sistemas de recuperación refuerzan la falsa percepción de criminalidad al mostrar anuncios de empresas de fianzas. ^{[ 8 ]} Un sistema puede modificar la representación de un grupo, haciéndolo parecer de menor estatus social , lo que a menudo resulta en el desprecio de la sociedad. ^{[ 6 ]}

Las investigaciones muestran que las representaciones peligrosas en los medios pueden tener impactos emocionales y sociales sustanciales tanto en individuos como en comunidades. Lawrence Bobo examinó el problema del estereotipo étnico en el cine, la televisión y el marketing. A los afroamericanos se les suelen asignar roles definidos por características como " tendencias violentas ", " pereza " o ser "solo para características de satisfacción". Si bien estas representaciones pueden parecer variadas externamente, siguen reforzando los marcos subyacentes de predominio blanco y desigualdad racial. ^{[ 9 ]} Por ejemplo, las personas negras son frecuentemente representadas como delincuentes o en roles secundarios, lo que contribuye al apoyo del estereotipo étnico y el racismo institucional .

El reconocimiento erróneo, o reconocimiento incorrecto , puede manifestarse de muchas formas, incluyendo, entre otras, la eliminación y alienación de grupos sociales y la negación del derecho a la autoidentificación. ^{[ 6 ]} La eliminación y alienación de grupos sociales implica la visibilidad desigual de ciertos grupos sociales; específicamente, la inelegibilidad sistemática en los sistemas algorítmicos perpetúa la desigualdad al contribuir a la subrepresentación de grupos sociales. ^{[ 6 ]} No permitir que las personas se autoidentifiquen está estrechamente relacionado, ya que las identidades de las personas pueden ser "eliminadas" o "alienadas" en estos algoritmos. El reconocimiento erróneo causa más que un daño superficial a las personas: el daño psicológico , el aislamiento social y la inseguridad emocional pueden surgir de esta subcategoría de daño representacional. ^{[ 6 ]}

A medida que se han comprendido mejor los peligros del daño representacional, algunos investigadores han desarrollado métodos para medir dicho daño en los algoritmos.

Modelar los estereotipos es una forma de identificar el daño representacional. Los estereotipos representacionales se pueden cuantificar comparando los resultados predichos para un grupo social con los resultados reales observados para ese grupo en datos reales. ^{[ 3 ]} Por ejemplo, si los individuos del grupo A logran un resultado con una probabilidad del 60%, se observaría estereotipo si se predijera que los individuos lograrían ese resultado con una probabilidad mayor al 60%. ^{[ 3 ]} El grupo modeló los estereotipos en el contexto de problemas de clasificación , regresión y agrupamiento , y desarrolló un conjunto de reglas para determinar cuantitativamente si las predicciones del modelo exhiben estereotipos en cada uno de estos casos.

Otros intentos de medir los daños representacionales se han centrado en aplicaciones de algoritmos en dominios específicos, como la generación de subtítulos de imágenes , el acto de un algoritmo que genera una breve descripción de una imagen. En un estudio sobre la generación de subtítulos de imágenes, los investigadores midieron cinco tipos de daño representacional. Para cuantificar los estereotipos, midieron el número de palabras incorrectas incluidas en el subtítulo de la imagen generado por el modelo en comparación con un subtítulo de referencia . ^{[ 4 ]} Revisaron manualmente cada una de las palabras incorrectas incluidas, determinando si la palabra incorrecta reflejaba un estereotipo asociado con la imagen o si era un error no relacionado, lo que les permitió tener una medida indirecta de la cantidad de estereotipos que se producen en esta generación de subtítulos. ^{[ 4 ]} Estos investigadores también intentaron medir el daño representacional degradante. Para medir esto, analizaron la frecuencia con la que se mencionaba a los humanos en la imagen en el subtítulo generado. Se planteó la hipótesis de que si los individuos no se mencionaban en el subtítulo, entonces esto era una forma de deshumanización . ^{[ 4 ]}

Uno de los ejemplos más notorios de daño representacional fue cometido por Google en 2015 cuando un algoritmo de Google Fotos clasificó a personas negras como gorilas. ^{[ 10 ]} Los desarrolladores de Google dijeron que el problema se debió a que no había suficientes rostros de personas negras en el conjunto de datos de entrenamiento para que el algoritmo aprendiera la diferencia entre personas negras y gorilas. ^{[ 11 ]} Google emitió una disculpa y solucionó el problema bloqueando que sus algoritmos clasificaran cualquier cosa como un primate. ^{[ 11 ]} En 2023, el algoritmo de fotos de Google todavía tenía bloqueado el reconocimiento de gorilas en las fotos. ^{[ 11 ]}

Otro ejemplo frecuente de daño representacional es la posibilidad de que se codifiquen estereotipos en las incrustaciones de palabras , que se entrenan utilizando una amplia gama de textos. Estas incrustaciones de palabras son la representación de una palabra como una matriz de números en el espacio vectorial , lo que permite a una persona calcular las relaciones y similitudes entre palabras. ^{[ 12 ]} Sin embargo, estudios recientes han demostrado que estas incrustaciones de palabras pueden codificar estereotipos dañinos, como el ejemplo común de que la frase " programador informático " a menudo está más relacionada con "hombre" que con "mujer" en el espacio vectorial. ^{[ 13 ]} Esto podría interpretarse como una representación errónea de la programación informática como una profesión mejor desempeñada por hombres, lo que sería un ejemplo de daño representacional.

Las iniciativas para minimizar el daño a la representación incluyen la promoción de representaciones más inclusivas y precisas de los grupos marginados en los medios de comunicación. Académicos y activistas sugieren que la forma de reducir el daño a la representación radica en dar mayor voz a quienes están detrás y delante de las cámaras. Cuando los grupos marginados tienen la oportunidad de representarse a sí mismos, pueden cuestionar los estereotipos tradicionales y presentar sus experiencias de forma más auténtica.

En los últimos años, se han logrado avances en los esfuerzos por aumentar la representación de personas de color, mujeres y personas LGBTQ+ en los medios de comunicación convencionales. Películas como Selma , dirigida por Ava DuVernay , y series de televisión como Pose , creada por Ryan Murphy , han sido ampliamente aclamadas por sus representaciones matizadas y respetuosas de comunidades marginadas. Estas obras exploran personalidades complejas y narran historias que trascienden los estereotipos simplistas.

La autorrepresentación es otro método crucial para abordar el daño causado por la representación. Al capacitar a las comunidades marginadas para que cuenten sus propias historias, los creadores de contenido pueden reducir eficazmente la perpetuación de estereotipos dañinos. Este proceso implica tanto la producción de contenido audiovisual por parte de miembros de estas comunidades como el cuestionamiento proactivo de las estructuras mediáticas tradicionales que históricamente las han excluido.