Barrera de precisión

La barrera de precisión es un concepto en los sistemas de recomendación que se refiere a los límites en la utilidad práctica de las métricas de evaluación basadas en la precisión. Describe la observación de que las mejoras en las medidas de precisión offline , como el error de predicción o la precisión de la clasificación , no necesariamente conducen a una mejor experiencia de usuario o rendimiento del sistema en el mundo real. El concepto está estrechamente relacionado con discusiones anteriores sobre una barrera mágica , que atribuyen tales límites a la variabilidad natural en el comportamiento y la retroalimentación del usuario. ^{[ 1 ]}

El término barrera mágica fue acuñado por Herlocker et al. para describir un límite hipotético en la precisión de las recomendaciones causado por la variabilidad natural en las calificaciones de los usuarios, basándose en observaciones de que diferentes algoritmos a menudo convergen a niveles de precisión similares cuando se evalúan sin conexión. ^{[ 2 ]} En la literatura posterior, este límite se ha discutido en términos de sus implicaciones para la evaluación basada en la precisión, a menudo denominada barrera de precisión. Said et al. proporcionaron una caracterización matemática de este límite en términos de ruido de calificación y minimización del riesgo empírico , enmarcándolo como un límite inferior en la precisión de predicción alcanzable para los sistemas de recomendación. ^{[ 3 ]}

Los estudios de usuarios han demostrado que las personas suelen proporcionar calificaciones inconsistentes cuando se les pide que evalúen los mismos elementos en diferentes momentos. Esta variabilidad introduce ruido en los conjuntos de datos de los sistemas de recomendación e impone un límite inferior a la precisión de predicción alcanzable. Como resultado, las métricas de evaluación offline pueden converger incluso cuando los algoritmos de recomendación difieren en diseño o complejidad. ^{[ 4 ] [ 5 ]}

La barrera de la precisión ha influido en las prácticas de evaluación de los sistemas de recomendación, impulsando la investigación más allá de la optimización centrada en la precisión. Ha contribuido a una mayor atención a los criterios de evaluación conductuales y centrados en el usuario, así como a la cautela ante la sobreinterpretación de pequeñas mejoras en los puntos de referencia de precisión offline. ^{[ 6 ]}

• Sistemas de recomendación
• Personalización
• Modelado de usuarios