Premio Netflix

El premio Netflix fue una competición abierta para encontrar el mejor algoritmo de filtrado colaborativo para predecir las valoraciones de los usuarios de películas , basándose en valoraciones anteriores sin ninguna otra información sobre los usuarios o las películas, es decir, sin que los usuarios fueran identificados salvo por los números asignados para el concurso.

El concurso fue organizado por Netflix , un servicio de transmisión de video, y estaba abierto a cualquier persona que no estuviera relacionada con Netflix (empleados actuales y anteriores, agentes, familiares cercanos de empleados de Netflix, etc.) ni residiera en ciertos países bloqueados (como Cuba o Corea del Norte). ^{[ 1 ]} El 21 de septiembre de 2009, el gran premio de US$1.000.000 fue otorgado al equipo Pragmatic Chaos de BellKor, que superó el algoritmo de Netflix para predecir las calificaciones en un 10,06 %. ^{[ 2 ]}

Netflix proporcionó un conjunto de datos de entrenamiento de 100.480.507 calificaciones que 480.189 usuarios dieron a 17.770 películas. Cada calificación de entrenamiento es un cuádruple de la forma <user, movie, date of grade, grade>. Los campos de usuario y película son identificadores enteros , mientras que las calificaciones van de 1 a 5 estrellas ( enteras ). ^{[ 3 ]}

El conjunto de datos de calificación contiene más de 2.817.131 tripletes de la forma <user, movie, date of grade>, con calificaciones conocidas solo por el jurado. El algoritmo de un equipo participante debe predecir calificaciones en todo el conjunto de calificación, pero se les informa la puntuación de solo la mitad de los datos: un conjunto de cuestionario de 1.408.342 calificaciones. La otra mitad es el conjunto de prueba de 1.408.789, y el rendimiento en este es utilizado por el jurado para determinar los posibles ganadores del premio. Solo los jueces saben qué calificaciones están en el conjunto de cuestionario y cuáles están en el conjunto de prueba; esta disposición está diseñada para dificultar el ascenso de colina en el conjunto de prueba. Las predicciones enviadas se califican en comparación con las calificaciones reales en forma de error cuadrático medio (RMSE), y el objetivo es reducir este error tanto como sea posible. Tenga en cuenta que, si bien las calificaciones reales son números enteros en el rango de 1 a 5, las predicciones enviadas no tienen por qué serlo. Netflix también identificó un subconjunto de prueba de 1.408.395 calificaciones dentro del conjunto de datos de entrenamiento . Los conjuntos de datos de prueba , cuestionario y evaluación se eligieron para que tuvieran propiedades estadísticas similares.

En resumen, los datos utilizados en el Premio Netflix son los siguientes:

• Conjunto de entrenamiento (99.072.112 calificaciones sin incluir el conjunto de prueba; 100.480.507 incluyendo el conjunto de prueba)
  • Conjunto de sondas (1.408.395 valoraciones)
• Conjunto de clasificación (2.817.131 valoraciones) compuesto por:
  • Conjunto de prueba (1.408.789 valoraciones), utilizado para determinar a los ganadores.
  • Conjunto de cuestionarios (1.408.342 valoraciones), utilizado para calcular las puntuaciones de la clasificación.

Para cada película, el título y el año de estreno se proporcionan en un conjunto de datos separado. No se proporciona ninguna información sobre los usuarios. Para proteger la privacidad de los clientes, "algunos de los datos de calificación de algunos clientes en los conjuntos de entrenamiento y calificación se han alterado deliberadamente de una o más de las siguientes maneras: eliminando calificaciones; insertando calificaciones y fechas alternativas; y modificando las fechas de las calificaciones". ^{[ 2 ]}

El conjunto de entrenamiento se construyó de tal manera que el usuario promedio calificó más de 200 películas, y la película promedio fue calificada por más de 5000 usuarios. Pero existe una gran variabilidad en los datos: algunas películas en el conjunto de entrenamiento tienen tan solo 3 calificaciones, ^{[ 4 ]} mientras que un usuario calificó más de 17 000 películas. ^{[ 5 ]}

Hubo cierta controversia en cuanto a la elección del RMSE como métrica definitoria. Se ha afirmado que incluso una mejora tan pequeña como el 1% de RMSE produce una diferencia significativa en la clasificación de las 10 películas más recomendadas para un usuario. ^{[ 6 ]}

Los premios se basaban en la mejora respecto al algoritmo propio de Netflix, llamado Cinematch , o en la puntuación del año anterior si un equipo había mejorado más allá de un cierto umbral. Un algoritmo trivial que predice para cada película del concurso su calificación promedio a partir de los datos de entrenamiento produce un RMSE de 1,0540. Cinematch utiliza " modelos lineales estadísticos sencillos con mucho condicionamiento de datos". ^{[ 7 ]} El rendimiento de Cinematch se había estancado en 2006. ^{[ 8 ]}

Utilizando únicamente los datos de entrenamiento, Cinematch obtiene un RMSE de 0,9514 en los datos del cuestionario, lo que representa una mejora aproximada del 10 % con respecto al algoritmo trivial. Cinematch tiene un rendimiento similar en el conjunto de prueba, 0,9525. Para ganar el gran premio de 1.000.000 de dólares, un equipo participante debía mejorar este resultado en un 10 % adicional, alcanzando 0,8572 en el conjunto de prueba. ^{[ 2 ]} Dicha mejora en el conjunto del cuestionario corresponde a un RMSE de 0,8563.

Mientras ningún equipo ganara el gran premio, se otorgaba anualmente un premio de progreso de 50 000 dólares al mejor resultado obtenido hasta la fecha. Sin embargo, para ganar este premio, un algoritmo debía mejorar el RMSE del conjunto de preguntas en al menos un 1 % con respecto al ganador del premio de progreso anterior (o con respecto a Cinematch, el primer año). Si ninguna propuesta tenía éxito, el premio de progreso no se otorgaba ese año.

Para ganar un premio menor o el gran premio, un participante debía proporcionar el código fuente y una descripción del algoritmo al jurado en el plazo de una semana tras ser contactado por este. Tras la verificación, el ganador también debía otorgar una licencia no exclusiva a Netflix. Netflix publicaría únicamente la descripción del sistema, no el código fuente. (Para mantener en secreto su algoritmo y código fuente, un equipo podía optar por no reclamar el premio). El jurado también mantenía sus predicciones en secreto para los demás participantes. Un equipo podía enviar tantos intentos de predicción de calificaciones como deseara. Inicialmente, las presentaciones estaban limitadas a una vez por semana, pero el intervalo se modificó rápidamente a una vez al día. La mejor presentación de un equipo hasta el momento se consideraba su presentación actual.

Una vez que uno de los equipos lograba mejorar el RMSE en un 10 % o más, el jurado emitía una última convocatoria , otorgando a todos los equipos 30 días para enviar sus propuestas. Solo entonces, al equipo con la mejor propuesta se le solicitaba la descripción del algoritmo, el código fuente y la licencia no exclusiva, y, tras una verificación exitosa, se le declaraba ganador del gran premio.

El concurso duraría hasta que se anunciara al ganador del gran premio. Si nadie hubiera ganado el gran premio, habría durado al menos cinco años (hasta el 2 de octubre de 2011). Después de esa fecha, el concurso podría haberse cancelado en cualquier momento a discreción exclusiva de Netflix.

La competición comenzó el 2 de octubre de 2006. Para el 8 de octubre, un equipo llamado WXYZConsulting ya había superado los resultados de Cinematch. ^{[ 9 ]}

Para el 15 de octubre, había tres equipos que habían superado a Cinematch, uno de ellos por un 1,06%, suficiente para optar al premio anual al progreso. ^{[ 10 ]} Para junio de 2007, más de 20 000 equipos se habían inscrito en la competición procedentes de más de 150 países. 2000 equipos habían enviado más de 13 000 conjuntos de predicciones. ^{[ 3 ]}

Durante el primer año de la competición, un puñado de favoritos intercambiaron el primer puesto. Los más destacados fueron: ^{[ 11 ]}

• WXYZConsulting, un equipo formado por Wei Xu y Yi Zhang. (Uno de los favoritos durante noviembre y diciembre de 2006).
• ML@UToronto A, un equipo de la Universidad de Toronto liderado por el profesor Geoffrey Hinton . (Uno de los favoritos durante parte de octubre-diciembre de 2006).
• Gravity, un equipo de cuatro científicos de la Universidad Tecnológica de Budapest (uno de los favoritos entre enero y mayo de 2007).
• BellKor, un grupo de científicos de AT&T Labs . (Uno de los favoritos desde mayo de 2007).
• Dinosaur Planet, un equipo formado por tres estudiantes de la Universidad de Princeton . (Lideró la competencia el 3 de septiembre de 2007 durante una hora antes de que BellKor recuperara el liderato).

Los algoritmos utilizados por los equipos líderes solían ser un conjunto de descomposición en valores singulares , k-vecinos más cercanos , redes neuronales , etc. ^{[ 12 ] [ 13 ]}

El 12 de agosto de 2007, numerosos participantes se reunieron en la Copa y Taller KDD 2007, celebrada en San José, California . ^{[ 14 ]} Durante el taller, los cuatro equipos mejor clasificados en ese momento presentaron sus técnicas. El equipo de IBM Research —Yan Liu, Saharon Rosset, Claudia Perlich y Zhenzhen Kou— obtuvo el tercer lugar en la Tarea 1 y el primer lugar en la Tarea 2.

Durante el segundo año de la competición, solo tres equipos alcanzaron la primera posición:

• BellKor, un grupo de científicos de AT&T Labs (favorito entre mayo de 2007 y septiembre de 2008).
• BigChaos, un equipo de científicos austriacos de Commendo Research & Consulting (líder indiscutible desde octubre de 2008).
• BellKor en BigChaos, un equipo conjunto de los dos equipos individuales líderes (uno de los favoritos desde septiembre de 2008).

Al concluir la competencia, Netflix anunció una secuela planeada. Esta presentaría a los concursantes datos demográficos y de comportamiento, incluyendo la edad, el género, el código postal, las calificaciones de género y las películas elegidas previamente por los arrendatarios, pero no las calificaciones. La tarea consistía en predecir qué películas les gustarían a esas personas. No habría un objetivo de precisión específico para ganar el premio. En cambio, se otorgarían $500,000 al equipo que liderara después de 6 meses, y otros $500,000 al líder después de 18 meses. ^{[ 30 ]}

El 12 de marzo de 2010, Netflix anunció que no celebraría un segundo concurso del Premio que había anunciado el agosto anterior. La decisión se debió a una demanda y a las preocupaciones de la Comisión Federal de Comercio sobre la privacidad. ^{[ 34 ]} Algunos participantes, como Volinsky, expresaron su decepción por la cancelación. ^{[ 13 ]}

• Crowdsourcing
• Innovación abierta
• concurso de innovación
• Concurso de premios de incentivo
• Kaggle
• Lista de premios de informática

• Sitio web oficial
• Premio Netflix en RecSysWiki
• Kate Greene (6 de octubre de 2006). "El reto de Netflix de 1 millón de dólares" . Technology Review .
• Bell, R.; Bennett, J.; Koren, Y.; Volinsky, C. (mayo de 2009). "El premio de programación de un millón de dólares". IEEE Spectrum . 46 (5): 28– 33. doi : 10.1109/MSPEC.2009.4907383 . ISSN 0018-9235 . 
• Desanonimización robusta de grandes conjuntos de datos dispersos por Arvind Narayanan y Vitaly Shmatikov
• Robert M. Bell, Yehuda Koren y Chris Volinsky (2010), "Todos juntos ahora: Una perspectiva sobre el PREMIO NETFLIX", Chance , 23 (1): 24, doi : 10.1007/s00144-010-0005-2
• Andrey Feuerverger; Yu He y Shashi Khatri (2012), "Significación estadística del desafío de Netflix", Statistical Science , 27 (2): 202–231 , arXiv : 1207.5649 , doi : 10.1214/11-STS368 , S2CID 43556443 
• El premio de 1 millón de dólares de Netflix: Netflix nunca utilizó su algoritmo de 1 millón de dólares debido a los costos de ingeniería (2009) - Saint. Archivado el 30 de enero de 2019 en Wayback Machine.