Desafíos DREAM

DREAM Challenges ( Diálogo para la Evaluación y Métodos de Ingeniería Inversa ) es una iniciativa sin fines de lucro para promover la investigación biomédica y de biología de sistemas a través de concursos colaborativos . ^{[ 1 ] [ 2 ]} Iniciado en 2006, DREAM Challenges colabora con Sage Bionetworks para proporcionar una plataforma para concursos que se llevan a cabo en la plataforma Synapse . Se han realizado más de 60 DREAM Challenges a lo largo de más de 15 años. ^{[ 3 ]}

Los Desafíos DREAM fueron fundados en 2006 por Gustavo Stolovizky de IBM Research ^{[ 4 ]} y Andrea Califano de la Universidad de Columbia. El actual presidente de la organización DREAM es Paul Boutros de la Universidad de California. La organización también cuenta con los presidentes eméritos Justin Guinney y Gustavo Stolovizky , y varios directores de DREAM. ^{[ 5 ]}

Los desafíos individuales se centran en abordar una pregunta específica de investigación biomédica, generalmente limitada a una enfermedad específica. Un enfoque destacado ha sido la oncología , con múltiples desafíos anteriores centrados en el cáncer de mama , la leucemia mieloide aguda y el cáncer de próstata o enfermedades similares. ^{[ 3 ]} Los datos involucrados en un desafío individual reflejan el contexto de la enfermedad; mientras que los cánceres generalmente involucran datos como mutaciones en el genoma humano , expresión génica y redes génicas en transcriptómica y proteómica a gran escala , los desafíos más recientes se han orientado hacia tecnologías de secuenciación de células individuales , así como hacia preguntas de investigación emergentes relacionadas con el microbioma intestinal , lo que refleja las tendencias en la comunidad de investigación en general. ^{[ 6 ]}

La motivación de los desafíos DREAM es que, mediante la obtención de datos a través de la colaboración colectiva con un público más amplio mediante concursos, se consiguen mejores modelos y perspectivas que si el análisis lo realizara una sola entidad. ^{[ 7 ]} Los concursos anteriores se han publicado en foros científicos como las revistas insignia de los grupos editoriales Nature Portfolio y PLOS . ^{[ 8 ]} Los resultados de los desafíos DREAM se anuncian a través de plataformas web, y los participantes con mejor desempeño son invitados a presentar sus resultados en las conferencias anuales RECOMB / ISCB con RSG/DREAM ^{[ 9 ]} organizadas por la ISCB .

Si bien los desafíos DREAM han hecho hincapié en la ciencia y los datos abiertos , para mitigar los problemas derivados de datos altamente sensibles, como la genómica en cohortes de pacientes, se han adoptado enfoques de "modelo a datos". ^{[ 10 ]} En estos desafíos, los participantes envían sus modelos a través de contenedores como Docker o Singularity . Esto permite mantener la confidencialidad de los datos originales, ya que los organizadores ejecutan estos contenedores sobre los datos confidenciales. Esto difiere del modelo de datos abiertos más tradicional, donde los participantes envían predicciones directamente basadas en los datos abiertos proporcionados.

El desafío DREAM comprende un grupo central de la organización DREAM/ Sage Bionetworks , así como un grupo ampliado de expertos científicos, que pueden haber contribuido a la creación y concepción del desafío o proporcionando datos clave. ^{[ 11 ]} Además, la comunidad científica en general puede proponer nuevos desafíos DREAM. ^{[ 12 ]} Las compañías farmacéuticas u otras entidades privadas también pueden participar en los desafíos DREAM, por ejemplo, proporcionando datos.

Los cronogramas para las etapas clave (como los seminarios web de introducción, las fechas límite para la presentación de modelos y la fecha límite final para participar) se proporcionan con anticipación. Una vez anunciados los ganadores, los organizadores comienzan a colaborar con los participantes con mejor desempeño para realizar análisis posteriores para una publicación que describa los hallazgos clave de la competencia. ^{[ 7 ]}

Los desafíos pueden dividirse en subdesafíos, cada uno de los cuales aborda un subtema diferente dentro de la pregunta de investigación. Por ejemplo, en lo que respecta a las predicciones de la eficacia del tratamiento del cáncer, estas pueden ser predicciones separadas para la supervivencia libre de progresión , la supervivencia global , la mejor respuesta global según RECIST o el tiempo exacto hasta el evento (progresión o muerte). ^{[ 2 ]}

Durante los desafíos DREAM, los participantes suelen crear modelos con los datos proporcionados y enviar predicciones o modelos que luego son validados por los organizadores con datos reservados. Si bien los desafíos DREAM evitan filtrar los datos de validación a los participantes, generalmente se publican clasificaciones de envíos a mitad del desafío para ayudar a los participantes a evaluar su desempeño en un conjunto de datos submuestreado o aleatorizado. ^{[ 7 ]}

Los desafíos DREAM son gratuitos para los participantes. Durante la fase abierta, cualquier persona puede registrarse a través de Synapse para participar individualmente o en equipo. Cada persona solo puede registrarse una vez y no puede usar ningún alias.

Hay algunas excepciones que descalifican a un individuo para participar, por ejemplo: ^{[ 13 ]}

• Esta persona tiene acceso privilegiado a los datos para el desafío en cuestión, lo que le proporciona una ventaja injusta.
• La persona ha sido sorprendida o está bajo sospecha de hacer trampa o abusar de desafíos DREAM anteriores.
• La persona es menor de edad (menor de 18 años o de la mayoría de edad en su jurisdicción de residencia). Esto puede solucionarse con el consentimiento de los padres.

• Lista de proyectos de crowdsourcing
• Evaluación Crítica de la Anotación de Funciones (CAFA)
• Evaluación Crítica de la Interpretación del Genoma (CAGI)
• Evaluación crítica de la predicción de interacciones (CAPRI)
• Evaluación crítica de la predicción de la estructura de proteínas (CASP)
• Kaggle