Nextflow

En Nextflow, las canalizaciones se construyen a partir de procesos individuales que trabajan en paralelo para realizar tareas computacionales. Cada proceso se define con requisitos de entrada y declaraciones de salida. En lugar de ejecutarse en una secuencia fija, un proceso comienza a ejecutarse cuando se cumplen todos sus requisitos de entrada. Al especificar la salida de un proceso como entrada de otro, se establece una conexión lógica y secuencial entre los procesos. ^{[ 13 ]}

Esta implementación reactiva es un patrón de diseño clave de Nextflow y también se conoce como el modelo de flujo de datos funcional . ^{[ 14 ]}

Los procesos y flujos de trabajo completos se programan en un lenguaje específico de dominio (DSL) proporcionado por Nextflow, basado en Apache Groovy . ^{[ 15 ]} Si bien el DSL de Nextflow se utiliza para declarar la lógica del flujo de trabajo, los desarrolladores pueden usar su lenguaje de scripting preferido dentro de un proceso y combinar varios lenguajes en un flujo de trabajo. También es posible migrar scripts y flujos de trabajo existentes a Nextflow. Los lenguajes de scripting compatibles incluyen bash, csh, ksh, Python , Ruby y R. Cualquier lenguaje de scripting que utilice la declaración shebang#!/bin/bash estándar de Unix ( ) es compatible con Nextflow.

A continuación se muestra un ejemplo de un flujo de trabajo que consta de un solo proceso:

proceso hello_world { entrada: val saludoSalida: ruta "${greeting}.txt"script: """  echo "${greeting} ¡Mundo!" > ${greeting}.txt  """ }flujo de trabajo { Canal . de ( "Hola" , "Ciao" , "Hola" , "Bonjour" ) | hello_world }

Para facilitar la colaboración en los flujos de trabajo, Nextflow ofrece soporte nativo para sistemas de gestión de código fuente y plataformas DevOps , incluyendo GitHub , GitLab y otros. ^{[ 16 ]}

El DSL de Nextflow permite implementar y ejecutar flujos de trabajo en diferentes entornos informáticos sin necesidad de modificar el código de la canalización. Nextflow incluye ejecutores específicos para diversas plataformas, incluidos los principales proveedores de nube. Admite los siguientes entornos para la ejecución de canalizaciones: ^{[ 17 ]}

• Local : Este es el ejecutor predeterminado donde se ejecutan las canalizaciones de Nextflow en Linux o Mac OS, y la ejecución se produce en el ordenador donde se inicia la canalización.
• Gestores de cargas de trabajo HPC : Nextflow admite gestores de cargas de trabajo como Slurm, SGE, LSF, Moab, PBS Pro, PBS/Torque, HTCondor, NQSII y OAR.
• Kubernetes : Nextflow se puede utilizar con implementaciones de Kubernetes locales o basadas en la nube (GKE, EKS o AKS).
• Servicios de procesamiento por lotes en la nube : Es compatible con AWS Batch ^{[ 18 ]} y Azure Batch ^{[ 19 ].}
• Otros entornos : Nextflow también se puede utilizar con Apache Ignite , Google Life Sciences y varios marcos de contenedores para la portabilidad. ^{[ 20 ]}

En Nextflow, existe una estrecha integración con los contenedores de software. Los flujos de trabajo y los procesos individuales pueden utilizar contenedores para su ejecución en diferentes entornos informáticos, eliminando la necesidad de rutinas complejas de instalación y configuración. ^{[ 4 ] [ 21 ]}

Nextflow admite marcos de contenedores como Docker, Singularity, Charliecloud, Podman y Shifter. Estos contenedores se pueden recuperar automáticamente de repositorios externos cuando se ejecuta la canalización. Además, en Nextflow Summit 2022 se reveló que las futuras versiones de Nextflow admitirán un servicio dedicado de aprovisionamiento de contenedores para una mejor integración de contenedores personalizados en los flujos de trabajo. ^{[ 22 ] [ 23 ]}

El proyecto nf-core ha sido adoptado por varias instalaciones de secuenciación , incluyendo el Centro de Regulación Genómica , ^{[ 28 ]} el Centro de Biología Cuantitativa en Tübingen , el Instituto Francis Crick , el Instituto del Genoma A*STAR de Singapur y la Infraestructura Nacional de Genómica de Suecia como su sistema de flujo de trabajo científico preferido . ^{[ 21 ]} Estas instalaciones han colaborado para compartir, armonizar y curar pipelines bioinformáticos, ^{[ 29 ] [ 30 ] [ 31 ] [ 32 ]} lo que llevó a la creación del proyecto nf-core. ^{[ 33 ]} Liderado por Phil Ewels, en la Infraestructura Nacional de Genómica de Suecia en ese momento, ^{[ 34 ] [ 35 ]} nf-core se centra en garantizar la reproducibilidad y portabilidad de pipelines en diferentes versiones de hardware, sistemas operativos y software. En julio de 2020, Nextflow y nf-core recibieron una subvención de la Iniciativa Chan Zuckerberg en reconocimiento a su importancia como software de código abierto . ^{[ 36 ]} A partir de 2024, la organización nf-core alberga 117 pipelines de Nextflow para las biociencias y más de 1382 módulos de proceso. Con más de 1200 desarrolladores y científicos involucrados, es el mayor esfuerzo colaborativo y comunidad para el desarrollo de pipelines de análisis de datos bioinformáticos. ^{[ 37 ]}

Nextflow es la herramienta preferida para procesar datos de secuenciación y realizar análisis de datos genómicos por dominio y tema de investigación. En los últimos cinco años, se han publicado numerosos flujos de trabajo para diversas aplicaciones y análisis en el campo de la genómica.

Un caso de uso notable es su papel en la vigilancia de patógenos durante la pandemia de COVID-19 . ^{[ 38 ]} El procesamiento rápido y altamente automatizado de datos brutos, el análisis de variantes y la designación de linajes fueron esenciales para monitorear la aparición de nuevas variantes de virus y rastrear su propagación global. Las canalizaciones habilitadas para Nextflow desempeñaron un papel crucial en este esfuerzo. ^{[ 39 ] [ 40 ] [ 41 ] [ 42 ] [ 43 ] [ 44 ] [ 45 ]}

Nextflow también desempeña un papel importante para el repositorio de plásmidos sin fines de lucro Addgene , utilizándolo para confirmar la integridad de todos los plásmidos depositados. ^{[ 46 ]}

Además de la genómica, Nextflow está ganando popularidad en otros dominios del procesamiento de datos biomédicos, donde se requieren flujos de trabajo complejos en grandes cantidades de datos primarios. Estos dominios incluyen la detección de fármacos , ^{[ 47 ]} la resonancia magnética de difusión (dMRI) en radiología, ^{[ 48 ]} y el procesamiento de datos de espectrometría de masas , ^{[ 49 ] [ 50 ] [ 51 ]} este último con un enfoque particular en la proteómica ^{[ 52 ] [ 53 ] [ 54 ] [ 55 ] [ 56 ] [ 57 ] [ 58 ] [ 59 ]}