Apto

Apptainer (anteriormente Singularity ) es un programa informático gratuito y de código abierto que realiza virtualización a nivel de sistema operativo, también conocida como contenerización . ^{[ 4 ]}

Uno de los principales usos de Apptainer es llevar contenedores y reproducibilidad al mundo de la computación científica y la computación de alto rendimiento (HPC). ^{[ 5 ]}

La necesidad de reproducibilidad requiere la capacidad de usar contenedores para mover aplicaciones de un sistema a otro. ^{[ 6 ]}

Mediante los contenedores Apptainer, los desarrolladores pueden trabajar en entornos reproducibles de su elección y diseño, y estos entornos completos pueden copiarse y ejecutarse fácilmente en otras plataformas. ^{[ 7 ]}

En 2021, la comunidad del proyecto de código abierto Singularity votó para cambiar su nombre a Apptainer y también pasó a formar parte de la Linux Foundation ; ^{[ 8 ]} también en 2021, la empresa Sylabs bifurcó el proyecto original Singularity y lanzó SingularityCE . ^{[ 9 ]}

Apptainer comenzó como el proyecto de código abierto Singularity en 2015, cuando un equipo de investigadores del Laboratorio Nacional Lawrence Berkeley , liderado por Gregory Kurtzer, desarrolló la versión inicial escrita en el lenguaje de programación C y la publicó ^{[ 13 ]} bajo la licencia BSD . ^{[ 14 ]}

A finales de 2016, muchos desarrolladores de diferentes centros de investigación unieron fuerzas con el equipo del Laboratorio Nacional Lawrence Berkeley para impulsar el desarrollo de Singularity. ^{[ 15 ]}

Singularity atrajo rápidamente la atención de instituciones científicas con gran capacidad de computación en todo el mundo: ^{[ 16 ]}

• El Centro de Computación para la Investigación de la Universidad de Stanford implementó Singularity en sus clústeres XStream ^{[ 17 ] [ 18 ]} y Sherlock ^{[ 19 ].}
• Los Institutos Nacionales de Salud instalaron Singularity en Biowulf, ^{[ 20 ]} su clúster Linux de más de 95 000 núcleos/30 PB ^{[ 21 ]}
• Varios sitios del Open Science Grid Consortium, incluido Fermilab, comenzaron a adoptar Singularity; ^{[ 22 ]} para abril de 2017, Singularity se había implementado en el 60% de la red Open Science Grid. ^{[ 23 ]}

Durante dos años consecutivos, en 2016 y 2017, Singularity fue reconocida por los editores de HPCwire como "Una de las cinco nuevas tecnologías a tener en cuenta". ^{[ 24 ] [ 25 ]} En 2017, Singularity también obtuvo el primer lugar en la categoría "Mejor herramienta o tecnología de programación HPC". ^{[ 25 ]}

A partir de 2018,Según los datos ingresados ​​de forma voluntaria en un registro público, se estimó que la base de usuarios de Singularity era mayor de 25 000 instalaciones ^{[ 26 ]} e incluía usuarios en instituciones académicas como la Universidad Estatal de Ohio y la Universidad Estatal de Michigan , así como en los principales centros de computación de alto rendimiento como el Centro de Computación Avanzada de Texas , el Centro de Supercomputación de San Diego y el Laboratorio Nacional de Oak Ridge .

En febrero de 2018, la empresa Sylabs ^{[ 27 ]} , fundada por el autor de Singularity, anunció ^{[ 28 ]} que proporcionaría soporte comercial para Singularity. En octubre de ese año, Sylabs lanzó la versión 3.0.0 ^{[ 29 ]} , que era una reescritura en el lenguaje de programación Go .

Apptainer puede admitir interconexiones de alto rendimiento de forma nativa, como InfiniBand ^{[ 38 ]} y la arquitectura Intel Omni-Path (OPA). ^{[ 39 ]}

De forma similar a la compatibilidad con dispositivos InfiniBand e Intel OPA, Apptainer puede admitir cualquier dispositivo conectado a PCIe dentro del nodo de cómputo, como aceleradores gráficos . ^{[ 40 ]}

Apptainer también tiene soporte nativo para la biblioteca Open MPI mediante el uso de un enfoque de contenedor MPI híbrido donde OpenMPI existe tanto dentro como fuera del contenedor. ^{[ 38 ]}

Estas características hacen que Apptainer sea cada vez más útil en áreas como el aprendizaje automático , el aprendizaje profundo y la mayoría de las cargas de trabajo intensivas en datos, donde las aplicaciones se benefician de las características de alto ancho de banda y baja latencia de estas tecnologías. ^{[ 41 ]}

Los sistemas HPC tradicionalmente ya cuentan con sistemas de gestión de recursos y planificación de tareas , por lo que los entornos de ejecución de contenedores deben integrarse en el gestor de recursos del sistema existente.

El uso de otras soluciones de contenedores empresariales como Docker en sistemas HPC requeriría modificaciones al software. ^{[ 42 ]} Los contenedores Docker se pueden convertir automáticamente en archivos Apptainer independientes que luego se pueden enviar a los administradores de recursos HPC. ^{[ 43 ]}

Apptainer se integra perfectamente con muchos gestores de recursos ^{[ 44 ],} entre ellos:

• HTCondor ^{[ 45 ]}
• Oracle Grid Engine (SGE)
• SLURM (Utilidad simple de Linux para la gestión de recursos)
• TORQUE (Administrador de recursos y colas de código abierto de Terascale)
• PBS Pro (PBS Profesional)
• HashiCorp Nomad (un orquestador de cargas de trabajo simple y flexible)
• IBM Spectrum LSF ^{[ 46 ]}

• computación en malla
• Superposición de archivos
• TOP500

• Actas de la 10ª Conferencia Internacional sobre Computación en la Nube y de Utilidad: ¿Está la tecnología de contenedores basada en singularidades preparada para ejecutar aplicaciones MPI en nubes de computación de alto rendimiento?
• Singularity prepara la versión 3.0 y se acerca al millón de contenedores atendidos diariamente.
• Dell HPC: Contenerización de aplicaciones HPC con Singularity
• Conferencia de desarrolladores de Intel HPC 2017: Introducción a la computación de alto rendimiento, contenedores HPC y Singularity.
• HPCwire revela los ganadores de los premios Readers' and Editors' Choice Awards 2017 en la conferencia SC17 en Denver: Singularity premiado en la categoría de Mejor herramienta o tecnología de programación HPC.

• Sitio web oficial
• Sylabs SingularityCE
• Singularity@HPCng en Wayback Machine (archivado el 29/11/2021)
• Versión original de Singularity en GitHub hasta la v3.8.7 del 16 de marzo de 2022 (incluye versiones C anteriores a la 3.0).
  • Sylabs SingularityCE en GitHub. Bifurcación de Sylabs a partir de la versión original v3.7.3 el 10 de mayo de 2021.
  • Apptainer en GitHub Linux Foundation bifurcación con nuevo versionado desde 0.1.0 el 10 de diciembre de 2021