Titán (supercomputadora)

Titan u OLCF-3 fue una supercomputadora construida por Cray en el Laboratorio Nacional de Oak Ridge para su uso en diversos proyectos científicos. Titan fue una actualización de Jaguar , una supercomputadora anterior en Oak Ridge, que utiliza unidades de procesamiento gráfico (GPU) además de unidades centrales de procesamiento (CPU) convencionales. Titan fue la primera de estas computadoras híbridas en alcanzar más de 10 petaFLOPS . La actualización comenzó en octubre de 2011, las pruebas de estabilidad se iniciaron en octubre de 2012 y estuvo disponible para los investigadores a principios de 2013. El costo inicial de la actualización fue de 60 millones de dólares estadounidenses , financiados principalmente por el Departamento de Energía de los Estados Unidos . 

Titan fue eclipsado en Oak Ridge por Summit en 2019, que fue construido por IBM y cuenta con menos nodos con una capacidad de GPU mucho mayor por nodo, así como almacenamiento en caché local no volátil por nodo de datos de archivos del sistema de archivos paralelo del sistema . ^{[ 2 ]}

Titan empleó procesadores AMD Opteron junto con GPU Nvidia Tesla para mejorar la eficiencia energética y, al mismo tiempo, ofrecer un aumento de un orden de magnitud en la potencia de cálculo con respecto a Jaguar. Utilizaba 18.688  procesadores con un número igual de GPU para alcanzar un rendimiento teórico máximo de 27  petaFLOPS; en la prueba de rendimiento LINPACK , utilizada para clasificar la velocidad de las supercomputadoras, alcanzó los 17,59  petaFLOPS. Esto le bastó para ocupar el primer puesto en la lista TOP500 de noviembre de 2012 , pero Tianhe-2 la superó en la lista de junio de 2013.

Titan estaba disponible para cualquier propósito científico; el acceso dependía de la importancia del proyecto y su potencial para aprovechar la arquitectura híbrida. Los programas seleccionados debían ser ejecutables en otras supercomputadoras para evitar la dependencia exclusiva de Titan. Se seleccionaron inicialmente seis programas de vanguardia, que trataban principalmente sobre física a escala molecular o modelos climáticos , mientras que otros 25 se encontraban en la cola de espera. La inclusión de GPU obligó a los autores a modificar sus programas. Estas modificaciones generalmente aumentaban el grado de paralelismo , dado que las GPU ofrecen muchos más hilos simultáneos que las CPU . Estos cambios a menudo resultaban en un mayor rendimiento incluso en máquinas con solo CPU.

Los planes para crear una supercomputadora capaz de 20 petaFLOPS en el Oak Ridge Leadership Computing Facility (OLCF) en el Oak Ridge National Laboratory (ORNL) se originaron ya en 2005, cuando se construyó Jaguar. ^{[ 3 ]} Titan será reemplazada por un  sistema de aproximadamente 200 petaFLOPS en 2016 como parte del plan de ORNL para operar una máquina de exaescala (1000  petaFLOPS a 1  exaFLOPS) para 2020. ^{[ 3 ] [ 4 ] [ 5 ]} El plan inicial de construir un nuevo edificio de 15 000 metros  cuadrados  (160 000 ^pies²  ) para Titan, fue descartado en favor de utilizar la infraestructura existente de Jaguar. ^{[ 6 ]} La arquitectura precisa del sistema no se finalizó hasta 2010, aunque en 2009 se firmó un acuerdo con Nvidia para el suministro de las GPU. ^{[ 7 ]} Titan se anunció por primera vez en la conferencia privada ACM/IEEE Supercomputing Conference (SC10) el 16 de noviembre de 2010, y se anunció públicamente el 11 de octubre de 2011, cuando comenzó la primera fase de la actualización de Titan. ^{[ 4 ] [ 8 ]}

Jaguar había recibido varias actualizaciones desde su creación. Comenzó con la plataforma Cray XT3 que producía 25 teraFLOPS. ^{[ 9 ]} Para 2008, Jaguar se había ampliado con más gabinetes y se actualizó a la plataforma XT4 , alcanzando 263 teraFLOPS. ^{[ 9 ]} En 2009, se actualizó a la plataforma XT5 , alcanzando 1,4 petaFLOPS. ^{[ 9 ]} Sus actualizaciones finales llevaron a Jaguar a 1,76 petaFLOPS. ^{[ 10 ]}

Titan fue financiado principalmente por el Departamento de Energía de los Estados Unidos a través de ORNL. La financiación fue suficiente para comprar las CPU, pero no todas las GPU, por lo que la Administración Nacional Oceánica y Atmosférica acordó financiar los nodos restantes a cambio de tiempo de computación. ^{[ 11 ] [ 12 ]} El jefe de computación científica de ORNL, Jeff Nichols, señaló que Titan costó aproximadamente 60  millones de dólares por adelantado, de los cuales la contribución de la NOAA fue inferior a 10  millones de dólares, pero las cifras exactas estaban cubiertas por acuerdos de confidencialidad. ^{[ 11 ] [ 13 ]} El plazo total del contrato con Cray incluía 97  millones de dólares, sin incluir posibles actualizaciones. ^{[ 13 ]}

La conversión, que duró un año, comenzó el 9 de octubre de 2011. ^{[ 14 ] [ 15 ]} Entre octubre y diciembre, 96 de los 200 gabinetes de Jaguar, cada uno con 24 blades XT5 (dos CPU de 6 núcleos por nodo, cuatro nodos por blade), se actualizaron a blades XK7 (una CPU de 16 núcleos por nodo, cuatro nodos por blade) mientras que el resto de la máquina permaneció en uso. ^{[ 14 ]} En diciembre, la computación se trasladó a los 96 gabinetes XK7 mientras que los 104 gabinetes restantes se actualizaron a blades XK7. ^{[ 14 ]} La conexión ESnet externa de ORNL se actualizó de 10 Gbit/s a 100 Gbit/s y se actualizó la interconexión del sistema (la red a través de la cual las CPU se comunican entre sí). ^{[ 14 ] [ 16 ]} El diseño Seastar utilizado en Jaguar se actualizó a la interconexión Gemini utilizada en Titan que conecta los nodos en una red de interconexión de toro 3D directa . ^{[ 17 ]} Gemini utiliza control de flujo de agujero de gusano internamente. ^{[ 17 ]} La memoria del sistema se duplicó a 584 TiB . ^{[ 15 ]} 960 de los nodos XK7 (10 gabinetes) se equiparon con una GPU basada en Fermi ya que las GPU Kepler no estaban disponibles en ese momento; estos 960 nodos se denominaron TitanDev y se utilizaron para probar el código. ^{[ 14 ] [ 15 ]} Esta primera fase de la actualización aumentó el rendimiento máximo de Jaguar a 3,3 petaFLOPS. ^{[ 15 ]} A partir del 13 de septiembre de 2012, se instalaron GPU Nvidia K20X en todas las blades de cómputo XK7 de Jaguar, incluidos los 960 nodos TitanDev. ^{[ 14 ] [ 18 ] [ 19 ]} En octubre, la tarea se completó y la computadora finalmente fue renombrada como Titan. ^{[ 14 ]}       

En marzo de 2013, Nvidia lanzó la GTX Titan , una tarjeta gráfica para consumidores que utiliza el mismo chip de GPU que las GPU K20X en Titan. ^{[ 20 ]} Titan se sometió a pruebas de aceptación a principios de 2013 pero solo completó el 92% de las pruebas, por debajo del 95% requerido. ^{[ 14 ] [ 21 ]} Se descubrió que el problema era un exceso de oro en los conectores de borde hembra de las ranuras PCIe de las placas base que causaban grietas en la soldadura de las placas base. ^{[ 22 ]} El costo de la reparación fue asumido por Cray y entre 12 y 16 gabinetes fueron reparados cada semana. ^{[ 22 ]} Durante las reparaciones, los usuarios tuvieron acceso a las CPU disponibles. ^{[ 22 ]} El 11 de marzo, obtuvieron acceso a 8972 GPU. ^{[ 23 ]} ORNL anunció el 8 de abril que las reparaciones estaban completas ^{[ 24 ]} y la finalización de la prueba de aceptación se anunció el 11 de junio de 2013. ^{[ 25 ]} 

El hardware de Titan tiene un rendimiento máximo teórico de 27 petaFLOPS con software "perfecto". ^{[ 26 ]} El 12 de noviembre de 2012, la organización TOP500, que clasifica las supercomputadoras del mundo por rendimiento LINPACK , clasificó a Titan en primer lugar con 17,59 petaFLOPS, desplazando a IBM Sequoia . ^{[ 27 ] [ 28 ]} Titan también ocupó el tercer lugar en Green500 , las mismas 500 supercomputadoras clasificadas en términos de eficiencia energética. ^{[ 29 ]} En la clasificación TOP500 de junio de 2013, Titan cayó al segundo lugar detrás de Tianhe-2 y al vigésimo noveno en la lista Green500. ^{[ 30 ] [ 31 ]} Titan no volvió a realizar la prueba para la clasificación de junio de 2013, ^{[ 30 ]} porque aún habría ocupado el segundo lugar, con 27 petaFLOPS. ^{[ 32 ]}   

Titan utiliza los 200 gabinetes de Jaguar, que cubren 404 metros  cuadrados  (4352  pies ^cuadrados ), con componentes internos reemplazados y redes mejoradas. ^{[ 33 ] [ 34 ]} La reutilización de los sistemas de energía y refrigeración de Jaguar ahorró aproximadamente 20 millones de dólares. ^{[ 35 ]} La energía se suministra a cada gabinete en trifásica de 480 V. Esto requiere cables más delgados que el estándar estadounidense de 208 V, ahorrando 1 millón de dólares en cobre. ^{[ 36 ]} En su pico, Titan consume 8,2 MW , ^{[ 37 ]} 1,2 MW más que Jaguar, pero funciona casi diez veces más rápido en términos de cálculos de punto flotante . ^{[ 33 ] [ 36 ]} En caso de una falla de energía, el almacenamiento de energía de volante de fibra de carbono puede mantener la infraestructura de red y almacenamiento funcionando hasta por 16 segundos. ^{[ 38 ]} Después de 2 segundos sin energía, los generadores diésel se encienden, tardando aproximadamente 7 segundos en alcanzar la potencia máxima. Pueden proporcionar energía indefinidamente. ^{[ 38 ]} Los generadores están diseñados únicamente para mantener alimentados los componentes de red y almacenamiento, de modo que un reinicio sea mucho más rápido; los generadores no son capaces de alimentar la infraestructura de procesamiento. ^{[ 38 ]}        

Titan tiene 18.688  nodos (4 nodos por blade, 24 blades por gabinete), ^{[ 39 ]} cada uno con una CPU AMD Opteron 6274 de 16 núcleos con 32 GB de memoria DDR3 ECC y una GPU Nvidia Tesla K20X con 6 GB de memoria GDDR5 ECC. ^{[ 40 ]} Hay un total de 299.008 núcleos de procesador y un total de 693,6 TiB de RAM de CPU y GPU. ^{[ 36 ]}   

 Inicialmente, Titan utilizó 10 PB de almacenamiento Lustre de Jaguar con una velocidad de transferencia de 240  GB/s, ^{[ 36 ] [ 41 ]} pero en abril de 2013, el almacenamiento se actualizó a 40  PB con una tasa de transferencia de 1,4  TB/s. ^{[ 42 ]} Se seleccionaron GPU por su eficiencia de procesamiento paralelo mucho mayor que la de las CPU. ^{[ 40 ]} Aunque las GPU tienen una velocidad de reloj más lenta que las CPU, cada GPU contiene 2688 núcleos CUDA a 732 MHz , ^{[ 43 ]} lo que resulta en un sistema general más rápido. ^{[ 34 ] [ 44 ]} En consecuencia, los núcleos de las CPU se utilizan para asignar tareas a las GPU en lugar de procesar directamente los datos como en las supercomputadoras convencionales. ^{[ 40 ]} 

Titan ejecuta el entorno Cray Linux , una versión completa de Linux en los nodos de inicio de sesión a los que los usuarios acceden directamente, pero una versión más pequeña y eficiente en los nodos de cómputo. ^{[ 45 ]}

Los componentes de Titan se enfrían por aire mediante disipadores de calor , pero el aire se enfría antes de ser bombeado a través de los gabinetes. ^{[ 46 ]} El ruido del ventilador es tan fuerte que se requiere protección auditiva para las personas que pasan más de 15 minutos en la sala de máquinas. ^{[ 47 ]} El sistema tiene una capacidad de refrigeración de 23,2 MW (6600 toneladas) y funciona enfriando agua a 5,5 °C (41,9 °F) , que a su vez enfría el aire recirculado. ^{[ 46 ]}  

Los investigadores también tienen acceso a EVEREST (Exploratory Visualization Environment for Research and Technology) para comprender mejor los datos que genera Titan. EVEREST es una sala de visualización con una pantalla de 10 x 3 metros (32,8 x 9,8 pies) y una pantalla secundaria más pequeña. Las pantallas tienen 37 y 33 megapíxeles respectivamente, con capacidad 3D estereoscópica . ^{[ 48 ]}  

En 2009, el Oak Ridge Leadership Computing Facility, que administra Titan, redujo las cincuenta solicitudes para el primer uso de la supercomputadora a seis códigos "vanguardistas" elegidos por la importancia de la investigación y por su capacidad para utilizar plenamente el sistema. ^{[ 34 ] [ 49 ]} Los seis proyectos vanguardistas que usarían Titan fueron:

• S3D , un proyecto que modela la física molecular de la combustión, tiene como objetivo mejorar la eficiencia de los motores diésel y de biocombustibles . En 2009, utilizando Jaguar, produjo la primera simulación completamente resuelta de llamas de hidrocarburos autoignitables relevantes para la eficiencia de los motores diésel de inyección directa . ^{[ 49 ]}
• WL-LSMS simula las interacciones entre electrones y átomos en materiales magnéticos a temperaturas distintas del cero absoluto . Una versión anterior del código fue la primera en alcanzar un rendimiento superior a un petaFLOPS en Jaguar. ^{[ 49 ]}
• Denovo simula reacciones nucleares con el objetivo de mejorar la eficiencia y reducir los residuos de los reactores nucleares . ^{[ 34 ]} El rendimiento de Denovo en máquinas convencionales basadas en CPU se duplicó después de los ajustes para Titan y funciona 3,5 veces más rápido en Titan que en Jaguar. ^{[ 49 ] [ 50 ]}
• El simulador masivamente paralelo de átomos/moléculas a gran escala ( LAMMPS ) es un código de dinámica molecular que simula partículas en un rango de escalas, desde cuántica hasta relativista , para mejorar la ciencia de los materiales con posibles aplicaciones en el desarrollo de semiconductores , biomoléculas y polímeros . ^{[ 51 ]}
• CAM-SE es una combinación de dos códigos: Community Atmosphere Model , un modelo atmosférico global, y High Order Method Modeling Environment , un código que resuelve ecuaciones de fluidos y termodinámicas. CAM-SE permitirá una mayor precisión en las simulaciones climáticas. ^{[ 49 ]}
• La difusión de radiación en no equilibrio ( NRDF ) traza partículas no cargadas a través de supernovas con aplicaciones potenciales en fusión láser , dinámica de fluidos , imágenes médicas , reactores nucleares, almacenamiento de energía y combustión. ^{[ 49 ]} Su código Chimera utiliza cientos de ecuaciones diferenciales parciales para rastrear la energía, el ángulo, el ángulo de dispersión y el tipo de cada neutrino modelado en una estrella que se convierte en supernova , lo que resulta en millones de ecuaciones individuales. ^{[ 52 ]} El código fue nombrado Chimera en honor a la criatura mitológica porque tiene tres "cabezas": la primera simula la hidrodinámica del material estelar , la segunda simula el transporte de radiación y la tercera simula la combustión nuclear . ^{[ 52 ]}
• Bonsai es un código de árbol gravitacional para simulación de n cuerpos . Se utilizó para la nominación al premio Gordon Bell de 2014 por simular la Vía Láctea estrella por estrella, con 200 mil millones de estrellas. En esta aplicación, la computadora alcanzó una velocidad sostenida de 24,773 petaflops. ^{[ 53 ]}
• VERA es una simulación de reactor de agua ligera desarrollada en el Consorcio para la Simulación Avanzada de Reactores de Agua Ligera (CASL) en Jaguar. VERA permite a los ingenieros monitorizar el rendimiento y el estado de cualquier parte del núcleo del reactor durante toda su vida útil para identificar puntos de interés. ^{[ 54 ]} Aunque no fue uno de los seis primeros proyectos, se planeó que VERA se ejecutara en Titan tras su optimización con la ayuda de CAAR y las pruebas realizadas en TitanDev. El científico informático Tom Evans descubrió que la adaptación a la arquitectura híbrida de Titan era más difícil que a las supercomputadoras anteriores basadas en CPU. Su objetivo era simular un ciclo completo de combustible de reactor , un proceso de entre dieciocho y treinta y seis meses, en una semana en Titan. ^{[ 54 ]}

En 2013, se planeó ejecutar treinta y un programas en Titan, normalmente cuatro o cinco a la vez. ^{[ 47 ] [ 55 ]}

El código de muchos proyectos tiene que modificarse para adaptarse al procesamiento de GPU de Titan, pero cada código debe ser ejecutable en sistemas basados ​​en CPU para que los proyectos no dependan exclusivamente de Titan. ^{[ 49 ]} OLCF formó el Centro para la Preparación Acelerada de Aplicaciones (CAAR) para ayudar con el proceso de adaptación. Realiza talleres para desarrolladores en la sede de Nvidia para educar a los usuarios sobre la arquitectura, los compiladores y las aplicaciones en Titan. ^{[ 56 ] [ 57 ]} CAAR ha estado trabajando en compiladores con Nvidia y proveedores de código para integrar directivas para GPU en sus lenguajes de programación. ^{[ 56 ]} Los investigadores pueden expresar paralelismo en su código con su lenguaje de programación existente, normalmente Fortran , C o C++ , y el compilador puede expresarlo a las GPU. ^{[ 56 ]} El Dr. Bronson Messer, astrofísico computacional , dijo sobre la tarea: "una aplicación que utiliza Titan al máximo también debe encontrar una manera de mantener ocupada la GPU, recordando en todo momento que la GPU es rápida, pero menos flexible que la CPU". ^{[ 56 ]} Moab Cluster Suite se utiliza para priorizar trabajos en los nodos para mantener una alta utilización; mejoró la eficiencia del 70% a aproximadamente el 95% en el software probado. ^{[ 58 ] [ 59 ]} Algunos proyectos encontraron que los cambios aumentaron la eficiencia de su código en máquinas sin GPU; el rendimiento de Denovo se duplicó en máquinas basadas en CPU. ^{[ 49 ]}

La cantidad de modificación de código necesaria para ejecutarse en las GPU varía según el proyecto. Según el Dr. Messer de NRDF , solo un pequeño porcentaje de su código se ejecuta en GPU porque los cálculos son relativamente simples pero se procesan repetidamente y en paralelo. ^{[ 60 ]} NRDF está escrito en CUDA Fortran , una versión de Fortran con extensiones CUDA para las GPU. ^{[ 60 ]} El tercer "cabezal" de Chimera fue el primero en ejecutarse en las GPU, ya que la combustión nuclear se podía simular más fácilmente con la arquitectura de GPU. Se planeó modificar otros aspectos del código con el tiempo. ^{[ 52 ]} En Jaguar, el proyecto modeló 14 o 15 especies nucleares , pero Messer anticipó simular hasta 200 especies, lo que permitiría una precisión mucho mayor al comparar la simulación con la observación empírica. ^{[ 52 ]}

• Jaguar (supercomputadora) – OLCF-2
• Summit (supercomputadora) – OLCF-4
• Centro de Computación para el Liderazgo de Oak Ridge

• Contenido multimedia relacionado con Titan (supercomputadora) en Wikimedia Commons.
• Sitio web oficial
• "GeForce GTX Titan" . Nvidia . Archivado del original el 24 de febrero de 2013. Consultado el 26 de marzo de 2013 .