IBM Blue Gene

El nombre Blue Gene proviene de su propósito original: ayudar a los biólogos a comprender los procesos de plegamiento de proteínas y desarrollo genético . ^{[ 15 ]} "Blue" es un nombre tradicional que IBM utiliza para muchos de sus productos y para la propia empresa . El diseño original de Blue Gene se renombró como "Blue Gene/C" y, finalmente, como Cyclops64 . La "L" en Blue Gene/L proviene de "Light" (luz), ya que el nombre original de ese diseño era "Blue Light" (luz azul). La versión "P" se diseñó para ser un diseño de petaescala . "Q" es simplemente la letra que sigue a "P". ^{[ 16 ]}

La supercomputadora Blue Gene/L fue única en los siguientes aspectos: ^{[ 17 ]}

• Se priorizó un menor consumo de energía sobre la velocidad de los procesadores. Blue Gene/L utilizó núcleos PowerPC integrados de baja frecuencia y bajo consumo con aceleradores de punto flotante. Si bien el rendimiento de cada chip era relativamente bajo, el sistema podía lograr una mayor eficiencia energética para aplicaciones que requerían un gran número de nodos.
• Dos procesadores por nodo con dos modos de funcionamiento: modo coprocesador, donde un procesador se encarga de los cálculos y el otro de la comunicación; y modo nodo virtual, donde ambos procesadores están disponibles para ejecutar código de usuario, pero comparten tanto la carga de cálculo como la de comunicación.
• Diseño de sistema en un chip. Los componentes se integraron en un único chip para cada nodo, con la excepción de 512  MB de DRAM externa.
• Un gran número de nodos (escalable en incrementos de 1024 hasta al menos 65.536).
• Interconexión de toroide tridimensional con redes auxiliares para comunicaciones globales (difusión y reducciones), E/S y gestión.
• Sistema operativo ligero por nodo para minimizar la sobrecarga del sistema (ruido del sistema).

La arquitectura Blue Gene/L fue una evolución de las arquitecturas QCDSP y QCDOC . Cada nodo de computación o E/S de Blue Gene/L era un ASIC único con chips de memoria DRAM asociados . El ASIC integraba dos procesadores embebidos PowerPC 440  de 700 MHz , cada uno con una unidad de punto flotante (FPU) de doble canalización y doble precisión , un subsistema de caché con controlador DRAM integrado y la lógica para admitir múltiples subsistemas de comunicación. Las dos FPU proporcionaban a cada nodo Blue Gene/L un rendimiento máximo teórico de 5,6 GFLOPS (gigaFLOPS) . Las dos CPU no eran coherentes en caché entre sí. 

Los nodos de cómputo se empaquetaron de dos en dos por tarjeta de cómputo, con 16 tarjetas de cómputo (es decir, 32 nodos) más hasta 2 nodos de E/S por placa de nodo. Un gabinete/rack contenía 32 placas de nodo. ^{[ 18 ]} Gracias a la integración de todos los subsistemas esenciales en un solo chip y al uso de lógica de bajo consumo, cada nodo de cómputo o de E/S disipaba aproximadamente 17 vatios (incluidas las DRAM). El bajo consumo por nodo permitió un empaquetado agresivo de hasta 1024 nodos de cómputo, más nodos de E/S adicionales, en un rack estándar de 19 pulgadas , dentro de límites razonables en la fuente de alimentación eléctrica y la refrigeración por aire. Las métricas de rendimiento del sistema, en términos de FLOPS por vatio , FLOPS por m² ^de superficie y FLOPS por unidad de coste, permitieron escalar hasta un rendimiento muy alto. Con tantos nodos, los fallos de los componentes eran inevitables. El sistema fue capaz de aislar eléctricamente los componentes defectuosos, con una granularidad de hasta medio rack (512 nodos de cómputo), para permitir que la máquina siguiera funcionando.

Cada nodo Blue Gene/L estaba conectado a tres redes de comunicación paralelas: una red toroidal 3D para la comunicación punto a punto entre nodos de cómputo, una red colectiva para la comunicación colectiva (difusiones y operaciones de reducción) y una red de interrupción global para barreras rápidas . Los nodos de E/S, que ejecutan el sistema operativo Linux , proporcionaban comunicación con el almacenamiento y los hosts externos a través de una red Ethernet . Los nodos de E/S gestionaban las operaciones del sistema de archivos en nombre de los nodos de cómputo. Una red de gestión Ethernet independiente y privada proporcionaba acceso a cualquier nodo para configuración, arranque y diagnóstico.

Para permitir la ejecución simultánea de varios programas, un sistema Blue Gene/L podía dividirse en conjuntos de nodos aislados electrónicamente. El número de nodos en una partición debía ser una potencia entera positiva de 2, con al menos ^2⁵ = 32 nodos. Para ejecutar un programa en Blue Gene/L, primero se reservaba una partición del ordenador. A continuación, el programa se cargaba y ejecutaba en todos los nodos de la partición, y ningún otro programa podía acceder a los nodos mientras esta estuviera en uso. Una vez finalizada la ejecución, los nodos de la partición se liberaban para que otros programas pudieran utilizarlos.

Los nodos de cómputo Blue Gene/L utilizaban un sistema operativo mínimo que admitía un único programa de usuario. Solo se admitía un subconjunto de llamadas POSIX , y solo se podía ejecutar un proceso a la vez en un nodo en modo coprocesador, o un proceso por CPU en modo virtual. Los programadores debían implementar hilos ligeros para simular la concurrencia local. El desarrollo de aplicaciones se realizaba generalmente en C , C++ o Fortran utilizando MPI para la comunicación. Sin embargo, algunos lenguajes de scripting como Ruby ^{[ 19 ]} y Python ^{[ 20 ]} se han adaptado a los nodos de cómputo.

IBM publicó BlueMatter, la aplicación desarrollada para probar Blue Gene/L, como código abierto. ^{[ 21 ]} Esto sirve para documentar cómo las aplicaciones utilizaron el toro y las interfaces colectivas, y puede servir de base para que otros prueben la generación actual de supercomputadoras.

El diseño de Blue Gene/P representa una evolución tecnológica de Blue Gene/L. Cada chip de cómputo Blue Gene/P contiene cuatro núcleos de procesador PowerPC 450  , que funcionan a 850 MHz. Los núcleos son coherentes en caché y el chip puede operar como un multiprocesador simétrico de 4 vías (SMP). El subsistema de memoria del chip consta de pequeñas cachés L2 privadas, una  caché L3 central compartida de 8 MB y controladores de memoria DDR2 duales . El chip también integra la lógica para la comunicación entre nodos, utilizando las mismas topologías de red que Blue Gene/L, pero con más del doble de ancho de banda. Una tarjeta de cómputo contiene un chip Blue Gene/P con 2 o 4  GB de DRAM, conformando un "nodo de cómputo". Un único nodo de cómputo tiene un rendimiento máximo de 13,6  GFLOPS. Se conectan 32 tarjetas de cómputo a una placa de nodo refrigerada por aire. Un rack contiene 32 placas de nodo (por lo tanto, 1024 nodos, 4096 núcleos de procesador). ^{[ 23 ]} Al utilizar muchos chips pequeños, de bajo consumo y densamente empaquetados, Blue Gene/P superó la eficiencia energética de otras supercomputadoras de su generación, y con 371 MFLOPS/W, las instalaciones de Blue Gene/P se ubicaron en o cerca de la cima de las listas Green500 en 2007-2008. ^{[ 2 ]} 

La siguiente es una lista incompleta de instalaciones de Blue Gene/P. En noviembre de 2009, la lista TOP500 contenía 15 instalaciones de Blue Gene/P de 2 racks (2048 nodos, 8192 núcleos de procesador, 23,86 TFLOPS Linpack ) o más. ^{[ 1 ]} 

• El 12 de noviembre de 2007, la primera instalación de Blue Gene/P, JUGENE , con 16 racks (16 384 nodos, 65 536 procesadores) estaba funcionando en el Forschungszentrum Jülich en Alemania con un rendimiento de 167  TFLOPS. ^{[ 24 ]} Cuando se inauguró, era la supercomputadora más rápida de Europa y la sexta más rápida del mundo. En 2009, JUGENE se actualizó a 72 racks (73 728 nodos, 294 912 núcleos de procesador) con 144 terabytes de memoria y 6 petabytes de almacenamiento, y alcanzó un rendimiento máximo de 1 PetaFLOPS. Esta configuración incorporó nuevos intercambiadores de calor aire-agua entre los racks, lo que redujo sustancialmente el costo de refrigeración. ^{[ 25 ]} JUGENE se apagó en julio de 2012 y fue reemplazado por el sistema Blue Gene/Q JUQUEEN .
• El sistema "Intrepid" de 40 racks (40960 nodos, 163840 núcleos de procesador) del Laboratorio Nacional Argonne ocupó el puesto número 3 en la lista Top 500 de junio de 2008. ^{[ 26 ]} El sistema Intrepid es uno de los principales recursos del programa INCITE, en el que se otorgan horas de procesador a proyectos de ciencia e ingeniería de "gran desafío" en una competencia revisada por pares.
• El Laboratorio Nacional Lawrence Livermore instaló en 2009 un sistema Blue Gene/P de 36 bastidores, denominado "Dawn".
• La Universidad Rey Abdullah de Ciencia y Tecnología ( KAUST ) instaló un sistema Blue Gene/P de 16 racks, denominado " Shaheen ", en 2009.
• En 2012, se instaló un sistema Blue Gene/P de 6 racks en la Universidad Rice y será administrado conjuntamente con la Universidad de São Paulo . ^{[ 27 ]}
• Un sistema Blue Gene/P de 2,5 racks es el procesador central del proyecto LOFAR (Low Frequency Array for Radio astronomy ) en los Países Bajos y países europeos vecinos. Esta aplicación utiliza las capacidades de transmisión de datos del equipo.
• En septiembre de 2008 se instaló un sistema Blue Gene/P de 2 racks en Sofía , Bulgaria, que es operado por la Academia de Ciencias de Bulgaria y la Universidad de Sofía . ^{[ 28 ]}
• En 2010, se instaló un sistema Blue Gene/P de 2 racks (8192 núcleos) en la Universidad de Melbourne para la Iniciativa de Computación de Ciencias de la Vida de Victoria . ^{[ 29 ]}
• En 2011, se instaló un sistema Blue Gene/P de dos racks en la Universidad de Canterbury en Christchurch, Nueva Zelanda.
• En 2012, se instaló un sistema Blue Gene/P de dos racks en la Universidad de Rutgers en Piscataway, Nueva Jersey. Fue bautizado como "Excalibur" en homenaje a la mascota de Rutgers, el Caballero Escarlata. ^{[ 30 ]}
• En 2008, se instaló un sistema Blue Gene/P de 1 rack (1024 nodos) con 180 TB de almacenamiento en la Universidad de Rochester en Rochester, Nueva York . ^{[ 31 ]}
• El primer Blue Gene/P de la región de la ASEAN se instaló en 2010 en el centro de investigación de la Universidad de Brunei Darussalam , el Centro UBD-IBM . Esta instalación impulsó la colaboración en investigación entre la universidad e IBM en el ámbito de la modelización climática, que estudiará el impacto del cambio climático en la predicción de inundaciones, el rendimiento de los cultivos, las energías renovables y la salud de las selvas tropicales de la región, entre otros aspectos. ^{[ 32 ]}
• En 2013, se donó un sistema Blue Gene/P de un rack al Departamento de Ciencia y Tecnología de Filipinas para pronósticos meteorológicos, gestión de desastres, agricultura de precisión y salud. Se encuentra en el Centro Nacional de Computación de la Universidad de Filipinas Diliman , Ciudad Quezón, bajo los auspicios del Centro Central de Bioinformática (CFB) del Centro Filipino del Genoma . ^{[ 33 ]}

• Veselin Topalov , el aspirante al título de Campeón Mundial de Ajedrez en 2010, confirmó en una entrevista que había utilizado una supercomputadora Blue Gene/P durante su preparación para el encuentro. ^{[ 34 ]}
• El ordenador Blue Gene/P se ha utilizado para simular aproximadamente el uno por ciento de la corteza cerebral humana, que contiene 1.600 millones de neuronas con aproximadamente 9 billones de conexiones. ^{[ 35 ]}
• El equipo del proyecto IBM Kittyhawk ha adaptado Linux a los nodos de cómputo y ha demostrado la ejecución a gran escala de cargas de trabajo genéricas de Web 2.0 en un Blue Gene/P. Su artículo, publicado en la ACM Operating Systems Review, describe un controlador de kernel que crea un túnel Ethernet sobre la red de árbol, lo que resulta en conectividad TCP/IP de extremo a extremo . ^{[ 36 ] [ 37 ]} Al ejecutar software Linux estándar como MySQL , sus resultados de rendimiento en SpecJBB se encuentran entre los más altos registrados.
• En 2011, un equipo de la Universidad de Rutgers / IBM / Universidad de Texas conectó la instalación KAUST Shaheen con una instalación Blue Gene/P en el Centro de Investigación IBM Watson en una "nube de computación de alto rendimiento federada", ganando el desafío IEEE SCALE 2011 con una aplicación de optimización de yacimientos petrolíferos. ^{[ 38 ]}

El chip de computación Blue Gene/Q se basa en el núcleo del procesador IBM A2 de 64 bits . El núcleo del procesador A2 es multihilo simultáneo de 4 vías y se ha ampliado con una unidad de punto flotante de doble precisión de vector cuádruple SIMD (IBM QPX). Cada chip de computación Blue Gene/Q contiene 18 de estos núcleos de procesador A2, que funcionan a 1,6 GHz. Dieciséis núcleos se utilizan para la computación de aplicaciones y un decimoséptimo núcleo se utiliza para gestionar funciones de asistencia del sistema operativo, como interrupciones , E/S asíncronas , control de ritmo MPI y RAS . El decimoctavo núcleo es una reserva de fabricación redundante , utilizada para aumentar el rendimiento. El núcleo de reserva se desactiva antes del funcionamiento del sistema. Los núcleos del procesador del chip están conectados mediante un conmutador de barra transversal a una caché L2 eDRAM de 32 MB , que funciona a la mitad de la velocidad del núcleo. La caché L2 es multiversión, compatible con memoria transaccional y ejecución especulativa , y cuenta con soporte de hardware para operaciones atómicas . ^{[ 39 ]} Los fallos de caché L2 son gestionados por dos controladores de memoria DDR3 integrados que funcionan a 1,33 GHz. El chip también integra lógica para comunicaciones entre chips en una configuración de toroide 5D, con enlaces entre chips de 2 GB/s. El chip Blue Gene/Q se fabrica con el proceso SOI de cobre de IBM a 45 nm. Ofrece un rendimiento máximo de 204,8 GFLOPS con un consumo aproximado de 55 vatios. El chip mide 19 × 19 mm (359,5 mm²) y consta de 1470 millones de transistores. Para completar el nodo de cómputo, el chip se monta en una tarjeta de cómputo junto con 16 GB de DRAM DDR3 (es decir, 1 GB para cada núcleo de procesador de usuario). ^{[ 40 ]}           

Un "cajón de cómputo" Q32 ^{[ 41 ]} contiene 32 nodos de cómputo, cada uno refrigerado por agua. ^{[ 42 ]} Un "plano medio" (caja) contiene 16 cajones de cómputo Q32 para un total de 512 nodos de cómputo, interconectados eléctricamente en una configuración de toroide 5D (4x4x4x4x2). Más allá del nivel del plano medio, todas las conexiones son ópticas. Los racks tienen dos planos medios, por lo tanto 32 cajones de cómputo, para un total de 1024 nodos de cómputo, 16 384 núcleos de usuario y 16 TB de RAM. ^{[ 42 ]}

Los cajones de E/S independientes, ubicados en la parte superior de un rack o en un rack separado, se enfrían por aire y contienen 8 tarjetas de procesamiento y 8 ranuras de expansión PCIe para redes InfiniBand o Ethernet de 10 Gigabit . ^{[ 42 ]}

En el momento del anuncio del sistema Blue Gene/Q en noviembre de 2011, ^{[ 43 ]} un sistema Blue Gene/Q inicial de 4 racks (4096 nodos, 65536 núcleos de procesador de usuario) alcanzó el puesto n.° 17 en la lista TOP500 ^{[ 1 ]} con 677,1 TeraFLOPS Linpack, superando la instalación original de BlueGene/L de 104 racks de 2007 descrita anteriormente. El mismo sistema de 4 racks alcanzó la primera posición en la lista Graph500 ^{[ 3 ]} con más de 250 GTEPS (giga aristas recorridas por segundo ). Los sistemas Blue Gene/Q también encabezaron la lista Green500 de supercomputadoras más eficientes energéticamente con hasta 2,1 GFLOPS/W . ^{[ 2 ]} 

En junio de 2012, las instalaciones de Blue Gene/Q ocuparon los primeros puestos en las tres listas: TOP500 , ^{[ 1 ]} Graph500 ^{[ 3 ]} y Green500 . ^{[ 2 ]}

La siguiente es una lista incompleta de instalaciones de Blue Gene/Q. En junio de 2012, la lista TOP500 contenía 20 instalaciones de Blue Gene/Q de 1/2 rack (512 nodos, 8192 núcleos de procesador, 86,35  TFLOPS Linpack) y mayores. ^{[ 1 ]} Con una eficiencia energética (independiente del tamaño) de aproximadamente 2,1 GFLOPS/W, todos estos sistemas también ocuparon los primeros puestos de la lista Green 500 de junio de 2012. ^{[ 2 ]}

• Un sistema Blue Gene/Q llamado Sequoia fue entregado al Laboratorio Nacional Lawrence Livermore (LLNL) a partir de 2011 y se desplegó completamente en junio de 2012. Forma parte del Programa Avanzado de Simulación y Computación que ejecuta simulaciones nucleares e investigación científica avanzada. Consta de 96 racks (que comprenden 98.304 nodos de cómputo con 1,6 millones de núcleos de procesador y 1,6 PB de memoria) que cubren un área de aproximadamente 3.000 pies cuadrados (280 ^m² ) . [ ^{44 ] En} junio de 2012, el sistema fue clasificado como la supercomputadora más rápida del mundo. ^{[ 45 ] [ 46 ]} con un pico de 20,1 PFLOPS , 16,32 PFLOPS sostenidos (Linpack), consumiendo hasta 7,9 megavatios de potencia. ^{[ 1 ]} En junio de 2013, su rendimiento se registró en 17,17 PFLOPS sostenidos (Linpack). ^{[ 1 ]}     
• En 2012 , se instaló en el Laboratorio Nacional Argonne, en el Centro de Computación de Liderazgo de Argonne, un sistema Blue Gene/Q de 10 PFLOPS (pico) llamado Mira . Consta de 48 racks (49 152 nodos de cómputo) con 70 PB de almacenamiento en disco ( ancho de banda de E/S de 470 GB/s). ^{[ 47 ] [ 48 ]}  
• JUQUEEN en el Forschungzentrum Jülich es un sistema Blue Gene/Q de 28 racks, y fue desde junio de 2013 hasta noviembre de 2015 la máquina mejor clasificada en Europa en el Top500. ^{[ 1 ]}
• Vulcan en el Laboratorio Nacional Lawrence Livermore (LLNL) es un sistema Blue Gene/Q de 24 racks y 5  PFLOPS (pico) que se puso en funcionamiento en 2012 y se desmanteló en 2019. ^{[ 49 ]} Vulcan prestó servicios a proyectos de laboratorio e industria a través del Centro de Innovación de Computación de Alto Rendimiento (HPC) de Livermore ^{[ 50 ]} así como a colaboraciones académicas en apoyo de las misiones del Departamento de Energía (DOE) y la Administración Nacional de Seguridad Nuclear (NNSA). ^{[ 51 ]}
• Fermi en el centro de supercomputación CINECA , Bolonia, Italia, ^{[ 52 ]} es un sistema Blue Gene/Q de 10 racks y 2  PFLOPS (pico).
• Como parte de DiRAC , el EPCC alberga un sistema Blue Gene/Q de 6 racks (6144 nodos) en la Universidad de Edimburgo ^{[ 53 ].}
• En 2013, se instaló en el Instituto Politécnico Rensselaer un sistema Blue Gene/Q de cinco racks con hardware de computación adicional llamado AMOS . ^{[ 54 ]} El sistema tenía una potencia nominal de 1048,6 teraflops, siendo la supercomputadora más potente de cualquier universidad privada y la tercera más potente entre todas las universidades en 2014. ^{[ 55 ]}
• En junio de 2012, se instaló en la Victorian Life Sciences Computation Initiative un sistema Blue Gene/Q de 838 TFLOPS (pico) llamado Avoca . ^{[ 56 ]} Este sistema forma parte de una colaboración entre IBM y VLSCI, con el objetivo de mejorar los diagnósticos, encontrar nuevas dianas farmacológicas, refinar los tratamientos y profundizar en nuestra comprensión de las enfermedades. ^{[ 57 ]} El sistema consta de 4 racks, con 350 TB de almacenamiento, 65 536 núcleos y 64 TB de RAM. ^{[ 58 ]}  
• En julio de 2012 se instaló en la Universidad de Rochester un sistema Blue Gene/Q de 209 TFLOPS (pico). ^{[ 59 ]} Este sistema forma parte del Centro de Ciencias de la Salud para la Innovación Computacional (archivado el 19 de octubre de 2012 en Wayback Machine) , dedicado a la aplicación de la computación de alto rendimiento a programas de investigación en ciencias de la salud . El sistema consta de un único rack (1024 nodos de computación) con 400 TB de almacenamiento de alto rendimiento. ^{[ 60 ]}
• En marzo de 2013, se instaló en la EPFL  un sistema Blue Gene/Q llamado Lemanicus con un pico de 209 TFLOPS (172 TFLOPS LINPACK). ^{[ 61 ]} Este sistema pertenece al Centro de Ciencia de Modelado Avanzado CADMOS ( ^{[ 62 ]} ), que es una colaboración entre las tres principales instituciones de investigación a orillas del lago Lemán en la parte francófona de Suiza : la Universidad de Lausana , la Universidad de Ginebra y la EPFL . El sistema consta de un único rack (1024 nodos de cómputo) con 2,1 PB de almacenamiento IBM GPFS-GSS.  
• Un sistema Blue Gene/Q de medio rack, con aproximadamente 100  TFLOPS (pico), llamado Cumulus , se instaló en el Centro de Recursos Computacionales de A*STAR, Singapur, a principios de 2011. ^{[ 63 ]}

Se han ejecutado aplicaciones científicas que han batido récords en el BG/Q, el primero en superar los 10 petaflops de rendimiento sostenido. El marco de simulación cosmológica HACC alcanzó casi 14 petaflops con una ejecución de referencia de 3,6 billones de partículas, ^{[ 64 ]} mientras que el código Cardioid, ^{[ 65 ] [ 66 ]} que modela la electrofisiología del corazón humano, alcanzó casi 12 petaflops con una simulación casi en tiempo real, ambos en Sequoia . Un solucionador de flujo totalmente compresible también ha alcanzado 14,4  PFLOP/s (originalmente 11  PFLOP/s) en Sequoia, el 72 % del rendimiento máximo nominal de la máquina. ^{[ 67 ]}