Nvidia DGX

Los servidores DGX-1 cuentan con 8 GPU basadas en tarjetas hijas Pascal o Volta ^{[ 1 ]} con 128 GB de memoria HBM2 total, conectadas por una red de malla NVLink . ^{[ 2 ]} El DGX-1 se anunció el 6 de abril de 2016. ^{[ 3 ]} Todos los modelos se basan en una configuración de doble socket de CPU Intel Xeon E5 y están equipados con las siguientes características. 

• 512  GB de DDR4-2133
• Red dual de 10  Gb
• 4 unidades SSD  de 1,92 TB
• Capacidad de suministro de energía combinada de 3200 W
• Chasis para montaje en rack de 3U

La línea de productos está diseñada para cerrar la brecha entre las GPU y los aceleradores de IA utilizando características específicas para cargas de trabajo de aprendizaje profundo. ^{[ 4 ]} El DGX-1 inicial basado en Pascal ofrecía 170 teraflops de procesamiento de precisión media , ^{[ 5 ]} mientras que la actualización basada en Volta aumentó esto a 960 teraflops . ^{[ 6 ]}

La DGX-1 estuvo disponible inicialmente solo en la configuración basada en Pascal, con el zócalo SXM de primera generación. La revisión posterior de la DGX-1 ofreció compatibilidad con las tarjetas Volta de primera generación a través del zócalo SXM-2. Nvidia ofreció kits de actualización que permitieron a los usuarios con una DGX-1 basada en Pascal actualizar a una DGX-1 basada en Volta. ^{[ 7 ] [ 8 ]}

• El DGX-1 basado en Pascal tiene dos variantes, una con un procesador Intel Xeon E5-2698 V3 de 16 núcleos y otra con un procesador E5-2698 V4 de 20 núcleos. El precio de la variante equipada con un E5-2698 V4 no está disponible; el DGX-1 basado en Pascal con un E5-2698 V3 tenía un precio de lanzamiento de 129 000 dólares ^{[ 9 ].}
• El DGX-1 basado en Volta está equipado con un E5-2698 V4 y su precio de lanzamiento fue de 149.000 dólares. ^{[ 9 ]}

Diseñada como una supercomputadora de IA de escritorio lista para usar, la DGX Station es una computadora de torre que puede funcionar de forma completamente independiente sin la infraestructura típica de un centro de datos, como refrigeración, alimentación redundante o racks de 19 pulgadas .

La estación DGX estuvo disponible inicialmente con las siguientes especificaciones. ^{[ 10 ]}

• Cuatro aceleradores Tesla V100 basados ​​en Volta, cada uno con 16  GB de memoria HBM2.
• 480 TFLOPS FP16
• Un solo Intel Xeon E5-2698 v4 ^{[ 11 ]}
• 256  GB DDR4
•  4 unidades SSD de 1,92 TB
• Ethernet dual de 10  Gb

La estación DGX cuenta con refrigeración líquida para gestionar mejor el calor de los casi 1500 W de componentes del sistema, lo que le permite mantener un nivel de ruido inferior a 35  dB bajo carga. ^{[ 12 ]} Esta característica, entre otras, convirtió a este sistema en una opción atractiva para clientes sin la infraestructura necesaria para ejecutar sistemas DGX de montaje en rack , que pueden ser ruidosos, generar mucho calor y ocupar un gran espacio. Esta fue la primera incursión de Nvidia en la informática de alto rendimiento para el escritorio, una estrategia de marketing que desde entonces se ha mantenido como una de las más importantes de la compañía. ^{[ 13 ]}

La Nvidia DGX-2, sucesora de la DGX-1, utiliza dieciséis  tarjetas V100 de 32 GB (segunda generación) basadas en Volta en una sola unidad. Fue anunciada el 27 de marzo de 2018. ^{[ 14 ]} La DGX-2 ofrece 2 petaflops con 512  GB de memoria compartida para manejar conjuntos de datos masivos y utiliza NVSwitch para la comunicación interna de alto ancho de banda. La DGX-2 tiene un total de 512  GB de memoria HBM2  , un total de 1,5 TB de DDR4 . También incluye ocho tarjetas InfiniBand de  100 Gbit/s y 30,72 TB de almacenamiento SSD, ^{[ 15 ]} todo ello alojado en un enorme chasis de montaje en rack de 10U y con un consumo de hasta 10 kW bajo carga máxima. ^{[ 16 ]} El precio inicial de la DGX-2 fue de 399.000 dólares. ^{[ 17 ]}  

El DGX-2 se diferencia de otros modelos DGX en que contiene dos tarjetas hijas GPU independientes, cada una con ocho GPU. Estas tarjetas están conectadas por un sistema NVSwitch que permite una comunicación de ancho de banda completo entre todas las GPU del sistema, sin latencia adicional entre las tarjetas. ^{[ 16 ]}

También se ofreció una variante de mayor rendimiento del DGX-2, el DGX-2H. El DGX-2H reemplazó los dos procesadores Intel Xeon Platinum 8168 del DGX-2 por dos procesadores Intel Xeon Platinum 8174 mejorados. Esta mejora no aumenta el número de núcleos por sistema, ya que ambas CPU son de 24 núcleos, ni habilita nuevas funciones del sistema, pero sí aumenta la frecuencia base de las CPU de 2,7  GHz a 3,1  GHz. ^{[ 18 ] [ 19 ] [ 20 ]}

Anunciado y lanzado el 14 de mayo de 2020. El DGX A100 fue la tercera generación del servidor DGX, que incluye 8 aceleradores A100 basados ​​en Ampere . ^{[ 21 ]} También incluye 15  TB de almacenamiento NVMe PCIe gen 4 , ^{[ 22 ]} 1 TB de RAM y ocho NIC InfiniBand ConnectX-6 HDR de 200 GB/s con tecnología Mellanox . El DGX A100 tiene una carcasa mucho más pequeña que su predecesor, el DGX-2, ocupando solo 6 unidades de rack. ^{[ 23 ]}  

El DGX A100 también pasó a utilizar una CPU AMD EPYC 7742 de 64 núcleos, siendo el primer servidor DGX que no se construyó con una CPU Intel Xeon. El precio inicial del servidor DGX A100 fue de 199.000 dólares. ^{[ 21 ]}

Como sucesora de la DGX Station original, la DGX Station A100, busca llenar el mismo nicho que la DGX Station al ser una solución de clúster en una caja silenciosa, eficiente y lista para usar que puede ser comprada, arrendada o alquilada por pequeñas empresas o particulares que deseen utilizar el aprendizaje automático. Sigue muchas de las decisiones de diseño de la DGX Station original, como la orientación de torre, la placa base de CPU de un solo socket , un nuevo sistema de refrigeración basado en refrigerante y un número reducido de aceleradores en comparación con la DGX A100 de montaje en rack correspondiente de la misma generación. ^{[ 13 ]} El precio para la DGX Station A100 320G es de $149,000 y $99,000 para el modelo de 160G, Nvidia también ofrece el alquiler de Station por ~US$9000 por mes a través de socios en EE. UU. (rentacomputer.com) y Europa (iRent IT Systems) para ayudar a reducir los costos de implementación de estos sistemas a pequeña escala. ^{[ 24 ] [ 25 ]}

La estación DGX A100 viene con dos configuraciones diferentes del módulo A100 integrado.

• Cuatro aceleradores A100 basados ​​en Ampere, configurados con 40  GB (HBM) u 80  GB (HBM2e) de memoria, lo que da un total de 160  GB o 320  GB, dando como resultado las variantes DGX Station A100 de 160G o 320G.
• 2,5 PFLOPS FP16
• Procesador AMD EPYC 7742 de 64 núcleos.
• 512  GB DDR4
• 1 unidad NVMe  de 1,92 TB para el sistema operativo
• 1 unidad  NVMe U.2 de 7,68 TB
• Ethernet de doble puerto de 10  Gb
•  Puerto BMC de 1 Gb único

Anunciado el 22 de marzo de 2022 ^{[ 26 ]} y previsto para su lanzamiento en el tercer trimestre de 2022, ^{[ 27 ]} el DGX H100 es la cuarta generación de servidores DGX, construido con 8 aceleradores H100 basados ​​en Hopper , para un total de 32 PFLOPs de computación de IA FP8 y 640  GB de memoria HBM3, una mejora con respecto a la memoria HBM2 de 640 GB del DGX A100. Esta mejora también aumenta el ancho de banda de VRAM a 3  TB/s. ^{[ 28 ]} El DGX H100 aumenta el tamaño de montaje en rack a 8U para acomodar el TDP de 700 W de cada tarjeta H100 SXM. El DGX H100 también tiene dos  SSD de 1,92 TB para almacenamiento del sistema operativo y 30,72  TB de almacenamiento de estado sólido para datos de aplicaciones.

Otra adición destacable es la presencia de dos DPU Nvidia Bluefield 3 ^{[ 29 ]} y la actualización a InfiniBand de 400 Gbit/s mediante NIC Mellanox ConnectX-7 , el doble del ancho de banda del DGX A100. El DGX H100 utiliza nuevas tarjetas 'Cedar Fever', cada una con cuatro controladores ConnectX-7 de 400 GB/s, y dos tarjetas por sistema. Esto proporciona al DGX H100 un ancho de banda de tejido de 3,2 Tbit/s a través de Infiniband. ^{[ 30 ]}   

El DGX H100 tiene dos CPU Xeon Platinum 8480C Scalable (nombre en clave Sapphire Rapids ) ^{[ 31 ]} y 2 terabytes de memoria del sistema . ^{[ 32 ]}

El precio de lanzamiento del DGX H100 fue de 379.000 libras esterlinas o aproximadamente 482.000 dólares estadounidenses. ^{[ 33 ]}

Anunciado en mayo de 2023, el DGX GH200 conecta 32 Nvidia Hopper Superchips en un único superchip, que consta de un total de 256 GPU H100, 32 CPU Grace Neoverse V2 de 72 núcleos, 32 VPI OSFT ConnectX-7 de un solo puerto con InfiniBand de 400 Gbit/s y 16 VPI BlueField-3  de doble puerto con Mellanox de 200 Gbit/s. . Nvidia DGX GH200 está diseñado para manejar modelos de clase terabyte para sistemas de recomendación masivos, IA generativa y análisis de grafos, ofreciendo 19,5  TB de memoria compartida con escalabilidad lineal para modelos de IA gigantes. ^{[ 34 ]}

Presentado en mayo de 2023, el superordenador DGX Helios cuenta con cuatro sistemas DGX GH200. Cada uno está interconectado mediante la red Nvidia Quantum-2 InfiniBand para optimizar el rendimiento de datos en el entrenamiento de grandes modelos de IA. Helios incluye 1024 GPU H100.

Anunciado en marzo de 2024, ^{[ 35 ]}  GB200 NVL72 conecta 36 CPU Grace Arm Neoverse V2 de 72 núcleos y 72 GPU B200 en un diseño a escala de rack. ^{[ 36 ]} El GB200 NVL72 es una solución refrigerada por líquido a escala de rack que cuenta con un dominio NVLink de 72 GPU que actúa como una única GPU masiva. ^{[ 37 ]} Nvidia DGX GB200 ofrece 13,5  TB de memoria compartida HBM3e con escalabilidad lineal para modelos de IA gigantes, menos que su predecesor DGX GH200.

El DGX Superpod es un sistema de supercomputación llave en mano de alto rendimiento proporcionado por Nvidia que utiliza hardware DGX. ^{[ 38 ]} Combina nodos de cómputo DGX con almacenamiento rápido y redes de alto ancho de banda para ofrecer una solución a cargas de trabajo de aprendizaje automático de alta demanda. La supercomputadora Selene , en el Laboratorio Nacional Argonne , es un ejemplo de un sistema basado en DGX SuperPod.

Selene, construida a partir de 280 nodos DGX A100, ocupó el quinto lugar en la lista TOP500 de supercomputadoras más potentes al momento de su finalización en junio de 2020. ^{[ 39 ]} El nuevo SuperPod basado en Hopper puede escalar a 32 nodos DGX H100, para un total de 256 GPU H100 y 64 CPU x86. Esto le da al SuperPod completo 20  TB de memoria HBM3, 70,4  TB/s de ancho de banda de bisección y hasta 1 ExaFLOP de cómputo de IA FP8 . ^{[ 28 ]} Estos SuperPods pueden luego unirse para crear supercomputadoras más grandes.

La supercomputadora Eos, diseñada, construida y operada por Nvidia, ^{[ 40 ] [ 41 ] [ 42 ]} fue construida con 18 SuperPods basados ​​en H100, que suman un total de 576 sistemas DGX H100, 500 conmutadores Quantum-2 InfiniBand y 360 conmutadores NVLink, que permiten a Eos ofrecer 18 EFLOPs de computación FP8 y 9 EFLOPs de computación FP16, lo que convierte a Eos en la quinta supercomputadora de IA más rápida del mundo, según TOP500 (edición de noviembre de 2023).

Dado que Nvidia no fabrica ningún dispositivo ni sistema de almacenamiento, los Nvidia SuperPods dependen de socios para proporcionar almacenamiento de alto rendimiento. Los socios de almacenamiento actuales para los Nvidia SuperPods son Dell EMC , DDN , HPE , IBM , NetApp , Pavilion Data y VAST Data . ^{[ 43 ]}

En marzo de 2025, Nvidia también anunció el DGX Spark (anteriormente DIGITS), una "supercomputadora de IA de escritorio" basada en la CPU Blackwell Grace, que consta de núcleos ARM y una iGPU integrada llamada Nvidia GB10 Superchip. ^{[ 44 ]} Estas máquinas están dirigidas a investigadores y programadores de IA y tienen 128 GB de RAM integrada, lo que permite entrenar o ajustar modelos bastante grandes ("hasta 200 mil millones de parámetros" con cuantización). Varios fabricantes asociados también ofrecen versiones del DGX Spark. ^{[ 45 ] [ 46 ]}

La DGX Station es una próxima supercomputadora de IA de escritorio basada en el superchip GB300, una GPU Blackwell y una CPU Grace, que consta de 72 núcleos ARM Neoverse V2. ^{[ 47 ]} Estas máquinas están dirigidas a investigadores de IA, programadores y otros usuarios de tecnología de IA, y cuentan con 748 GB de RAM integrada, lo que permite entrenar o ajustar modelos bastante grandes ("hasta 1 billón de parámetros" con cuantización). 252 GB de estos 748 GB de memoria son memoria HBM3e conectada a la GPU Blackwell con un ancho de banda de memoria de 7,1 TB/s. Varios fabricantes asociados ofrecen versiones de la DGX Station. Las primeras entregas a una base de usuarios más amplia comenzarán en agosto de 2026, con un precio estimado entre 100.000 y 120.000 dólares (a partir de julio de 2026), dependiendo del proveedor y las opciones de almacenamiento y GPU. ^{[ 48 ] [ 49 ]}