NVLink

NVLink es un enlace de comunicaciones serial, multicanal y de corto alcance basado en cable, desarrollado por Nvidia . A diferencia de PCI Express , un dispositivo puede constar de múltiples NVLinks, y los dispositivos pueden usar redes de malla para comunicarse en lugar de un concentrador /conmutador central . El protocolo se anunció por primera vez en marzo de 2014 y utiliza una interconexión de señalización de alta velocidad (NVHS) propietaria. ^{[ 1 ]}

Para un número reducido de GPU, los carriles NVLink de un único dispositivo son suficientes para una conectividad de malla completa. Para admitir un mayor número de GPU, NVLink utiliza desde 2018 una arquitectura de conmutación de paquetes, donde un conmutador central puede gestionar hasta 32 puertos de dos carriles. El NVSwitch para NVLink 4.0 puede realizar algunos cálculos sencillos por sí mismo (por ejemplo, suma, difusión) para reducir la necesidad de comunicación gracias al acelerador "SHARP". ^{[ 2 ]}

NVLink es un sistema desarrollado por Nvidia para la transferencia de datos y código de control en sistemas de procesadores, tanto entre CPU y GPU como entre GPU. NVLink especifica una conexión punto a punto con velocidades de datos de 20, 25 y 50  Gbit/s (v1.0/v2.0/v3.0+ respectivamente) por par diferencial. En NVLink 1.0 y 2.0, ocho pares diferenciales forman un subenlace, y dos subenlaces, uno para cada dirección, forman un enlace. A partir de NVLink 3.0, solo cuatro pares diferenciales forman un subenlace. En NVLink 2.0 y versiones posteriores, la velocidad de datos total para un subenlace es de 25  GB/s, y para un enlace es de 50  GB/s. Cada GPU V100 admite hasta seis enlaces. Por lo tanto, cada GPU es capaz de admitir hasta 300  GB/s de ancho de banda bidireccional total. ^{[ 3 ] [ 4 ]} Los productos NVLink presentados hasta la fecha se centran en el espacio de aplicaciones de alto rendimiento. Anunciado el 14 de mayo de 2020, NVLink 3.0 aumenta la tasa de datos por par diferencial de 25  Gbit/s a 50  Gbit/s mientras disminuye el número de pares por NVLink de 8 a 4. Con 12 enlaces para una GPU A100 basada en Ampere  , esto lleva el ancho de banda total a 600 GB/s. ^{[ 5 ]} La microarquitectura de GPU Hopper , anunciada en marzo de 2022, tiene 18 enlaces NVLink 4.0, lo que permite un ancho de banda total de 900  GB/s. ^{[ 6 ]} Por lo tanto, NVLink 2.0, 3.0 y 4.0 tienen una  tasa de datos de 50 GB/s por enlace bidireccional y tienen 6, 12 y 18 enlaces, respectivamente.

La siguiente tabla muestra una comparación de métricas básicas basada en especificaciones estándar:

La siguiente tabla muestra una comparación de los parámetros de bus relevantes para semiconductores reales que ofrecen NVLink como una de sus opciones:

El rendimiento en el mundo real podría determinarse aplicando diferentes costos indirectos de transmisión de datos, así como tasas de uso. Estos provienen de diversas fuentes:

• Código de línea 128b/130b (véase, por ejemplo, la transmisión de datos PCI Express para las versiones 3.0 y superiores).
• Caracteres de control de enlace
• Encabezado de la transacción
• Capacidades de almacenamiento en búfer
• Uso de DMA en el lado de la computadora

Estas limitaciones físicas suelen reducir la velocidad de datos a entre el 90 y el 95 por ciento de la velocidad de transferencia. Las pruebas de rendimiento de NVLink muestran una velocidad de transferencia alcanzable de aproximadamente 35,3 Gbit/s (de host a dispositivo) para una conexión NVLink de 40 Gbit/s (enlace ascendente de 2 subcanales) hacia una GPU P100 en un sistema controlado por un conjunto de CPU IBM POWER8. ^{[ 28 ]}  

Para las distintas versiones de tarjetas enchufables (aún existe un número reducido de tarjetas GPU de gama alta para juegos y gráficos profesionales con esta característica ) que exponen conectores adicionales para unirlas en un grupo NVLink, existe un número similar de conectores de interconexión basados ​​en PCB, ligeramente diferentes y relativamente compactos. Normalmente, solo las tarjetas del mismo tipo se acoplan entre sí debido a su diseño físico y lógico. Para algunas configuraciones, se necesitan dos conectores idénticos para lograr la velocidad de datos completa. Actualmente, el conector típico tiene forma de U con un conector de borde de rejilla fina en cada uno de los extremos de la forma que se alejan del observador. El ancho del conector determina la distancia a la que deben colocarse las tarjetas enchufables de la placa base del sistema informático anfitrión; la distancia para la colocación de la tarjeta suele estar determinada por el conector correspondiente (los anchos de conector disponibles conocidos son de 3 a 5 ranuras y también dependen del tipo de placa). ^{[ 29 ] [ 30 ]} La interconexión se conoce a menudo como Interfaz de Enlace Escalable (SLI) desde 2004 por su diseño estructural y apariencia, aunque el diseño moderno basado en NVLink es de naturaleza técnica bastante diferente con características distintas en sus niveles básicos en comparación con el diseño anterior. Los dispositivos reales reportados son: ^{[ 31 ]}

• Quadro GP100 (un par de tarjetas utilizará hasta 2 puentes; ^{[ 32 ]} la configuración permite 2 o 4 conexiones NVLink con hasta 160  GB/s ^{[ 33 ]} - esto podría asemejarse a NVLink 1.0 con 20 GT/s)
• Quadro GV100 (un par de tarjetas necesitarán hasta 2 puentes y alcanzarán hasta 200  GB/s ^{[ 29 ]} - esto podría asemejarse a NVLink 2.0 con 25 GT/s y 4 enlaces)
• GeForce RTX 2080 basada en TU104 (con puente único "GeForce RTX NVLink-Bridge" ^{[ 34 ]} )
• GeForce RTX 2080 Ti basada en TU102 (con puente único "GeForce RTX NVLink-Bridge" ^{[ 30 ]} )
• GeForce RTX 3090 basada en GA102 (con el exclusivo "GeForce RTX NVLink-Bridge (para productos de la serie 30)") ^{[ 35 ]}
• Quadro RTX 5000 ^{[ 36 ]} basado en TU104 ^{[ 37 ]} (con puente único "NVLink" de hasta 50  GB/s ^{[ 38 ]} - esto podría asemejarse a NVLink 2.0 con 25 GT/s y 1 enlace)
• Quadro RTX 6000 ^{[ 36 ]} basado en TU102 ^{[ 37 ]} (con puente único "NVLink HB" de hasta 100  GB/s ^{[ 38 ]} - esto podría asemejarse a NVLink 2.0 con 25 GT/s y 2 enlaces)
• Quadro RTX 8000 ^{[ 36 ]} basado en TU102 ^{[ 39 ]} (con puente único "NVLink HB" de hasta 100  GB/s ^{[ 38 ]} - esto podría asemejarse a NVLink 2.0 con 25 GT/s y 2 enlaces)

Para las líneas de productos Tesla, Quadro y Grid, la API NVML (Nvidia Management Library API) ofrece un conjunto de funciones para controlar programáticamente algunos aspectos de las interconexiones NVLink en sistemas Windows y Linux, como la evaluación de componentes y versiones, junto con la consulta de estado/error y la monitorización del rendimiento. ^{[ 40 ]} Además, con la provisión de la biblioteca NCCL (Nvidia Collective Communications Library), los desarrolladores en el espacio público podrán realizar, por ejemplo, implementaciones potentes para inteligencia artificial y temas similares que requieren mucha computación sobre NVLink. ^{[ 41 ]} La página "Configuración 3D"  » "Configurar SLI, Surround, PhysX" en el panel de control de Nvidia y la aplicación de ejemplo CUDA "simpleP2P" utilizan dichas API para realizar sus servicios con respecto a sus características NVLink. En la plataforma Linux, la aplicación de línea de comandos con el subcomando "nvidia-smi nvlink" proporciona un conjunto similar de información y control avanzados. ^{[ 31 ]}

El 5 de abril de 2016, Nvidia anunció que NVLink se implementaría en la GPU GP100 basada en la microarquitectura Pascal , como la que se usa, por ejemplo, en los productos Nvidia Tesla P100. ^{[ 42 ]} Con la introducción de la base de computadora de alto rendimiento DGX-1 fue posible tener hasta ocho módulos P100 en un solo sistema de rack conectados a hasta dos CPU host. La placa portadora (...) permite una placa dedicada para enrutar las conexiones NVLink: cada P100 requiere 800 pines, 400 para PCIe + alimentación, y otros 400 para los NVLinks, lo que suma casi 1600 pistas de placa solo para NVLinks (...). ^{[ 43 ]} Cada CPU tiene conexión directa a 4 unidades de P100 a través de PCIe y cada P100 tiene un NVLink para cada uno de los otros 3 P100 en el mismo grupo de CPU más un NVLink adicional para un P100 en el otro grupo de CPU. Cada NVLink (interfaz de enlace) ofrece un ancho de banda bidireccional de 20  GB/s de subida y 20  GB/s de bajada, con 4 enlaces por GPU GP100, para un ancho de banda agregado de 80  GB/s de subida y otros 80  GB/s de bajada. ^{[ 44 ]} NVLink admite enrutamiento, de modo que en el diseño DGX-1, por cada P100, se puede acceder directamente a un total de 4 de las otras 7 P100 y a las 3 restantes con un solo salto. Según las descripciones en las publicaciones del blog de Nvidia, desde 2014 NVLink permite agrupar enlaces individuales para aumentar el rendimiento punto a punto, de modo que, por ejemplo, un diseño con dos P100 y todos los enlaces establecidos entre las dos unidades permitirían el ancho de banda completo de NVLink de 80  GB/s entre ellas. ^{[ 45 ]}

En GTC2017, Nvidia presentó su generación de GPU Volta e indicó la integración de una versión revisada 2.0 de NVLink que permitiría velocidades de datos de E/S totales de 300  GB/s para un solo chip en este diseño. Además, anunció la opción de pre-pedido con promesa de entrega para el tercer trimestre de 2017 de los ordenadores de alto rendimiento DGX-1 y DGX-Station, que estarán equipados con módulos GPU de tipo V100 y contarán con NVLink 2.0 implementado en red (dos grupos de cuatro módulos V100 con conectividad entre grupos) o de forma totalmente interconectada en un solo grupo de cuatro módulos V100.

En 2017-2018, IBM y Nvidia entregaron las supercomputadoras Summit y Sierra para el Departamento de Energía de los Estados Unidos ^{[ 46 ]} que combinan la familia de CPU POWER9 de IBM y la arquitectura Volta de Nvidia , utilizando NVLink 2.0 para las interconexiones CPU-GPU y GPU-GPU e InfiniBand EDR para las interconexiones del sistema. ^{[ 47 ]}

En 2020, Nvidia anunció que ya no agregará nuevos perfiles de controlador SLI en la serie RTX 2000 y anteriores a partir del 1 de enero de 2021. ^{[ 48 ]}

En 2022, se eliminó el conector NVLink de la arquitectura Ada Lovelace. El CEO de Nvidia, Jensen Huang, especificó que las E/S liberadas por su eliminación se utilizarían para capacidades de procesamiento de IA y que existía la intención de migrar al estándar PCIe Gen 5.0. ^{[ 49 ] [ 50 ] [ 51 ]} Algunos usuarios informaron que ciertas placas tenían rastros de conectores NVLink eliminados. ^{[ 52 ] [ 53 ] [ 54 ]} La tecnología NVLink sigue estando disponible para centros de datos y usuarios empresariales. ^{[ 55 ]}

En 2025, se anunció NVLink Fusion para permitir a los diseñadores de chips obtener licencias e incorporar NVLink en sus productos. ^{[ 56 ]} Posteriormente, ARM y SiFive obtuvieron licencias de NVLink Fusion para productos de centros de datos, ^{[ 57 ] [ 58 ]} y Amazon Web Services para su futuro acelerador Trainium4 . ^{[ 59 ]}

• UALink
• Interconexión Intel QuickPath
• Hipertransporte
• Interfaz de paso de mensajes
• TINTA (sistema operativo)
• Nodo de cómputo Linux
• Enlace Intel Xe