Memoria de alto ancho de banda

La DRAM HBM está estrechamente acoplada al chip del procesador anfitrión mediante una interfaz distribuida. Esta interfaz se divide en canales independientes. Los canales son completamente independientes entre sí y no necesariamente están sincronizados. La DRAM HBM utiliza una arquitectura de interfaz amplia para lograr un funcionamiento de alta velocidad y bajo consumo. La DRAM HBM1 utilizaba un reloj diferencial  de 500 MHz CK_t / CK_c (donde el sufijo "_t" denota el componente "verdadero" o "positivo" del par diferencial, y "_c" el "complementario"). Los comandos se registran en los flancos ascendentes de CK_t y CK_c. Cada interfaz de canal mantenía un bus de datos de 128 bits que operaba a esta velocidad de datos doble (DDR). La HBM1 admitía velocidades de transferencia de 1 GT/s por pin (transferencia de 1 bit), lo que resultaba en un ancho de banda total del paquete de 128 GB/s. ^{[ 21 ]}     

La segunda generación de memoria de alto ancho de banda, HBM2, también especificaba hasta ocho chips por pila y duplicaba las tasas de transferencia de pines hasta 2 GT/s . Manteniendo un acceso de 1024 bits , HBM2 era capaz de alcanzar un ancho de banda de memoria de 256 GB/s por paquete. La especificación HBM2 permitía hasta 8 GB por paquete. Se preveía que HBM2 sería especialmente útil para aplicaciones de consumo sensibles al rendimiento, como la realidad virtual . ^{[ 22 ]}   

El 19 de enero de 2016, Samsung anunció la producción en masa temprana de HBM2, con hasta 8  GB por pila. ^{[ 23 ] [ 24 ]} SK  Hynix también anunció la disponibilidad de  pilas de 4 GB en agosto de 2016. ^{[ 25 ]}

• 
  chip DRAM HBM2
• 
  Controlador HBM2
• 
  El interposer HBM2 de una GPU Radeon RX Vega 64 , con los chips HBM retirados; la GPU aún está en su lugar.

A finales de 2020, Micron anunció la actualización del estándar HBM2E y, paralelamente, presentó el siguiente estándar, conocido como HBMnext (posteriormente renombrado como HBM3). Este representaba un importante salto generacional respecto a HBM2 y el reemplazo de HBM2E. Esta nueva memoria VRAM habría llegado al mercado en el cuarto trimestre de 2022. Como su nombre indica, probablemente habría introducido una nueva arquitectura.

Aunque la arquitectura podría haber sido rediseñada, las filtraciones apuntaban a un rendimiento similar al del estándar HBM2E actualizado. Es probable que esta RAM se utilizara principalmente en GPU de centros de datos . ^{[ 32 ] [ 33 ] [ 34 ] [ 35 ]}

A mediados de 2021, SK Hynix reveló algunas especificaciones del estándar HBM3, con  velocidades de E/S de 5,2 Gbit/s y un ancho de banda de 665  GB/s por paquete, así como soluciones 2.5D y 3D de hasta 16 capas de altura. ^{[ 36 ] [ 37 ]}

El 20 de octubre de 2021, antes de que se finalizara el estándar JEDEC para HBM3, SK Hynix fue el primer fabricante de memorias en anunciar que había finalizado el desarrollo de dispositivos de memoria HBM3. Según SK Hynix, la memoria habría alcanzado una velocidad de hasta 6,4  Gbit/s/pin, el doble de la velocidad de datos del estándar JEDEC HBM2E, que formalmente llegaba a un máximo de 3,2  Gbit/s/pin, o un 78 % más rápido que el propio  HBM2E de SK Hynix de 3,6 Gbit/s/pin. Los dispositivos admitían una velocidad de transferencia de datos de 6,4  Gbit/s y, por lo tanto, una sola pila HBM3 podría haber proporcionado un ancho de banda de hasta 819  GB/s. Los anchos de bus básicos para HBM3 permanecieron sin cambios, con una sola pila de memoria de 1024 bits de ancho. SK Hynix ofrecería esta memoria en dos capacidades: 16  GB y 24  GB, correspondientes a pilas de 8-Hi y 12-Hi respectivamente. Las pilas consistían en 8 o 12  DRAM de 16 Gb, cada una de 30 μm de espesor e interconectadas mediante vías pasantes de silicio (TSV). ^{[ 38 ] [ 39 ] [ 40 ]}

Según Ryan Smith de AnandTech , la memoria HBM3 de primera generación de SK Hynix tenía la misma densidad que su memoria HBM2E de última generación, lo que significa que los fabricantes de dispositivos que buscaban aumentar sus capacidades de memoria totales para sus piezas de próxima generación tendrían que usar memoria con 12 chips/capas, en lugar de las pilas de 8 capas que normalmente usaban hasta entonces. ^{[ 38 ]} Según Anton Shilov de Tom's Hardware , las GPU o FPGA de computación de alto rendimiento normalmente usaban cuatro o seis pilas HBM, por lo que con  las pilas HBM3 de 24 GB de SK Hynix obtendrían en consecuencia 3,2  TB/s o 4,9  TB/s de ancho de banda de memoria. También señaló que los chips HBM3 de SK Hynix eran cuadrados, no rectangulares como los chips HBM2 y HBM2E. ^{[ 39 ]} Según Chris Mellor de The Register , dado que JEDEC aún no había desarrollado su estándar HBM3, podría haber significado que SK Hynix hubiera tenido que adaptar su diseño a uno futuro y más rápido. ^{[ 40 ]}

JEDEC anunció oficialmente el estándar HBM3 el 27 de enero de 2022. ^{[ 8 ]} El número de canales de memoria se duplicó de 8 canales de 128 bits con HBM2e a 16 canales de 64 bits con HBM3. Por lo tanto, el número total de pines de datos de la interfaz seguía siendo 1024. ^{[ 41 ]}

En junio de 2022, SK Hynix anunció que había comenzado la producción en masa de la primera memoria HBM3 de la industria para ser utilizada con la GPU H100 de Nvidia, cuyo lanzamiento estaba previsto para el tercer trimestre de 2022. La memoria proporcionaría a la H100 un  ancho de banda de memoria de "hasta 819 GB/s". ^{[ 42 ]}

En agosto de 2022, Nvidia anunció que su GPU "Hopper" H100 se enviaría con cinco sitios HBM3 activos (de los seis integrados) que ofrecían 80  GB de RAM y  un ancho de banda de memoria de 3 TB/s (16  GB y 600  GB/s por sitio). ^{[ 43 ]}

En febrero de 2021, Samsung anunció el desarrollo de HBM con procesamiento en memoria (PIM). Esta nueva memoria incorpora capacidades de computación de IA dentro de la memoria, para aumentar el procesamiento de datos a gran escala. Un motor de IA optimizado para DRAM se ubica dentro de cada banco de memoria para permitir el procesamiento paralelo y minimizar el movimiento de datos. Samsung afirma que esto duplicará el rendimiento del sistema y reducirá el consumo de energía en más del 70 %, sin requerir cambios de hardware ni software en el resto del sistema. ^{[ 54 ]}

En julio de 2024, JEDEC anunció sus especificaciones preliminares para HBM4. ^{[ 55 ]} Redujo la velocidad de datos por pin a 6,4  Gbit/s/pin (el nivel de HBM3), pero dado que ahora utiliza una interfaz de 2048 bits por pila (el doble que las generaciones anteriores), aún logra una mayor (1,6 TB/s) ^{[ 56 ]} velocidad de datos por pila que HBM3E. También permitirá capas de 4 GB (lo que da como resultado 64 GB en configuraciones de 16 capas).

En abril de 2025, JEDEC publicó la especificación oficial de HBM4. ^{[ 9 ]} Admite velocidades de transferencia de hasta 8 Gb/s a través de una interfaz de 2048 bits, con un ancho de banda total de hasta 2 TB/s y una altura de pila de 4 a 16, con densidades de chips DRAM de 24 Gb o 32 Gb, lo que permite capacidades de hasta 64 GB. HBM4 es retrocompatible con los controladores HBM3. Samsung, Micron y SK hynix contribuyeron al estándar. ^{[ 10 ]}

La memoria apilada se comercializó inicialmente en la industria de la memoria flash . Toshiba presentó un chip de memoria flash NAND con ocho chips apilados en abril de 2007, ^{[ 57 ]} seguido por Hynix Semiconductor, que presentó un chip flash NAND con 24 chips apilados en septiembre de 2007. ^{[ 58 ]}

La memoria de acceso aleatorio (RAM) apilada en 3D que utiliza tecnología de interconexión a través del silicio (TSV) fue comercializada por Elpida Memory , que desarrolló el primer chip DRAM de 8 GB (apilado con cuatro chips DDR3 SDRAM ) en septiembre de 2009 y lo lanzó en junio de 2011. En 2011, SK Hynix presentó memoria DDR3 de 16 GB ( clase de 40 nm ) que utiliza tecnología TSV, ^{[ 3 ]} Samsung Electronics presentó memoria DDR3 apilada en 3D de 32 GB ( clase de 30 nm ) basada en TSV en septiembre, y luego Samsung y Micron Technology anunciaron la tecnología Hybrid Memory Cube (HMC) basada en TSV en octubre. ^{[ 59 ]}     

JEDEC publicó por primera vez el estándar JESD229 para memoria Wide IO, ^{[ 60 ]} el predecesor de HBM que presenta cuatro canales de 128 bits con reloj de velocidad de datos única, en diciembre de 2011 después de varios años de trabajo. El primer estándar HBM, JESD235, le siguió en octubre de 2013.

El desarrollo de la memoria de alto ancho de banda (HBM) comenzó en AMD en 2008 para resolver el problema del consumo de energía cada vez mayor y el factor de forma de la memoria de las computadoras. Durante los años siguientes, AMD desarrolló procedimientos para resolver los problemas de apilamiento de chips con un equipo liderado por Bryan Black, miembro sénior de AMD. ^{[ 61 ]} Para ayudar a AMD a hacer realidad su visión de HBM, reclutaron socios de la industria de la memoria, en particular la empresa coreana SK Hynix , ^{[ 61 ]} que tenía experiencia previa con memoria apilada en 3D, ^{[ 3 ] [ 58 ]} así como socios de la industria de interponedores (la empresa taiwanesa UMC ) y de la industria del empaquetado ( Amkor Technology y ASE ). ^{[ 61 ]}

El desarrollo de HBM se completó en 2013, cuando SK Hynix fabricó el primer chip de memoria HBM. ^{[ 3 ]} HBM fue adoptado como estándar industrial JESD235 por JEDEC en octubre de 2013, tras una propuesta de AMD y SK  Hynix en 2010. ^{[ 6 ]} La fabricación en alto volumen comenzó en una planta de Hynix en Icheon , Corea del Sur, en 2015.

La primera GPU que utilizó HBM fue la AMD Fiji, lanzada en junio de 2015, que impulsaba la AMD Radeon R9 Fury  X. ^{[ 4 ] [ 62 ] [ 63 ]}

En enero de 2016, Samsung Electronics comenzó la producción en masa temprana de HBM2. ^{[ 23 ] [ 24 ]} Ese mismo mes, JEDEC aceptó HBM2 como estándar JESD235a. ^{[ 7 ]} El primer chip GPU que utiliza HBM2 es el Nvidia Tesla P100, que se anunció oficialmente en abril de 2016. ^{[ 64 ] [ 65 ]}

En junio de 2016, Intel lanzó una familia de procesadores Xeon Phi con 8 pilas de HCDRAM, la versión de Micron de HBM. En Hot Chips en agosto de 2016, tanto Samsung como Hynix anunciaron una nueva generación de tecnologías de memoria HBM. ^{[ 66 ] [ 67 ]} Ambas compañías anunciaron productos de alto rendimiento que se esperaba que tuvieran mayor densidad, mayor ancho de banda y menor consumo de energía. Samsung también anunció una versión de HBM de menor costo en desarrollo dirigida a los mercados masivos. Eliminar el chip de búfer y disminuir el número de TSV reduce el costo, aunque a costa de un ancho de banda general menor (200  GB/s).

Los dispositivos P100 y H100 de Nvidia fueron los primeros productos en utilizar memoria HBM2 y HBM3, respectivamente; ^{[ 68 ]} El MI430X de AMD es el primer dispositivo en utilizar HBM4.