Michael Gschwind

Michael Karl Gschwind es un informático estadounidense que trabaja en Nvidia en Santa Clara, California . Es reconocido por sus contribuciones fundamentales al diseño y explotación de aceleradores programables de propósito general, por ser uno de los primeros defensores de la sostenibilidad en el diseño de computadoras y por ser un prolífico inventor . ^[1]

Gschwind dirigió la arquitectura de hardware y software para el primer acelerador programable de propósito general Accelerators y es ampliamente reconocido por sus contribuciones a la computación heterogénea como arquitecto del procesador Cell Broadband Engine utilizado en la Sony PlayStation 3 , ^{[2] [3]} y RoadRunner , la primera supercomputadora en alcanzar un funcionamiento sostenido de Petaflop. Como arquitecto jefe de arquitectura de sistemas de IBM, dirigió la integración de las GPU de Nvidia y las CPU de IBM para crear las supercomputadoras Summit y Sierra .

Gschwind fue uno de los primeros defensores de la virtualización de aceleradores ^{[4] [5]} y, como arquitecto jefe de sistemas de IBM, dirigió la virtualización de E/S y aceleradores. ^[6]

Gschwind ha tenido una influencia crítica en el desarrollo de modelos de programación de aceleradores con el desarrollo de API y mejores prácticas para la programación de aceleradores, ^{[7] [8] [9] [10] [11]} estudios de aplicaciones para una amplia gama de aplicaciones HPC ^[12] y no HPC. ^[13] y como coeditor de libros ^[14] y revistas ^[15] sobre la práctica y la experiencia de la programación de sistemas basados ​​en aceleradores.

Gschwind fue uno de los primeros defensores de la aceleración de hardware de IA con GPU y aceleradores programables. Como ingeniero jefe de IA de IBM, dirigió el desarrollo de los primeros productos de IA de IBM e inició el proyecto PowerAI, que lanzó al mercado hardware optimizado para IA (con nombre en código "Minsky") y los primeros marcos de IA optimizados para hardware preconstruidos. Estos marcos se entregaron como las primeras pilas de software de IA administradas por paquetes binarios y de libre instalación, allanando el camino para su adopción. ^[16]

En Facebook, Gschwind demostró modelos de lenguaje grande (LLM) acelerados para los aceleradores ASIC de primera generación de Facebook y para GPU, liderando las primeras implementaciones de producción de LLLM a escala para la integración que sirve para el análisis de contenido y la seguridad de la plataforma, y ​​para numerosas superficies de usuario como Facebook Assistant y FB Marketplace a partir de 2020. ^[17] Gschwind lideró el desarrollo y es uno de los arquitectos de Multiray, una plataforma basada en aceleradores para servir modelos de base y el primer sistema de producción para servir modelos de lenguaje grande a escala en la industria, atendiendo más de 800 mil millones de consultas por día en 2022. ^{[18] [19]}

Gschwind lideró la adopción de ASIC en toda la empresa ^[20] y el posterior "giro estratégico" de Facebook hacia la inferencia de GPU, implementando la inferencia de GPU a gran escala, una medida destacada por el director ejecutivo de FB, Mark Zuckerburg, en su conferencia sobre resultados. Entre los primeros modelos de recomendación implementados con la inferencia de GPU se encontraba un modelo de recomendación de video de Reels que generó un aumento del 30 % de usuarios en las dos semanas posteriores a la implementación, como informó el director ejecutivo de FB, Mark Zuckerburg, en su conferencia sobre resultados del primer trimestre de 2022 ^[21], y un posterior crecimiento de entre 3000 y 10 000 millones de dólares para REeels año tras año. ^[22]

Gschwind también dirigió la habilitación del acelerador de IA para PyTorch con un enfoque particular en la aceleración LLM, liderando el desarrollo de Accelerated Transformers ^[23] (anteriormente "Better Transformer" ^[24] ) y se asoció con empresas como HuggingFace para impulsar la aceleración LLM en toda la industria ^[25] para establecer PyTorch 2.0 como el ecosistema estándar para modelos de lenguaje grandes e IA generativa. ^{[26] [27] [28] [29]}

Posteriormente, Gschwind lideró la expansión de la aceleración LLM a los modelos de IA en el dispositivo con ExecuTorch, la solución del ecosistema PyTorch para IA en el dispositivo, lo que hizo que la IA generativa en el dispositivo fuera factible por primera vez. ^[30] La aceleración LLM de ExecuTorch (en múltiples superficies, incluidas NPU, MPS y aceleradores Qualcomm) proporcionó aceleraciones significativas que hicieron que fuera práctico implementar Llama3 sin modificaciones en servidores y en el dispositivo (demostrado en iOS, Android y Raspberry Pi 5) en el lanzamiento, y los desarrolladores informaron aceleraciones de hasta 5 a 10 veces en comparación con las soluciones de IA en el dispositivo anteriores. ^{[31] [32]}

Las múltiples contribuciones de Gschwind a las pilas y marcos de software de IA, los aceleradores de IA, la IA móvil/integrada en dispositivos y las representaciones numéricas de baja precisión en TorchChat, ^{[33] [34]} representan un hito fundamental como la primera pila de software integrada de la industria para servidores e IA en dispositivos con soporte para un amplio conjunto de aceleradores de servidor y móviles/integrados.

Gschwind es un pionero y defensor de la IA sostenible. ^[35]

Gschwind fue arquitecto jefe de diseño de hardware y arquitectura de software para varias supercomputadoras , incluidos tres sistemas de supercomputadoras de primer nivel : Roadrunner (junio de 2008 - noviembre de 2009), Sequoia (junio de 2012 - noviembre de 2012) y Summit (junio de 2018 - junio de 2020).

Roadrunner fue una supercomputadora construida por IBM para el Laboratorio Nacional de Los Álamos en Nuevo México, EE. UU. La Roadrunner, que costó 100 millones de dólares, fue diseñada para un rendimiento máximo de 1,7 petaflops . Alcanzó 1,026 petaflops el 25 de mayo de 2008, para convertirse en el primer sistema TOP500 LINPACK del mundo con 1,0 petaflops sostenidos. ^{[36] [37]} También fue la cuarta supercomputadora más eficiente energéticamente del mundo en la lista Supermicro Green500, con una tasa operativa de 444,94 megaflops por vatio de energía utilizada.

Sequoia era una supercomputadora Blue Gene/Q a escala de petabytes construida por IBM para la Administración Nacional de Seguridad Nuclear como parte del Programa de Simulación y Computación Avanzada (ASC). Fue entregada al Laboratorio Nacional Lawrence Livermore (LLNL) en 2011 y se implementó por completo en junio de 2012. ^[38] Sequoia fue desmantelada en 2020, su última posición en la lista top500.org fue la n.° 22 en la lista de noviembre de 2019.

Summit es una supercomputadora desarrollada por IBM para su uso en Oak Ridge Leadership Computing Facility (OLCF), una instalación del Laboratorio Nacional de Oak Ridge . Ocupó la posición número 1 desde noviembre de 2018 hasta junio de 2020. ^{[39] [40] Su} punto de referencia LINPACK actual tiene una velocidad de 148,6 petaFLOPS. ^[41]

Gschwind fue uno de los primeros defensores del diseño de procesadores de múltiples núcleos para superar las limitaciones de potencia y rendimiento de los diseños de un solo procesador. Gschwind fue coautor de un análisis de las limitaciones del escalado de frecuencia que posiblemente condujo a una transición en toda la industria a diseños de múltiples núcleos. ^[42] Gschwind fue un arquitecto líder de varios diseños de múltiples núcleos, incluido el primer procesador comercial de múltiples núcleos Cell con 9 núcleos, BlueGene/Q con 18 núcleos y varios procesadores empresariales y de mainframe ( POWER7 / POWER8 / POWER9 con hasta 24 núcleos; z10-z15 con hasta 12 núcleos).

Como arquitecto jefe de chips y microarquitecto jefe, Gschwind fue fundamental para el reinicio de la arquitectura POWER después del callejón sin salida de alta potencia y alta frecuencia de POWER6, liderando el resurgimiento del diseño fuera de orden estilo POWER5 con POWER7, actuando como líder de unidad y microarquitecto jefe para la unidad de búsqueda de instrucciones, decodificación y predicción de bifurcaciones (que también incluye la ejecución de instrucciones lógicas), y como líder interino para la mayoría de las otras unidades en un punto durante el diseño. En las generaciones posteriores de la arquitectura POWER, la integración del diseño VMX SIMD y FPU en VSX, el soporte little-endian en POWER8 sentó las bases para el powerlinux little-endian (usado en el prototipo Google POWER y para la integración de GPU para el sistema Minsky PowerAI), y la integración de NVLink para la integración optimizada de GPU/CPU; y soporte nativo para tablas de páginas de radix administradas por hardware estilo Linux en POWER9, utilizado en las supercomputadoras líderes mundiales Summit y Sierra Power+Nvidia; y la introducción de direccionamiento relativo a PC e instrucciones de prefijo para trascender las limitaciones de las codificaciones de instrucciones de 32 bits de las arquitecturas RISC en POWER 10.

Como director/gerente de arquitectura y arquitecto jefe multiplataforma, Gschwind también dirigió el reinicio del mainframe system z, con la introducción de la eficiencia del código compilado (con una vista particular en C, C++ y Java) en IBM z10 , ejecución fuera de orden, E/S basada en PCIe en z196 y z114 , soporte para memoria transaccional en IBM zEC12 , introducción de multihilo de hardware y arquitectura z/Vector SIMD ^[43] (incluyendo infraestructura de software compartida con VSX de Power) en IBM z13 ; y la eliminación de ESA390 para sistemas operativos ^[44] reduciendo sustancialmente la complejidad de verificación y diseño y mejorando el tiempo de comercialización en IBM z14 .

Gschwind acuñó el término "muro de confiabilidad" para referirse a los obstáculos que impiden el funcionamiento sostenido de sistemas a gran escala. Ha realizado importantes contribuciones al modelado y las mejoras de la confiabilidad a nivel de sistema, con el objetivo particular de permitir el funcionamiento sostenido de sistemas de supercomputación. Como arquitecto jefe de BlueGene/Q, dirigió el diseño de procesadores y confiabilidad a nivel de sistema, además de ser el arquitecto jefe de ISA y el líder del diseño de unidades de punto flotante vectoriales de QPU. ^{[45] [46]}

Gschwind dirigió el primer modelado de vulnerabilidades arquitectónicas a nivel de procesador y chip y el endurecimiento selectivo para lograr el MTBF objetivo, implementado por primera vez en BlueGene/Q utilizando pestillos DICE apilados para pestillos de retención de estado crítico. ^[47] Para aumentar la confiabilidad del sistema y evitar el rendimiento y el costo de energía asociados con los diseños basados ​​en ECC, Gschwind propuso y dirigió el diseño de archivos de registro y buses menores protegidos con paridad con recuperación de estado. De acuerdo con este enfoque, la detección de errores se implementa en rutas de datos que pueden ocurrir en paralelo con el inicio de operaciones de cómputo, con una operación de recuperación cuando se detecta un error suave en paralelo con la operación. Luego, la recuperación procede del estado correcto mantenido en copias alternativas del archivo de registro que se usan comúnmente para escalar el número de puertos de lectura de archivo de registro y reducir el retraso de cableado desde las lecturas de archivo de registro a las unidades de ejecución. ^[48]

Gschwind ha realizado contribuciones fundamentales a la tecnología de compiladores, con especial énfasis en las contribuciones pioneras a la compilación justo a tiempo, la optimización dinámica, la traducción binaria y los compiladores en supercomputación.

Gschwid fue uno de los primeros en proponer la compilación justo a tiempo y ha sido una fuerza impulsora en este campo. Ha propuesto mejoras críticas para la implementación de sistemas basados ​​en compilación JIT, con una visión particular de la optimización dinámica, la traducción binaria y la implementación de máquinas virtuales. Las contribuciones de Gschwind incluyen la implementación de excepciones precisas con materialización de estado diferida, ^[49] optimización de computación de alto rendimiento como la canalización de software en tiempo de traducción JIT, ^{[50] [51]} diseño conjunto de hardware/software para emulación binaria y optimización dinámica. ^{[52] [53] [54] [55]} Las contribuciones fundamentales de Gschwind al diseño e implementación de máquinas virtuales se reflejan en su condición de autor más citado en el libro de texto "Virtual Machines" de Smith y Nair. ^[56]

A Gschwind se le atribuyen contribuciones fundamentales para la compilación de aceleradores y GPU programables de propósito general, y apoyó el lanzamiento de la disciplina naciente como orador principal en el primer taller de GPU programables de propósito general (GPGPU). Sus contribuciones incluyen particionamiento de código, optimización de código, particionamiento de código y API para aceleradores. ^{[57] [58] [59] [60]}

Sus innovaciones incluyen el diseño conjunto de compilador y hardware para archivos de registro integrados para resolver problemas de ordenamiento de fases en la vectorización automática entre la asignación de unidades y las decisiones de vectorización para simplificar el modelo de costos, una innovación adoptada por los aceleradores programables de propósito general, incluidos los diseños de CPU de propósito general Cell SPU y GPU, comenzando con el trabajo pionero de Gschwind para los aceleradores de CPU SIMD.

Más recientemente, sus contribuciones a la compilación de HPC han incluido trabajo pionero para permitir la ejecución de alto rendimiento de cargas de trabajo de IA. ^{[61] [62] [63]}

Gschwind lideró el desarrollo del entorno de ejecución ELFv2 Power, que ha sido ampliamente adoptado para entornos de ejecución Power. Ventajosamente, el nuevo entorno actualiza las API y ABI para entornos orientados a objetos. Partiendo de las convenciones de datos big-endian de la arquitectura Power tradicional, la ABI y las API ELFv2 se lanzaron primero para admitir una nueva versión little-endian de Linux en Power. Desde entonces, esto se ha adoptado para todas las versiones de Linux en servidores Power y para admitir la aceleración de GPU con GPU Nvidia, por ejemplo, en los servidores optimizados para IA Minsky y las supercomputadoras Summit y Sierra. ^{[64] [65] [66]}

Gschwind es un pionero de la arquitectura de vector paralelo SIMD para aumentar la cantidad de operaciones que se pueden realizar por ciclo. Para permitir una compilación eficiente, Gschwind propuso la implementación de unidades de ejecución escalares y vectoriales fusionadas, eliminando el costo de las copias entre el código escalar y el vectorizado, y simplificando la arquitectura del compilador al resolver problemas de ordenamiento de fases en los compiladores.

Los núcleos aceleradores de Cell (Unidad de Procesamiento Sinérgico SPU) contienen un único archivo de registro de 128 elementos con 128 bits por registro. Los registros pueden contener valores escalares o vectoriales de múltiples valores. ^[67] El modelo de costo simplificado conduce a un éxito de vectorización significativamente mejorado, mejorando el rendimiento y la eficiencia generales del programa. ^[68]

El enfoque vectorial-escalar también fue adoptado por las instrucciones SIMD de IBM Power VSX (Vector Scalar Extension), ^{[69] las instrucciones vectoriales} de BlueGene /Q ^{[70] [71]} y el conjunto de instrucciones vectoriales de mainframe System/z , ^{[72] [73]} siendo el diseño de las tres arquitecturas vectoriales-escalares de IBM liderado por Gschwind como arquitecto jefe de arquitectura de sistemas de IBM.

Gschwind cree firmemente en el poder de la educación y en su capacidad para ayudar a superar los efectos de todo tipo de discriminación y colonialismo. Ha trabajado como miembro del cuerpo docente en [Princeton] y [TU Wien] para promover la educación. Para superar los efectos del colonialismo y reducir la brecha digital, Gschwind se ha ofrecido como voluntario en Senegal para contribuir a la expansión y mejora de la red de educación e investigación de Senegal, snRER.

Gschwind nació en Viena y obtuvo su doctorado en Ingeniería Informática en la Technische Universität Wien en 1996. Se incorporó al Centro de Investigación Thomas J. Watson de IBM en Yorktown Heights, Nueva York, y también ocupó puestos en el grupo de productos de IBM Systems y en su sede corporativa en Armonk, Nueva York. En Huawei , Gschwind se desempeñó como vicepresidente de Inteligencia Artificial y Sistemas Acelerados en Huawei. Gschwind es actualmente ingeniero de software en Meta Platforms , donde ha sido responsable de la aceleración de IA y la infraestructura de IA. ^{[ cita requerida ]}