Infraestructura de IA

Los sistemas de IA se ejecutan en unidades centrales de procesamiento (CPU) y en aceleradores especializados que realizan un gran número de operaciones en paralelo. Los aceleradores comunes incluyen unidades de procesamiento gráfico (GPU), circuitos integrados de aplicación específica (ASIC) y matrices de puertas programables en campo (FPGA). Las diferentes cargas de trabajo utilizan distintas combinaciones de procesadores: el entrenamiento de modelos a gran escala suele depender de aceleradores, mientras que algunas tareas de inferencia y soporte pueden ejecutarse en CPU de propósito general. ^{[ 2 ] [ 6 ]}

Los aceleradores se ensamblan en servidores y luego en clústeres. Su utilidad depende de la memoria, el almacenamiento, la red y el software de sistema asociados, por lo que el número de procesadores por sí solo no describe la capacidad de IA utilizable. ^{[ 2 ]} La cadena de suministro de semiconductores que respalda estos sistemas incluye el diseño de chips, equipos de fabricación, fabricación, empaquetado y materiales. Está distribuida globalmente, pero contiene insumos concentrados geográficamente y etapas de producción especializadas, lo que crea dependencias y posibles cuellos de botella. ^{[ 7 ]}

El entrenamiento y la operación de modelos de IA requieren la transferencia de datos entre procesadores, memoria y almacenamiento. Los servidores utilizan memoria cercana a los procesadores para realizar cálculos activos, mientras que los sistemas de almacenamiento conservan los datos de entrenamiento, los resultados intermedios y los archivos de modelos implementados. Las conexiones de alto ancho de banda enlazan los procesadores dentro de un servidor, los servidores dentro de un clúster y los clústeres con el almacenamiento y las redes externas. ^{[ 2 ]}

Las grandes cargas de trabajo de entrenamiento suelen distribuirse entre varias máquinas. La distribución puede reducir el tiempo necesario para un cálculo, pero introduce problemas de coordinación y comunicación, como la forma de paralelizar el entrenamiento de manera eficiente y mantener un modelo coherente entre los nodos de trabajo. ^{[ 8 ]} En consecuencia, el rendimiento del clúster depende no solo de la capacidad aritmética, sino también del ancho de banda de la memoria, la latencia de la red, el ancho de banda de la red y la forma en que se divide el trabajo.

Los centros de datos proporcionan los edificios, racks, servidores, almacenamiento, equipos de red, distribución de energía, sistemas de respaldo y refrigeración necesarios para el funcionamiento del hardware informático. Algunas organizaciones construyen clústeres privados, mientras que otras alquilan máquinas virtuales, instancias de aceleradores o servicios de IA gestionados a proveedores de nube pública. Las regiones de nube son centros físicos que ubican la capacidad de computación en jurisdicciones geográficas y legales específicas. ^{[ 2 ] [ 9 ]}

Las plataformas en la nube combinan infraestructura con herramientas de desarrollo de modelos, bases de datos, servicios de seguridad y mercados de aplicaciones. Esta integración permite disponer de recursos a gran escala sin necesidad de construir un centro de datos privado, pero también puede generar dependencia técnica y comercial respecto a las interfaces, los servicios y el ecosistema de software del proveedor. ^{[ 6 ] [ 10 ]}

La capa de software traduce las operaciones del modelo en tareas que los procesadores pueden ejecutar. Incluye controladores de dispositivos, compiladores, bibliotecas de programación y marcos de aprendizaje automático, así como software para asignar aceleradores, programar tareas y supervisar clústeres. Los sistemas implementados también necesitan canalizaciones de datos, sistemas de servicio de modelos y controles de acceso. ^{[ 2 ] [ 11 ]}

Los sistemas de aprendizaje automático en producción deben gestionar requisitos como flujos de datos grandes y heterogéneos, procesamiento de baja latencia, gestión de recursos, seguridad y privacidad. Por lo tanto, la arquitectura del software afecta la eficiencia con la que se puede utilizar la capacidad física y la fiabilidad con la que se puede integrar un modelo en una aplicación más amplia. ^{[ 11 ]}

Los equipos de computación de IA requieren suministro eléctrico, conversión y distribución de energía, sistemas de alimentación ininterrumpida u otros sistemas de respaldo, y refrigeración. Estos sistemas de soporte ocupan espacio y consumen energía además de los propios procesadores. Los clústeres acelerados pueden requerir más energía y refrigeración que los servidores de propósito general, y los cambios rápidos en la carga de trabajo pueden generar grandes variaciones en la carga eléctrica. ^{[ 12 ] [ 5 ]}

Por lo tanto, la ubicación de la infraestructura se ve afectada por el acceso a las conexiones de la red eléctrica, el suministro eléctrico fiable, la tecnología de refrigeración, el agua, los enlaces de telecomunicaciones y los terrenos adecuados. Estas limitaciones pueden determinar si los proyectos anunciados se construyen y con qué rapidez se dispone de capacidad. ^{[ 2 ] [ 5 ]}

La infraestructura de IA tiene altos costos fijos en varias capas. La producción avanzada de semiconductores requiere instalaciones y equipos especializados, mientras que los operadores de la nube y los centros de datos invierten en terrenos, edificios, sistemas de energía, redes, almacenamiento y un gran número de procesadores. La escala puede reducir los costos unitarios y admitir una gama más amplia de servicios, pero también puede dificultar la entrada para las empresas más pequeñas. ^{[ 7 ] [ 3 ] [ 6 ]}

Las grandes empresas tecnológicas operan en varias capas de la cadena de suministro de IA, incluyendo infraestructura en la nube, desarrollo de modelos y aplicaciones. La integración vertical puede simplificar el despliegue y financiar grandes inversiones, al tiempo que plantea preocupaciones de competencia sobre el acceso, el cambio, el trato preferencial y la dependencia de un pequeño número de proveedores. ^{[ 1 ] [ 10 ]} La Autoridad de Competencia y Mercados del Reino Unido descubrió que la computación en la nube acelerada requería una inversión significativa en chips aceleradores e infraestructura especializada, y que los grandes costos irrecuperables y las economías de escala eran barreras en los servicios en la nube. ^{[ 6 ]}

La capacidad de computación de IA se distribuye de forma desigual. La capacidad de la nube pública se organiza por regiones, por lo que el acceso práctico de los usuarios puede depender de si el hardware especializado está disponible a nivel nacional o en una jurisdicción cercana. La ubicación también afecta la latencia, las obligaciones de gobernanza de datos, la resiliencia y la exposición a restricciones comerciales o de suministro. ^{[ 9 ]}

En consecuencia, los gobiernos han considerado la capacidad informática pública, compartida o con apoyo nacional. La OCDE ha descrito la planificación informática nacional en términos de capacidad y utilización, acceso efectivo y habilidades, y cuestiones de resiliencia, incluyendo seguridad, soberanía y sostenibilidad. ^{[ 4 ]} Dichos programas pueden proporcionar acceso a investigadores, instituciones públicas y empresas más pequeñas que no pueden adquirir grandes clústeres directamente, pero aún dependen de las cadenas de suministro globales de semiconductores, redes y energía. ^{[ 7 ]}