computación en malla

La computación en malla consiste en el uso de recursos informáticos ampliamente distribuidos para alcanzar un objetivo común. Una malla de computación puede considerarse un sistema distribuido con cargas de trabajo no interactivas que involucran muchos archivos. La computación en malla se distingue de los sistemas de computación de alto rendimiento convencionales, como la computación en clúster , en que cada nodo de la malla está configurado para realizar una tarea o aplicación diferente. Las máquinas en malla también tienden a ser más heterogéneas y estar más dispersas geográficamente (por lo tanto, no están acopladas físicamente) que las máquinas en clúster. ^{[ 1 ]} Si bien una sola malla puede dedicarse a una aplicación particular, comúnmente se utiliza para diversos fines. Las mallas suelen construirse con bibliotecas de software de middleware de malla de propósito general . El tamaño de las mallas puede ser bastante grande. ^{[ 2 ]}

Las redes son una forma de computación distribuida compuesta por muchos ordenadores conectados en red y débilmente acoplados que trabajan juntos para realizar tareas de gran envergadura. Para ciertas aplicaciones, la computación distribuida o en red puede considerarse un tipo especial de computación paralela que se basa en ordenadores completos (con CPU integradas, almacenamiento, fuentes de alimentación, interfaces de red, etc.) conectados a una red informática (privada o pública) mediante una interfaz de red convencional , como Ethernet . Esto contrasta con la noción tradicional de superordenador , que cuenta con muchos procesadores conectados por un bus local de alta velocidad . Esta tecnología se ha aplicado a problemas científicos, matemáticos y académicos de gran capacidad computacional mediante computación voluntaria , y se utiliza en empresas comerciales para aplicaciones tan diversas como el descubrimiento de fármacos , la previsión económica , el análisis sísmico y el procesamiento de datos de back office para el comercio electrónico y los servicios web .

La computación en malla combina ordenadores de múltiples dominios administrativos para alcanzar un objetivo común, ^{[ 3 ]} resolver una única tarea, y puede desaparecer con la misma rapidez. El tamaño de una malla puede variar desde pequeña —confinada a una red de estaciones de trabajo dentro de una corporación, por ejemplo— hasta grandes colaboraciones públicas entre numerosas empresas y redes. «La noción de una malla confinada también puede denominarse cooperación intranodo, mientras que la noción de una malla más grande y amplia puede referirse a una cooperación internodo». ^{[ 4 ]}

La coordinación de aplicaciones en redes de computación distribuida (grids) puede ser una tarea compleja, especialmente al coordinar el flujo de información entre recursos informáticos distribuidos. Los sistemas de flujo de trabajo en redes de computación distribuida se han desarrollado como una forma especializada de sistema de gestión de flujos de trabajo, diseñado específicamente para componer y ejecutar una serie de pasos computacionales o de manipulación de datos, es decir, un flujo de trabajo, en el contexto de la red de computación distribuida.

La computación distribuida o en malla, en general, es un tipo especial de computación paralela que se basa en computadoras completas (con CPU integradas, almacenamiento, fuentes de alimentación, interfaces de red, etc.) conectadas a una red (privada, pública o Internet ) mediante una interfaz de red convencional , lo que produce hardware estándar, en comparación con la menor eficiencia del diseño y la construcción de un pequeño número de supercomputadoras personalizadas. La principal desventaja en cuanto al rendimiento es que los distintos procesadores y áreas de almacenamiento local no tienen conexiones de alta velocidad. Por lo tanto, esta configuración es muy adecuada para aplicaciones en las que se pueden realizar múltiples cálculos paralelos de forma independiente, sin necesidad de comunicar resultados intermedios entre procesadores. ^{[ 5 ]} La alta escalabilidad de las mallas geográficamente dispersas es generalmente favorable, debido a la baja necesidad de conectividad entre nodos en relación con la capacidad de Internet pública. ^{[ 6 ]}

También existen algunas diferencias entre programar para una supercomputadora y programar para un sistema de computación en malla. Puede resultar costoso y difícil escribir programas que se ejecuten en el entorno de una supercomputadora, que puede tener un sistema operativo personalizado o requerir que el programa aborde problemas de concurrencia . Si un problema se puede paralelizar adecuadamente, una capa delgada de infraestructura de malla permite que programas convencionales e independientes, que abordan diferentes partes del mismo problema, se ejecuten en múltiples máquinas. Esto posibilita escribir y depurar en una sola máquina convencional y elimina las complicaciones derivadas de la ejecución simultánea de múltiples instancias del mismo programa en la misma memoria y espacio de almacenamiento compartidos.

Una característica de las redes distribuidas es que pueden formarse a partir de recursos informáticos pertenecientes a uno o varios individuos u organizaciones (conocidos como dominios administrativos múltiples ). Esto puede facilitar las transacciones comerciales, como en la computación de utilidad , o simplificar la creación de redes informáticas de voluntarios .

Una desventaja de esta función es que los ordenadores que realizan los cálculos podrían no ser del todo fiables. Por lo tanto, los diseñadores del sistema deben implementar medidas para evitar fallos de funcionamiento o que participantes malintencionados produzcan resultados falsos, engañosos o erróneos, y que utilicen el sistema como vector de ataque. Esto suele implicar la asignación aleatoria de tareas a diferentes nodos (presumiblemente con distintos propietarios) y la comprobación de que al menos dos nodos distintos reporten la misma respuesta para una unidad de trabajo determinada. Las discrepancias permitirían identificar los nodos defectuosos y maliciosos. Sin embargo, debido a la falta de control centralizado del hardware, no hay forma de garantizar que los nodos no se desconecten de la red de forma aleatoria. Algunos nodos (como ordenadores portátiles o usuarios de Internet por módem ) pueden estar disponibles para realizar cálculos, pero no para comunicarse con la red durante periodos impredecibles. Estas variaciones pueden solucionarse asignando grandes unidades de trabajo (reduciendo así la necesidad de conectividad continua a la red) y reasignando las unidades de trabajo cuando un nodo no reporta sus resultados en el tiempo previsto.

Otro conjunto de lo que podría denominarse problemas de compatibilidad social en los primeros días de la computación en malla se relacionaba con los objetivos de los desarrolladores de la malla de llevar su innovación más allá del campo original de la computación de alto rendimiento y a través de las fronteras disciplinarias hacia nuevos campos, como el de la física de altas energías. ^{[ 7 ]}

El impacto de la confianza y la disponibilidad en el rendimiento y la dificultad de desarrollo puede influir en la decisión de implementar la aplicación en un clúster dedicado, en máquinas internas de la organización o en una red externa abierta de voluntarios o contratistas. En muchos casos, los nodos participantes deben confiar en que el sistema central no abuse del acceso otorgado, ya sea interfiriendo con el funcionamiento de otros programas, alterando la información almacenada, transmitiendo datos privados o creando nuevas vulnerabilidades de seguridad. Otros sistemas emplean medidas para reducir la confianza que los nodos "clientes" deben depositar en el sistema central, como por ejemplo, alojar las aplicaciones en máquinas virtuales.

Los sistemas públicos o aquellos que abarcan dominios administrativos (incluidos diferentes departamentos dentro de la misma organización) suelen requerir la ejecución en sistemas heterogéneos , utilizando distintos sistemas operativos y arquitecturas de hardware . Con muchos lenguajes, existe una disyuntiva entre la inversión en desarrollo de software y el número de plataformas compatibles (y, por lo tanto, el tamaño de la red resultante). Los lenguajes multiplataforma pueden reducir la necesidad de esta disyuntiva, aunque potencialmente a costa de un menor rendimiento en cualquier nodo (debido a la interpretación en tiempo de ejecución o a la falta de optimización para la plataforma específica). Diversos proyectos de middleware han creado infraestructuras genéricas para permitir que distintos proyectos científicos y comerciales aprovechen una red asociada o para la creación de nuevas redes. BOINC es un ejemplo común para diversos proyectos académicos que buscan voluntarios; se enumeran más ejemplos al final del artículo .

De hecho, el middleware puede considerarse una capa intermedia entre el hardware y el software. Sobre el middleware, deben tenerse en cuenta diversas áreas técnicas, que pueden o no ser independientes del mismo. Algunos ejemplos son la gestión de acuerdos de nivel de servicio (SLA) , la confianza y la seguridad, la gestión de organizaciones virtuales , la gestión de licencias, los portales y la gestión de datos. Estas áreas técnicas pueden estar cubiertas por una solución comercial, aunque la vanguardia en cada una de ellas suele encontrarse en proyectos de investigación específicos que analizan el campo.

Para la segmentación del mercado de computación en malla, es necesario considerar dos perspectivas: la del proveedor y la del usuario:

El aprovechamiento de recursos de la CPU , el aprovechamiento de ciclos de ejecución o la computación compartida crean una "red" a partir de los recursos inactivos en una red de participantes (ya sea a nivel mundial o dentro de una organización). Por lo general, esta técnica explota los ciclos de instrucción "de reserva" resultantes de la inactividad intermitente que suele ocurrir por la noche, durante las pausas para el almuerzo o incluso durante los (comparativamente minúsculos, aunque numerosos) momentos de espera inactiva que experimentan las CPU de escritorio modernas a lo largo del día ( cuando la computadora está esperando E/S del usuario, la red o el almacenamiento ). En la práctica, las computadoras participantes también donan una cierta cantidad de espacio de almacenamiento en disco, RAM y ancho de banda de red, además de la potencia bruta de la CPU.

Muchos proyectos de computación distribuida , como BOINC , utilizan el modelo de aprovechamiento de la CPU. Dado que es probable que los nodos se desconecten de vez en cuando, mientras sus propietarios utilizan sus recursos para su propósito principal, este modelo debe diseñarse para gestionar tales contingencias.

La creación de un entorno oportunista es otra implementación de la recuperación de CPU, donde un sistema especial de gestión de carga de trabajo aprovecha los ordenadores de escritorio inactivos para tareas computacionalmente intensivas; también se conoce como Enterprise Desktop Grid (EDG). Por ejemplo, HTCondor ^{[ 8 ]} (el marco de software de computación de alto rendimiento de código abierto para la racionalización distribuida de grano grueso de tareas computacionalmente intensivas) se puede configurar para usar solo ordenadores de escritorio donde el teclado y el ratón estén inactivos, para aprovechar eficazmente la potencia de CPU desperdiciada de las estaciones de trabajo de escritorio que de otro modo estarían inactivas. Al igual que otros sistemas de procesamiento por lotes completos, HTCondor proporciona un mecanismo de cola de trabajos, una política de planificación, un esquema de prioridad, monitorización de recursos y gestión de recursos. También se puede usar para gestionar la carga de trabajo en un clúster de ordenadores dedicado o puede integrar sin problemas tanto recursos dedicados (clústeres montados en rack) como ordenadores de escritorio no dedicados (recuperación de ciclos) en un único entorno de computación.

El término computación en malla surgió a principios de la década de 1990 como una metáfora para hacer que el acceso a la potencia informática fuera tan sencillo como el acceso a una red eléctrica . La metáfora de la red eléctrica para la computación accesible se convirtió rápidamente en un concepto fundamental cuando Ian Foster y Carl Kesselman publicaron su obra clave, "The Grid: Blueprint for a new computing infrastructure" (1999). Esta metáfora fue precedida décadas después por la de la computación como servicio público (1961): la computación como un servicio público, análogo al sistema telefónico. ^{[ 9 ] [ 10 ]}

El aprovechamiento de la CPU y la computación voluntaria se popularizaron a partir de 1997 por distributed.net y posteriormente en 1999 por SETI@home para aprovechar el poder de las PC en red en todo el mundo, con el fin de resolver problemas de investigación que requieren un uso intensivo de la CPU. ^{[ 11 ] [ 12 ]}

Las ideas de la red (incluidas las de la computación distribuida, la programación orientada a objetos y los servicios web) fueron reunidas por Ian Foster y Steve Tuecke de la Universidad de Chicago , y Carl Kesselman del Instituto de Ciencias de la Información de la Universidad del Sur de California . ^{[ 13 ]} El trío, que lideró el esfuerzo para crear el Globus Toolkit, es ampliamente considerado como los "padres de la red". ^{[ 14 ]} El kit de herramientas incorpora no solo la gestión de la computación sino también la gestión del almacenamiento , el aprovisionamiento de seguridad, el movimiento de datos, la monitorización y un kit de herramientas para desarrollar servicios adicionales basados ​​en la misma infraestructura, incluyendo la negociación de acuerdos, mecanismos de notificación, servicios de activación y agregación de información. ^{[ 15 ]} Si bien el Globus Toolkit sigue siendo el estándar de facto para construir soluciones de red, se han creado otras herramientas que responden a un subconjunto de servicios necesarios para crear una red empresarial o global.

En 2007, el término computación en la nube se popularizó, siendo conceptualmente similar a la definición canónica de Foster de computación en malla (en términos de que los recursos informáticos se consumen como la electricidad de la red eléctrica ) y a la computación de utilidad anterior.

• A marzo de 2020, Folding@home  – 1,1 exaFLOPS. ^{[ 18 ]}
• A fecha de 7 de abril de 2020, BOINC  – 29,8 PFLOPS. ^{[ 19 ]}
• A partir de noviembre de 2019, IceCube a través de OSG  : 350 PFLOPS fp32. ^{[ 20 ]}
• A febrero de 2018, Einstein@Home  – 3,489 PFLOPS. ^{[ 21 ]}
• A fecha de 7 de abril de 2020, SETI@Home  – 1,11 PFLOPS. ^{[ 22 ]}
• A fecha de 7 de abril de 2020, MilkyWay@Home  – 1,465 PFLOPS. ^{[ 23 ]}
• A marzo de 2019, GIMPS  – 0,558 PFLOPS. ^{[ 24 ]}

Además, a marzo de 2019, la red Bitcoin tenía una potencia de cálculo medida equivalente a más de 80 000 exaFLOPS (operaciones de punto flotante por segundo). ^{[ 25 ]} Esta medición refleja la cantidad de FLOPS necesarios para igualar la salida hash de la red Bitcoin, en lugar de su capacidad para operaciones aritméticas de punto flotante generales, ya que los elementos de la red Bitcoin ( ASIC de minería de Bitcoin ) realizan únicamente el cálculo hash criptográfico específico requerido por el protocolo Bitcoin .

La computación en malla ofrece una forma de resolver problemas de gran envergadura como el plegamiento de proteínas , la modelización financiera , la simulación de terremotos y la modelización climática / meteorológica , y fue fundamental para la puesta en marcha del Gran Colisionador de Hadrones en el CERN. ^{[ 26 ]} Las mallas ofrecen una forma de utilizar los recursos de tecnología de la información de manera óptima dentro de una organización. También proporcionan un medio para ofrecer la tecnología de la información como un servicio público a clientes comerciales y no comerciales, quienes pagan solo por lo que utilizan, como ocurre con la electricidad o el agua.

En octubre de 2016, más de 4 millones de máquinas que ejecutan la plataforma de código abierto Berkeley Open Infrastructure for Network Computing (BOINC) son miembros de World Community Grid . ^{[ 19 ]} Uno de los proyectos que utiliza BOINC es SETI@home , que en octubre de 2016 utilizaba más de 400 000 computadoras para alcanzar 0,828 TFLOPS. En octubre de 2016, Folding@home , que no forma parte de BOINC, alcanzó más de 101 petaflops equivalentes a x86 en más de 110 000 máquinas. ^{[ 18 ]}

La Unión Europea financió proyectos a través de los programas marco de la Comisión Europea . BEinGRID (Business Experiments in Grid) fue un proyecto de investigación financiado por la Comisión Europea ^{[ 27 ]} como un proyecto integrado en el marco del programa de patrocinio del Sexto Programa Marco (FP6). Iniciado el 1 de junio de 2006, el proyecto se extendió durante 42 meses, hasta noviembre de 2009. El proyecto fue coordinado por Atos Origin . Según la ficha técnica del proyecto, su misión es «establecer vías efectivas para fomentar la adopción de la computación en malla en toda la UE y estimular la investigación de modelos de negocio innovadores que utilicen tecnologías de malla». Para extraer las mejores prácticas y los temas comunes de las implementaciones experimentales, dos grupos de consultores están analizando una serie de proyectos piloto, uno técnico y otro empresarial. El proyecto es significativo no solo por su larga duración, sino también por su presupuesto, que con 24,8 millones de euros, es el mayor de cualquier proyecto integrado del FP6. De este, 15,7 millones fueron aportados por la Comisión Europea y el resto por sus 98 empresas asociadas. Desde la finalización del proyecto, los resultados de BEinGRID han sido retomados y desarrollados por IT-Tude.com .

El proyecto Enabling Grids for E-sciencE, con sede en la Unión Europea e incluyendo centros en Asia y Estados Unidos, fue un proyecto de seguimiento del European DataGrid (EDG) y evolucionó hasta convertirse en la European Grid Infrastructure . Esta, junto con la Worldwide LHC Computing Grid ^{[ 28 ]} (WLCG), se desarrolló para dar soporte a experimentos que utilizan el Gran Colisionador de Hadrones del CERN . Se puede encontrar en línea una lista de los centros activos que participan en la WLCG ^{[ 29 ]} , así como la monitorización en tiempo real de la infraestructura EGEE ^{[ 30 ]} . El software y la documentación pertinentes también son de acceso público ^{[ 31 ]} . Se especula que los enlaces de fibra óptica dedicados, como los instalados por el CERN para abordar las necesidades de datos intensivos de la WLCG, podrían estar disponibles algún día para los usuarios domésticos, proporcionando así servicios de internet a velocidades hasta 10 000 veces superiores a las de una conexión de banda ancha tradicional. ^{[ 32 ]} La infraestructura de red europea también se ha utilizado para otras actividades de investigación y experimentos, como la simulación de ensayos clínicos oncológicos. ^{[ 33 ]}

El proyecto distributed.net se inició en 1997. El centro de supercomputación avanzada de la NASA (NAS) ejecutó algoritmos genéticos utilizando el algoritmo de recolección de ciclos Condor, que se ejecutaba en aproximadamente 350 estaciones de trabajo de Sun Microsystems y SGI .

En 2001, United Devices puso en marcha el Proyecto de Investigación del Cáncer de United Devices , basado en su producto Grid MP , que aprovecha el ciclo de vida de los ordenadores de voluntarios conectados a Internet. El proyecto se ejecutó en aproximadamente 3,1 millones de máquinas antes de su cierre en 2007. ^{[ 34 ]}

Las innovaciones recientes han explorado la integración de la tecnología blockchain con los principios de la computación en malla. Por ejemplo, el sistema VirtEngine ^{[ 35 ] , detallado en la patente australiana concedida AU2024203136 [ 36 ]} , propone un modelo descentralizado que combina una red de computación distribuida con un marco basado en blockchain de prueba de participación para la identificación, autenticación y gestión de recursos. Este enfoque tiene como objetivo crear un sistema autónomo para gestionar un mercado en la nube descentralizado y una supercomputadora distribuida, utilizando recursos informáticos de consumidores y proveedores para alimentar una red de computación en malla distribuida globalmente.

Lista de proyectos de computación en malla