Modelo de programación paralela

La memoria compartida es un método eficiente para transferir datos entre procesos. En un modelo de memoria compartida, los procesos paralelos comparten un espacio de direcciones global al que leen y escriben de forma asíncrona. El acceso concurrente asíncrono puede provocar condiciones de carrera , y se pueden utilizar mecanismos como bloqueos , semáforos y monitores para evitarlas. Los procesadores multinúcleo convencionales admiten directamente la memoria compartida, que muchos lenguajes y bibliotecas de programación paralela, como Cilk , OpenMP y Threading Building Blocks , están diseñados para aprovechar.

En un modelo de paso de mensajes, los procesos paralelos intercambian datos mediante el envío de mensajes entre sí. Estas comunicaciones pueden ser asíncronas, donde un mensaje puede enviarse antes de que el receptor esté listo, o síncronas, donde el receptor debe estar listo. La formalización del paso de mensajes mediante procesos secuenciales comunicantes (CSP) utiliza canales de comunicación síncronos para conectar procesos y dio lugar a lenguajes importantes como Occam , Limbo y Go . En contraste, el modelo de actores utiliza el paso de mensajes asíncrono y se ha empleado en el diseño de lenguajes como D , Scala y SALSA.

Los modelos de espacio de direcciones global particionado (PGAS) ofrecen un punto intermedio entre la memoria compartida y el paso de mensajes. PGAS proporciona una abstracción del espacio de direcciones de memoria global lógicamente particionado, donde una porción es local para cada proceso. Los procesos paralelos se comunican realizando operaciones asíncronas (por ejemplo, lecturas y escrituras) en el espacio de direcciones global, de forma similar a los modelos de memoria compartida. Sin embargo, al particionar semánticamente el espacio de direcciones global en porciones con afinidad a un proceso en particular, permiten a los programadores aprovechar la localidad de referencia y posibilitan una implementación eficiente en computadoras paralelas de memoria distribuida . PGAS está disponible en muchos lenguajes y bibliotecas de programación paralela, como Fortran 2008 , Chapel , UPC++ y SHMEM .

En un modelo implícito, el programador no ve ninguna interacción entre procesos, sino que el compilador o el entorno de ejecución se encargan de llevarla a cabo. Dos ejemplos de paralelismo implícito son los lenguajes específicos de dominio, donde la concurrencia dentro de las operaciones de alto nivel está prescrita, y los lenguajes de programación funcional, ya que la ausencia de efectos secundarios permite que las funciones no dependientes se ejecuten en paralelo. ^{[ 6 ]} Sin embargo, este tipo de paralelismo es difícil de gestionar ^{[ 7 ]} , y los lenguajes funcionales como Concurrent Haskell y Concurrent ML proporcionan características para gestionar el paralelismo de forma explícita y correcta.

Un modelo de paralelismo de tareas se centra en procesos o hilos de ejecución. Estos procesos suelen ser conductualmente distintos, lo que subraya la necesidad de comunicación. El paralelismo de tareas es una forma natural de expresar la comunicación mediante paso de mensajes. En la taxonomía de Flynn , el paralelismo de tareas se clasifica generalmente como MIMD / MPMD o MISD .

Un modelo de paralelismo de datos se centra en realizar operaciones sobre un conjunto de datos, generalmente una matriz estructurada de forma regular. Un conjunto de tareas operará sobre estos datos, pero de forma independiente en particiones disjuntas. En la taxonomía de Flynn , el paralelismo de datos se clasifica habitualmente como MIMD / SPMD o SIMD .

El paralelismo de flujo, también conocido como paralelismo de tubería, se centra en dividir un cálculo en una secuencia de etapas, donde cada etapa procesa una porción de los datos de entrada. Cada etapa opera de forma independiente y concurrente, y la salida de una etapa sirve como entrada para la siguiente. El paralelismo de flujo es especialmente adecuado para aplicaciones con flujos de datos continuos o cálculos en tubería.

Al igual que con la interacción implícita de procesos, un modelo implícito de paralelismo no revela nada al programador, ya que el compilador, el entorno de ejecución o el hardware son los responsables. Por ejemplo, en los compiladores, la paralelización automática es el proceso de convertir código secuencial en código paralelo, y en la arquitectura de computadoras, la ejecución superescalar es un mecanismo mediante el cual se aprovecha el paralelismo a nivel de instrucción para realizar operaciones en paralelo.