Tubería (Unix)

En los sistemas operativos tipo Unix , una tubería es un mecanismo de comunicación entre procesos mediante el paso de mensajes . Una tubería es un conjunto de procesos encadenados por sus flujos estándar , de modo que el texto de salida de cada proceso ( stdout ) se pasa directamente como entrada ( stdin ) al siguiente. El segundo proceso se inicia mientras el primero aún se está ejecutando, y ambos se ejecutan simultáneamente .

El concepto de tuberías fue impulsado por Douglas McIlroy en Bell Labs , la cuna de Unix , durante el desarrollo de este sistema operativo, dando forma a su filosofía de herramientas . Su nombre se inspira en una tubería física . Una característica clave de estas tuberías es que ocultan los detalles internos, lo que permite una mayor claridad y simplicidad en el sistema.

Las tuberías en la canalización son tuberías anónimas (a diferencia de las tuberías con nombre ), donde los datos escritos por un proceso son almacenados en búfer por el sistema operativo hasta que son leídos por el siguiente proceso, y este canal unidireccional desaparece cuando los procesos finalizan. La sintaxis estándar de la shell para tuberías anónimas consiste en enumerar varios comandos, separados por barras verticales (" pipes " en la terminología común de Unix).

El concepto de tubería fue inventado por Douglas McIlroy ^{[ 1 ]} y descrito por primera vez en las páginas man de la versión 3 de Unix . ^{[ 2 ] [ 3 ]} McIlroy observó que, con frecuencia, los intérpretes de comandos pasaban el archivo de salida de un programa como entrada a otro. Douglas McIlroy impulsó el concepto de tuberías en Bell Labs , el lugar donde se originó Unix , durante el desarrollo de este sistema operativo, dando forma a su filosofía de herramientas . ^{[ 4 ] [ 5 ]}

Sus ideas se implementaron en 1973 cuando ("en una noche febril", escribió McIlroy) Ken Thompson añadió la pipe()llamada al sistema y las tuberías al intérprete de comandos y a varias utilidades en la versión 3 de Unix. "Al día siguiente", continuó McIlroy, "se produjo una orgía inolvidable de frases ingeniosas mientras todos se unían a la emoción de la fontanería". McIlroy también le atribuye a Thompson la |notación, que simplificó enormemente la descripción de la sintaxis de las tuberías en la versión 4. ^{[ 6 ] [ 2 ]}

Aunque se desarrollaron de forma independiente, las tuberías de Unix están relacionadas con, y fueron precedidas por, los "archivos de comunicación" desarrollados por Ken Lochner ^{[ 7 ]} en la década de 1960 para el sistema de tiempo compartido de Dartmouth . ^{[ 8 ]}

Se utiliza un mecanismo de canalización para la comunicación entre procesos mediante el paso de mensajes. Una canalización es un conjunto de procesos encadenados por sus flujos estándar , de modo que el texto de salida de cada proceso ( stdout ) se pasa directamente como entrada ( stdin ) al siguiente. El segundo proceso se inicia mientras el primero aún se está ejecutando, y ambos se ejecutan concurrentemente . Su nombre se debe a la analogía con una tubería física . Una característica clave de estas canalizaciones es su "ocultación de detalles internos". ^{[ 10 ]} Esto, a su vez, permite una mayor claridad y simplicidad en el sistema.

En la mayoría de los sistemas tipo Unix, todos los procesos de una tubería se inician simultáneamente, con sus flujos conectados adecuadamente y gestionados por el planificador junto con todos los demás procesos que se ejecutan en la máquina. Un aspecto importante de esto, que distingue a las tuberías de Unix de otras implementaciones de tuberías, es el concepto de almacenamiento en búfer : por ejemplo, un programa emisor puede producir 5000 bytes por segundo , y un programa receptor solo puede aceptar 100 bytes por segundo, pero no se pierde ningún dato. En cambio, la salida del programa emisor se almacena en el búfer. Cuando el programa receptor está listo para leer datos, el siguiente programa en la tubería lee del búfer. Si el búfer está lleno, el programa emisor se detiene (bloquea) hasta que el receptor extraiga al menos algunos datos del búfer. En Linux, el tamaño del búfer es de 16 páginas , equivalente a 65 536 bytes (64  KiB) en la mayoría de los sistemas. ^{[ 11 ]}

Todas las shells de Unix de uso generalizado cuentan con una sintaxis especial para la creación de tuberías. En todos los casos, los comandos se escriben secuencialmente, separados por la barra vertical ASCII (que, por esta razón, suele denominarse "barra vertical"). La shell inicia los procesos y establece las conexiones necesarias entre sus flujos estándar (incluido cierto almacenamiento en búfer ).|

La canalización utiliza tuberías anónimas . En las tuberías anónimas, los datos escritos por un proceso son almacenados en búfer por el sistema operativo hasta que son leídos por el siguiente proceso, y este canal unidireccional desaparece cuando los procesos finalizan; esto difiere de las tuberías con nombre , donde los mensajes se pasan hacia o desde una tubería que se nombra convirtiéndola en un archivo, y permanece después de que los procesos finalizan. La sintaxis estándar de la shell para tuberías anónimas consiste en enumerar varios comandos, separados por barras verticales ("pipes" en la terminología común de Unix):

comando1 | comando2 | comando3 

Por ejemplo, para listar los archivos en el directorio actual ( ls ), conservar solo las líneas de la salida de ls que contienen la cadena "key" ( grep ) y ver el resultado en una página desplazable ( less ), un usuario escribe lo siguiente en la línea de comandos de una terminal:

ls -l | grep key | less 

El comando ls -lse ejecuta como un proceso, cuya salida (stdout) se canaliza a la entrada (stdin) del proceso para grep key; y de igual manera para el proceso para less. Cada proceso toma la entrada del proceso anterior y produce la salida para el siguiente proceso a través de flujos estándar . Cada |le indica al intérprete de comandos que conecte la salida estándar del comando de la izquierda con la entrada estándar del comando de la derecha mediante un mecanismo de comunicación entre procesos llamado tubería (anónima) , implementado en el sistema operativo. Las tuberías son unidireccionales; los datos fluyen a través de la tubería de izquierda a derecha.

curl 'https://en.wikipedia.org/wiki/Pipeline_(Unix)' |sed 's/[^a-zA-Z ]/ /g' |tr 'AZ ' 'az\n' |grep '[az]' |ordenar -u |comm -23 - < ( ordenar /usr/share/dict/words ) |menos 

comando | mientras lee -r var1 var2 ... ; hacer # procesar cada línea, usando las variables analizadas como var1, var2, etc. # (tenga en cuenta que esto puede ser un subproceso: var1, var2, etc. no estarán disponibles # después de que termine el bucle while; algunos shells, como zsh y versiones más recientes # de Korn shell, procesan los comandos a la izquierda del operador de tubería # en un subproceso) hecho

Las tuberías se pueden crear bajo control de programa. La pipe()llamada al sistema Unix solicita al sistema operativo que construya un nuevo objeto de tubería anónima . Esto da como resultado dos descriptores de archivo nuevos y abiertos en el proceso: el extremo de solo lectura de la tubería y el extremo de solo escritura. Los extremos de la tubería parecen descriptores de archivo anónimos normales , excepto que no tienen capacidad de búsqueda.

Para evitar bloqueos y aprovechar el paralelismo, el proceso Unix con una o más tuberías nuevas generalmente creará fork()nuevos procesos. Cada proceso cerrará los extremos de la tubería que no utilice antes de producir o consumir datos. Alternativamente, un proceso podría crear nuevos hilos y usar la tubería para comunicarse entre ellos.

También se pueden crear tuberías con nombremkfifo() utilizando omknod()y luego presentarlas como archivo de entrada o salida a los programas cuando se invocan. Permiten crear tuberías de múltiples rutas y son especialmente eficaces cuando se combinan con la redirección de error estándar o contee.

Hasta la llegada de MacOS Tahoe , el robot del icono de Automator de Apple , que también utiliza un concepto de tubería para encadenar comandos repetitivos, sostenía una tubería en homenaje al concepto original de Unix.

Las tuberías se pueden usar en C++ . C++20 introduce operator|(el operador de tubería) y permite operaciones de encadenamiento al estilo LINQ con los std::rangesespacios de nombres. std::viewscontiene varias clases que se invocan a través de operator(). ^{[ 15 ]}

using std :: vector ; using std :: ranges :: to ; using std :: views :: filter ; using std :: views :: transform ;vector < int > números = { 1 , 2 , 3 , 4 , 5 , 6 , 7 , 8 , 9 , 10 };// Pipeline: filtra los números pares, los duplica y luego suma el vector resultante < int > resultado = números | filtro ([]( int n ) -> bool { return n % 2 == 0 ; }) | transformar ([]( int n ) -> int { return n * 2 ; }) | a < vector > ();

• Todo es un archivo : describe una de las características definitorias de Unix; las tuberías operan sobre "archivos" en el sentido de Unix.
• Tubería anónima : una estructura FIFO utilizada para la comunicación entre procesos.
• GStreamer : un marco de trabajo multimedia basado en pipeline.
• Tuberías de CMS
• Iterar
• Consulta integrada en el lenguaje (LINQ)
• encadenamiento de métodos
• Tubería con nombre : tuberías persistentes utilizadas para la comunicación entre procesos.
• Sustitución de procesos : sintaxis de shell para conectar múltiples tuberías a un proceso.
• Paralelo GNU
• Tubería (informática) – otras tuberías relacionadas con la informática
• Redirección (informática)
• Tee (comando) : un comando general para extraer datos de una canalización.
• Canalización XML : para el procesamiento de archivos XML
• xargs

• Historia de la notación de tuberías de Unix. Archivado el 8 de abril de 2015 en Wayback Machine.
  • El memorándum original de Doug McIlroy de 1964 , en el que proponía por primera vez el concepto de pipa.
• pipe: crear un canal entre procesos – Referencia de interfaces del sistema, Especificación única de UNIX , Versión 5 de The Open Group   
• Tuberías: Una breve introducción del Proyecto de Información de Linux (LINFO)
• Tuberías Unix: un paradigma de programación potente y elegante (Softpanorama)
• Análisis de datos ad hoc desde la línea de comandos de Unix en Wikibooks : muestra cómo utilizar secuencias de comandos compuestas por filtros simples para realizar análisis de datos complejos.
• Uso y abuso de tuberías con datos de audio : ofrece una introducción al uso y abuso de tuberías con netcat, nettee y fifos para reproducir audio a través de una red.
• stackoverflow.com – Preguntas y respuestas sobre el manejo de tuberías en bash.