Clasificación y fusión de sistemas centrales

La utilidad de ordenación/fusión es un programa para sistemas centrales que ordena los registros de un archivo según un orden específico, fusiona archivos previamente ordenados en un archivo ya ordenado o copia los registros seleccionados. Internamente, estas utilidades utilizan uno o más algoritmos de ordenación estándar , a menudo con código propietario optimizado.

Los mainframes originalmente contaban con una memoria principal limitada según los estándares actuales, y la cantidad de datos a clasificar solía ser muy grande. Por ello, a diferencia de los programas de clasificación más recientes, los primeros programas de clasificación/fusión hacían gran hincapié en técnicas eficientes para clasificar datos en almacenamiento secundario , normalmente cinta ^{[ a ]} o disco . En 1968, el programa de clasificación/fusión del OS/360 proporcionaba cinco "técnicas de distribución de secuencias" diferentes que podían utilizarse en función del número y el tipo de dispositivos disponibles. ^{[ 1 ]}

Históricamente, el alias SORT se ha utilizado para referirse al programa de ordenación preferido de una instalación, Sort/Merge de IBM y programas Sort/Merge de terceros (por ejemplo, SYNCSORT, CASORT). A menudo se hace referencia a DFSORT por su nombre de programa, ICEMAN (componente ICE; el nombre original del programa Sort/Merge de OS/360 era IERRCO00, componente IER, también con el alias SORT).

Antes del System/370 , todos los sistemas operativos de mainframe de IBM incluían utilidades de ordenación/combinación. ^{[ b ]} Con el anuncio de los sistemas operativos de almacenamiento virtual , DOS/VS y OS/VS , IBM separó gran parte del software y ofreció productos de programas de ordenación/combinación de pago. Para OS/VS, IBM ofreció 5734-SM1, OS Sort/Merge, y más tarde ofreció 5740-SM1, OS/VS Sort/Merge, posteriormente renombrado Data Facility Sort (DFSORT).

En 1990, IBM introdujo un nuevo algoritmo de ordenación llamado BLOCKSET en DFSORT, el sucesor de OS/360 Sort/Merge. ^{[ 2 ]} Como dato histórico, el algoritmo BLOCKSET fue inventado por un ingeniero de sistemas de IBM en 1963, descubierto en los archivos de IBM e implementado en 1990. ^{[ 3 ]}

La función de ordenar/combinar se utiliza con mucha frecuencia; a menudo es el programa de aplicación más utilizado en un entorno de computación central, consumiendo generalmente alrededor del veinte por ciento de la capacidad de procesamiento del entorno.

Los programas modernos de ordenación y fusión también pueden copiar archivos, seleccionar u omitir ciertos registros, resumirlos, eliminar duplicados, reformatearlos, añadir nuevos datos y generar informes. De hecho, la mayoría de las aplicaciones de ordenación y fusión utilizan la amplia gama de capacidades de procesamiento adicionales, en lugar de limitarse a ordenar o fusionar registros: el producto de ordenación y fusión es una forma muy rápida de realizar la entrada y salida de estas funciones. Se admiten numerosas "salidas de usuario", que pueden ser módulos de carga (es decir, un miembro de una biblioteca) o conjuntos de objetos (es decir, la salida de un ensamblador), y la aplicación de ordenación y fusión carga (módulos de carga) o enlaza (conjuntos de objetos; denominado "edición de enlace dinámico" en DFSORT) la salida, según se especifique y requiera. Los conjuntos de datos de almacenamiento de trabajo (es decir, SORTWK01, ..., SORTWKnn) pueden ser de disco o cinta, aunque el algoritmo BLOCKSET está restringido al almacenamiento de trabajo en disco; en general, un mayor número de conjuntos de datos de almacenamiento de trabajo mejora el rendimiento.

La función de ordenar/combinar es tan importante que existen varias empresas que venden sus propios paquetes de funciones para mainframes de IBM y sus sistemas operativos z/OS , z/VM y z/VSE . Estos programas son en gran medida compatibles con los programas SORT de IBM, a menudo con algunas extensiones. Los principales paquetes de funciones de ordenar/combinar son:

• DFSORT es vendido por IBM .
• SyncSort es vendido por Syncsort , Inc.
• CA-Sort es un producto comercializado por CA Technologies .

(Algunas de estas empresas también venden versiones para otras plataformas, como Unix , Linux o Windows ).

La función Sort/Merge es un componente crítico de muchos entornos de mainframe. Al migrar del mainframe a otras plataformas como Unix , Linux o Windows , se necesita una utilidad Sort/Merge; ^{[ 4 ]} MFSORT de Micro Focus y AHLSORT ^{[ 5 ]} emulan las funciones de DFSORT fuera del entorno del mainframe.

Antes de los sistemas operativos de almacenamiento virtual , "el conjunto de datos de entrada [era] casi siempre demasiado grande para ser cargado en el almacenamiento principal y ordenado de una sola vez". SORT utilizaba una técnica de selección de reemplazo para reducir el uso de almacenamiento. ^{[ 1 ]} El programa hacía hincapié en las técnicas de distribución de secuencias , que podían configurarse por defecto según el número y el tipo de dispositivos disponibles, o podían ser especificadas por el usuario, para aprovechar al máximo los archivos de "trabajo de ordenación" (SORTWK) del almacenamiento secundario. Estas técnicas eran métodos para distribuir secuencias de registros parcialmente ordenadas de la manera más eficiente.

Había cinco técnicas de distribución disponibles para el OS/360 SORT: ^{[ 1 ]}

• Técnicas de cinta magnética
  • Balanceado (BALN): requiere un mínimo de 12.000 bytes de almacenamiento principal y 2x+1 dispositivos de cinta para almacenamiento intermedio, donde x es el número de volúmenes de cinta de entrada, hasta un máximo de 15 carretes de entrada.
  • Polifásico (POLY): requería un mínimo de 12 000 bytes y tres dispositivos de cinta de almacenamiento intermedio. Solo se permitía un carrete de entrada.
  • Oscilante (OSCL): requiere 21.000 bytes y x+2 (con un mínimo de cuatro) dispositivos de cinta intermedios, donde x es el número de volúmenes de entrada, hasta un máximo de 15.
• Técnicas de acceso directo
  • Balanceado (BALN): requería un mínimo de 13 000 bytes y de tres a seis áreas de trabajo en disco. El número máximo de registros que se podían ordenar dependía del almacenamiento principal y auxiliar disponible.
  • Crisscross (CRCX): No disponible para dispositivos de almacenamiento auxiliar IBM 2311 o IBM 2301. Requería un mínimo de 24 000 bytes de almacenamiento principal y entre seis y diecisiete áreas de trabajo de almacenamiento auxiliar. El número máximo de registros que se podían ordenar dependía del almacenamiento principal y auxiliar disponible.

Las técnicas de distribución enumeradas para la clasificación de cintas fueron conservadas por el programa SORT de OS/VS, ahora llamado "técnicas convencionales". Las técnicas de clasificación de discos fueron reemplazadas por cuatro nuevas: ^{[ 6 ]}

• Conjunto de bloques FLR para registros de longitud fija
• Conjunto de bloques VLR para registros de longitud variable
• Nobleza para registros de longitud fija
• Vale para registros de longitud fija y variable.

• Tuberías por lotes
• Ordenación externa

• Manuales de IBM DFSORT
• Algunos ejemplos básicos de DFSORT y SyncSort