Hispanopedia WikiUn área de preparación , o zona de aterrizaje , es un área de almacenamiento intermedio que se utiliza para el procesamiento de datos durante el proceso de extracción, transformación y carga (ETL) . El área de preparación de datos se ubica entre la(s) fuente(s) de datos y el(los) destino(s) de datos, que suelen ser almacenes de datos , data marts u otros repositorios de datos. [ 1 ]
Las áreas de preparación de datos suelen ser transitorias , ya que su contenido se borra antes de ejecutar un proceso ETL o inmediatamente después de su finalización exitosa. A este tipo de área de preparación se la denomina a veces área de preparación transitoria (TSA).
Existen arquitecturas de áreas de preparación, diseñadas para almacenar datos durante períodos prolongados con fines de archivo o resolución de problemas. Un área de preparación persistente (PSA) es un tipo de área de preparación en un almacén de datos que registra todo el historial de cambios de una tabla o consulta de origen. [ 2 ]
Implementación
Las áreas de preparación pueden implementarse en forma de tablas en bases de datos relacionales, archivos planos basados en texto (o archivos XML) almacenados en sistemas de archivos o archivos binarios con formato propietario almacenados en sistemas de archivos. [ 3 ] Las arquitecturas de áreas de preparación varían en complejidad, desde un conjunto de tablas relacionales simples en una base de datos de destino hasta instancias de bases de datos o sistemas de archivos autocontenidos. [ 4 ] Si bien los sistemas de origen y destino compatibles con los procesos ETL suelen ser bases de datos relacionales, las áreas de preparación que se ubican entre las fuentes de datos y los destinos no tienen por qué ser también bases de datos relacionales. [ 5 ]
Funciones
Las áreas de preparación pueden diseñarse para ofrecer numerosos beneficios, pero las principales motivaciones para su uso son aumentar la eficiencia de los procesos ETL, garantizar la integridad de los datos y respaldar las operaciones de calidad de los datos . Las funciones del área de preparación incluyen las siguientes:
Consolidación
Una de las funciones principales de un área de preparación es la consolidación de datos provenientes de múltiples sistemas de origen. [ 3 ] Al realizar esta función, el área de preparación actúa como un gran "contenedor" donde se pueden colocar temporalmente los datos de múltiples sistemas de origen para su posterior procesamiento. Es común etiquetar los datos en el área de preparación con metadatos adicionales que indiquen la fuente de origen y marcas de tiempo que indiquen cuándo se colocaron los datos en el área de preparación.
Alineación
La alineación de datos incluye la estandarización de datos de referencia en múltiples sistemas de origen y la validación de relaciones entre registros y elementos de datos de diferentes fuentes. [ 3 ] La alineación de datos en el área de preparación es una función estrechamente relacionada con las capacidades de gestión de datos maestros y actúa como apoyo a estas . [ 6 ]
Minimizar la contienda
El área de preparación y los procesos ETL que soporta suelen diseñarse con el objetivo de minimizar la contención dentro de los sistemas de origen. Copiar los datos necesarios de los sistemas de origen al área de preparación de una sola vez suele ser más eficiente que recuperar registros individuales (o pequeños conjuntos de registros) de forma esporádica. El primer método aprovecha las eficiencias técnicas, como las tecnologías de transmisión de datos, reduce la sobrecarga al minimizar la necesidad de interrumpir y restablecer las conexiones con los sistemas de origen y optimiza la gestión de bloqueos de concurrencia en sistemas de origen multiusuario. Al copiar los datos de origen y esperar a realizar el procesamiento y la transformación intensivos en el área de preparación, el proceso ETL ejerce un alto grado de control sobre los problemas de concurrencia durante el procesamiento.
Programación independiente/múltiples objetivos
El área de preparación puede admitir el alojamiento de datos para ser procesados en cronogramas independientes, y datos que están destinados a ser dirigidos a múltiples destinos. [ 3 ] En algunos casos, los datos pueden ser cargados al área de preparación en diferentes momentos para ser almacenados y procesados todos a la vez. Esta situación puede ocurrir cuando el procesamiento empresarial se realiza en múltiples zonas horarias cada noche, por ejemplo. En otros casos, los datos pueden ser cargados al área de preparación para ser procesados en diferentes momentos; o el área de preparación puede ser utilizada para enviar datos a múltiples sistemas de destino. Como ejemplo, los datos operativos diarios pueden enviarse a un almacén de datos operativos (ODS) mientras que los mismos datos pueden enviarse en forma agregada mensual a un almacén de datos.
detección de cambios
El área de preparación admite operaciones eficientes de detección de cambios en los sistemas de destino. Esta funcionalidad es particularmente útil cuando los sistemas de origen no admiten formas confiables de detección de cambios, como el sellado de tiempo impuesto por el sistema, el seguimiento de cambios o la captura de datos de cambios (CDC) .
Limpieza de datos
La limpieza de datos incluye la identificación y eliminación (o actualización) de datos no válidos de los sistemas de origen. El proceso ETL que utiliza el área de preparación puede emplearse para implementar lógica de negocio que permita identificar y gestionar los datos "no válidos". Los datos no válidos suelen definirse mediante una combinación de reglas de negocio y limitaciones técnicas. Además, pueden aplicarse restricciones técnicas a las estructuras del área de preparación (como restricciones de tabla en una base de datos relacional) para garantizar la validez de los datos. [ 3 ]
Precálculo agregado
El precálculo de agregados, los cálculos complejos y la aplicación de lógica empresarial compleja pueden realizarse en un área de preparación para respaldar acuerdos de nivel de servicio (SLA) altamente receptivos para informes resumidos en los sistemas de destino. [ 4 ]
Archivo de datos y resolución de problemas
El archivado de datos puede realizarse en un área de preparación o recibir soporte de esta. En este caso, el área de preparación puede utilizarse para mantener registros históricos durante el proceso de carga o para transferir datos a una estructura de archivo de destino. Además, los datos pueden conservarse en el área de preparación durante períodos prolongados para facilitar la resolución de problemas técnicos del proceso ETL. [ 4 ]
Referencias
- ↑ Guía de almacenamiento de datos de Oracle 9i, Conceptos de almacenamiento de datos , Oracle Corp.
- ↑ "Preparación persistente" . Automatización de almacenes de datos - Dimodelo Solutions . Consultado el 22 de abril de 2023 .
- 1 2 3 4 5 Fundamentos del almacenamiento de datos: una guía completa para profesionales de TI, págs. 137-138, Paulraj Ponniah, 2001.
- 1 2 3 Expertos en BI: Big Data y el área de preparación de datos de su almacén de datos , The Data Warehousing Institute, Phillip Russom, 2012.
- ↑ ¿Es relacional la preparación de datos? Archivado el 26/12/2013 en Wayback Machine , Ralph Kimball, 1998.
- ↑ Gestión de datos maestros en la práctica: Logrando una verdadera gestión de datos maestros del cliente, Dalton Cervo y Mark Allen, 2011.
- Almacenamiento de datos
