Modelado de bóveda de datos

Data Vault o modelado de Data Vault es un método de modelado de bases de datos diseñado para proporcionar almacenamiento histórico a largo plazo de datos provenientes de múltiples sistemas operativos. También es un método para analizar datos históricos que aborda cuestiones como la auditoría, el rastreo de datos, la velocidad de carga y la resiliencia al cambio, además de enfatizar la necesidad de rastrear el origen de todos los datos en la base de datos . Esto significa que cada fila en un Data Vault debe ir acompañada de atributos de origen del registro y fecha de carga, lo que permite a un auditor rastrear los valores hasta su origen. El concepto fue publicado en 2000 por Dan Linstedt .

El modelado de Data Vault no distingue entre datos buenos y malos (entendiendo por "malos" aquellos que no cumplen con las reglas de negocio). ^{[ 1 ]} Esto se resume en la afirmación de que un Data Vault almacena " una única versión de los hechos " (también expresado por Dan Linstedt como "todos los datos, todo el tiempo"), a diferencia de la práctica en otros métodos de almacenamiento de datos que almacenan "una única versión de la verdad " ^{[ 2 ]} , donde los datos que no cumplen con las definiciones se eliminan o "limpian". Un almacén de datos empresarial Data Vault proporciona tanto una única versión de los hechos como una única fuente de verdad. ^{[ 3 ]}

El método de modelado está diseñado para ser resistente a los cambios en el entorno empresarial de donde provienen los datos que se almacenan, separando explícitamente la información estructural de los atributos descriptivos . ^{[ 4 ]} Data Vault está diseñado para permitir la carga paralela en la medida de lo posible, ^{[ 5 ]} de modo que las implementaciones muy grandes puedan escalar sin necesidad de un rediseño importante.

A diferencia del esquema de estrella ( modelado dimensional ) y el modelo relacional clásico (3NF), el modelado de bóveda de datos y el modelado de anclaje son adecuados para capturar los cambios que ocurren cuando se modifica o agrega un sistema fuente, pero se consideran técnicas avanzadas que requieren arquitectos de datos experimentados . ^{[ 6 ]} Tanto las bóvedas de datos como los modelos de anclaje son modelos basados ​​en entidades ^{[ 7 ]} pero los modelos de anclaje tienen un enfoque más normalizado.

En sus inicios, Dan Linstedt se refería a la técnica de modelado, que más tarde se convertiría en Data Vault, como arquitectura de almacén de datos fundamental común ^{[ 8 ]} o arquitectura de modelado fundamental común . ^{[ 9 ]} En el modelado de almacenes de datos , existen dos opciones bien conocidas y competitivas para modelar la capa donde se almacenan los datos. Se puede modelar según Ralph Kimball , con dimensiones conformadas y un bus de datos empresarial , o se puede modelar según Bill Inmon con la base de datos normalizada . ^{[ 10 ]} Ambas técnicas presentan problemas al lidiar con cambios en los sistemas que alimentan el almacén de datos . Para las dimensiones conformadas, también es necesario limpiar los datos (para conformarlos), lo cual es indeseable en varios casos, ya que inevitablemente se perderá información . Data Vault está diseñado para evitar o minimizar el impacto de estos problemas al trasladarlos a áreas del almacén de datos que están fuera del área de almacenamiento histórico (la limpieza se realiza en los data marts) y al separar los elementos estructurales (claves de negocio y las asociaciones entre las claves de negocio) de los atributos descriptivos.

Dan Linstedt, el creador del método, describe la base de datos resultante de la siguiente manera:

"El modelo Data Vault es un conjunto de tablas normalizadas, orientadas al detalle, con seguimiento histórico y vinculadas de forma única, que dan soporte a una o más áreas funcionales del negocio. Es un enfoque híbrido que combina lo mejor de la tercera forma normal (3NF) y el esquema en estrella . El diseño es flexible, escalable, consistente y adaptable a las necesidades de la empresa" ^{[ 11 ].}

La filosofía de Data Vault, centrada en el detalle, es que todos los datos son relevantes, incluso si no se ajustan a las definiciones y reglas de negocio establecidas. Si los datos no cumplen con estas definiciones y reglas, el problema reside en la empresa, no en el almacén de datos. Determinar si un dato es "incorrecto" es una interpretación que parte de un punto de vista particular, el cual puede no ser válido para todos ni en todo momento. Por lo tanto, Data Vault debe capturar todos los datos, y solo al generar informes o extraer datos de él se realiza la interpretación.

Otro aspecto al que da respuesta el almacén de datos es la creciente necesidad de garantizar la total auditabilidad y trazabilidad de toda la información almacenada. Debido a los requisitos de la Ley Sarbanes-Oxley en Estados Unidos y medidas similares en Europa, este es un tema relevante para muchas implementaciones de inteligencia empresarial. El objetivo principal de cualquier implementación de almacén de datos es la completa trazabilidad y auditabilidad de toda la información.

Data Vault 2.0 es la nueva especificación. Es un estándar abierto . ^{[ 12 ]} La nueva especificación consta de tres pilares: metodología ( SEI / CMMI , Six Sigma , SDLC , etc.), arquitectura (entre otras, una capa de entrada (etapa de datos, llamada área de preparación persistente en Data Vault 2.0) y una capa de presentación (data mart), y gestión de servicios de calidad de datos y servicios de datos maestros), y el modelo. Dentro de la metodología, se define la implementación de las mejores prácticas. Data Vault 2.0 se centra en la inclusión de nuevos componentes como big data y NoSQL , y también en el rendimiento del modelo existente. La especificación anterior (documentada aquí en su mayor parte) se centra principalmente en el modelado de Data Vault. Está documentada en el libro: Building a Scalable Data Warehouse with Data Vault 2.0. ^{[ 13 ]}

Es necesario actualizar las especificaciones para incluir los nuevos componentes, junto con las mejores prácticas, con el fin de mantener los sistemas EDW y BI al día con las necesidades y deseos de las empresas actuales.

Data Vault 2.0 organiza los datos en tres componentes principales que separan los identificadores estables de los atributos descriptivos cambiantes: ^{[ 23 ]}

• Hub : almacena una clave empresarial única para un concepto empresarial central junto con metadatos mínimos para el linaje/auditoría; actúa como un punto de integración entre fuentes. ^{[ 23 ]}
• Enlace : captura la relación (a menudo de muchos a muchos) entre los hubs; las claves de los hubs participantes definen la granularidad de la relación. ^{[ 23 ]}
• Satélite : contiene atributos descriptivos y su historial asociado con un nodo o enlace; los satélites son de solo adición, por lo que se conserva cada cambio (similar en efecto al historial de tipo II en modelos dimensionales). ^{[ 23 ]}

Los satélites especializados admiten semántica temporal. Por ejemplo, un satélite de efectividad en un enlace registra las fechas de inicio y fin que representan cuándo la relación se considera efectiva para la empresa. ^{[ 23 ]}

El proceso ETL para actualizar un modelo de Data Vault es bastante sencillo (consulte Data Vault Series 5 – Prácticas de carga ). Primero, debe cargar todos los hubs, creando identificadores sustitutos para las nuevas claves de negocio. Una vez hecho esto, podrá resolver todas las claves de negocio a identificadores sustitutos al consultar el hub. El segundo paso consiste en resolver los vínculos entre hubs y crear identificadores sustitutos para las nuevas asociaciones. Al mismo tiempo, también puede crear todos los satélites conectados a los hubs, ya que puede resolver la clave a un identificador sustituto. Una vez creados todos los nuevos vínculos con sus claves sustitutos, puede agregar los satélites a todos los vínculos.

Dado que los concentradores no están conectados entre sí excepto mediante enlaces, puede cargarlos todos en paralelo. Como los enlaces no están conectados directamente entre sí, también puede cargarlos todos en paralelo. Dado que los satélites solo pueden conectarse a concentradores y enlaces, también puede cargarlos en paralelo.

El proceso ETL es bastante sencillo y se presta fácilmente a la automatización o al uso de plantillas. Los problemas surgen únicamente con los enlaces que involucran a otros enlaces, ya que la resolución de las claves de negocio en un enlace solo conduce a otro enlace que también debe resolverse. Debido a la equivalencia de esta situación con un enlace a múltiples hubs, esta dificultad puede evitarse remodelando dichos casos, lo cual es, de hecho, la práctica recomendada. ^{[ 18 ]}

Los datos nunca se eliminan del repositorio de datos, a menos que se produzca un error técnico durante la carga de los mismos.

La capa modelada de la bóveda de datos se utiliza normalmente para almacenar datos. No está optimizada para el rendimiento de las consultas, ni es fácil de consultar con las herramientas de consulta más conocidas, como Cognos , Oracle Business Intelligence Suite Enterprise Edition , SAP Business Objects , Pentaho , etc. Dado que estas herramientas informáticas para el usuario final esperan o prefieren que sus datos estén contenidos en un modelo dimensional , suele ser necesaria una conversión.

Para ello, los nodos centrales y los satélites asociados a ellos pueden considerarse dimensiones, mientras que los enlaces y los satélites asociados a dichos enlaces pueden visualizarse como tablas de hechos en un modelo dimensional. Esto permite crear rápidamente un prototipo de modelo dimensional a partir de un modelo de Data Vault mediante vistas.

Cabe señalar que, si bien es relativamente sencillo transferir datos de un modelo de bóveda de datos a un modelo dimensional (depurado), el proceso inverso no es tan fácil, dada la naturaleza desnormalizada de las tablas de hechos del modelo dimensional, fundamentalmente diferente a la tercera forma normal de la bóveda de datos. ^{[ 31 ]}

La metodología de Data Vault se basa en las mejores prácticas de SEI / CMMI Nivel 5. Incluye múltiples componentes de CMMI Nivel 5 y los combina con las mejores prácticas de Six Sigma , la gestión de calidad total (TQM) y el ciclo de vida del desarrollo de software (SDLC). En particular, se centra en la metodología ágil de Scott Ambler para el desarrollo y la implementación. Los proyectos de Data Vault tienen un ciclo de lanzamiento corto y controlado, con un alcance definido, y deben consistir en un lanzamiento a producción cada 2 o 3 semanas.

Los equipos que utilicen la metodología de bóveda de datos deberían adaptarse fácilmente a los proyectos repetibles, consistentes y medibles que se esperan en el nivel 5 de CMMI. Los datos que fluyen a través del sistema de bóveda de datos EDW comenzarán a seguir el ciclo de vida de TQM que durante mucho tiempo ha estado ausente en los proyectos de BI (inteligencia empresarial).

Algunos ejemplos de herramientas son:

• DataVault4dbt
• 2150 Datavault Builder
• Constructor de DW Astera
• Donde el paisaje
• Velocidad de salto
• AutomateDV

• Inteligencia de negocios ágil : uso del desarrollo de software ágil para proyectos de inteligencia de negocios. Páginas que muestran descripciones breves de los destinos de redireccionamiento. 
• Bill Inmon – Científico informático estadounidense 
• Lago de datos : repositorio de datos almacenados en formato sin procesar. 
• Almacén de datos : almacenamiento centralizado del conocimiento. 
• El ciclo de vida de Kimball : metodología para el desarrollo de almacenes de datos. Páginas que muestran breves descripciones de los destinos de redireccionamiento , desarrolladas por Ralph Kimball , científico informático estadounidense.  
• Área de preparación : lugar donde se reúnen los artículos antes de su uso. 
• Esquema en estrella : la principal alternativa al modelado de Data Vault.

• Patrick Cuba: El gurú de los almacenes de datos. Una guía práctica para construir un almacén de datos. Autoedición, sin lugar a dudas, 2020, ISBN 979-86-9130808-6.
• John Giles: El elefante en la nevera. Pasos guiados para el éxito de la bóveda de datos mediante la creación de modelos centrados en el negocio. Technics, Basking Ridge 2019, ISBN 978-1-63462-489-3.
• Kent Graziano: Mejor modelado de datos . Introducción a la ingeniería de datos ágil con Data Vault 2.0. Data Warrior, Houston, 2015.
• Hans Hultgren: Modelado del almacén de datos ágil con Data Vault. Brighton Hamilton, Denver, EE. UU., 2012, ISBN 978-0-615-72308-2.
• Dirk Lerner: Data Vault para una arquitectura ágil de almacenes de datos. En: Stephan Trahasch, Michael Zimmer (Ed.): Agile Business Intelligence. Teoría y praxis. dpunkt.verlag, Heidelberg 2016, ISBN 978-3-86490-312-0, págs. 83–98.
• Daniel Linstedt: Potencie su almacén de datos. Reglas de modelado de datos invaluables para implementar su bóveda de datos. Linstedt, Saint Albans, Vermont, 2011, ISBN 978-1-4637-7868-2.
• Daniel Linstedt, Michael Olschimke: Creación de un almacén de datos escalable con Data Vault 2.0. Morgan Kaufmann, Waltham, Massachusetts 2016, ISBN 978-0-12-802510-9.
• Dani Schnider, Claus Jordan ua: Planos de almacén de datos. Inteligencia de Negocios en la Praxis. Hanser, Múnich 2016, ISBN 978-3-446-45075-2, págs. 35–37, 161–173.

• La página principal de Dan Linstedt, el inventor del modelo Data Vault.