Linaje de datos

El linaje de datos se refiere al proceso de rastrear cómo se generan, transforman, transmiten y utilizan los datos en diferentes sistemas a lo largo del tiempo. ^{[ 1 ]} Documenta los orígenes, transformaciones y movimientos de los datos, proporcionando una visibilidad detallada de su ciclo de vida. Este proceso simplifica la identificación de errores en los flujos de trabajo de análisis de datos , al permitir a los usuarios rastrear los problemas hasta sus causas raíz. ^{[ 2 ]}

El linaje de datos facilita la reproducción de segmentos o entradas específicas del flujo de datos . Esto puede utilizarse para depurar o regenerar salidas perdidas. En los sistemas de bases de datos , este concepto está estrechamente relacionado con la procedencia de los datos , que implica el mantenimiento de registros de las entradas, entidades, sistemas y procesos que influyen en los datos.

La procedencia de los datos proporciona un registro histórico de los orígenes y transformaciones de los datos. Apoya actividades forenses como el análisis de dependencia de datos, la detección de errores/vulneraciones, la recuperación, la auditoría y el análisis de cumplimiento: " El linaje es un tipo simple de procedencia ". ^{[ 3 ]}

La gobernanza de datos desempeña un papel fundamental en la gestión de metadatos mediante el establecimiento de directrices, estrategias y políticas. La mejora del linaje de datos conmedidas de calidad de datos y la gestión de datos maestros aporta valor empresarial. Si bien el linaje de datos se suele representar mediante una interfaz gráfica de usuario (GUI), los métodos para recopilar y mostrar metadatos en esta interfaz pueden variar. Según el enfoque de recopilación de metadatos, el linaje de datos se puede clasificar en tres tipos: aquellos que involucran paquetes de software para datos estructurados, lenguajes de programación ysistemas de Big Data .

La información de linaje de datos incluye metadatos técnicos sobre las transformaciones de datos. El linaje de datos enriquecido puede incluir elementos adicionales como resultados de pruebas de calidad de datos, datos de referencia, modelos de datos , terminología empresarial, información sobre la administración de datos , detalles de la gestión de programas y sistemas empresariales asociados a los puntos de datos y las transformaciones. Las herramientas de visualización de linaje de datos suelen incluir funciones de enmascaramiento que permiten a los usuarios centrarse en la información relevante para casos de uso específicos. Para unificar las representaciones en sistemas dispares, puede ser necesaria la normalización o estandarización de los metadatos .

La representación depende en gran medida del alcance de la gestión de metadatos y del punto de referencia de interés. El linaje de datos proporciona las fuentes de los datos y los saltos del flujo de datos intermedios desde el punto de referencia con un linaje de datos hacia atrás , que conduce a los puntos de datos del destino final y sus flujos de datos intermedios con un linaje de datos hacia adelante . Estas vistas se pueden combinar con un linaje de extremo a extremo para un punto de referencia que proporciona un registro de auditoría completo de ese punto de datos de interés desde las fuentes hasta sus destinos finales. A medida que aumentan los puntos de datos o los saltos, la complejidad de dicha representación se vuelve incomprensible. Por lo tanto, la mejor característica de la vista de linaje de datos es la capacidad de simplificar la vista enmascarando temporalmente los puntos de datos periféricos no deseados. Las herramientas con la función de enmascaramiento permiten la escalabilidad de la vista y mejoran el análisis con la mejor experiencia de usuario tanto para usuarios técnicos como de negocios. El linaje de datos también permite a las empresas rastrear las fuentes de datos comerciales específicos para detectar errores, implementar cambios en los procesos e implementar migraciones de sistemas para ahorrar cantidades significativas de tiempo y recursos. El linaje de datos puede mejorar la eficiencia en los procesos de inteligencia empresarial (BI). ^{[ 4 ]}

El linaje de datos se puede representar visualmente para descubrir el flujo y el movimiento de los datos desde su origen hasta su destino, a través de diversos cambios y saltos en el entorno empresarial. Esto incluye cómo se transforman los datos durante el proceso, cómo cambian su representación y parámetros, y cómo se dividen o convergen después de cada salto. Una representación sencilla del linaje de datos se puede mostrar con puntos y líneas, donde los puntos representan contenedores de datos y las líneas que los conectan representan las transformaciones que sufren los datos entre los contenedores.

El linaje de datos se puede visualizar en distintos niveles según la granularidad de la vista. En un nivel general, el linaje de datos se visualiza como los sistemas con los que interactúan los datos antes de llegar a su destino. En su nivel más granular, las visualizaciones a nivel de punto de datos pueden proporcionar detalles sobre dicho punto y su comportamiento histórico, las propiedades y tendencias de sus atributos, así como la calidad de los datos que pasan por ese punto específico en el linaje.

El alcance del linaje de datos determina el volumen de metadatos necesarios para representarlo. Generalmente, la gobernanza y la gestión de datos de una organización definen el alcance del linaje de datos en función de sus normativas , la estrategia de gestión de datos empresariales, el impacto de los datos, los atributos de los informes y los elementos de datos críticos de la organización.

Los sistemas distribuidos como Google Map Reduce , ^{[ 5 ]} Microsoft Dryad, ^{[ 6 ]} Apache Hadoop ^{[ 7 ]} (un proyecto de código abierto) y Google Pregel ^{[ 8 ]} proporcionan dichas plataformas para empresas y usuarios. Sin embargo, incluso con estos sistemas, el análisis de Big Data puede tardar varias horas, días o semanas en ejecutarse, simplemente debido a los volúmenes de datos involucrados. Por ejemplo, un algoritmo de predicción de calificaciones para el desafío Netflix Prize tardó casi 20 horas en ejecutarse en 50 núcleos, y una tarea de procesamiento de imágenes a gran escala para estimar información geográfica tardó 3 días en completarse utilizando 400 núcleos. ^{[ 9 ]} "Se espera que el Telescopio de Sondeo Sinóptico Grande genere terabytes de datos cada noche y eventualmente almacene más de 50 petabytes , mientras que en el sector de la bioinformática , las 12 casas de secuenciación de genomas más grandes del mundo ahora almacenan petabytes de datos cada una. ^{[ 10 ]} Es muy difícil para un científico de datos rastrear un resultado desconocido o no anticipado.

En los sistemas de información, la procedencia de los datos es información sobre las entidades, actividades y agentes involucrados en la producción de un dato; registra cómo se obtuvieron los datos y puede utilizarse para evaluar la calidad, la fiabilidad y la confianza. ^{[ 22 ]} La investigación clásica sobre bases de datos distingue el por qué , el dónde y el cómo de la procedencia y muestra cómo estas formas respaldan tareas como la depuración de consultas, el mantenimiento de vistas, la estimación de la confianza y la propagación de anotaciones. ^{[ 23 ]} En los flujos de trabajo científicos, la procedencia documenta el historial de derivación desde las fuentes originales a través de los pasos del flujo de trabajo, lo que respalda la reproducibilidad y la reutilización de los resultados. ^{[ 24 ]}

En el uso industrial, el linaje de datos está estrechamente relacionado: el linaje generalmente denota el flujo de extremo a extremo de conjuntos de datos y transformaciones a través de sistemas (desde las fuentes hasta el procesamiento y las salidas), mientras que la procedencia enfatiza las derivaciones y la atribución de elementos de datos específicos; ambos son complementarios. ^{[ 25 ]} Las especificaciones abiertas y orientadas a la implementación, como OpenLineage, modelan el linaje en términos de trabajos, ejecuciones y conjuntos de datos para permitir la captura automatizada desde las modernas canalizaciones de datos. ^{[ 26 ]}

Usos. La información de procedencia/linaje sustenta el análisis de impacto y la depuración de flujos de datos, y respalda la presentación de informes regulatorios y la auditoría (por ejemplo, los principios del Comité de Basilea para la agregación eficaz de datos de riesgo y la presentación de informes de riesgo). ^{[ 23 ] [ 24 ] [ 27 ]}

Modelo de datos PROV

PROV es una recomendación del W3C de 2013,

La procedencia es información sobre las entidades, actividades y personas involucradas en la producción de un dato o un objeto, que puede utilizarse para evaluar su calidad, fiabilidad o confiabilidad. La familia de documentos PROV define un modelo, serializaciones correspondientes y otras definiciones de apoyo para permitir el intercambio interoperable de información de procedencia en entornos heterogéneos como la web . «PROV-Overview, una descripción general de la familia de documentos PROV» ^{[ 28 ]}

La procedencia se define como un registro que describe a las personas, instituciones, entidades y actividades involucradas en la producción, influencia o entrega de un dato o algo. En particular, la procedencia de la información es crucial para decidir si se debe confiar en ella, cómo debe integrarse con otras fuentes de información diversas y cómo reconocer a sus creadores al reutilizarla. En un entorno abierto e inclusivo como la web, donde los usuarios encuentran información que a menudo es contradictoria o cuestionable, la procedencia puede ayudarlos a emitir juicios de confianza. "PROV-DM: El modelo de datos PROV" ^{[ 29 ]}

Intuitivamente, para un operador${\displaystyle T}$produciendo resultados${\displaystyle o}$, el linaje consta de tripletes de forma${\displaystyle \{i,T,o\}}$, dónde${\displaystyle i}$es el conjunto de entradas a${\displaystyle T}$utilizado para derivar${\displaystyle o}$. ^{[ 3 ]} Una consulta que encuentra las entradas que derivan una salida se llama consulta de rastreo hacia atrás , mientras que una que encuentra las salidas producidas por una entrada se llama consulta de rastreo hacia adelante . ^{[ 30 ]} El rastreo hacia atrás es útil para la depuración, mientras que el rastreo hacia adelante es útil para rastrear la propagación de errores. ^{[ 30 ]} Las consultas de rastreo también forman la base para reproducir un flujo de datos original. ^{[ 12 ] [ 31 ] [ 30 ]} Sin embargo, para usar eficientemente el linaje en un sistema DISC , necesitamos poder capturar el linaje en múltiples niveles (o granularidades) de operadores y datos, capturar un linaje preciso para las construcciones de procesamiento DISC y poder rastrear a través de múltiples etapas de flujo de datos de manera eficiente.

Un sistema DISC consta de varios niveles de operadores y datos , y los diferentes casos de uso del linaje pueden determinar el nivel en el que se debe capturar dicho linaje. El linaje se puede capturar a nivel del trabajo, utilizando archivos y proporcionando tuplas de linaje de la forma {SI i, M RJob, DE i}; también se puede capturar a nivel de cada tarea, utilizando registros y proporcionando, por ejemplo, tuplas de linaje de la forma {(k rr, v rr), mapa, (km, vm)}. La primera forma de linaje se denomina linaje de grano grueso, mientras que la segunda se denomina linaje de grano fino. La integración del linaje en diferentes granularidades permite a los usuarios formular preguntas como "¿Qué archivo leído por un trabajo MapReduce produjo este registro de salida en particular?" y puede ser útil para la depuración en diferentes operadores y granularidades de datos dentro de un flujo de datos. ^{[ 3 ]}

Para capturar el linaje de extremo a extremo en un sistema DISC, utilizamos el modelo Ibis, ^{[ 32 ]} que introduce la noción de jerarquías de contención para operadores y datos. Específicamente, Ibis propone que un operador puede estar contenido dentro de otro y dicha relación entre dos operadores se denomina contención de operadores . La contención de operadores implica que el operador contenido (o hijo) realiza parte de la operación lógica del operador que lo contiene (o padre). ^{[ 3 ]} Por ejemplo, una tarea MapReduce está contenida en un trabajo. Existen relaciones de contención similares para los datos, conocidas como contención de datos. La contención de datos implica que los datos contenidos son un subconjunto de los datos que los contienen (superconjunto).

Los sistemas de linaje de datos se pueden clasificar como ansiosos o perezosos. ^{[ 30 ]}

Los sistemas de recolección de datos capturan el linaje completo del flujo de datos en tiempo de ejecución. El tipo de linaje que capturan puede ser de grano grueso o de grano fino, pero no requieren ningún cálculo adicional sobre el flujo de datos después de su ejecución.

La recopilación diferida de linaje generalmente solo captura información general durante la ejecución. Estos sistemas generan una baja sobrecarga de captura debido a la pequeña cantidad de información que recopilan. Sin embargo, para responder a consultas de rastreo detalladas, deben reproducir el flujo de datos en toda (o gran parte de) su entrada y recopilar información detallada durante la reproducción. Este enfoque es adecuado para sistemas forenses, donde un usuario desea depurar una salida errónea observada.

Los sistemas de recopilación de linaje de grano fino y en espera generan mayores gastos generales de captura que los sistemas de recopilación diferida. Sin embargo, permiten una reproducción y depuración sofisticadas. ^{[ 3 ]}

Un actor es una entidad que transforma datos; puede ser un vértice Dryad, operadores individuales de mapeo y reducción, un trabajo MapReduce o una canalización de flujo de datos completa. Los actores actúan como cajas negras y las entradas y salidas de un actor se utilizan para capturar el linaje en forma de asociaciones, donde una asociación es una tripleta.${\displaystyle \{i,T,o\}}$que relaciona una entrada ${\displaystyle i}$con una salida${\displaystyle o}$para un actor${\displaystyle T}$La instrumentación captura así el linaje en un flujo de datos actor por actor, organizándolo en un conjunto de asociaciones para cada actor. El desarrollador del sistema necesita capturar los datos que un actor lee (de otros actores) y los datos que un actor escribe (a otros actores). Por ejemplo, un desarrollador puede tratar el Hadoop Job Tracker como un actor registrando el conjunto de archivos leídos y escritos por cada trabajo. ^{[ 33 ]}

Una asociación es una combinación de las entradas, las salidas y la operación en sí. La operación se representa mediante una caja negra, también conocida como actor. Las asociaciones describen las transformaciones que se aplican a los datos. Estas asociaciones se almacenan en las tablas de asociación. Cada actor único está representado por su tabla de asociación. Una asociación tiene la forma {i, T, o}, donde i es el conjunto de entradas del actor T y o es el conjunto de salidas producidas por el actor. Las asociaciones son las unidades básicas del linaje de datos. Posteriormente, las asociaciones individuales se agrupan para construir el historial completo de las transformaciones aplicadas a los datos. ^{[ 3 ]}

Los sistemas de big data aumentan su capacidad mediante la incorporación de nuevo hardware o software al sistema distribuido. Este proceso se denomina escalado horizontal . A nivel lógico, el sistema distribuido actúa como una única entidad, aunque esté compuesto por múltiples componentes de hardware y software. El sistema debe mantener esta propiedad tras el escalado horizontal. Una ventaja importante del escalado horizontal es que permite aumentar la capacidad sobre la marcha. Su mayor ventaja reside en que el escalado horizontal puede realizarse con hardware estándar.

La escalabilidad horizontal de los sistemas de Big Data debe tenerse en cuenta al crear la arquitectura del almacén de linaje. Esto es fundamental, ya que el propio almacén de linaje debe poder escalar en paralelo con el sistema de Big Data . El número de asociaciones y la cantidad de almacenamiento necesaria para guardar el linaje aumentarán con el tamaño y la capacidad del sistema. La arquitectura de los sistemas de Big Data no permite el uso de un único almacén de linaje, lo cual resulta inapropiado e imposible de escalar. La solución inmediata a este problema consiste en distribuir el propio almacén de linaje. ^{[ 3 ]}

El escenario ideal consiste en utilizar un almacén de linaje local para cada máquina en la red del sistema distribuido. Esto permite que el almacén de linaje también escale horizontalmente. En este diseño, el linaje de las transformaciones de datos aplicadas a los datos en una máquina en particular se almacena en el almacén de linaje local de esa máquina específica. El almacén de linaje normalmente almacena tablas de asociación. Cada actor está representado por su propia tabla de asociación. Las filas son las asociaciones en sí mismas, y las columnas representan las entradas y salidas. Este diseño resuelve dos problemas. Permite el escalado horizontal del almacén de linaje. Si se utilizara un único almacén de linaje centralizado, esta información tendría que transmitirse a través de la red, lo que causaría latencia adicional. La latencia de red también se evita mediante el uso de un almacén de linaje distribuido. ^{[ 33 ]}

La información almacenada en términos de asociaciones debe combinarse de alguna manera para obtener el flujo de datos de un trabajo en particular. En un sistema distribuido, un trabajo se divide en múltiples tareas. Una o más instancias ejecutan una tarea en particular. Los resultados producidos en estas máquinas individuales se combinan posteriormente para finalizar el trabajo. Las tareas que se ejecutan en diferentes máquinas realizan múltiples transformaciones en los datos de la máquina. Todas las transformaciones aplicadas a los datos en una máquina se almacenan en el almacén de linaje local de esa máquina. Esta información debe combinarse para obtener el linaje de todo el trabajo. El linaje de todo el trabajo debería ayudar al científico de datos a comprender el flujo de datos del trabajo y puede utilizar el flujo de datos para depurar la canalización de Big Data . El flujo de datos se reconstruye en 3 etapas.

Este es el paso más crucial en la depuración de Big Data . El linaje capturado se combina y procesa para obtener el flujo de datos de la canalización. El flujo de datos ayuda al científico de datos o al desarrollador a analizar en profundidad los actores y sus transformaciones. Este paso permite al científico de datos determinar la parte del algoritmo que genera el resultado inesperado. Una canalización de Big Data puede fallar de dos maneras principales. La primera es la presencia de un actor sospechoso en el flujo de datos. La segunda es la existencia de valores atípicos en los datos.

El primer caso se puede depurar rastreando el flujo de datos. Al usar información de linaje y flujo de datos en conjunto, un científico de datos puede determinar cómo las entradas se convierten en salidas. Durante el proceso, se pueden detectar actores que se comportan de manera inesperada. Estos actores se pueden eliminar del flujo de datos o se pueden agregar nuevos actores para modificarlo. El flujo de datos mejorado se puede reproducir para probar su validez. La depuración de actores defectuosos incluye realizar una reproducción recursiva de grano grueso en los actores del flujo de datos, ^{[ 34 ]} lo que puede ser costoso en recursos para flujos de datos largos. Otro enfoque es inspeccionar manualmente los registros de linaje para encontrar anomalías, ^{[ 13 ] [ 35 ]} lo que puede ser tedioso y consumir mucho tiempo en varias etapas de un flujo de datos. Además, estos enfoques solo funcionan cuando el científico de datos puede descubrir salidas incorrectas. Para depurar análisis sin salidas incorrectas conocidas, el científico de datos necesita analizar el flujo de datos en busca de comportamientos sospechosos en general. Sin embargo, a menudo, un usuario puede desconocer el comportamiento normal esperado y no puede especificar predicados. Esta sección describe una metodología de depuración para analizar retrospectivamente el linaje e identificar actores defectuosos en un flujo de datos multietapa. Creemos que los cambios repentinos en el comportamiento de un actor, como su selectividad promedio, tasa de procesamiento o tamaño de salida, son característicos de una anomalía. El linaje puede reflejar dichos cambios en el comportamiento del actor a lo largo del tiempo y entre diferentes instancias del mismo. Por lo tanto, analizar el linaje para identificar estos cambios puede ser útil para depurar actores defectuosos en un flujo de datos.

El segundo problema, es decir, la existencia de valores atípicos, también puede identificarse ejecutando el flujo de datos paso a paso y analizando las salidas transformadas. El científico de datos encuentra un subconjunto de salidas que no concuerdan con el resto. Las entradas que causan estas salidas erróneas son valores atípicos en los datos. Este problema puede resolverse eliminando el conjunto de valores atípicos y reproduciendo todo el flujo de datos. También puede resolverse modificando el algoritmo de aprendizaje automático mediante la adición, eliminación o reubicación de actores en el flujo de datos. Los cambios en el flujo de datos se consideran exitosos si el flujo de datos reproducido no produce salidas erróneas.

Si bien la utilización de metodologías de linaje de datos representa un enfoque novedoso para la depuración de flujos de datos masivos (Big Data) , el proceso no es sencillo. Es necesario abordar diversos desafíos, como la escalabilidad y la tolerancia a fallos del repositorio de linaje, la captura precisa del linaje para operadores de sistemas de caja negra y muchas otras consideraciones. Estos desafíos deben evaluarse cuidadosamente para desarrollar un diseño realista de captura de linaje de datos, teniendo en cuenta las ventajas e inconvenientes inherentes a cada uno.

• Grafo acíclico dirigido
• Área de preparación persistente , un área de preparación que registra todo el historial de cambios de una tabla o consulta de origen.