Base de datos de series temporales

Una base de datos de series temporales (TSDB) es un sistema de software optimizado para manejar datos de series temporales : una secuencia de puntos de datos indexados en orden cronológico. ^{[ 1 ]} En varias disciplinas científicas y financieras, estas secuencias cronológicas pueden denominarse perfiles, curvas, trazas o tendencias. ^{[ 2 ]} Las primeras versiones de estas bases de datos se asociaron principalmente con aplicaciones industriales, donde funcionaban como historiadores de datos para registrar de manera eficiente las mediciones de sensores físicos; sin embargo, las implementaciones modernas ahora abarcan una gama mucho más amplia de usos. Debido a las altas tasas de ingesta y la naturaleza secuencial de estos datos, los repositorios TSDB utilizan en gran medida algoritmos de compresión especializados para administrar el almacenamiento de manera eficiente. ^{[ 3 ]} Si bien los datos de series temporales se pueden almacenar en varios tipos de bases de datos, los sistemas diseñados en torno a un índice primario temporal difieren estructuralmente de las bases de datos relacionales , que optimizan las relaciones discretas utilizando modelos referenciales.

En comparación con los conjuntos de datos de propósito general, los conjuntos de datos de series temporales son altamente uniformes y escalan rápidamente, y generalmente consisten en marcas de tiempo secuenciales asignadas a valores métricos específicos. ^{[ 4 ]} Debido a que las entradas individuales rara vez presentan dependencias relacionales complejas entre tablas, las bases de datos de series temporales no requieren la sobrecarga de las restricciones relacionales tradicionales. Además, debido a que estas cargas de trabajo rara vez exigen retención de datos indefinida , las bases de datos de series temporales pueden reducir drásticamente el espacio de almacenamiento y acelerar las consultas en comparación con las bases de datos de propósito general. ^{[ 4 ]}

Por ejemplo, la uniformidad secuencial de los datos temporales permite que algoritmos de compresión especializados, como la codificación delta o la compresión Gorilla, alcancen una densidad de datos significativamente mayor que las técnicas de compresión estándar. ^{[ 3 ]} Además, mientras que los sistemas de propósito general están optimizados para la retención persistente de datos, las bases de datos de series temporales (TSDB) automatizan de forma nativa la gestión del ciclo de vida de los datos mediante el submuestreo o la eliminación masiva de particiones de datos históricos completas. ^{[ 5 ]} Finalmente, las estrategias de indexación temporal especializadas aíslan aún más las ventanas de tiempo para maximizar el rendimiento de las consultas.

Las bases de datos de series temporales suelen diseñarse para cargas de trabajo de solo adición, donde se ingieren continuamente grandes volúmenes de observaciones secuenciales o eventos discretos junto con las marcas de tiempo correspondientes. Los sistemas de gestión de series diseñados específicamente para ello se encargan de ingerir y procesar datos procedentes de la monitorización de infraestructuras, la automatización de sistemas, el internet de las cosas (IoT) y redes ciberfísicas complejas. En estos entornos, los flujos de datos se generan normalmente a velocidades extremas y en grandes volúmenes. ^{[ 4 ] [ 5 ]}

Los paradigmas de diseño primarios se centran en maximizar el rendimiento de escritura, garantizar consultas de rango de baja latencia, utilizar compresión de datos altamente eficiente y admitir de forma nativa agregaciones temporales de múltiples ventanas o submuestreo automatizado. ^{[ 3 ] [ 6 ]} Para facilitar la indexación multidimensional, muchas implementaciones organizan los datos utilizando un esquema compuesto por etiquetas clave-valor, identificadores de dispositivos u otros metadatos. Esta estructura de metadatos permite a las aplicaciones aislar y consultar la telemetría basándose simultáneamente en intervalos de tiempo específicos y atributos de origen. ^{[ 6 ]}

Las bases de datos de series temporales se utilizan en diversos sectores donde la recopilación continua de datos cronológicos es fundamental. Entre las áreas de aplicación comunes se incluyen la monitorización de la automatización industrial, los historiadores de datos operativos, la monitorización del rendimiento de la infraestructura y las aplicaciones (APM), la telemetría de IoT, la gestión de redes eléctricas inteligentes, el seguimiento de datos de ticks del mercado financiero y las mediciones experimentales científicas. ^{[ 5 ] [ 7 ]}

En el ámbito de la telemetría y la monitorización de sistemas, los sistemas de bases de datos de series temporales deben ingerir e indexar flujos masivos de datos de sensores o métricas en tiempo real. Para dar soporte a los flujos de trabajo analíticos posteriores, estas bases de datos ejecutan de forma nativa consultas continuas y admiten tareas analíticas como la exploración de datos, la detección de anomalías en tiempo real , el análisis predictivo de tendencias y la recuperación de valores faltantes o la reconstrucción de datos faltantes en la base de datos . ^{[ 7 ]}

Las bases de datos de series temporales suelen servir como motores subyacentes de almacenamiento y recuperación para flujos de trabajo analíticos posteriores, incluyendo pronósticos, detección de anomalías en tiempo real, imputación de valores faltantes y coincidencia de patrones . Para optimizar el rendimiento y reducir la sobrecarga de transferencia de datos, algunos sistemas modernos de series temporales admiten análisis dentro de la base de datos mediante la integración de funciones de aprendizaje automático directamente en la capa de la base de datos. Esta arquitectura permite que las operaciones invoquen algoritmos de pronóstico o detección de valores atípicos de forma nativa a través de interfaces de consulta de bases de datos estándar, como extensiones SQL especializadas. ^{[ 7 ] [ 8 ]}

La investigación en ciencia de datos temporales utiliza cada vez más modelos base de series temporales preentrenadas de gran tamaño para tareas complejas de predicción y clasificación. En la literatura de informática, estas arquitecturas de aprendizaje profundo se clasifican estrictamente como metodologías de análisis algorítmico aplicadas a conjuntos de datos temporales, en lugar de características nativas que definen la arquitectura del motor de base de datos subyacente . ^{[ 9 ] [ 10 ]}

Los siguientes sistemas de bases de datos cuentan con funcionalidades optimizadas para el manejo de datos de series temporales .

• Historiador operacional
• Codificación delta
  • Copia de seguridad diferencial