Procesamiento híbrido transaccional/analítico

El procesamiento híbrido de transacciones/análisis ( HTAP ) es un término creado por Gartner Inc. , una empresa de investigación y consultoría en tecnología de la información, en su informe de investigación de principios de 2014 titulado " El procesamiento híbrido de transacciones/análisis fomentará oportunidades para una innovación empresarial drástica" . ^{[ 1 ]} Según la definición de Gartner:

El procesamiento híbrido de transacciones y análisis (HTAP) es una arquitectura de aplicación emergente que "rompe la barrera" entre el procesamiento de transacciones y el análisis. Permite una toma de decisiones más informada y "en tiempo real" en el ámbito empresarial. ^{[ 2 ] [ 1 ]}

En informes más recientes, Gartner ha comenzado a referirse a HTAP como "transacciones aumentadas". ^{[ 3 ]} Otra firma de análisis, Forrester Research, llama al mismo concepto "Translítico" ^{[ 4 ]} mientras que 451 Group lo llama "Procesamiento híbrido operativo y analítico" o HOAP. ^{[ 5 ]}

En la década de 1960, el uso de computadoras en el sector empresarial comenzó con las transacciones de nómina y posteriormente incluyó tareas en áreas como contabilidad y facturación. En aquel entonces, los usuarios ingresaban datos y el sistema los procesaba más tarde . El desarrollo posterior del procesamiento instantáneo de datos , o procesamiento de transacciones en línea (OLTP), condujo a la generalización de su uso en los sistemas de información del sector público y privado. ^{[ 6 ]}

El procesamiento analítico en línea (OLAP) abarca el procesamiento analítico involucrado en la creación, síntesis y gestión de datos. Con la creciente demanda de datos por parte de las empresas, OLAP también ha evolucionado. Para satisfacer las necesidades de las aplicaciones, ambas tecnologías dependen de sus propios sistemas y arquitecturas distintas. ^{[ 7 ] [ 6 ]} Como resultado de la complejidad en la arquitectura de la información y la infraestructura de los sistemas OLTP y OLAP, el análisis de datos se retrasa. ^{[ 7 ]}

Existen diversas interpretaciones de HTAP, además de la definición original de Gartner: una "arquitectura emergente". Estas interpretaciones sugieren distintas ventajas, una de las cuales es la funcionalidad de la base de datos. Los recientes avances en investigación, hardware, capacidades OLTP y OLAP, tecnologías de bases de datos en memoria y nativas de la nube, ^{[ 8 ]} y la gestión transaccional escalable y los productos permiten que el procesamiento y análisis transaccional, o HTAP, operen en la misma base de datos. ^{[ 7 ] [ 9 ] [ 6 ]}

Sin embargo, los informes más recientes de Gartner sugieren ventajas más amplias que las que puede ofrecer una única base de datos unificada. Las arquitecturas de aplicaciones tradicionales separaban los sistemas transaccionales de los analíticos. El negocio digital y la necesidad de responder a los momentos clave del negocio implican que el análisis posterior a los hechos ya no es suficiente. Los momentos clave del negocio son oportunidades transitorias que deben aprovecharse en tiempo real. Si una organización no es capaz de reconocer o responder rápidamente a un momento clave del negocio mediante decisiones ágiles y bien fundamentadas, otra organización sí lo hará, lo que resultará en una oportunidad perdida (o una nueva amenaza para el negocio). HTAP permite ejecutar análisis avanzados en tiempo real sobre datos de transacciones en curso, proporcionando una arquitectura que capacita a los usuarios para responder de manera más eficaz a los momentos clave del negocio. ^{[ 10 ]}

Los principales desafíos técnicos para una base de datos HTAP radican en cómo lograr eficiencia tanto para cargas de trabajo operativas (muchas transacciones pequeñas con una alta proporción de actualizaciones) como analíticas (consultas extensas y complejas que recorren un gran número de filas) en el mismo sistema de base de datos, y cómo evitar la interferencia de las consultas analíticas sobre la carga de trabajo operativa. Este tipo de carga de trabajo operativa también se conoce comúnmente como Procesamiento Analítico Operacional .

HTAP resuelve el problema de la latencia analítica de varias maneras, incluyendo la eliminación de la necesidad de múltiples copias de los mismos datos y el requisito de que los datos se descarguen de las bases de datos operativas a los almacenes de datos mediante procesos ETL . ^{[ 7 ] [ 9 ]}

La mayoría de las aplicaciones de HTAP se basan en tecnologías en memoria que pueden procesar un alto volumen de transacciones y ofrecen funciones como pronósticos y simulaciones. Las nuevas tecnologías HTAP utilizan procesamiento transaccional escalable y no necesitan mantener toda la base de datos en memoria. HTAP tiene el potencial de cambiar la forma en que las organizaciones hacen negocios al ofrecer capacidades inmediatas para la toma de decisiones empresariales basadas en análisis sofisticados y en tiempo real de grandes volúmenes de datos. Los líderes gubernamentales y empresariales pueden estar informados sobre problemas, resultados y tendencias en tiempo real que requieren acción, como en las áreas de seguridad pública, gestión de riesgos y detección de fraude. ^{[ 7 ] [ 11 ]}

Algunos desafíos para HTAP incluyen la limitada experiencia y habilidades en la industria, así como las mejores prácticas no definidas. ^{[ 7 ]}

En 2020, el equipo de PingCAP publicó el primer artículo de la industria que describe la implementación práctica de una base de datos distribuida de procesamiento híbrido transaccional/analítico (HTAP): TiDB : una base de datos HTAP basada en Raft. ^{[ 12 ]}