druida apache

Druid es un almacén de datos distribuido , de código abierto y orientado a columnas , escrito en Java . Druid está diseñado para ingerir rápidamente grandes cantidades de datos de eventos y proporcionar consultas de baja latencia sobre esos datos. ^{[ 3 ]} El nombre Druid proviene de la clase Druida, que cambia de forma, en muchos juegos de rol , para reflejar que la arquitectura del sistema puede adaptarse para resolver diferentes tipos de problemas de datos.

Druid se usa comúnmente en aplicaciones de inteligencia empresarial ( OLAP) para analizar grandes volúmenes de datos históricos y en tiempo real . ^{[ 4 ]} Druid se usa en producción por empresas tecnológicas como Alibaba , ^{[ 4 ]} Airbnb , ^{[ 4 ]} Nielsen , ^{[ 4 ]} Cisco , ^{[ 5 ] [ 4 ]} eBay , ^{[ 6 ]} Lyft , ^{[ 7 ]} Netflix , ^{[ 8 ]} PayPal , ^{[ 4 ]} Pinterest , ^{[ 9 ]} Reddit , ^{[ 10 ]} Twitter , ^{[ 11 ]} Walmart , ^{[ 12 ]} Wikimedia Foundation ^{[ 13 ]} y Yahoo . ^{[ 14 ]}

Druid fue creado en 2011 por Eric Tschetter, Fangjin Yang, Gian Merlino y Vadim Ogievetsky ^{[ 15 ]} para impulsar el producto analítico de Metamarkets . El proyecto se publicó como código abierto bajo la licencia GPL en octubre de 2012, ^{[ 16 ] [ 17 ] [ 18 ]} y pasó a una licencia Apache en febrero de 2015. ^{[ 19 ] [ 20 ]}

Una vez desplegado por completo, Druid funciona como un clúster de procesos especializados (llamados nodos en Druid) para admitir una arquitectura tolerante a fallos ^{[ 21 ]} donde los datos se almacenan de forma redundante y no hay un único punto de fallo. ^{[ 22 ]} El clúster incluye dependencias externas para la coordinación ( Apache ZooKeeper ), almacenamiento de metadatos (por ejemplo, MySQL , PostgreSQL o Derby ) y una instalación de almacenamiento profundo (por ejemplo, HDFS o Amazon S3 ) para copias de seguridad permanentes de los datos.

• Ingesta de datos de baja latencia (streaming).
• Exploración de datos mediante segmentación y análisis arbitrarios.
• Consultas analíticas en fracciones de segundo.
• Cálculos aproximados y exactos.

En 2019, los investigadores compararon el rendimiento de Hive , Presto y Druid utilizando un benchmark de esquema de estrella desnormalizado basado en el estándar TPC-H . Druid se probó utilizando una configuración "Druid Best" con tablas con particiones hash y una configuración "Druid Suboptimal" que no utiliza particiones hash. ^{[ 23 ]}

Las pruebas se realizaron ejecutando las 13 consultas TPC-H utilizando un factor de escala TPC-H de 30 (una base de datos de 30 GB), un factor de escala de 100 (una base de datos de 100 GB) y un factor de escala de 300 (una base de datos de 300 GB).

El rendimiento de Druid se midió como al menos un 98 % más rápido que Hive y al menos un 90 % más rápido que Presto en cada escenario, incluso cuando se utilizaba la configuración suboptimizada de Druid.

• Lista de sistemas de gestión de bases de datos orientados a columnas

• Sitio web oficial