Pinot Apache

Apache Pinot es un almacén de datos distribuido , de código abierto y orientado a columnas , escrito en Java . Pinot está diseñado para ejecutar consultas OLAP con baja latencia. ^{[ 1 ] [ 2 ] [ 3 ] [ 4 ] [ 5 ]} Es adecuado en contextos donde se necesitan análisis rápidos, como agregaciones, sobre datos inmutables, posiblemente con ingesta de datos en tiempo real. ^{[ 6 ] [ 7 ] [ 8 ]} El nombre Pinot proviene de las vides de uva Pinot que se prensan para obtener un líquido que se utiliza para producir una variedad de vinos diferentes. Los fundadores de la base de datos eligieron el nombre como una metáfora para analizar grandes cantidades de datos de una variedad de diferentes formatos de archivo o fuentes de datos en streaming. ^{[ 9 ]}

Pinot se creó por primera vez en LinkedIn después de que el personal de ingeniería determinara que no existían soluciones comerciales que cumplieran con los requisitos del sitio de redes sociales, como baja latencia predecible, actualización de datos en segundos, tolerancia a fallos y escalabilidad. ^{[ 9 ] [ 10 ]} Pinot es utilizado en producción por empresas tecnológicas como Uber , ^{[ 11 ]} Microsoft , ^{[ 8 ]} y Factual .

Pinot se inició como un proyecto interno en LinkedIn en 2013 para impulsar diversos productos orientados a usuarios y empresas. El primer producto de análisis de LinkedIn que utilizó Pinot fue un rediseño de la función de la red social que permite a los miembros ver quién ha visitado su perfil en tiempo real. El proyecto se publicó como código abierto en junio de 2015 bajo una licencia Apache 2.0 y LinkedIn lo donó a la Apache Software Foundation en junio de 2019. ^{[ 9 ] [ 8 ]}

Pinot utiliza Apache Helix para la gestión del clúster. Helix se integra como agente en los distintos componentes y utiliza Apache ZooKeeper para la coordinación y el mantenimiento del estado general del clúster. Todos los servidores y brokers de Pinot son gestionados por Helix. Helix es un marco de gestión de clústeres genérico para administrar particiones y réplicas en un sistema distribuido.

Pinot comparte características similares con almacenes de datos OLAP comparables, como Apache Druid . ^{[ 12 ] [ 13 ]} Al igual que Druid, Pinot es una base de datos orientada a columnas con varios esquemas de compresión, como Run Length y Fixed-Bit Length . Pinot admite tecnologías de indexación conectables : índice ordenado, índice de mapa de bits , índice invertido , índice de árbol de estrellas e índice de rango, que son lo que diferencia principalmente a Pinot de otros almacenes de datos OLAP.

Pinot admite la ingesta casi en tiempo real desde flujos como Kafka y AWS Kinesis, así como la ingesta por lotes desde fuentes como Hadoop , S3 , Azure y GCS . Al igual que la mayoría de los almacenes de datos OLAP y soluciones de almacenamiento de datos , Pinot admite un lenguaje de consulta similar a SQL que permite realizar consultas de selección, agregación, filtrado, agrupación, ordenación y búsqueda de datos distintos.

• Lista de sistemas de gestión de bases de datos orientados a columnas
• Comparación de servidores OLAP

• Sitio web oficial