Parquet Apache

Apache Parquet es un formato de almacenamiento de datos orientado a columnas, gratuito y de código abierto, dentro del ecosistema Apache Hadoop, inspirado en el sistema de consultas interactivas ad hoc Google Dremel para el análisis de datos anidados de solo lectura. ^{[ 3 ]} Es similar a RCFile y ORC , otros formatos de archivo de almacenamiento en columnas en Hadoop , y es compatible con la mayoría de los marcos de procesamiento de datos de Hadoop . Proporciona esquemas de compresión y codificación de datos con un rendimiento mejorado para manejar grandes volúmenes de datos complejos.

El proyecto de código abierto para construir Apache Parquet comenzó como un esfuerzo conjunto entre Twitter ^{[ 4 ]} y Cloudera ^{[ 5 ]} utilizando el algoritmo de trituración y ensamblaje de registros ^{[ 6 ]} descrito en Dremel de Google. ^{[ 7 ]} Parquet fue diseñado como una mejora del formato de almacenamiento columnar Trevni creado por Doug Cutting , el creador de Hadoop. El nombre 'parquet' ( lit. ' pequeño compartimento ' ) se refiere a un estilo de piso decorativo y fue elegido para "evocar la capa inferior de una base de datos con un diseño interesante". ^{[ 8 ]} La primera versión, Apache Parquet 1.0, se lanzó en julio de 2013. Desde el 27 de abril de 2015, Apache Parquet ha sido un proyecto de alto nivel patrocinado por la Apache Software Foundation (ASF). ^{[ 9 ] [ 10 ]} 

Apache Parquet se implementa utilizando el algoritmo de fragmentación y ensamblaje de registros, ^{[ 11 ]} que admite las estructuras de datos complejas que se pueden utilizar para almacenar datos. ^{[ 12 ]} Los valores en cada columna se almacenan en ubicaciones de memoria contiguas, lo que proporciona los siguientes beneficios: ^{[ 13 ]}

• La compresión por columnas es eficiente en cuanto al espacio de almacenamiento.
• Se pueden utilizar técnicas de codificación y compresión específicas para el tipo de datos en cada columna.
• Las consultas que obtienen valores de columnas específicas no necesitan leer la fila completa, lo que mejora el rendimiento.

Apache Parquet se implementa utilizando el marco Apache Thrift , lo que aumenta su flexibilidad; puede trabajar con varios lenguajes de programación como C++ , Java , Python , PHP , etc. ^{[ 14 ]}

A partir de agosto de 2015, ^{[ 15 ]} Parquet admite los marcos de procesamiento de big data, incluidos Apache Hive , Apache Drill , Apache Impala , Apache Crunch , Apache Pig , Cascading , Presto y Apache Spark . Es uno de los formatos de datos externos utilizados por la biblioteca de manipulación y análisis de datos pandas de Python .

En Parquet, la compresión se realiza columna por columna, lo que permite utilizar diferentes esquemas de codificación para texto y datos enteros. Esta estrategia también deja la puerta abierta a la implementación de esquemas de codificación más nuevos y mejores a medida que se vayan inventando.

Parquet admite varios formatos de compresión: snappy , gzip , LZO , brotli , zstd y LZ4 . ^{[ 16 ]}

Parquet se utiliza ampliamente como formato de archivo subyacente en las arquitecturas modernas de lagos de datos basados ​​en la nube . Los sistemas de almacenamiento en la nube como Amazon S3, Azure Data Lake Storage y Google Cloud Storage suelen almacenar datos en formato Parquet debido a su eficiente representación columnar y capacidades de recuperación. ^{[ 18 ]} Los marcos de trabajo de data lakehouse, incluidos Apache Iceberg , ^{[ 19 ]} Delta Lake, ^{[ 20 ]} y Apache Hudi ^{[ 21 ]} , construyen una capa de metadatos adicional sobre los archivos Parquet para admitir características como la evolución del esquema, las consultas de viaje en el tiempo y las transacciones compatibles con ACID . En estas arquitecturas, los archivos Parquet sirven como la capa de almacenamiento inmutable, mientras que los formatos de tabla gestionan el versionado de datos y la integridad transaccional.

Apache Parquet es comparable a los formatos de archivo RCFile y Optimized Row Columnar (ORC) ; los tres pertenecen a la categoría de almacenamiento de datos columnar dentro del ecosistema Hadoop. Todos ofrecen una mejor compresión y codificación, con un rendimiento de lectura mejorado, aunque a costa de una escritura más lenta. Además de estas características, Apache Parquet admite una evolución limitada del esquema ^{[ 22 ]} , es decir, el esquema se puede modificar según los cambios en los datos. También permite añadir nuevas columnas y fusionar esquemas que no entren en conflicto ^{[ 22 ] .}

Apache Arrow está diseñado como un complemento en memoria para formatos columnares en disco como Parquet y ORC. Los proyectos Arrow y Parquet incluyen bibliotecas que permiten leer y escribir entre ambos formatos. ^{[ 23 ]}

Entre las implementaciones conocidas de Parquet se incluyen:

• Sitio web oficial
• El formato Parquet y las oportunidades de optimización del rendimiento en YouTube
• Papel Dremel