Vector actiano

Actian Vector (anteriormente conocido como VectorWise ) es un sistema de gestión de bases de datos relacionales SQL diseñado para un alto rendimiento en aplicaciones de bases de datos analíticas. ^{[ 2 ]} Publicó resultados récord en la prueba de rendimiento TPC-H del Transaction Processing Performance Council para tamaños de base de datos de 100 GB, 300 GB, 1 TB y 3 TB en hardware no agrupado. ^{[ 3 ] [ 4 ] [ 5 ] [ 6 ]}

Vectorwise se originó a partir del proyecto de investigación X100 llevado a cabo dentro del Centrum Wiskunde & Informatica (CWI, el Instituto Nacional de Investigación de Matemáticas e Informática de los Países Bajos) entre 2003 y 2008. Se escindió como una empresa emergente en 2008 y fue adquirida por Ingres Corporation en 2011. ^{[ 7 ]} Se lanzó como producto comercial en junio de 2010, ^{[ 8 ] [ 9 ] [ 10 ] [ 11 ]} inicialmente para la plataforma Linux de 64 bits , y posteriormente también para Windows. A partir del lanzamiento de la versión 3.5 en abril de 2014, el nombre del producto se acortó a "Vector". ^{[ 12 ]} En junio de 2014, Actian Vortex se anunció como una versión de procesamiento paralelo masivo en clúster de Vector, en Hadoop con almacenamiento en HDFS . ^{[ 13 ] [ 14 ]} Actian Vortex fue renombrado posteriormente a Actian Vector en Hadoop.

La arquitectura básica y los principios de diseño del motor X100 de la base de datos VectorWise fueron bien descritos en dos tesis doctorales de los fundadores de VectorWise, Marcin Żukowski: "Equilibrando la ejecución de consultas vectorizadas con almacenamiento optimizado para ancho de banda" ^{[ 15 ]} y Sandor Héman: "Actualizando almacenes de columnas comprimidas" ^{[ 16 ]} , bajo la supervisión de otro fundador, el profesor Peter Boncz . El motor X100 se integró con el front-end SQL de Ingres , lo que permitió a la base de datos utilizar la sintaxis SQL de Ingres y el conjunto de herramientas de administración de base de datos y cliente de Ingres . ^{[ 17 ]}

La arquitectura de ejecución de consultas utiliza la "Ejecución de Consultas Vectorizada" , que procesa los datos en bloques que se ajustan a vectores de caché . Esto permite aplicar los principios del procesamiento vectorial y de instrucción única, datos múltiples (SIMD) para realizar la misma operación en múltiples conjuntos de datos simultáneamente y aprovechar el paralelismo a nivel de datos en el hardware moderno. Además, reduce la sobrecarga del procesamiento tradicional "fila por fila" presente en la mayoría de los sistemas de gestión de bases de datos relacionales (RDBMS).

El almacenamiento de la base de datos está en un formato orientado a columnas comprimido , ^{[ 18 ]} con un administrador de búfer optimizado para escaneo. En Actian Vortex en HDFS se utiliza el mismo formato propietario.

La carga de grandes cantidades de datos se admite mediante adiciones directas al almacenamiento estable, mientras que las pequeñas actualizaciones transaccionales se admiten mediante árboles delta posicionales (PDT) pendientes de patente ^{[ 19 ] [ 16 ] [ 20 ]} , estructuras especializadas similares a árboles B de diferencias indexadas sobre el almacenamiento estable, que se parchean sin problemas durante los escaneos y que se propagan de forma transparente al almacenamiento estable en un proceso en segundo plano . El método de almacenar diferencias en estructuras similares a parches y reescribir el almacenamiento estable en bloque hizo posible trabajar en un sistema de archivos como HDFS, en el que los archivos son de solo adición. ^{[ 13 ]}

Una prueba de rendimiento comparativa TPC-H del Transaction Processing Performance Council realizada en MonetDB por su creador original en Centrum Wiskunde & Informatica (CWI) en 2003 mostró margen de mejora en su rendimiento como base de datos analítica. Como resultado, los investigadores de CWI propusieron una nueva arquitectura que utiliza procesamiento de consultas en paralelo ("procesamiento vectorizado") para mejorar el rendimiento de las consultas analíticas. Esto condujo a la creación del proyecto "X100", con la intención de diseñar un nuevo núcleo para MonetDB, que se denominaría "MonetDB/X100". ^{[ 15 ] [ 21 ] [ 22 ]}

El equipo del proyecto X100 ganó el premio DaMoN al mejor artículo de 2007 por el artículo " Procesamiento de datos vectorizados en el Cell Broadband Engine" ^{[ 23 ] [ 24 ]} así como el premio DaMoN al mejor artículo de 2008 por el artículo "DSM vs. NSM: Compromisos de rendimiento de la CPU en el procesamiento de consultas orientado a bloques". ^{[ 25 ] [ 26 ]}

En agosto de 2009, los creadores del proyecto X100 ganaron el premio "Mejor Artículo de Diez Años" en la 35.ª Conferencia Internacional sobre Bases de Datos Muy Grandes (VLDB) por su artículo de 1999 "Arquitectura de base de datos optimizada para el nuevo cuello de botella: acceso a la memoria". La VLDB reconoció que el equipo del proyecto había logrado un gran progreso en la implementación de las ideas contenidas en el artículo durante los 10 años anteriores. ^{[ 27 ]} La premisa central del artículo es que los sistemas de bases de datos relacionales tradicionales se diseñaron a finales de la década de 1970 y principios de la de 1980, en una época en la que el rendimiento de las bases de datos estaba determinado por el tiempo necesario para leer y escribir datos en el disco duro. En ese momento, la CPU disponible era relativamente lenta y la memoria principal era relativamente pequeña, por lo que se podía cargar muy poca información en la memoria a la vez. Con el tiempo, el hardware mejoró, con la velocidad de la CPU y el tamaño de la memoria duplicándose aproximadamente cada dos años de acuerdo con la ley de Moore , pero el diseño de los sistemas de bases de datos relacionales tradicionales no se había adaptado. El equipo de investigación del CWI describió mejoras en el código de la base de datos y las estructuras de datos para aprovechar al máximo el hardware moderno. ^{[ 28 ]}

En 2008, el proyecto X100 se separó de MonetDB como un proyecto independiente, con su propia empresa, y se renombró como "VectorWise". Entre los cofundadores se encontraban Peter A. Boncz y Marcin Żukowski. ^{[ 29 ] [ 30 ]}

En junio de 2010, la tecnología VectorWise fue anunciada oficialmente por Ingres Corporation , ^{[ 9 ] [ 31 ]} con el lanzamiento de Ingres VectorWise 1.0. ^{[ 32 ]}

En marzo de 2011, se lanzó VectorWise 1.5, ^{[ 33 ]} publicando un resultado récord en el benchmark TPC-H de 100 GB. ^{[ 4 ] [ 34 ]} Las nuevas características incluían la ejecución de consultas en paralelo (una sola consulta ejecutada en múltiples núcleos de CPU), carga masiva mejorada y soporte SQL mejorado. En junio de 2011, se lanzó VectorWise 1.6, ^{[ 5 ]} publicando resultados récord en el benchmark TPC-H de 100 GB, ^{[ 35 ]} 300 GB ^{[ 36 ]} y 1 TB ^{[ 37 ]} sin clúster.

En diciembre de 2011, se lanzó VectorWise 2.0 ^{[ 38 ]} con nuevo soporte SQL para funciones analíticas como rango y percentil y tipos de datos de fecha, hora y marca de tiempo mejorados, y soporte para volcado de disco en uniones hash y agregación.

En junio de 2012, se lanzó VectorWise 2.5. ^{[ 39 ]} En esta versión, el formato de almacenamiento se reorganizó para permitir almacenar la base de datos en múltiples ubicaciones, el mecanismo de propagación de actualizaciones en segundo plano desde PDT al almacenamiento estable se mejoró para permitir reescribir solo los bloques modificados en lugar de reescrituras completas, y se introdujo un nuevo ^{[ 40 ]} Administrador de búfer predictivo (PBM) patentado. ^{[ 41 ]}

En marzo de 2013, se lanzó VectorWise 3.0. ^{[ 42 ]} Las nuevas características incluían un motor de almacenamiento más eficiente, compatibilidad con más tipos de datos y funciones SQL analíticas, características DDL mejoradas y una mejor accesibilidad para la monitorización y la creación de perfiles.

En marzo de 2014, se lanzó Actian Vector 3.5 con un nuevo nombre, más corto y con una marca renovada. ^{[ 12 ]} Las nuevas características incluían soporte para tablas particionadas, volcado de disco mejorado, capacidades de copia de seguridad en línea y soporte SQL mejorado, por ejemplo, MERGE/UPSERToperaciones DML y FIRST_VALUEfunciones LAST_VALUEde agregación de ventanas.

En junio de 2014, en Hadoop Summit 2014 en San José, Actian anunció Actian Vortex , una versión MPP en clúster de Vector, con el mismo nivel de soporte SQL que funciona en Hadoop con almacenamiento directamente en HDFS. ^{[ 13 ]} Actian Vortex pasó a llamarse Actian Vector en Hadoop, y las versiones no en clúster de Actian Vector también se actualizaron para coincidir. ^{[ 1 ]} En marzo de 2015 se lanzó Actian Vector 4, y Actian Vector en Hadoop 4 se lanzó en diciembre de 2015. ^{[ 43 ]}

En marzo de 2019, Actian Avalanche se lanzó como una plataforma de datos en la nube, con Vector como motor principal para la oferta de Warehouse. ^{[ 44 ]} En noviembre de 2023, Actian cambió su nombre y relanzó Avalanche como Actian Data Platform, incluyendo nuevas capacidades para la calidad de los datos . ^{[ 45 ]}

• Sistema de gestión de bases de datos
• Base de datos relacional
• MonetDB
• Ingres (base de datos)

• Sitio web oficial de Actian Vector