Eliminación de datos duplicados

La eliminación de duplicados puede producirse "en línea", a medida que fluyen los datos, o "en posprocesamiento", después de que se hayan escrito.

Con la deduplicación posterior al procesamiento, los datos nuevos se almacenan primero en el dispositivo de almacenamiento y, posteriormente, un proceso los analiza en busca de duplicados. La ventaja es que no es necesario esperar a que finalicen los cálculos de hash y la búsqueda antes de almacenar los datos, lo que garantiza que el rendimiento del almacenamiento no se vea afectado. Las implementaciones que ofrecen un funcionamiento basado en políticas permiten a los usuarios aplazar la optimización de los archivos "activos" o procesarlos según su tipo y ubicación. Un posible inconveniente es que los datos duplicados pueden almacenarse innecesariamente durante un breve periodo, lo que puede resultar problemático si el sistema está cerca de alcanzar su capacidad máxima.

Como alternativa, los cálculos de hash de deduplicación pueden realizarse en línea: sincronizados a medida que los datos ingresan al dispositivo de destino. Si el sistema de almacenamiento identifica un bloque que ya ha almacenado, solo se almacena una referencia al bloque existente, en lugar del bloque nuevo completo.

La ventaja de la deduplicación en línea sobre la deduplicación posterior al procesamiento radica en que requiere menos almacenamiento y tráfico de red, ya que los datos duplicados nunca se almacenan ni se transfieren. Como desventaja, los cálculos de hash pueden ser computacionalmente costosos, lo que reduce el rendimiento del almacenamiento. Sin embargo, algunos proveedores de deduplicación en línea han demostrado que sus equipos realizan esta deduplicación a altas velocidades.

Los métodos de deduplicación en postprocesamiento y en línea suelen ser objeto de intensos debates. ^{[ 4 ] [ 5 ]}

El Diccionario SNIA identifica dos métodos: ^{[ 2 ]}

• Desduplicación de datos independiente del contenido : un método de desduplicación de datos que no requiere conocer formatos de datos específicos de la aplicación. 
• Deduplicación de datos con reconocimiento de contenido : un método de deduplicación de datos que aprovecha el conocimiento de formatos de datos específicos de la aplicación. 

Otra forma de clasificar los métodos de deduplicación de datos es según su ubicación. La deduplicación que ocurre cerca del lugar donde se crean los datos se denomina "deduplicación de origen". Cuando ocurre cerca del lugar donde se almacenan los datos, se denomina "deduplicación de destino".

La deduplicación de origen garantiza que los datos en la fuente de datos estén deduplicados. Esto generalmente se lleva a cabo directamente dentro de un sistema de archivos. El sistema de archivos escanea periódicamente los archivos nuevos, crea hashes y los compara con los hashes de los archivos existentes. Cuando se encuentran archivos con los mismos hashes, se elimina la copia del archivo y el nuevo archivo apunta al archivo antiguo. Sin embargo, a diferencia de los enlaces duros , los archivos duplicados se consideran entidades separadas y, si uno de los archivos duplicados se modifica posteriormente, mediante un sistema llamado copia en escritura , se crea una copia de ese archivo o bloque modificado. El proceso de deduplicación es transparente para los usuarios y las aplicaciones de copia de seguridad. Al realizar copias de seguridad de un sistema de archivos deduplicado, a menudo se producen duplicaciones, lo que resulta en copias de seguridad más grandes que los datos de origen. ^{[ 6 ] [ 7 ]}

La deduplicación de origen se puede declarar explícitamente para operaciones de copia, ya que no se necesita ningún cálculo para saber que los datos copiados necesitan deduplicación. Esto da lugar a una nueva forma de enlace en los sistemas de archivos, denominada enlace con conteo de referencias o reflink en algunos sistemas (por ejemplo, Linux), ^{[ 8 ]} o un archivo clonado en macOS, donde uno o más inodos (entradas de información de archivo) comparten parte o la totalidad de sus datos. Su nombre es análogo al de los enlaces duros , que funcionan a nivel de inodo, y los enlaces simbólicos , que funcionan a nivel de nombre de archivo. Las entradas individuales tienen un comportamiento de copia en escritura que no es de alias, es decir, cambiar una copia posteriormente no afectará a las demás copias. ^{[ 9 ]} ReFS de Microsoft también admite esta operación. ^{[ 10 ]}

La deduplicación de destino es el proceso de eliminar duplicados cuando los datos no se generaron en esa ubicación. Un ejemplo sería un servidor conectado a una SAN/NAS. La SAN/NAS sería el destino del servidor (deduplicación de destino). El servidor no tiene conocimiento de ninguna deduplicación, ya que también es el punto de generación de datos. Un segundo ejemplo sería la copia de seguridad. Generalmente, se trata de un almacenamiento de copias de seguridad, como un repositorio de datos o una biblioteca de cintas virtuales .

Una de las formas más comunes de implementación de deduplicación de datos funciona comparando fragmentos de datos para detectar duplicados. Para ello, a cada fragmento de datos se le asigna una identificación, calculada por el software, generalmente mediante funciones hash criptográficas. En muchas implementaciones, se asume que si la identificación es idéntica, los datos son idénticos, aunque esto no siempre es cierto debido al principio del palomar ; otras implementaciones no asumen que dos bloques de datos con el mismo identificador sean idénticos, sino que verifican que los datos con la misma identificación sean idénticos. ^{[ 11 ]} Si el software asume que una identificación determinada ya existe en el espacio de nombres de deduplicación o verifica la identidad de los dos bloques de datos, según la implementación, entonces reemplazará ese fragmento duplicado con un enlace.

Una vez eliminados los datos duplicados, al leer el archivo, el sistema simplemente reemplaza cualquier enlace con el fragmento de datos referenciado. El proceso de eliminación de duplicados está diseñado para ser transparente para los usuarios finales y las aplicaciones.

Las implementaciones comerciales de deduplicación difieren en sus métodos de segmentación y arquitecturas.

• Fragmentación: En algunos sistemas, los fragmentos se definen mediante restricciones de la capa física (por ejemplo,  un tamaño de bloque de 4 KB en WAFL ). En otros, solo se comparan archivos completos, lo que se conoce como almacenamiento de instancia única o SIS. El método más inteligente (aunque intensivo en CPU) para la fragmentación se considera generalmente el de bloques deslizantes, también llamado fragmentación definida por contenido . En el método de bloques deslizantes, se recorre una ventana a lo largo del flujo de archivos para buscar límites internos de archivos que se produzcan de forma más natural.
• Deduplicación de copias de seguridad del cliente: Este proceso consiste en la creación inicial de los cálculos de hash de deduplicación en las máquinas de origen (cliente). Los archivos con hashes idénticos a los que ya se encuentran en el dispositivo de destino no se envían; este último simplemente crea los enlaces internos correspondientes para referenciar los datos duplicados. La ventaja de este método es que evita el envío innecesario de datos a través de la red, reduciendo así la carga de tráfico.
• Almacenamiento primario y secundario: Por definición, los sistemas de almacenamiento primario están diseñados para un rendimiento óptimo, en lugar de para el menor coste posible. El criterio de diseño para estos sistemas es aumentar el rendimiento, a expensas de otras consideraciones. Además, los sistemas de almacenamiento primario son mucho menos tolerantes a cualquier operación que pueda afectar negativamente al rendimiento. Asimismo, por definición, los sistemas de almacenamiento secundario contienen principalmente duplicados o copias secundarias de datos. Estas copias de datos normalmente no se utilizan para las operaciones de producción reales y, por lo tanto, toleran mejor cierta degradación del rendimiento, a cambio de una mayor eficiencia.

Hasta la fecha, la deduplicación de datos se ha utilizado principalmente en sistemas de almacenamiento secundario. Esto se debe a dos razones: en primer lugar, la deduplicación de datos requiere un procesamiento adicional para detectar y eliminar los datos duplicados. En los sistemas de almacenamiento primario, este procesamiento adicional puede afectar el rendimiento. En segundo lugar, la deduplicación se aplica a los datos secundarios porque estos tienden a contener más datos duplicados. Las aplicaciones de copia de seguridad, en particular, suelen generar cantidades significativas de datos duplicados con el tiempo.

La deduplicación de datos se ha implementado con éxito en el almacenamiento primario en algunos casos donde el diseño del sistema no requiere una sobrecarga significativa ni afecta al rendimiento.