Compensación de movimiento

La compensación de movimiento por bloques (BMC), también conocida como transformada discreta de coseno con compensación de movimiento (MC DCT), es la técnica de compensación de movimiento más utilizada. ^{[ 2 ]} En BMC, los fotogramas se dividen en bloques de píxeles (por ejemplo, macrobloques de 16×16 píxeles en MPEG ). Cada bloque se predice a partir de un bloque de igual tamaño en el fotograma de referencia. Los bloques no se transforman de ninguna manera, salvo que se desplazan a la posición del bloque predicho. Este desplazamiento se representa mediante un vector de movimiento .

Para aprovechar la redundancia entre vectores de bloques vecinos (por ejemplo, para un solo objeto en movimiento cubierto por múltiples bloques), es común codificar únicamente la diferencia entre el vector de movimiento actual y el anterior en el flujo de bits. El resultado de este proceso de diferenciación es matemáticamente equivalente a una compensación de movimiento global capaz de realizar un paneo. Más adelante en la cadena de codificación, un codificador de entropía aprovechará la distribución estadística resultante de los vectores de movimiento alrededor del vector cero para reducir el tamaño de la salida.

Es posible desplazar un bloque un número no entero de píxeles, lo que se denomina precisión subpíxel . Los píxeles intermedios se generan mediante la interpolación de píxeles vecinos. Generalmente, se utiliza una precisión de medio píxel o un cuarto de píxel ( Qpel , empleada por H.264 y MPEG-4/ASP). El coste computacional de la precisión subpíxel es mucho mayor debido al procesamiento adicional necesario para la interpolación y, en el lado del codificador, a la gran cantidad de bloques de origen potenciales que deben evaluarse.

La principal desventaja de la compensación de movimiento por bloques es que introduce discontinuidades en los bordes de los bloques (artefactos de bloqueo). Estos artefactos aparecen en forma de bordes horizontales y verticales pronunciados que son fácilmente detectables por el ojo humano y producen bordes falsos y efectos de resonancia (coeficientes grandes en subbandas de alta frecuencia) debido a la cuantización de los coeficientes de la transformada relacionada con Fourier utilizada para la codificación de transformada de los fotogramas residuales ^{[ 4 ].}

La compensación de movimiento por bloques divide el fotograma actual en bloques que no se superponen, y el vector de compensación de movimiento indica de dónde provienen esos bloques ( una idea errónea común es que el fotograma anterior se divide en bloques que no se superponen, y los vectores de compensación de movimiento indican hacia dónde se mueven esos bloques ) . Los bloques de origen suelen superponerse en el fotograma de origen. Algunos algoritmos de compresión de vídeo ensamblan el fotograma actual a partir de fragmentos de varios fotogramas transmitidos previamente.

Los fotogramas también pueden predecirse a partir de fotogramas futuros. Estos fotogramas futuros deben codificarse antes que los fotogramas predichos, por lo que el orden de codificación no necesariamente coincide con el orden real de los fotogramas. Estos fotogramas se suelen predecir desde dos direcciones: desde los fotogramas I o P que preceden o siguen inmediatamente al fotograma predicho. Estos fotogramas predichos bidireccionalmente se denominan fotogramas B. Un esquema de codificación podría ser, por ejemplo, IBBPBBPBBPBB.

Además, se ha propuesto el uso de teselas triangulares para la compensación de movimiento. En este esquema, el fotograma se divide en teselas triangulares y el siguiente se genera aplicando una transformación afín a estos triángulos. ^{[ 5 ]} Solo se registran/transmiten las transformaciones afines. Esto permite gestionar el zoom, la rotación, la traslación, etc.

La compensación de movimiento de tamaño de bloque variable (VBSMC) es el uso de BMC con la capacidad del codificador de seleccionar dinámicamente el tamaño de los bloques. Al codificar video, el uso de bloques más grandes puede reducir la cantidad de bits necesarios para representar los vectores de movimiento, mientras que el uso de bloques más pequeños puede resultar en una menor cantidad de información residual de predicción para codificar. Otras áreas de trabajo han examinado el uso de métricas de características de forma variable, más allá de los límites de bloque, a partir de las cuales se pueden calcular vectores entre fotogramas. ^{[ 6 ]} Los diseños más antiguos como H.261 y MPEG-1 video generalmente usan un tamaño de bloque fijo, mientras que los más nuevos como H.263 , MPEG-4 Parte 2 , H.264/MPEG-4 AVC y VC-1 le dan al codificador la capacidad de elegir dinámicamente qué tamaño de bloque se utilizará para representar el movimiento.

La compensación de movimiento por bloques superpuestos (OBMC) es una buena solución a estos problemas, ya que no solo aumenta la precisión de la predicción, sino que también evita los artefactos de bloqueo. Al usar OBMC, los bloques suelen ser el doble de grandes en cada dimensión y se superponen cuadrante a cuadrante con los 8 bloques vecinos. De esta forma, cada píxel pertenece a 4 bloques. En este esquema, hay 4 predicciones para cada píxel, que se suman para obtener una media ponderada. Para ello, los bloques se asocian a una función de ventana que tiene la propiedad de que la suma de 4 ventanas superpuestas es igual a 1 en todas partes.

Los estudios sobre métodos para reducir la complejidad de OBMC han demostrado que la contribución a la función de ventana es mínima para el bloque adyacente en diagonal. Reducir el peso de esta contribución a cero y aumentar los demás pesos en la misma cantidad conlleva una reducción sustancial de la complejidad sin una gran pérdida de calidad. En este esquema, cada píxel pertenece a 3 bloques en lugar de 4, y en lugar de utilizar 8 bloques vecinos, solo se utilizan 4 para cada bloque que se va a compensar. Este esquema se encuentra en el modo de predicción avanzada del Anexo F de H.263 .

La compresión de vídeo práctica con compensación de movimiento surgió con el desarrollo de la codificación DCT con compensación de movimiento (MC DCT), ^{[ 8 ]} también llamada compensación de movimiento por bloques (BMC) o compensación de movimiento DCT. Este es un algoritmo de codificación híbrido, ^{[ 7 ]} que combina dos técnicas clave de compresión de datos : la codificación de la transformada discreta del coseno (DCT) ^{[ 8 ]} en la dimensión espacial y la compensación de movimiento predictiva en la dimensión temporal . ^{[ 7 ]} La ​​codificación DCT es una técnica de codificación de transformación de compresión por bloques con pérdida que fue propuesta por primera vez por Nasir Ahmed , quien inicialmente la concibió para la compresión de imágenes , en 1972. ^{[ 9 ]}

En 1974, Ali Habibi en la Universidad del Sur de California introdujo la codificación híbrida, ^{[ 10 ] [ 11 ]} que combina la codificación predictiva con la codificación de transformación. ^{[ 7 ] [ 12 ]} Sin embargo, su algoritmo se limitó inicialmente a la codificación intra-fotograma en la dimensión espacial. En 1975, John A. Roese y Guner S. Robinson extendieron el algoritmo de codificación híbrida de Habibi a la dimensión temporal, utilizando la codificación de transformación en la dimensión espacial y la codificación predictiva en la dimensión temporal, desarrollando la codificación híbrida compensada por movimiento entre fotogramas . ^{[ 7 ] [ 13 ]} Para la codificación de transformación espacial, experimentaron con la DCT y la transformada rápida de Fourier (FFT), desarrollando codificadores híbridos entre fotogramas para ambos, y encontraron que la DCT es la más eficiente debido a su complejidad reducida, capaz de comprimir datos de imagen hasta 0,25 bits por píxel para una escena de videoteléfono con una calidad de imagen comparable a la de un codificador intra-fotograma que requiere 2 bits por píxel. ^{[ 14 ] [ 13 ]}

En 1977, Wen-Hsiung Chen desarrolló un algoritmo DCT rápido con CH Smith y SC Fralick. ^{[ 15 ]} En 1979, Anil K. Jain y Jaswant R. Jain desarrollaron aún más la compresión de video DCT con compensación de movimiento, ^{[ 16 ] [ 7 ]} también llamada compensación de movimiento por bloques. ^{[ 7 ]} Esto llevó a Chen a desarrollar un algoritmo práctico de compresión de video, llamado DCT con compensación de movimiento o codificación de escena adaptativa, en 1981. ^{[ 7 ]} La DCT con compensación de movimiento se convirtió más tarde en la técnica de codificación estándar para la compresión de video desde finales de la década de 1980 en adelante. ^{[ 17 ] [ 2 ]}

El primer estándar de codificación de vídeo digital fue H.120 , desarrollado por el CCITT (ahora ITU-T) en 1984. ^{[ 18 ]} H.120 utilizaba codificación DPCM con compensación de movimiento, ^{[ 7 ]} que era ineficiente para la codificación de vídeo, ^{[ 17 ]} y por lo tanto H.120 era poco práctico debido a su bajo rendimiento. ^{[ 18 ]} El estándar H.261 se desarrolló en 1988 basado en la compresión DCT con compensación de movimiento, ^{[ 17 ] [ 2 ]} y fue el primer estándar práctico de codificación de vídeo. ^{[ 18 ]} Desde entonces, la compresión DCT con compensación de movimiento ha sido adoptada por todos los principales estándares de codificación de vídeo (incluidos los formatos H.26x y MPEG ) que le siguieron. ^{[ 17 ] [ 2 ]}