Estándar de audio y vídeo

Para satisfacer los requisitos de eficiencia de compresión de los vídeos con resolución HD y Ultra HD, AVS2 adopta una estructura de partición de bloques basada en el quadtree , que incluye la CU (Unidad de Codificación), la PU (Unidad de Predicción) y la TU (Unidad de Transformación). Una imagen se divide en LCU (Unidad de Codificación más grande) de tamaño fijo, que se itera y se divide en una serie de CU en forma de quadtree. Cada CU contiene un bloque de codificación de luminancia y dos bloques de codificación de crominancia correspondientes (el tamaño de la unidad de bloque que se muestra a continuación se refiere al bloque de codificación de luminancia). En comparación con el macrobloque tradicional, la estructura de partición basada en el quadtree es más flexible, con un tamaño de CU que se extiende de 8×8 a 64×64.

La PU estipula todos los modos de predicción de la CU y es la unidad básica para la predicción, incluyendo la predicción intra-fotograma e inter-fotograma. El tamaño máximo de la PU no puede exceder el de la CU actual a la que pertenece. Sobre la base de los bloques de predicción intra-fotograma cuadrados AVS1, se añade la partición de bloques de predicción intra-fotograma no cuadrados. Asimismo, sobre la base de la partición de bloques de predicción simétricos, la predicción inter-fotograma también añade cuatro formas de partición asimétricas.

Además de CU y PU, AVS2 también define una unidad de transformación TU para la predicción de la transformación y cuantización residual. TU es la unidad básica de transformación y cuantización, definida en CU al igual que PU. Su tamaño está relacionado con la forma de la PU correspondiente. Si la CU actual se divide en PU no cuadradas, se aplicará la partición no cuadrada a la TU correspondiente; de ​​lo contrario, se aplicará la partición cuadrada. El tamaño de TU puede ser mayor que el de la PU, pero nunca mayor que el de la CU a la que pertenece.

En comparación con AVS1 y H.264/AVC, AVS2 diseña 33 modos para la codificación de predicción intra-fotograma de bloques de luminancia, incluyendo el modo de predicción DC, el modo de predicción plana, el modo de predicción bilineal y 30 modos de predicción angular. Existen 5 modos para bloques de crominancia: modo DC, modo de predicción horizontal, modo de predicción vertical, modo de interpolación bilineal, así como el modo derivado de luminancia (DM), recientemente añadido.

En comparación con AVS1, AVS2 aumenta la cantidad máxima de fotogramas de referencia candidatos a 4, para adaptarse a la gestión de fotogramas de referencia multinivel, aprovechando al máximo el espacio redundante del búfer. Para satisfacer los requisitos de la gestión de múltiples fotogramas de referencia, AVS2 adopta un modo de gestión de fotogramas de referencia multinivel. En este modo, los fotogramas de cada GOP (Grupo de Imágenes) se dividen en varios niveles según la relación de referencia entre ellos.

Sobre la base de los tres tipos de imagen I, P, B de AVS1, y según los requisitos de la aplicación, AVS2 añade la imagen de predicción de múltiples hipótesis hacia adelante F. Con el objetivo de la videovigilancia, la reproducción de escenas y otras aplicaciones específicas, AVS2 diseña fotogramas de escena (Imagen G e Imagen GB) y un fotograma de escena de referencia S. Para el fotograma B, además de los modos tradicionales hacia adelante, hacia atrás, bidireccional y de salto/directo, se añade un nuevo modo simétrico. En el modo simétrico, solo se requiere codificar los vectores de movimiento hacia adelante, y luego los vectores de movimiento hacia atrás se derivarán de los vectores de movimiento hacia adelante.

Para aprovechar al máximo el rendimiento del modo de salto/directo del marco B, AVS2 también adopta el modo de salto/directo multidireccional, manteniendo el modo de salto/directo original del marco B: modo de salto/directo bidireccional, modo de salto/directo simétrico, modo de salto/directo hacia atrás y modo de salto/directo hacia adelante. Para los cuatro modos particulares, se descubre el mismo bloque de modo de predicción entre bloques adyacentes según el modo de predicción del bloque actual, y los vectores de movimiento de los bloques adyacentes con el mismo modo de predicción, que se encuentran primero, se considerarán como los del bloque actual. Para el marco F, los bloques de codificación pueden hacer referencia a los dos bloques de referencia hacia adelante, equivalentes a la predicción de doble hipótesis del marco P.

AVS2 divide la predicción de múltiples hipótesis en dos categorías: modo de múltiples hipótesis temporal y espacial. El bloque de codificación actual de la doble hipótesis en el dominio del tiempo aplica el promedio ponderado de los bloques de predicción como valor de predicción actual, pero solo hay uno para la MVD (Diferencia de Vector de Movimiento) y el índice de la imagen de referencia, mientras que la otra MVD y el índice de la imagen de referencia se derivan de un escalado lineal basado en la distancia en el dominio del tiempo.

La predicción doble en el dominio espacial, también llamada DMH (Hipótesis Múltiple Direccional), se obtiene fusionando dos puntos de predicción alrededor del punto de predicción inicial, ubicado en la línea que une ambos puntos. Además del punto de predicción inicial, existen ocho puntos de predicción en total, que se fusionan únicamente con los dos puntos ubicados en la misma línea recta que el punto de predicción inicial. Además de las cuatro direcciones diferentes, el ajuste también se realiza según la distancia, y se calculan respectivamente los cuatro modos con distancias de 1/2 píxel y 1/4 de píxel, además del punto de predicción inicial, para obtener un total de nueve modos para su comparación, con el fin de seleccionar el modo de predicción óptimo.

AVS2 propone un marco de escena basado en el método de codificación de vídeo de vigilancia con modelado de fondo. Cuando la herramienta de vigilancia no está abierta, el marco I sirve únicamente como referencia para las imágenes anteriores al siguiente punto de acceso aleatorio. Al abrir la herramienta, AVS2 utiliza un marco específico del vídeo como marco de escena G, que sirve como referencia a largo plazo para las imágenes subsiguientes. AVS2 puede generar el marco de escena GB a partir de algunos marcos del vídeo, y este marco GB también puede utilizarse como referencia a largo plazo.

Para simplificar la compensación de movimiento, AVS2 adopta un filtro de interpolación de 8 pasos basado en la transformación DCT , que requiere solo un filtrado y admite la generación de vectores de movimiento con una precisión superior a 1/4 de píxel.

La codificación de transformación en AVS2 aplica principalmente la transformación DCT entera , que se realiza directamente sobre los bloques de transformación de tamaño 4×4, 8×8, 16×16 y 32x32. Para un bloque de transformación con dimensión superior a 64, se adopta una transformación lógica LOT para realizar la transformación wavelet, seguida de la transformación DCT entera. Una vez realizada la transformación DCT, AVS2 realiza una segunda transformación 4×4 para los bloques 4×4 con coeficientes de baja frecuencia, reduciendo así aún más la correlación entre coeficientes y permitiendo una mayor concentración de energía.

La codificación de entropía AVS2 divide primero los coeficientes de transformación en grupos de coeficientes (CG) de 4×4, y luego realiza la codificación y el escaneo en zigzag según los CG. La codificación de coeficientes codifica primero la posición del CG que contiene el último coeficiente distinto de cero, y luego codifica cada CG hasta completar todos los coeficientes de los CG, para así concentrar mejor los coeficientes cero durante el proceso de codificación. En AVS2 se siguen aplicando la codificación aritmética binaria y la codificación bidimensional de longitud variable basada en el contexto.

Los módulos de filtro de bucle del AVS2 constan de tres partes: filtro de eliminación de bloqueo, compensación adaptativa del punto de muestreo y filtro de compensación de muestreo. Los bloques de filtrado del filtro de eliminación de bloqueo son de 8×8 y filtran primero el borde vertical, seguido del horizontal. Se seleccionan diferentes métodos de filtrado para cada borde según la intensidad de filtrado. Tras el filtro de eliminación de bloqueo, se aplica la compensación adaptativa del punto de muestreo para reducir aún más la distorsión.

El AVS2 añade un filtro adaptativo después del filtro de eliminación de bloqueos y la compensación de desplazamiento de muestra, un filtro de Wiener con simetría central de 7×7 en cruz más 3×3 en cuadrado, que aplica la imagen original sin distorsión y la imagen reconstruida de codificación para calcular el coeficiente del filtro de mínimos cuadrados y realizar el filtrado en la imagen reconstruida de decodificación, reduciendo así la distorsión de compresión en la imagen decodificada y mejorando la calidad de la imagen de referencia.