Problema de correspondencia

Una de las fuentes de error más significativas en la determinación de la correspondencia estereoscópica es la presencia de áreas en una escena que solo son visibles desde la perspectiva de una cámara. Para las áreas de la imagen en las que se mapean estas regiones de la escena, no existen elementos correspondientes en la otra imagen estéreo. Estas áreas de la imagen se denominan oclusiones. Si las oclusiones no se tienen en cuenta adecuadamente durante la determinación de la correspondencia, se producen errores de corrección más o menos pronunciados, según el método empleado, lo que resulta en una reconstrucción de profundidad inexacta. Por lo tanto, las oclusiones representan un problema grave en el procesamiento de imágenes estéreo. ^{[ 6 ]}

En una geometría estéreo con ejes ópticos paralelos, el desplazamiento de los puntos de imagen correspondientes en un par de imágenes estéreo siempre es paralelo a la base estéreo. Conociendo con precisión la geometría de la cámara, se puede determinar de antemano la dirección de la disparidad, simplificando así significativamente la búsqueda de los puntos de imagen correspondientes. Sin embargo, las regiones de la imagen donde no se producen estructuras ni cambios de intensidad en la dirección de la base estéreo plantean un problema. En este caso, no se puede detectar el desplazamiento de los puntos de imagen correspondientes. Dado que la detección del desplazamiento en estereoscopía suele ser realizada por un operador local, ignorando el resto de la escena, este problema también se considera un caso especial del llamado problema de apertura, que es de particular importancia en el análisis de movimiento (flujo óptico). ^{[ 7 ]}

Debido a su naturaleza específica, el problema de correspondencia, al igual que muchos otros problemas mal condicionados, solo puede resolverse de forma única aprovechando el conocimiento previo apropiado. Con la ayuda de este conocimiento previo, el espacio de soluciones se reduce adecuadamente y el problema se transforma en un problema "bien condicionado". ^{[ 4 ]} Las restricciones del espacio de soluciones se relacionan, por un lado, con el proceso de imagen y la geometría de las cámaras utilizadas (restricción epipolar y de unicidad) y, por otro lado, con propiedades postuladas de la escena observada (restricciones de continuidad, orden y gradiente).

En los métodos basados ​​en áreas, las áreas individuales de las imágenes estéreo se asignan en función de los valores de escala de grises o del entorno local de un píxel. La correspondencia de las áreas de la imagen se determina generalmente calculando una medida de similitud, como una correlación cruzada local. En el caso más simple, la disparidad surge del desplazamiento de las regiones de la imagen entre las imágenes izquierda y derecha que presentan el mayor grado de correspondencia. Algunos de estos métodos utilizan un operador de interés para seleccionar primero áreas con propiedades específicas de cada imagen antes de determinar la correspondencia; estas áreas se combinan posteriormente. ^{[ 8 ]}

La mayoría de los métodos estereoscópicos existentes se pueden clasificar como métodos basados ​​en características. Esta técnica implica extraer primero características de los datos de la imagen que la describen a un nivel más abstracto. Posteriormente, se realiza un análisis de correspondencia a nivel de características. Las características más utilizadas son los bordes, los puntos de línea o vértice y los segmentos de borde o línea. Los filtros de diferenciación, que extraen variaciones de escala de grises como bordes o líneas de las señales de la imagen, tienen una importancia fundamental en estos métodos. ^{[ 9 ]}

La base de los métodos denominados basados ​​en fase para medir la disparidad es el teorema de desplazamiento de la transformada de Fourier . Sin embargo, en el procesamiento de imágenes estéreo, un desplazamiento puramente global entre las imágenes generalmente no es posible, ya que los objetos a diferentes distancias del sistema de cámara presentan diferentes valores de disparidad en las imágenes estéreo. En consecuencia, los desplazamientos de las áreas de imagen correspondientes en el par de imágenes estéreo deben determinarse mediante operadores locales, de modo que la correlación de fase generalmente solo tiene sentido en combinación con una transformada de Fourier limitada a áreas de imagen más pequeñas. Los métodos basados ​​en fase más importantes son los denominados métodos de diferencia de fase. Con estas técnicas, la información de fase se deriva de la respuesta de pares de filtros complejos utilizados para filtrar las imágenes de entrada. Un requisito clave para este método es que la fase de las respuestas del filtro sea aproximadamente una función lineal de la posición. Esta propiedad se puede lograr si la función de transferencia del filtro no tiene desplazamiento y se anula para frecuencias negativas. Esta propiedad se denomina comportamiento de cuadratura. ^{[ 10 ]} Dado que la información de fase es invariante con respecto a la amplitud de las respuestas del filtro, los métodos basados ​​en fase también son relativamente robustos con respecto a las diferencias de iluminación y contraste interoculares. Sin embargo, debido a la ambigüedad en el cálculo de la fase, solo se pueden medir valores de disparidad de hasta la mitad de la longitud de onda de modulación del filtro utilizado. Al igual que muchos otros enfoques, los métodos basados ​​en fase también son muy sensibles a las oclusiones. ^{[ 6 ]}

Según la restricción de unicidad, a cada píxel solo se le puede asignar una disparidad y, por lo tanto, como máximo una ubicación en el espacio considerado (esto excluye las superficies semitransparentes). Sin embargo, no se pueden descartar ambigüedades con ningún método local o basado en características (las áreas más similares en las imágenes estéreo no necesariamente pertenecen juntas). Se utilizan diferentes métodos para resolver este problema, según el enfoque: en los llamados métodos de regularización, se formulan funciones de costo o energía, teniendo en cuenta las restricciones (ver fundamentos), y luego se busca el mínimo global dentro de estas funciones. Otro enfoque está representado por los métodos de relajación. En la mayoría de los enfoques que aplican este método en estereoscopía, primero se extraen características o regiones de la imagen con propiedades especiales de los datos de la imagen. Luego se asignan los llamados nodos a las coordenadas de la imagen donde aparecen estos elementos. Cada uno de estos nodos está además equipado con un conjunto de variables, cada una de las cuales representa una correspondencia entre el nodo respectivo y diferentes elementos en la otra imagen. Estas variables se interpretan como probabilidades ^{[ 1 ]} o como actividad neuronal ^{[ 4 ]} (redes neuronales), según el enfoque. Al inicio del proceso de relajación, las variables se inicializan en función de la similitud de las características o valores de píxeles correspondientes. Posteriormente, los valores de las variables se actualizan iterativamente en un proceso dinámico, donde las violaciones de las restricciones tienen un efecto inhibidor o reductor y el cumplimiento de las restricciones tiene un efecto reforzador. Se obtiene un mapa de disparidad claro cuando se alcanza un estado estacionario. Mediante un acoplamiento adecuado, también se pueden suprimir las atribuciones erróneas causadas por oclusiones. ^{[ 5 ]}