Estereoscopía fotométrica

La estereoscopía fotométrica es una técnica de visión por computadora para estimar las normales de la superficie de los objetos observándolos bajo diferentes condiciones de iluminación ( fotometría ). Se basa en el hecho de que la cantidad de luz reflejada por una superficie depende de la orientación de la superficie con respecto a la fuente de luz y al observador. ^{[ 1 ]} Al medir la cantidad de luz reflejada hacia una cámara, el espacio de posibles orientaciones de la superficie es limitado. Con suficientes fuentes de luz desde diferentes ángulos, la orientación de la superficie puede restringirse a una sola orientación o incluso sobrerestringirse.

La técnica fue introducida originalmente por Woodham en 1980. ^{[ 2 ]} El caso especial en el que los datos son una sola imagen se conoce como reconstrucción de forma a partir de sombreado , y fue analizado por BKP Horn en 1989. ^{[ 3 ]} Desde entonces, la estereoscopía fotométrica se ha generalizado a muchas otras situaciones, incluyendo fuentes de luz extendidas y acabados superficiales no lambertianos . La investigación actual tiene como objetivo hacer que el método funcione en presencia de sombras proyectadas, reflejos y una iluminación no uniforme.

La estereoscopía fotométrica se utiliza ampliamente en diversos campos, incluyendo la arqueología , ^{[ 4 ] [ 5 ]} la conservación del patrimonio cultural , ^{[ 6 ]} y el control de calidad . ^{[ 7 ]} Ahora está integrada en software de código abierto ampliamente utilizado , como Meshroom. ^{[ 8 ]}

Bajo las suposiciones originales de Woodham —reflectancia lambertiana , fuentes de luz distantes puntuales conocidas y albedo uniforme— el problema se puede resolver invirtiendo la ecuación lineal.${\displaystyle I=L\cdot n}$, dónde${\displaystyle I}$es un vector (conocido) de${\displaystyle m}$intensidades observadas,${\displaystyle n}$es la normal de la superficie (desconocida), y${\displaystyle L}$es un (conocido)${\displaystyle 3\times m}$matriz de direcciones de luz normalizadas.

Este modelo se puede extender fácilmente a superficies con albedo no uniforme, manteniendo el problema lineal. ^{[ 9 ]} Tomando una reflectividad de albedo de${\displaystyle k}$, la fórmula para la intensidad de la luz reflejada se convierte en $${\displaystyle I=k(L\cdot n).}$$ Si${\displaystyle L}$es cuadrado (hay exactamente 3 luces) y no singular, se puede invertir, dando $${\displaystyle L^{-1}I=kn.}$$ Dado que se sabe que el vector normal tiene longitud 1,${\displaystyle k}$debe ser la longitud del vector${\displaystyle kn}$, y${\displaystyle n}$es la dirección normalizada de ese vector.

Si${\displaystyle L}$no es cuadrado (hay más de 3 luces), se puede obtener una generalización de la inversa utilizando la pseudoinversa de Moore-Penrose , ^{[ 10 ]} simplemente multiplicando ambos lados por${\displaystyle L^{T}}$, donación $${\displaystyle L^{T}I=L^{T}k(L\cdot n),}$$$${\displaystyle (L^{T}L)^{-1}L^{T}I=kn,}$$ Después de lo cual, el vector normal y el albedo se pueden calcular como se describió anteriormente.

El problema clásico de la estereoscopía fotométrica se centra únicamente en superficies lambertianas , con reflexión perfectamente difusa. Esto no es realista para muchos tipos de materiales, especialmente metales, vidrio y plásticos lisos, y provocará aberraciones en los vectores normales resultantes.

Se han desarrollado muchos métodos para superar esta suposición. En esta sección, se enumeran algunos de ellos.

La estereoscopía fotométrica no calibrada es un método que busca reconstruir la forma 3D de un objeto a partir de imágenes capturadas bajo condiciones de iluminación desconocidas ^{[ 18 ]} . A diferencia de los métodos clásicos, que suelen asumir configuraciones de iluminación controladas o conocidas, este método elimina estas limitaciones, lo que lo hace adaptable a diversos entornos del mundo real.

La llegada del aprendizaje profundo ha revolucionado el PS universal al reemplazar las suposiciones hechas a mano con modelos basados ​​en datos ^{[ 20 ]} . Los enfoques recientes aprovechan las arquitecturas basadas en Transformer y las redes codificador-decodificador multiescala para estimar directamente las normales de la superficie a partir de imágenes de entrada ^{[ 21 ]} .

La estereoscopía fotométrica no calibrada es inherentemente un problema mal planteado , ya que intenta recuperar simultáneamente la forma 3D y las condiciones de iluminación a partir únicamente de imágenes. Esto genera ambigüedades fundamentales en el proceso de reconstrucción, que se manifiestan como errores sistemáticos en la geometría recuperada, incluyendo distorsiones globales en la forma general del objeto ^{[ 22 ]} y una interpretación errónea de la orientación de la superficie, donde las regiones cóncavas pueden aparecer convexas y viceversa ^{[ 23 ] .}

Para abordar los desafíos de la estereoscopía fotométrica no calibrada, han surgido métodos híbridos que combinan la estereoscopía multivista y la estereoscopía fotométrica. Estos enfoques aprovechan las ventajas de ambas técnicas, incluyendo la fiabilidad geométrica y la resolución. ^{[ 22 ] [ 19 ]}

• Fotoclinometría
• Fotometría
• visión estereoscópica
• Escáner 3D