Articulo de referencia

resección de la cámara

La reconstrucción de la cámara es el proceso de estimar los parámetros de un modelo de cámara estenopeica que se aproxima a la cámara que produjo una fotografía o video determin...

La reconstrucción de la cámara es el proceso de estimar los parámetros de un modelo de cámara estenopeica que se aproxima a la cámara que produjo una fotografía o video determinado; determina qué rayo de luz incidente se asocia con cada píxel de la imagen resultante. Básicamente, el proceso determina la posición de la cámara estenopeica.

Por lo general, los parámetros de la cámara se representan en una matriz de proyección de 3 × 4 llamada matriz de la cámara . Los parámetros extrínsecos definen la pose de la cámara (posición y orientación), mientras que los parámetros intrínsecos especifican el formato de imagen de la cámara (distancia focal, tamaño de píxel y origen de la imagen).  

Este proceso se suele denominar calibración geométrica de la cámara o simplemente calibración de la cámara , aunque este término también puede referirse a la calibración fotométrica de la cámara o limitarse a la estimación de los parámetros intrínsecos únicamente. La orientación exterior y la orientación interior se refieren a la determinación de los parámetros extrínsecos e intrínsecos, respectivamente.

La calibración clásica de la cámara requiere objetos especiales en la escena, algo que no es necesario en la autocalibración . El seccionamiento de la cámara se utiliza a menudo en la visión estéreo, donde las matrices de proyección de dos cámaras se emplean para calcular las coordenadas 3D de un punto visto por ambas.

Formulación

La matriz de proyección de la cámara se deriva de los parámetros intrínsecos y extrínsecos de la misma, y ​​suele representarse mediante una serie de transformaciones; por ejemplo, una matriz de parámetros intrínsecos de la cámara, una matriz de rotación de 3 × 3 y un vector de traslación. Esta matriz permite asociar puntos del espacio de imagen de la cámara con ubicaciones en el espacio tridimensional.  

Coordenadas homogéneas

En este contexto, utilizamos[ v 1]T{\displaystyle [u\ v\ 1]^{T}}para representar la posición de un punto 2D en coordenadas de píxeles y[incógnitaw yw zw 1]T{\ Displaystyle [x_ {w} \ y_ {w} \ z_ {w} \ 1] ^ {T}}Se utiliza para representar la posición de un punto 3D en coordenadas del mundo . En ambos casos, se representan en coordenadas homogéneas (es decir, tienen un último componente adicional, que inicialmente, por convención, es un 1), que es la notación más común en robótica y transformaciones de cuerpos rígidos .

Proyección

Haciendo referencia al modelo de cámara estenopeica , una matriz de cámaraMETRO{\displaystyle M}Se utiliza para denotar una proyección que va de coordenadas del mundo a coordenadas de píxeles .

[wwvw]=K[RT][incógnitawywzw1]=METRO[incógnitawywzw1]{\displaystyle {\begin{bmatrix}wu\\wv\\w\end{bmatrix}}=K\,{\begin{bmatrix}R&T\end{bmatrix}}{\begin{bmatrix}x_{w}\\y_{w}\\z_{w}\\1\end{bmatrix}}=M{\begin{bmatrix}x_{w}\\y_{w}\\z_{w}\\1\end{bmatrix}}}

dóndeMETRO=K[RT]{\displaystyle M=K\,{\begin{bmatrix}R&T\end{bmatrix}}}.,v{\displaystyle u,v}Por convención, son las coordenadas x e y del píxel en la cámara,K{\displaystyle K}es la matriz intrínseca como se describe a continuación, yRT{\displaystyle R\,T}forme la matriz extrínseca como se describe a continuación.incógnitaw,yw,zw{\displaystyle x_{w},y_{w},z_{w}}son las coordenadas de la fuente del rayo de luz que incide en el sensor de la cámara en coordenadas del mundo, relativas al origen del mundo. Al dividir el producto matricial porw{\displaystyle w}Se puede encontrar el valor teórico para las coordenadas de píxeles.

Parámetros intrínsecos

K=[αincógnitaγ00αyv0001]{\displaystyle K={\begin{bmatrix}\alpha _{x}&\gamma &u_{0}\\0&\alpha _{y}&v_{0}\\0&0&1\end{bmatrix}}}

ElK{\displaystyle K}Contiene 5 parámetros intrínsecos del modelo de cámara específico. Estos parámetros abarcan la distancia focal , el formato del sensor de imagen y el punto principal de la cámara . Los parámetrosαincógnita=Fmetroincógnita{\displaystyle \alpha _{x}=f\cdot m_{x}}yαy=Fmetroy{\displaystyle \alpha _{y}=f\cdot m_{y}}representar la distancia focal en términos de píxeles, dondemetroincógnita{\displaystyle m_{x}}ymetroy{\displaystyle m_{y}}son los inversos del ancho y la altura de un píxel en el plano de proyección yF{\displaystyle f}es la distancia focal en términos de distancia. [ 1 ]γ{\displaystyle \gamma } representa el coeficiente de asimetría entre los ejes x e y, y suele ser 0. 0{\displaystyle u_{0}}yv0{\displaystyle v_{0}}representa el punto principal, que idealmente estaría en el centro de la imagen.

Los parámetros intrínsecos no lineales, como la distorsión de la lente, también son importantes, aunque no pueden incluirse en el modelo lineal de la cámara descrito por la matriz de parámetros intrínsecos. Muchos algoritmos modernos de calibración de cámaras estiman estos parámetros intrínsecos mediante técnicas de optimización no lineal. Esto se realiza optimizando los parámetros de la cámara y la distorsión mediante lo que se conoce como ajuste de haces .

Parámetros extrínsecos

[R3×3T3×101×31]4×4{\displaystyle {}{\begin{bmatrix}R_{3\times 3}&T_{3\times 1}\\0_{1\times 3}&1\end{bmatrix}}_{4\times 4}}

R,T{\displaystyle R,T}Los parámetros extrínsecos denotan las transformaciones del sistema de coordenadas, desde las coordenadas del mundo 3D a las coordenadas de la cámara 3D. De forma equivalente, los parámetros extrínsecos definen la posición del centro de la cámara y su orientación en coordenadas del mundo.T{\displaystyle T}es la posición del origen del sistema de coordenadas del mundo expresada en coordenadas del sistema de coordenadas centrado en la cámara.T{\displaystyle T}A menudo se considera erróneamente la posición de la cámara. La posición,do{\displaystyle C}, de la cámara expresada en coordenadas del mundo esdo=R1T=RTT{\displaystyle C=-R^{-1}T=-R^{T}T}(desdeR{\displaystyle R}es una matriz de rotación ). Esto se puede verificar comprobando que el punto[R1T,1]{\displaystyle [-R^{-1}T,1]}se transforma en[0,0,0,1]T{\displaystyle [0,0,0,1]^{T}}, que es lo esperado (ya que la ubicación de la cámara es, en las coordenadas de la cámara, el origen).

La calibración de la cámara se utiliza a menudo como una etapa inicial en la visión por computadora .

Cuando se utiliza una cámara , la luz del entorno se enfoca en un plano de imagen y se captura. Este proceso reduce las dimensiones de los datos captados por la cámara de tres a dos (la luz de una escena 3D se almacena en una imagen 2D). Por lo tanto, cada píxel en el plano de imagen corresponde a un haz de luz de la escena original.

Algoritmos

Existen muchos enfoques diferentes para calcular los parámetros intrínsecos y extrínsecos de una configuración de cámara específica. Los más comunes son:

  1. Método de transformación lineal directa (DLT)
  2. El método de Zhang
  3. El método de Tsai
  4. Método de Selby (para cámaras de rayos X )

El método de Zhang

El método de Zhang [ 2 ] [ 3 ] es un método de calibración de cámara que utiliza técnicas de calibración tradicionales (puntos de calibración conocidos) y técnicas de autocalibración (correspondencia entre los puntos de calibración cuando se encuentran en diferentes posiciones). Para realizar una calibración completa mediante el método de Zhang, se requieren al menos tres imágenes diferentes del patrón/medidor de calibración, ya sea moviendo el medidor o la propia cámara. Si se proporcionan algunos de los parámetros intrínsecos como datos (ortogonalidad de la imagen o coordenadas del centro óptico), el número de imágenes necesarias puede reducirse a dos.

En un primer paso, se realiza una aproximación de la matriz de proyección estimada.H{\displaystyle H}La distancia entre el objetivo de calibración y el plano de la imagen se determina mediante el método DLT . [ 4 ] Posteriormente, se aplican técnicas de autocalibración para obtener la imagen de la matriz cónica absoluta. [ 5 ] La principal contribución del método de Zhang es cómo, dadonorte{\displaystyle n}poses del objetivo de calibración, extrae una matriz intrínseca restringidaK{\displaystyle K}, junto connorte{\displaystyle n}casos deR{\displaystyle R}yT{\displaystyle T}parámetros de calibración.

Derivación

Supongamos que tenemos una homografía.H{\displaystyle {\textbf {H}}}que mapea puntosincógnitaπ{\displaystyle x_{\pi }}en un "plano de sondeo"π{\displaystyle \pi }a puntosincógnita{\displaystyle x}en la imagen.

Los puntos circularesI,J=[1±j0]T{\displaystyle I,J={\begin{bmatrix}1&\pm j&0\end{bmatrix}}^{\mathrm {T} }}yacen en ambos planos de nuestra sondaπ{\displaystyle \pi }y en la cónica absolutaΩ{\displaystyle \Omega _ {\infty }}. Acostado enΩ{\displaystyle \Omega _ {\infty }}Por supuesto, esto significa que también se proyectan sobre la imagen de la cónica absoluta (CAI).ω{\displaystyle \omega }, de este modoincógnita1Tωincógnita1=0{\displaystyle x_{1}^{T}\omega x_{1}=0}yincógnita2Tωincógnita2=0{\displaystyle x_{2}^{T}\omega x_{2}=0}. Los puntos circulares se proyectan como

incógnita1=HI=[h1h2h3][1j0]=h1+jh2incógnita2=HJ=[h1h2h3][1j0]=h1jh2{\displaystyle {\begin{aligned}x_{1}&={\textbf {H}}I={\begin{bmatrix}h_{1}&h_{2}&h_{3}\end{bmatrix}}{\begin{bmatrix}1\\j\\0\end{bmatrix}}=h_{1}+jh_{2}\\x_{2}&={\textbf {H}}J={\begin{bmatrix}h_{1}&h_{2}&h_{3}\end{bmatrix}}{\begin{bmatrix}1\\-j\\0\end{bmatrix}}=h_{1}-jh_{2}\end{aligned}}}.

En realidad podemos ignorarincógnita2{\displaystyle x_{2}}mientras sustituimos nuestra nueva expresión porincógnita1{\displaystyle x_{1}}como sigue:

incógnita1Tωincógnita1=(h1+jh2)Tω(h1+jh2)=(h1T+jh2T)ω(h1+jh2)=h1Tωh1+j(h2Tωh2)=0{\displaystyle {\begin{aligned}x_{1}^{T}\omega x_{1}&=\left(h_{1}+jh_{2}\right)^{T}\omega \left(h_{1}+jh_{2}\right)\\&=\left(h_{1}^{T}+jh_{2}^{T}\right)\omega \left(h_{1}+jh_{2}\right)\\&=h_{1}^{T}\omega h_{1}+j\left(h_{2}^{T}\omega h_{2}\right)\\&=0\end{aligned}}}

El algoritmo de Tsai

El método de Tsai es un algoritmo de dos etapas. En la primera etapa, se calcula la pose (orientación 3D y traslación en los ejes x e y). La distancia focal, los coeficientes de distorsión y la traslación en el eje z se calculan durante la segunda etapa. [ 6 ]

Método de Selby (para cámaras de rayos X)

El método de calibración de cámara de Selby [ 7 ] aborda la autocalibración de sistemas de cámaras de rayos X. Estos sistemas, compuestos por un tubo generador de rayos X y un detector de estado sólido, pueden modelarse como sistemas de cámaras estenopeicas, con nueve parámetros intrínsecos y extrínsecos. El registro basado en intensidad, a partir de una imagen de rayos X arbitraria y un modelo de referencia (como un conjunto de datos tomográficos), permite determinar los parámetros relativos de la cámara sin necesidad de un organismo de calibración especial ni datos de referencia.

Véase también

Referencias

  1. Richard Hartley y Andrew Zisserman (2003). Geometría de múltiples vistas en visión por computadora . Cambridge University Press. págs. 155–157 . ISBN  0-521-54051-8.
  2. Z. Zhang, "Una nueva técnica flexible para la calibración de cámaras", archivado el 3 de diciembre de 2015 en Wayback Machine , IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 22, n.º 11, páginas 1330-1334 , 2000.
  3. P. Sturm y S. Maybank, "Sobre la calibración de cámaras basada en planos: un algoritmo general, singularidades y aplicaciones", archivado el 4 de marzo de 2016 en Wayback Machine , en Actas de la Conferencia IEEE sobre Visión por Computadora y Reconocimiento de Patrones (CVPR), páginas 432-437 , Fort Collins, CO, EE. UU., junio de 1999.
  4. Abdel-Aziz, YI, Karara, HM " Transformación lineal directa de coordenadas de comparador a coordenadas de espacio de objeto en fotogrametría de corto alcance. Archivado el 2 de agosto de 2019 en Wayback Machine ", Actas del Simposio sobre Fotogrametría de Corto Alcance (págs. 1-18), Falls Church, VA: Sociedad Americana de Fotogrametría, (1971)
  5. Luong, Q.-T.; Faugeras, OD (1997-03-01). "Autocalibración de una cámara en movimiento a partir de correspondencias de puntos y matrices fundamentales" . International Journal of Computer Vision . 22 (3): 261– 289. doi : 10.1023/A:1007982716991 . ISSN 1573-1405 . 
  6. Roger Y. Tsai, "Calibración versátil de cámaras para metrología de visión artificial 3D de alta precisión utilizando cámaras y lentes de TV comerciales" , IEEE Journal of Robotics and Automation, vol. RA-3, n.° 4, agosto de 1987.
  7. Boris Peter Selby et al., "Posicionamiento del paciente con autocalibración del detector de rayos X para terapia guiada por imágenes" Archivado el 10/11/2023 en Wayback Machine , Australasian Physical & Engineering Science in Medicine, Vol. 34, No. 3, páginas 391-400 , 2011
  • Método de calibración de cámara de Zhang con software
  • Calibración de cámaras : conferencia sobre realidad aumentada en la Universidad Técnica de Múnich, Alemania.