Detección de esquinas

La detección de esquinas es una técnica utilizada en sistemas de visión artificial para extraer características específicas e inferir el contenido de una imagen. Se emplea frecuentemente en detección de movimiento , registro de imágenes , seguimiento de vídeo , creación de mosaicos de imágenes , composición de panoramas , reconstrucción 3D y reconocimiento de objetos . La detección de esquinas guarda relación con la detección de puntos de interés .

Una esquina se puede definir como la intersección de dos aristas. También se puede definir como un punto para el cual existen dos direcciones de aristas dominantes y diferentes en un entorno local del punto.

Un punto de interés es un punto en una imagen que tiene una posición bien definida y puede detectarse con precisión. Esto significa que un punto de interés puede ser una esquina, pero también puede ser, por ejemplo, un punto aislado de intensidad máxima o mínima local, el final de una línea o un punto en una curva donde la curvatura es máxima localmente.

En la práctica, la mayoría de los métodos denominados de detección de esquinas detectan puntos de interés en general, y de hecho, los términos "esquina" y "punto de interés" se utilizan de forma más o menos intercambiable en la literatura. ^{[ 1 ]} En consecuencia, si solo se van a detectar esquinas, es necesario realizar un análisis local de los puntos de interés detectados para determinar cuáles de ellos son esquinas reales. Ejemplos de detección de bordes que se pueden utilizar con posprocesamiento para detectar esquinas son el operador de Kirsch y el conjunto de máscaras de Frei-Chen. ^{[ 2 ]}

En la literatura, los términos "esquina", "punto de interés" y "característica" se usan indistintamente, lo que genera confusión. En concreto, existen varios detectores de manchas que pueden denominarse "operadores de puntos de interés", pero que a veces se denominan erróneamente "detectores de esquinas". Además, existe el concepto de detección de crestas para capturar la presencia de objetos alargados.

Los detectores de esquinas no suelen ser muy robustos y a menudo requieren la introducción de grandes redundancias para evitar que el efecto de los errores individuales domine la tarea de reconocimiento.

Una forma de determinar la calidad de un detector de esquinas es su capacidad para detectar la misma esquina en múltiples imágenes similares, bajo condiciones de iluminación, traslación, rotación y otras transformaciones diferentes.

Un método sencillo para la detección de esquinas en imágenes consiste en utilizar la correlación , pero resulta computacionalmente muy costoso y poco óptimo. Un método alternativo de uso frecuente se basa en una propuesta de Harris y Stephens (que se describe a continuación), la cual, a su vez, mejora un método de Moravec.

Este es uno de los primeros algoritmos de detección de esquinas y define una esquina como un punto con baja autosimilitud. ^{[ 3 ]} El algoritmo analiza cada píxel de la imagen para determinar si hay una esquina presente, considerando la similitud entre un parche centrado en dicho píxel y parches cercanos que se superponen en gran medida. La similitud se mide sumando las diferencias al cuadrado (SSD) entre los píxeles correspondientes de dos parches. Un valor menor indica mayor similitud.

Si el píxel se encuentra en una región de intensidad uniforme, las zonas cercanas tendrán un aspecto similar. Si el píxel está en un borde, las zonas cercanas perpendiculares a este tendrán un aspecto muy diferente, mientras que las zonas cercanas paralelas al borde solo presentarán una pequeña variación. Si el píxel se encuentra en una zona con variación en todas las direcciones, ninguna de las zonas cercanas tendrá un aspecto similar.

La fuerza de la esquina se define como la menor desviación estándar de la superficie (SSD, por sus siglas en inglés) entre el parche y sus vecinos (horizontal, vertical y en las dos diagonales). Esto se debe a que, si este valor es alto, la variación en todos los desplazamientos es igual o mayor, lo que indica que todos los parches cercanos se ven diferentes.

Si se calcula el valor de la fuerza de la esquina para todas las ubicaciones, el hecho de que sea localmente máximo en una ubicación indica que en ella está presente una característica de interés.

Como señaló Moravec, uno de los principales problemas de este operador es que no es isotrópico : si hay una arista que no está en la dirección de los vecinos (horizontal, vertical o diagonal), entonces el SSD más pequeño será grande y la arista se elegirá incorrectamente como punto de interés. ^{[ 4 ]}

Harris y Stephens ^{[ 5 ]} mejoraron el detector de esquinas de Moravec al considerar directamente la diferencial de la puntuación de esquina con respecto a la dirección, en lugar de utilizar parches desplazados. (Esta puntuación de esquina se suele denominar autocorrelación , ya que el término se utiliza en el artículo donde se describe este detector. Sin embargo, las fórmulas matemáticas del artículo indican claramente que se utiliza la suma de las diferencias al cuadrado).

Sin pérdida de generalidad , asumiremos que se utiliza una imagen bidimensional en escala de grises. Sea esta imagen dada por${\displaystyle I}$Considere tomar un parche de imagen sobre el área${\displaystyle (u,v)}$y desplazándolo por${\displaystyle (x,y)}$. La suma ponderada de las diferencias al cuadrado (SSD) entre estos dos parches, denotada${\displaystyle S}$, se da por $${\displaystyle S(x,y)=\sum _ {u}\sum _ {v}w(u,v)[I(u+x,v+y)-I(u,v)]^{2}.}$$${\displaystyle I(u+x,v+y)}$puede aproximarse mediante una expansión de Taylor . Sea${\displaystyle I_{x}}$y${\displaystyle I_{y}}$sean las derivadas parciales de${\displaystyle I}$, de tal manera que $${\displaystyle I(u+x,v+y)\approx I(u,v)+I_{x}(u,v)x+I_{y}(u,v)y.}$$

Esto produce la aproximación $${\displaystyle S(x,y)\approx \sum _{u}\sum _{v}w(u,v)[I_{x}(u,v)x+I_{y}(u,v)y]^{2},}$$ que se puede escribir en forma matricial: $${\displaystyle S(x,y)\approx {\begin{bmatrix}x&y\end{bmatrix}}A{\begin{bmatrix}x\\y\end{bmatrix}},}$$ donde A es el tensor de estructura , $${\displaystyle A=\sum _ {u}\sum _{v}w(u,v){\begin{bmatrix}I_{x}(u,v)^{2}&I_{x}(u,v)I_{y}(u,v)\\I_{x}(u,v)I_{y}(u,v)&I_{y}(u,v)^{2}\end{bmatrix}}={\begin{bmatrix}\langle I_{x}^{2}\rangle &\langle I_{x}I_{y}\rangle \\\langle I_{x}I_{y}\rangle &\langle I_{y}^{2}\rangle \end{bmatrix}}.}$$

En otras palabras, encontramos la covarianza de la derivada parcial de la intensidad de la imagen.${\displaystyle I}$con respecto a la${\displaystyle x}$y${\displaystyle y}$ejes.

Los corchetes angulares denotan promedio (es decir, suma sobre${\displaystyle (u,v)}$), y${\displaystyle w(u,v)}$indica el tipo de ventana que se desliza sobre la imagen. Si se utiliza un filtro de caja , la respuesta será anisotrópica , pero si se utiliza un filtro gaussiano , la respuesta será isotrópica .

Una esquina (o en general un punto de interés) se caracteriza por una gran variación de${\displaystyle S}$en todas las direcciones del vector${\displaystyle {\begin{bmatrix}x&y\end{bmatrix}}}$. Analizando los valores propios de${\displaystyle A}$Esta caracterización puede expresarse de la siguiente manera:${\displaystyle A}$Un punto de interés debería tener dos autovalores "grandes". Basándonos en las magnitudes de los autovalores, se pueden realizar las siguientes inferencias a partir de este argumento:

1. Si${\displaystyle \lambda _{1}\approx 0}$y${\displaystyle \lambda _{2}\approx 0,}$entonces este píxel${\displaystyle (x,y)}$No tiene características de interés.
2. Si${\displaystyle \lambda _{1}\approx 0}$y${\displaystyle \lambda _{2}}$Si tiene algún valor positivo grande, entonces se encuentra una arista.
3. Si${\displaystyle \lambda _{1}}$y${\displaystyle \lambda _{2}}$Si hay valores positivos grandes, entonces se encuentra una esquina.

Harris y Stephens señalan que el cálculo exacto de los valores propios es computacionalmente costoso, ya que requiere el cálculo de una raíz cuadrada , y en su lugar sugieren la función $${\displaystyle M_{c}=\lambda _ {1}\lambda _ {2}-\kappa (\lambda _ {1}+\lambda _ {2})^{2}=\det(A)-\kappa \operatorname {tr} ^{2}(A),}$$ dónde${\displaystyle \kappa }$es un parámetro de sensibilidad ajustable.

Por lo tanto, el algoritmo ^{[ 6 ]} no tiene que calcular realmente la descomposición en valores propios de la matriz.${\displaystyle A,}$y en su lugar basta con evaluar el determinante y la traza de${\displaystyle A}$para encontrar rincones, o mejor dicho, puntos de interés en general.

El detector de esquinas de Shi–Tomasi ^{[ 7 ]} calcula directamente${\displaystyle \min(\lambda _{1},\lambda _{2})}$Porque, bajo ciertas suposiciones, las esquinas son más estables para el seguimiento. Cabe señalar que este método también se conoce a veces como detector de esquinas de Kanade-Tomasi.

El valor de${\displaystyle \kappa }$Debe determinarse empíricamente, y en la bibliografía se han reportado valores en el rango de 0,04 a 0,15 como factibles.

Se puede evitar configurar el parámetro${\displaystyle \kappa }$utilizando la medida de esquina de Noble ^{[ 8 ]}${\displaystyle M_{c}'}$lo cual equivale a la media armónica de los valores propios: $${\displaystyle M_{c}'=2{\frac {\det(A)}{\operatorname {tr} (A)+\epsilon }},}$$ dónde${\displaystyle \epsilon }$es una pequeña constante positiva.

Si${\displaystyle A}$puede interpretarse como la matriz de precisión para la posición de la esquina, la matriz de covarianza para la posición de la esquina es${\displaystyle A^{-1}}$, es decir $${\displaystyle {\frac {1}{\langle I_{x}^{2}\rangle \langle I_{y}^{2}\rangle -\langle I_{x}I_{y}\rangle ^{2}}}{\begin{bmatrix}\langle I_{y}^{2}\rangle &-\langle I_{x}I_{y}\rangle \\-\langle I_{x}I_{y}\rangle &\langle I_{x}^{2}\rangle \end{bmatrix}}.}$$

La suma de los valores propios de${\displaystyle A^{-1}}$, que en ese caso puede interpretarse como una varianza generalizada (o una "incertidumbre total") de la posición de la esquina, está relacionada con la medida de esquina de Noble.${\displaystyle M_{c}'}$como $${\displaystyle \lambda _{1}(A^{-1})+\lambda _{2}(A^{-1})={\frac {\operatorname {tr} (A)}{\det(A)}}\approx {\frac {2}{M_{c}'}}.}$$

En algunos casos, puede ser necesario calcular la ubicación de una esquina con precisión subpíxel. Para obtener una solución aproximada, el algoritmo de Förstner ^{[ 9 ]} busca el punto más cercano a todas las líneas tangentes de la esquina en una ventana dada y es una solución de mínimos cuadrados. El algoritmo se basa en el hecho de que, para una esquina ideal, las líneas tangentes se cruzan en un único punto.

La ecuación de una línea tangente${\displaystyle T_{\mathbf {x} '}(\mathbf {x} )}$en píxeles${\displaystyle \mathbf {x} '}$está dado por:

${\displaystyle T_{\mathbf {x'} }(\mathbf {x} )=\nabla I(\mathbf {x'} )^{\top }(\mathbf {x} -\mathbf {x'} )=0}$

dónde${\displaystyle \nabla I(\mathbf {x'} )={\begin{bmatrix}I_{\mathbf {x} }&I_{\mathbf {y} }\end{bmatrix}}^{\top }}$es el vector gradiente de la imagen${\displaystyle I}$en${\displaystyle \mathbf {x'} }$.

El punto${\displaystyle \mathbf {x} _{0}}$más cercano a todas las líneas tangentes en la ventana${\displaystyle N}$es:

${\displaystyle \mathbf {x} _{0}={\underset {\mathbf {x} \in \mathbb {R} ^{2\times 1}}{\operatorname {argmin} }}\int _{\mathbf {x'} \in N}T_{\mathbf {x'} }(\mathbf {x} )^{2}d\mathbf {x'} }$

La distancia desde${\displaystyle \mathbf {x} _{0}}$a las líneas tangentes${\displaystyle T_{\mathbf {x'} }}$Se pondera según la magnitud del gradiente, dando así mayor importancia a las tangentes que pasan por píxeles con gradientes fuertes.

Resolver para${\displaystyle \mathbf {x} _{0}}$:

${\displaystyle {\begin{aligned}\mathbf {x} _{0}&={\underset {\mathbf {x} \in \mathbb {R} ^{2\times 1}}{\operatorname {argmin} }}\int _{\mathbf {x'} \in N}\left(\nabla I\left(\mathbf {x'} \right)^{\top }\left(\mathbf {x} -\mathbf {x'} \right)\right)^{2}d\mathbf {x'} \\&={\underset {\mathbf {x} \in \mathbb {R} ^{2\times 1}}{\operatorname {argmin} }}\int _{\mathbf {x'} \in N}(\mathbf {x} -\mathbf {x'} )^{\top }\nabla I(\mathbf {x'} )\nabla I(\mathbf {x'} )^{\top }(\mathbf {x} -\mathbf {x'} )d\mathbf {x'} \\&={\underset {\mathbf {x} \in \mathbb {R} ^{2\times 1}}{\operatorname {argmin} }}\left(\mathbf {x} ^{\top }A\mathbf {x} -2\mathbf {x} ^{\top }\mathbf {b} +c\right)\end{aligned}}}$

${\displaystyle A\in \mathbb {R} ^{2\times 2},{\textbf {b}}\in \mathbb {R} ^{2\times 1},c\in \mathbb {R} }$se definen como:

${\displaystyle {\begin{aligned}A&=\int \nabla I(\mathbf {x'} )\nabla I(\mathbf {x'} )^{\top }d\mathbf {x'} \\\mathbf {b} &=\int \nabla I(\mathbf {x'} )\nabla I(\mathbf {x'} )^{\top }\mathbf {x'} d\mathbf {x'} \\c&=\int \mathbf {x'} ^{\top }\nabla I(\mathbf {x'} )\nabla I(\mathbf {x'} )^{\top }\mathbf {x'} d\mathbf {x'} \\\end{aligned}}}$

La minimización de esta ecuación se puede realizar derivando con respecto a${\displaystyle x}$y estableciéndolo igual a 0:

${\displaystyle 2A\mathbf {x} -2\mathbf {b} =0\Rightarrow A\mathbf {x} =\mathbf {b} }$

Tenga en cuenta que${\displaystyle A\in \mathbb {R} ^{2\times 2}}$es el tensor de estructura . Para que la ecuación tenga una solución,${\displaystyle A}$debe ser invertible, lo que implica que${\displaystyle A}$debe ser de rango completo (rango 2). Por lo tanto, la solución

${\displaystyle x_{0}=A^{-1}\mathbf {b} }$

Solo existe donde hay una esquina real en la ventana.${\displaystyle N}$.

^{Lindeberg [ 10 ] [ 11 ]} presentó una metodología para realizar la selección automática de escala para este método de localización de esquinas , minimizando el residuo normalizado.

${\displaystyle {\tilde {d}}_{\min }={\frac {c-b^{T}A^{-1}b}{\operatorname {trace} A}}}$

sobre escalas. De este modo, el método tiene la capacidad de adaptar automáticamente los niveles de escala para calcular los gradientes de la imagen al nivel de ruido en los datos de la imagen, eligiendo niveles de escala más gruesos para datos de imagen ruidosos y niveles de escala más finos para estructuras casi ideales similares a esquinas.

Notas:

• ${\displaystyle c}$puede considerarse como un residuo en el cálculo de la solución de mínimos cuadrados: si${\displaystyle c=0}$, entonces no hubo ningún error.
• Este algoritmo se puede modificar para calcular los centros de elementos circulares cambiando las líneas tangentes por líneas normales.

El cálculo de la matriz de segundo momento (a veces también denominada tensor de estructura )${\displaystyle A}$En el operador de Harris, se requiere el cálculo de derivadas de la imagen.${\displaystyle I_{x},I_{y}}$en el dominio de la imagen, así como la suma de combinaciones no lineales de estas derivadas sobre vecindarios locales. Dado que el cálculo de derivadas generalmente implica una etapa de suavizado del espacio de escalas, una definición operativa del operador de Harris requiere dos parámetros de escala: (i) una escala local para el suavizado previo al cálculo de las derivadas de la imagen , y (ii) una escala de integración para acumular las operaciones no lineales sobre los operadores de derivadas en un descriptor de imagen integrado.

Con${\displaystyle I}$denotando la intensidad de la imagen original, sea${\displaystyle L}$denota la representación del espacio de escalas de${\displaystyle I}$obtenido por convolución con un núcleo gaussiano

${\displaystyle g(x,y,t)={\frac {1}{2{\pi }t}}e^{-\left(x^{2}+y^{2}\right)/2t}}$

con parámetro de escala local${\displaystyle t}$:

${\displaystyle L(x,y,t)\ =g(x,y,t)*I(x,y)}$

y dejar${\displaystyle L_{x}=\partial _{x}L}$y${\displaystyle L_{y}=\partial _{y}L}$denotamos las derivadas parciales de${\displaystyle L}$Además, introduzca una función de ventana gaussiana.${\displaystyle g(x,y,s)}$con parámetro de escala de integración${\displaystyle s}$Entonces, la matriz de segundo momento multiescala ^{[ 12 ] [ 13 ] [ 14 ]} se puede definir como

${\displaystyle \mu (x,y;t,s)=\int _{\xi =-\infty }^{\infty }\int _{\eta =-\infty }^{\infty }{\begin{bmatrix}L_{x}^{2}(x-\xi ,y-\eta ;t)&L_{x}(x-\xi ,y-\eta ;t)\,L_{y}(x-\xi ,y-\eta ;t)\\L_{x}(x-\xi ,y-\eta ;t)\,L_{y}(x-\xi ,y-\eta ;t)&L_{y}^{2}(x-\xi ,y-\eta ;t)\end{bmatrix}}g(\xi ,\eta ;s)\,d\xi \,d\eta .}$

Entonces, podemos calcular los valores propios de${\displaystyle \mu }$de manera similar a los valores propios de${\displaystyle A}$y definir la medida de esquina de Harris multiescala como

${\displaystyle M_{c}(x,y;t,s)=\det(\mu (x,y;t,s))-\kappa \,\operatorname {trace} ^{2}(\mu (x,y;t,s)).}$

En cuanto a la elección del parámetro de escala local${\displaystyle t}$y el parámetro de escala de integración${\displaystyle s}$Estos parámetros de escala suelen estar acoplados mediante un parámetro de escala de integración relativo.${\displaystyle \gamma }$de tal manera que${\displaystyle s=\gamma ^{2}t}$, dónde${\displaystyle \gamma }$se suele elegir en el intervalo${\displaystyle [1,2]}$. ^{[ 12 ] [ 13 ]} Por lo tanto, podemos calcular la medida de esquina de Harris multiescala${\displaystyle M_{c}(x,y;t,\gamma ^{2}t)}$a cualquier escala${\displaystyle t}$en el espacio de escalas para obtener un detector de esquinas multiescala, que responde a estructuras de esquina de tamaños variables en el dominio de la imagen.

En la práctica, este detector de esquinas multiescala a menudo se complementa con un paso de selección de escala , donde el operador laplaciano normalizado a escala ^{[ 11 ] [ 12 ]}

${\displaystyle \nabla _{\mathrm {norm} }^{2}L(x,y;t)\ =t\nabla ^{2}L(x,y,t)=t(L_{xx}(x,y,t)+L_{yy}(x,y,t))}$

se calcula en cada escala en el espacio de escalas y los puntos de esquina adaptados a la escala con selección automática de escala (el "operador Harris-Laplace") se calculan a partir de los puntos que son simultáneamente: ^{[ 15 ]}

• Máximos espaciales de la medida de esquina multiescala${\displaystyle M_{c}(x,y;t,\gamma ^{2}t)}$

  ${\displaystyle ({\hat {x}},{\hat {y}};t)=\operatorname {argmaxlocal} _{(x,y)}M_{c}\left(x,y;t,\gamma ^{2}t\right)}$

• máximos o mínimos locales sobre escalas del operador laplaciano normalizado a escala ^{[ 11 ]}${\displaystyle \nabla _{\mathrm {norm} }^{2}(x,y,t)}$:

  ${\displaystyle {\hat {t}}=\operatorname {argmaxminlocal} _{t}\nabla _{\mathrm {norm} }^{2}L({\hat {x}},{\hat {y}};t)}$

Un enfoque anterior para la detección de esquinas consiste en detectar puntos donde la curvatura de las curvas de nivel y la magnitud del gradiente son simultáneamente altas. ^{[ 16 ] [ 17 ]} Una forma diferencial de detectar dichos puntos es calculando la curvatura de la curva de nivel reescalada (el producto de la curvatura de la curva de nivel y la magnitud del gradiente elevada a la tercera potencia).

${\displaystyle {\tilde {\kappa }}(x,y;t)=L_{x}^{2}L_{yy}+L_{y}^{2}L_{xx}-2L_{x}L_{y}L_{xy}}$

y detectar máximos positivos y mínimos negativos de esta expresión diferencial a cierta escala.${\displaystyle t}$en la representación del espacio de escala${\displaystyle L}$de la imagen original. ^{[ 10 ] [ 11 ]} Sin embargo, un problema principal al calcular la entidad de curvatura de la curva de nivel reescalada a una sola escala es que puede ser sensible al ruido y a la elección del nivel de escala. Un método mejor es calcular la${\displaystyle \gamma }$-curvatura de la curva de nivel reescalada normalizada

${\displaystyle {\tilde {\kappa }}_{\mathrm {norm} }(x,y;t)=t^{2\gamma }(L_{x}^{2}L_{yy}+L_{y}^{2}L_{xx}-2L_{x}L_{y}L_{xy})}$

con${\displaystyle \gamma =7/8}$y para detectar extremos de escala-espacio con signo de esta expresión, que son puntos y escalas que son máximos positivos y mínimos negativos con respecto al espacio y la escala.

${\displaystyle ({\hat {x}},{\hat {y}};{\hat {t}})=\operatorname {argminmaxlocal} _{(x,y;t)}{\tilde {\kappa }}_{\mathrm {norm} }(x,y;t)}$

en combinación con un paso de localización complementario para manejar el aumento en el error de localización en escalas más gruesas. ^{[ 10 ] [ 11 ] [ 12 ]} De esta manera, los valores de escala más grandes se asociarán con esquinas redondeadas de gran extensión espacial, mientras que los valores de escala más pequeños se asociarán con esquinas afiladas de pequeña extensión espacial. Este enfoque es el primer detector de esquinas con selección automática de escala (anterior al "operador de Harris-Laplace" mencionado anteriormente) y se ha utilizado para rastrear esquinas bajo grandes variaciones de escala en el dominio de la imagen ^{[ 18 ]} y para hacer coincidir las respuestas de las esquinas con los bordes para calcular características estructurales de la imagen para el reconocimiento de objetos basado en geon . ^{[ 19 ]}

LoG ^{[ 11 ] [ 12 ] [ 15 ]} es un acrónimo que significa Laplaciano de Gaussiano , DoG ^{[ 20 ]} es un acrónimo que significa Diferencia de Gaussianos (DoG es una aproximación de LoG), y DoH es un acrónimo que significa Determinante del Hessiano . ^{[ 11 ]} Todos estos puntos de interés invariantes a la escala se extraen detectando extremos en el espacio de escalas de expresiones diferenciales normalizadas a la escala, es decir, puntos en el espacio de escalas donde las expresiones diferenciales normalizadas a la escala correspondientes asumen extremos locales con respecto al espacio y a la escala ^{[ 11 ]}

${\displaystyle ({\hat {x}},{\hat {y}};{\hat {t}})=\operatorname {argminmaxlocal} _{(x,y;t)}(D_{\mathrm {norm} }L)(x,y;t)}$

dónde${\displaystyle D_{norm}L}$denota la entidad diferencial normalizada a escala apropiada (definida a continuación).

Estos detectores se describen más completamente en la detección de blobs . El laplaciano normalizado a escala de la gaussiana y las características de diferencia de gaussianas (Lindeberg 1994, 1998; Lowe 2004) ^{[ 11 ] [ 12 ] [ 20 ]}

${\displaystyle {\begin{aligned}\nabla _{\mathrm {norm} }^{2}L(x,y;t)&=t\,(L_{xx}+L_{yy})\\&\approx {\frac {t\left(L(x,y;t+\Delta t)-L(x,y;t)\right)}{\Delta t}}\end{aligned}}}$

No necesariamente crean características altamente selectivas, ya que estos operadores también pueden generar respuestas cerca de los bordes. Para mejorar la capacidad de detección de esquinas del detector de diferencias de gaussianas, el detector de características utilizado en el sistema SIFT ^{[ 20 ]} emplea una etapa de posprocesamiento adicional, donde los valores propios del hessiano de la imagen en la escala de detección se examinan de forma similar al operador de Harris. Si la relación de los valores propios es demasiado alta, la imagen local se considera demasiado parecida a un borde, por lo que la característica se rechaza. Asimismo, el detector de características del laplaciano de Lindeberg de la gaussiana puede definirse para incluir un umbral complementario en un invariante diferencial complementario para suprimir las respuestas cerca de los bordes. ^{[ 21 ]}

El determinante normalizado a escala del operador hessiano (Lindeberg 1994, 1998) ^{[ 11 ] [ 12 ]}

${\displaystyle \det H_{\mathrm {norm} }L=t^{2}(L_{xx}L_{yy}-L_{xy}^{2})}$

Por otro lado, es altamente selectivo a características de imagen bien localizadas y solo responde cuando hay variaciones significativas de nivel de gris en dos direcciones de la imagen ^{[ 11 ] [ 14 ]} y es en este y otros aspectos un mejor detector de puntos de interés que el Laplaciano de la Gaussiana. El determinante del Hessiano es una expresión diferencial covariante afín y tiene mejores propiedades de selección de escala bajo transformaciones de imagen afines que el operador Laplaciano (Lindeberg 2013, 2015). ^{[ 21 ] [ 22 ]} Experimentalmente, esto implica que los puntos de interés del determinante del Hessiano tienen mejores propiedades de repetibilidad bajo deformación local de la imagen que los puntos de interés del Laplaciano, lo que a su vez conduce a un mejor rendimiento de la coincidencia basada en imágenes en términos de puntuaciones de eficiencia más altas y puntuaciones de 1 − precisión más bajas . ^{[ 21 ]}

Las propiedades de selección de escala, las propiedades de transformación afín y las propiedades experimentales de estos y otros detectores de puntos de interés en el espacio de escalas se analizan en detalle en (Lindeberg 2013, 2015). ^{[ 21 ] [ 22 ]}

Inspirado en las propiedades estructuralmente similares de la matriz hessiana.${\displaystyle Hf}$de una función${\displaystyle f}$y la matriz de segundo momento (tensor de estructura)${\displaystyle \mu }$, como puede manifestarse, por ejemplo, en términos de sus propiedades de transformación similares bajo deformaciones de imagen afines ^{[ 13 ] [ 21 ]}

${\displaystyle (Hf')=A^{-T}\,(Hf)\,A^{-1}}$,

${\displaystyle \mu '=A^{-T}\,\mu \,A^{-1}}$,

Lindeberg (2013, 2015) ^{[ 21 ] [ 22 ]} propuso definir cuatro medidas de fuerza de características a partir de la matriz hessiana de forma similar a como se definen los operadores de Harris y Shi-y-Tomasi a partir del tensor de estructura (matriz de segundo momento). Específicamente, definió las siguientes medidas de fuerza de características hessianas sin signo y con signo:

• la medida de fuerza de la característica hessiana sin signo I:

  ${\displaystyle D_{1,\mathrm {norm} }L={\begin{cases}t^{2}\,(\det HL-k\,\operatorname {trace} ^{2}HL)&{\mbox{if}}\,\det HL-k\,\operatorname {trace} ^{2}HL>0\\0&{\mbox{otherwise}}\end{cases}}}$

• la medida de fuerza de la característica Hessiana con signo I:

  ${\displaystyle {\tilde {D}}_{1,\mathrm {norm} }L={\begin{cases}t^{2}\,(\det HL-k\,\operatorname {trace} ^{2}HL)&{\mbox{if}}\,\det HL-k\,\operatorname {trace} ^{2}HL>0\\t^{2}\,(\det HL+k\,\operatorname {trace} ^{2}HL)&{\mbox{if}}\,\det HL+k\,\operatorname {trace} ^{2}HL<0\\0&{\mbox{otherwise}}\end{cases}}}$

• la medida de fuerza de características hessianas sin signo II:

  ${\displaystyle D_{2,\mathrm {norm} }L=t\,\min(|\lambda _{1}(HL)|,|\lambda _{2}(HL)|)}$

• la medida de fuerza de la característica hessiana con signo II:

  ${\displaystyle {\tilde {D}}_{2,\mathrm {norm} }L={\begin{cases}t\,\lambda _{1}(HL)&{\mbox{if}}\,|\lambda _{1}(HL)|<|\lambda _{2}(HL)|\\t\,\lambda _{2}(HL)&{\mbox{if}}\,|\lambda _{2}(HL)|<|\lambda _{1}(HL)|\\t\,(\lambda _{1}(HL)+\lambda _{2}(HL))/2&{\mbox{otherwise}}\end{cases}}}$

dónde${\displaystyle \operatorname {trace} HL=L_{xx}+L_{yy}}$y${\displaystyle \det HL=L_{xx}L_{yy}-L_{xy}^{2}}$ denotan la traza y el determinante de la matriz hessiana.${\displaystyle HL}$de la representación del espacio de escalas${\displaystyle L}$a cualquier escala${\displaystyle t}$, mientras

${\displaystyle \lambda _{1}(HL)=L_{pp}={\frac {1}{2}}\left(L_{xx}+L_{yy}-{\sqrt {(L_{xx}-L_{yy})^{2}+4L_{xy}^{2}}}\right)}$

${\displaystyle \lambda _{2}(HL)=L_{qq}={\frac {1}{2}}\left(L_{xx}+L_{yy}+{\sqrt {(L_{xx}-L_{yy})^{2}+4L_{xy}^{2}}}\right)}$

denotan los valores propios de la matriz hessiana. ^{[ 23 ]}

La medida de fuerza de las características hessianas sin signo${\displaystyle D_{1,\mathrm {norm} }L}$responde a extremos locales con valores positivos y no es sensible a puntos de silla, mientras que la medida de fuerza de la característica Hessiana con signo${\displaystyle {\tilde {D}}_{1,\mathrm {norm} }L}$Además, responde a los puntos de silla con valores negativos. La medida de fuerza de la característica Hessiana sin signo${\displaystyle D_{2,\mathrm {norm} }L}$es insensible a la polaridad local de la señal, mientras que la medida de fuerza de la característica Hessiana con signo${\displaystyle {\tilde {D}}_{2,\mathrm {norm} }L}$Responde a la polaridad local de la señal mediante el signo de su salida.

En Lindeberg (2015) ^{[ 21 ]} estas cuatro entidades diferenciales se combinaron con la selección de escala local basada en la detección de extremos del espacio de escalas

${\displaystyle ({\hat {x}},{\hat {y}};{\hat {t}})=\operatorname {argminmaxlocal} _{(x,y;t)}(D_{\mathrm {norm} }L)(x,y;t)}$

o vinculación de escala. Además, las medidas de fuerza de las características del Hessiano con y sin signo${\displaystyle D_{2,\mathrm {norm} }L}$y${\displaystyle {\tilde {D}}_{2,\mathrm {norm} }L}$se combinaron con umbralización complementaria en${\displaystyle D_{1,\mathrm {norm} }L>0}$.

Mediante experimentos de coincidencia de imágenes bajo transformaciones de escala en un conjunto de datos de pósteres con 12 pósteres con coincidencia de múltiples vistas sobre transformaciones de escala hasta un factor de escala de 6 y variaciones de la dirección de visualización hasta un ángulo de inclinación de 45 grados con descriptores de imagen locales definidos a partir de reformulaciones de los descriptores de imagen puros en los operadores SIFT y SURF a mediciones de imagen en términos de operadores de derivada gaussiana (Gauss-SIFT y Gauss-SURF) en lugar del SIFT original definido a partir de una pirámide de imágenes o el SURF original definido a partir de ondículas de Haar, se demostró que la detección de puntos de interés en el espacio de escala basada en la medida de fuerza de características hessianas sin signo${\displaystyle D_{1,\mathrm {norm} }L}$permitió el mejor rendimiento y un rendimiento superior al de los puntos de interés del espacio de escalas obtenidos a partir del determinante del hessiano.${\displaystyle \det H_{\mathrm {norm} }L=t^{2}\left(L_{xx}L_{yy}-L_{xy}^{2}\right)}$. Tanto la medida de fuerza de la característica Hessiana sin signo${\displaystyle D_{1,\mathrm {norm} }L}$, la medida de fuerza de la característica hessiana con signo${\displaystyle {\tilde {D}}_{1,norm}L}$y el determinante de la matriz hessiana${\displaystyle \det H_{norm}L}$permitió un mejor rendimiento que el Laplaciano de la Gaussiana${\displaystyle \nabla _{\mathrm {norm} }^{2}L=t\,(L_{xx}+L_{yy})}$Cuando se combina con la vinculación de escalas y el umbral complementario en${\displaystyle D_{1,\mathrm {norm} }L>0}$, la medida de fuerza de la característica hessiana con signo${\displaystyle {\tilde {D}}_{2,\mathrm {norm} }L}$Además, permitió un mejor rendimiento que el Laplaciano de la Gaussiana.${\displaystyle \nabla _{\mathrm {norm} }^{2}L}$.

Además, se demostró que todos estos detectores de puntos de interés en el espacio de escalas diferenciales definidos a partir de la matriz hessiana permiten la detección de un mayor número de puntos de interés y un mejor rendimiento de coincidencia en comparación con los operadores de Harris y Shi-and-Tomasi definidos a partir del tensor de estructura (matriz de segundo momento).

^{En Lindeberg (2013) [ 22 ]} se presenta un análisis teórico de las propiedades de selección de escala de estas cuatro medidas de fuerza de características hessianas y otras entidades diferenciales para detectar puntos de interés en el espacio de escalas, incluyendo el laplaciano de la gaussiana y el determinante de la hessiana, y en Lindeberg (2015) ^{[ 21 ]} se analizan sus propiedades de transformación afín y sus propiedades experimentales.

Los puntos de interés obtenidos mediante el operador de Harris multiescala con selección automática de escala son invariantes a traslaciones, rotaciones y reescalados uniformes en el dominio espacial. Sin embargo, las imágenes que constituyen la entrada a un sistema de visión artificial también están sujetas a distorsiones de perspectiva. Para obtener un operador de puntos de interés más robusto a las transformaciones de perspectiva, un enfoque natural consiste en diseñar un detector de características invariante a las transformaciones afines . En la práctica, los puntos de interés invariantes afines se pueden obtener aplicando una adaptación de forma afín, donde la forma del núcleo de suavizado se deforma iterativamente para coincidir con la estructura local de la imagen alrededor del punto de interés o, equivalentemente, un parche de imagen local se deforma iterativamente mientras la forma del núcleo de suavizado permanece simétrica rotacionalmente (Lindeberg 1993, 2008; Lindeberg y Garding 1997; Mikolajzcyk y Schmid 2004). ^{[ 12 ] [ 13 ] [ 14 ] [ 15 ]} Por lo tanto, además del operador de Harris multiescala comúnmente utilizado, la adaptación de forma afín se puede aplicar a otros detectores de esquinas como se enumeran en este artículo, así como a detectores de blobs diferenciales como el operador laplaciano/diferencia de gaussianas, el determinante del hessiano ^{[ 14 ]} y el operador hessiano-laplaciano.

El detector de Wang y Brady ^{[ 24 ]} considera la imagen como una superficie y busca lugares donde haya una gran curvatura a lo largo de un borde de la imagen. En otras palabras, el algoritmo busca lugares donde el borde cambia de dirección rápidamente. La puntuación de la esquina,${\displaystyle C}$, viene dado por:

${\displaystyle C=\left({\frac {\delta ^{2}I}{\delta \mathbf {t} ^{2}}}\right)^{2}-c|\nabla I|^{2},}$

dónde${\displaystyle {\bf {t}}}$es el vector unitario perpendicular al gradiente, y${\displaystyle c}$determina cuán sensible es el detector a los bordes. Los autores también señalan que se requiere un suavizado (se sugiere el suavizado gaussiano) para reducir el ruido.

El suavizado también provoca el desplazamiento de las esquinas, por lo que los autores derivan una expresión para el desplazamiento de una esquina de 90 grados y la aplican como factor de corrección a las esquinas detectadas.

SUSAN ^{[ 25 ]} es un acrónimo que significa núcleo asimilador de segmento univalor más pequeño . Este método es objeto de una patente británica de 1994 que ya no está vigente. ^{[ 26 ]}

Para la detección de características, SUSAN coloca una máscara circular sobre el píxel que se va a analizar (el núcleo). La región de la máscara es${\displaystyle M}$y un píxel en esta máscara está representado por${\displaystyle {\vec {m}}\in M}$El núcleo está en${\displaystyle {\vec {m}}_{0}}$Cada píxel se compara con el núcleo utilizando la función de comparación:

${\displaystyle c({\vec {m}})=e^{-\left({\frac {I({\vec {m}})-I({\vec {m}}_{0})}{t}}\right)^{6}}}$

dónde${\displaystyle t}$es el umbral de diferencia de brillo, ^{[ 27 ]}${\displaystyle I}$es el brillo del píxel y la potencia del exponente se ha determinado empíricamente. Esta función tiene la apariencia de una función rectangular o de sombrero de copa suavizada . El área de la SUSAN viene dada por:

${\displaystyle n(M)=\sum _{{\vec {m}}\in M}c({\vec {m}})}$

Si${\displaystyle c}$es la función rectangular, entonces${\displaystyle n}$es el número de píxeles en la máscara que están dentro${\displaystyle t}$del núcleo. La respuesta del operador SUSAN viene dada por:

${\displaystyle R(M)={\begin{cases}g-n(M)&{\mbox{if}}\ n(M)<g\\0&{\mbox{otherwise,}}\end{cases}}}$

dónde${\displaystyle g}$Se denomina «umbral geométrico». En otras palabras, el operador SUSAN solo tiene una puntuación positiva si el área es lo suficientemente pequeña. El SUSAN localmente más pequeño se puede encontrar mediante la supresión no máxima, y ​​este es el operador SUSAN completo.

El valor${\displaystyle t}$determina cuán similares deben ser los puntos al núcleo antes de que se consideren parte del segmento univalor. El valor de${\displaystyle g}$determina el tamaño mínimo del segmento univalor. Si${\displaystyle g}$Si es lo suficientemente grande, entonces se convierte en un detector de bordes .

Para la detección de esquinas, se utilizan dos pasos adicionales. Primero, se encuentra el centroide de la SUSAN. Una esquina correcta tendrá el centroide lejos del núcleo. El segundo paso exige que todos los puntos de la línea que va desde el núcleo, pasando por el centroide, hasta el borde de la máscara, se encuentren dentro de la SUSAN.

De manera similar a SUSAN, este detector ^{[ 28 ]} prueba directamente si un parche debajo de un píxel es autosimilar examinando los píxeles cercanos.${\displaystyle {\vec {c}}}$es el píxel a considerar, y${\displaystyle {\vec {p}}\in P}$es un punto en un círculo${\displaystyle P}$centrado en${\displaystyle {\vec {c}}}$El punto${\displaystyle {\vec {p}}'}$es el punto opuesto a${\displaystyle {\vec {p}}}$a lo largo del diámetro.

La función de respuesta se define como:

${\displaystyle r({\vec {c}})=\min _{{\vec {p}}\in P}\left(\left(I({\vec {p}})-I({\vec {c}})\right)^{2}+\left(I({\vec {p}}')-I({\vec {c}})\right)^{2}\right)}$

Esto será grande cuando no haya ninguna dirección en la que el píxel central sea similar a dos píxeles cercanos a lo largo de un diámetro.${\displaystyle P}$es un círculo discretizado (un círculo de Bresenham ), por lo que se utiliza la interpolación para diámetros intermedios para dar una respuesta más isotrópica. Dado que cualquier cálculo da un límite superior en el${\displaystyle \min }$, primero se comprueban las direcciones horizontal y vertical para ver si vale la pena proceder con el cálculo completo de${\displaystyle c}$.

AST es un acrónimo que significa prueba de segmento acelerada . Esta prueba es una versión relajada del criterio de esquina SUSAN. En lugar de evaluar el disco circular, solo se evalúan los píxeles en un círculo de Bresenham de radio${\displaystyle r}$Se consideran los puntos alrededor del candidato. Si${\displaystyle n}$Los píxeles contiguos son todos más brillantes que el núcleo por al menos${\displaystyle t}$o todos más oscuros que el núcleo por${\displaystyle t}$Entonces, el píxel debajo del núcleo se considera una característica. Se informa que esta prueba produce características muy estables. ^{[ 29 ]} La elección del orden en que se prueban los píxeles es un problema conocido como el problema de las Veinte Preguntas . La construcción de árboles de decisión cortos para este problema da como resultado los detectores de características computacionalmente más eficientes disponibles.

El primer algoritmo de detección de esquinas basado en AST es FAST ( características de la prueba de segmento acelerada ). ^{[ 29 ]} Aunque${\displaystyle r}$En principio puede tomar cualquier valor, FAST utiliza solo un valor de 3 (correspondiente a un círculo de 16 píxeles de circunferencia), y las pruebas muestran que los mejores resultados se logran con${\displaystyle n}$siendo 9. Este valor de${\displaystyle n}$es el valor más bajo en el que no se detectan bordes. El orden en que se prueban los píxeles lo determina el algoritmo ID3 a partir de un conjunto de imágenes de entrenamiento. Curiosamente, el nombre del detector es algo similar al del artículo que describe el detector de Trajkovic y Hedley.

Trujillo y Olague ^{[ 30 ]} introdujeron un método que utiliza programación genética para sintetizar automáticamente operadores de imagen capaces de detectar puntos de interés. Los conjuntos de terminales y funciones contienen operaciones primitivas comunes en muchos diseños previos propuestos por el hombre. La aptitud mide la estabilidad de cada operador mediante la tasa de repetibilidad y promueve una distribución uniforme de los puntos detectados en el plano de la imagen. El rendimiento de los operadores evolucionados se ha confirmado experimentalmente mediante secuencias de entrenamiento y prueba de imágenes transformadas progresivamente. Por lo tanto, el algoritmo GP propuesto se considera competitivo con el rendimiento humano en el problema de la detección de puntos de interés.

El operador de Harris ha sido extendido al espacio-tiempo por Laptev y Lindeberg. ^{[ 31 ]} Sea${\displaystyle \mu }$denotamos la matriz de segundo momento espacio-temporal definida por

${\displaystyle A=\sum _{u}\sum _{v}\sum _{w}h(u,v,w){\begin{bmatrix}L_{x}(u,v,w)^{2}&L_{x}(u,v,w)L_{y}(u,v,w)&L_{x}(u,v,w)L_{t}(u,v,w)\\L_{x}(u,v,w)L_{y}(u,v,w)&L_{y}(u,v,w)^{2}&L_{y}(u,v,w)L_{t}(u,v,w)\\L_{x}(u,v,w)L_{t}(u,v,w)&L_{y}(u,v,w)L_{t}(u,v,w)&L_{t}(u,v,w)^{2}\\\end{bmatrix}}={\begin{bmatrix}\langle L_{x}^{2}\rangle &\langle L_{x}L_{y}\rangle &\langle L_{x}L_{t}\rangle \\\langle L_{x}L_{y}\rangle &\langle L_{y}^{2}\rangle &\langle L_{y}L_{t}\rangle \\\langle L_{x}L_{t}\rangle &\langle L_{y}L_{t}\rangle &\langle L_{t}^{2}\rangle \\\end{bmatrix}}}$

Luego, para una elección adecuada de${\displaystyle k<1/27}$Los puntos de interés espaciotemporales se detectan a partir de los extremos espaciotemporales de la siguiente medida espaciotemporal de Harris:

${\displaystyle H=\det(\mu )-\kappa \,\operatorname {trace} ^{2}(\mu ).}$

El determinante del operador hessiano ha sido extendido al espacio-tiempo conjunto por Willems et al ^{[ 32 ]} y Lindeberg, ^{[ 33 ]} dando lugar a la siguiente expresión diferencial normalizada a escala:

${\displaystyle \det(H_{(x,y,t),\mathrm {norm} }L)=\,s^{2\gamma _{s}}\tau ^{\gamma _{\tau }}\left(L_{xx}L_{yy}L_{tt}+2L_{xy}L_{xt}L_{yt}-L_{xx}L_{yt}^{2}-L_{yy}L_{xt}^{2}-L_{tt}L_{xy}^{2}\right).}$

En el trabajo de Willems et al, ^{[ 32 ]} una expresión más simple correspondiente a${\displaystyle \gamma _{s}=1}$y${\displaystyle \gamma _{\tau }=1}$se utilizó. En Lindeberg, ^{[ 33 ]} se demostró que${\displaystyle \gamma _{s}=5/4}$y${\displaystyle \gamma _{\tau }=5/4}$implica mejores propiedades de selección de escala en el sentido de que los niveles de escala seleccionados se obtienen a partir de una mancha gaussiana espacio-temporal con extensión espacial.${\displaystyle s=s_{0}}$y duración temporal${\displaystyle \tau =\tau _{0}}$coincidirá perfectamente con la extensión espacial y la duración temporal del blob, y la selección de escala se realizará detectando los extremos del espacio de escalas espacio-temporales de la expresión diferencial.

El operador laplaciano ha sido extendido a datos de vídeo espaciotemporales por Lindeberg, ^{[ 33 ]} dando lugar a los siguientes dos operadores espaciotemporales, que también constituyen modelos de campos receptivos de neuronas no retardadas frente a neuronas retardadas en el LGN :

${\displaystyle \partial _{t,\mathrm {norm} }(\nabla _{(x,y),\mathrm {norm} }^{2}L)=s^{\gamma _{s}}\tau ^{\gamma _{\tau }/2}(L_{xxt}+L_{yyt}),}$

${\displaystyle \partial _{tt,\mathrm {norm} }(\nabla _{(x,y),\mathrm {norm} }^{2}L)=s^{\gamma _{s}}\tau ^{\gamma _{\tau }}(L_{xxtt}+L_{yytt}).}$

Para el primer operador, las propiedades de selección de escala requieren el uso de${\displaystyle \gamma _{s}=1}$y${\displaystyle \gamma _{\tau }=1/2}$, si queremos que este operador asuma su valor máximo sobre escalas espacio-temporales en un nivel de escala espacio-temporal que refleje la extensión espacial y la duración temporal de una mancha gaussiana de inicio. Para el segundo operador, las propiedades de selección de escala requieren el uso de${\displaystyle \gamma _{s}=1}$y${\displaystyle \gamma _{\tau }=3/4}$, si queremos que este operador asuma su valor máximo en escalas espacio-temporales a un nivel de escala espacio-temporal que refleje la extensión espacial y la duración temporal de una mancha gaussiana parpadeante.

^{Everts et al. [ 34 ]} han investigado las extensiones de color de los detectores de puntos de interés espaciotemporales.

Esta sección proporciona enlaces externos a implementaciones de referencia de algunos de los detectores descritos anteriormente. Estas implementaciones de referencia son proporcionadas por los autores del artículo donde se describe el detector por primera vez. Pueden contener detalles que no aparecen o no se mencionan explícitamente en los artículos que describen las características.

• Detección de DoG (como parte del sistema SIFT ), ejecutables para Windows y Linux x86.
• Harris-Laplace , ejecutables estáticos para Linux . También incluye detectores DoG y LoG, así como adaptación afín para todos los detectores.
• Detector FAST , código fuente en C, C++ y MATLAB, y archivos ejecutables para diversos sistemas operativos y arquitecturas.
• lip-vireo Archivado el 11/05/2017 en Wayback Machine , [LoG, DoG, Harris-Laplacian, Hessian y Hessian-Laplacian], [SIFT, flip invariant SIFT, PCA-SIFT, PSIFT, Steerable Filters, SPIN][Linux, Windows y SunOS] ejecutables.
• SUSAN Procesamiento de imágenes de bajo nivel , código fuente en C.
• Implementación en línea del detector de esquinas de Harris - IPOL

• detección de blobs
• Adaptación de forma afín
• Espacio de escala
• detección de crestas
• detección de puntos de interés
• Detección de características (visión por computadora)
• Derivado de la imagen

• Lindeberg, Tony (2001) [1994], "Detección de esquinas" , Enciclopedia de Matemáticas , EMS Press
• Brostow, "Detección de esquinas - Ciencias de la Computación de la UCL"