Aprendizaje de una sola vez (visión por computadora)

Dada la tarea de encontrar un objeto específico en una imagen de consulta, el objetivo general del algoritmo de aprendizaje bayesiano de una sola muestra es comparar la probabilidad de que el objeto esté presente con la probabilidad de que solo haya ruido de fondo. Si la primera probabilidad es mayor, el algoritmo indica la presencia del objeto; de lo contrario, indica su ausencia. Para calcular estas probabilidades, la clase de objeto debe modelarse a partir de un conjunto de (1 a 5) imágenes de entrenamiento que contengan ejemplos.

Para formalizar estas ideas, dejemos${\displaystyle I}$sea ​​la imagen de consulta, que contiene un ejemplo de la categoría de primer plano${\displaystyle O_{fg}}$o simplemente desorden de fondo de una categoría de fondo genérica${\displaystyle O_{bg}}$. También deja${\displaystyle I_{t}}$ser el conjunto de imágenes de entrenamiento utilizadas como categoría de primer plano. La decisión de si${\displaystyle I}$contiene un objeto de la categoría de primer plano, o solo desorden de la categoría de fondo es:

${\displaystyle R={\frac {p(O_{fg}|I,I_{t})}{p(O_{bg}|I,I_{t})}}={\frac {p(I|I_{t},O_{fg})p(O_{fg})}{p(I|I_{t},O_{bg})p(O_{bg})}},}$

donde las posteriores de la clase${\displaystyle p(O_{fg}|I,I_{t})}$y${\displaystyle p(O_{bg}|I,I_{t})}$han sido ampliados por el teorema de Bayes , lo que produce una razón de probabilidades y una razón de probabilidades a priori de la categoría del objeto . Decidimos que la imagen${\displaystyle I}$contiene un objeto de la clase de primer plano si${\displaystyle R}$supera cierto umbral${\displaystyle T}$A continuación, introducimos modelos paramétricos para las categorías de primer plano y fondo con parámetros${\displaystyle \theta }$y${\displaystyle \theta _{bg}}$respectivamente. Este modelo paramétrico de primer plano se aprende durante la etapa de aprendizaje a partir de${\displaystyle I_{t}}$, así como información previa de categorías aprendidas. El modelo de fondo que asumimos es uniforme en todas las imágenes. Omitiendo la proporción constante de priors de categoría,${\displaystyle {\frac {p(O_{fg})}{p(O_{bg})}}}$y parametrizando sobre${\displaystyle \theta }$y${\displaystyle \theta _{bg}}$rendimientos

${\displaystyle R\propto {\frac {\int {p(I|\theta ,O_{fg})p(\theta |I_{t},O_{fg})}d\theta }{\int {p(I|\theta _{bg},O_{bg})p(\theta _{bg}|I_{t},O_{bg})}d\theta _{bg}}}={\frac {\int {p(I|\theta )p(\theta |I_{t},O_{fg})}d\theta }{\int {p(I|\theta _{bg})p(\theta _{bg}|I_{t},O_{bg})}d\theta _{bg}}}}$habiéndose simplificado${\displaystyle p(I|\theta ,O_{fg})}$y${\displaystyle p(I|\theta ,O_{bg})}$a${\displaystyle p(I|\theta _{fg})}$y${\displaystyle p(I|\theta _{bg}).}$

La distribución posterior de los parámetros del modelo dadas las imágenes de entrenamiento,${\displaystyle p(\theta |I_{t},O_{fg})}$se estima en la fase de aprendizaje. En esta estimación, el aprendizaje de una sola vez difiere marcadamente de los modelos de estimación bayesiana más tradicionales que aproximan la integral como${\displaystyle \delta (\theta ^{ML})}$En cambio, utiliza un enfoque variacional que emplea información previa de categorías aprendidas con anterioridad. Sin embargo, para el modelo de fondo y las categorías aprendidas previamente mediante entrenamiento, se utiliza la estimación tradicional de máxima verosimilitud de los parámetros del modelo. ^{[ 15 ]}

Para cada imagen de consulta${\displaystyle I}$imágenes de entrenamiento${\displaystyle I_{t}}$, se utiliza un modelo de constelación para la representación. ^{[ 12 ] [ 16 ] [ 17 ]} Para obtener este modelo para una imagen dada${\displaystyle I}$, primero se detecta un conjunto de N regiones interesantes en la imagen utilizando el detector de prominencia de Kadir-Brady . ^{[ 18 ]} Cada región seleccionada está representada por una ubicación en la imagen,${\displaystyle X_{i}}$y una descripción de su aspecto,${\displaystyle A_{i}}$Alquiler${\displaystyle X=\sum _{i=1}^{N}X_{i},A=\sum _{i=1}^{N}A_{i}}$y${\displaystyle X_{t}}$y${\displaystyle A_{t}}$Las representaciones análogas para las imágenes de entrenamiento, la expresión para R se convierte en:

${\displaystyle R\propto {\frac {\int {p(X,A|\theta ,O_{fg})p(\theta |X_{t},A_{t},O_{fg})}d\theta }{\int {p(X,A|\theta _{bg},O_{bg})p(\theta _{bg}|X_{t},A_{t},O_{bg})}d\theta _{bg}}}={\frac {\int {p(X,A|\theta )p(\theta |X_{t},A_{t},O_{fg})}d\theta }{\int {p(X,A|\theta _{bg})p(\theta _{bg}|X_{t},A_{t},O_{bg})}\,d\theta _{bg}}}}$

Las probabilidades${\displaystyle p(X,A|\theta )}$y${\displaystyle p(X,A|\theta _{bg})}$se representan como mezclas de modelos de constelación. Un modelo de constelación típico tiene P (3 ~ 7) partes, con N (~100) regiones de interés. Por lo tanto, un vector h de P dimensiones asigna una región de interés (de entre N regiones) a cada parte del modelo (para P partes). Así, h denota una hipótesis (una asignación de regiones de interés a las partes del modelo) para el modelo y un modelo de constelación completo se representa sumando sobre todas las hipótesis posibles h en el espacio de hipótesis.${\displaystyle H}$Finalmente, se escribe la probabilidad.

${\displaystyle p(X,A|\theta )=\sum _{\omega =1}^{\Omega }\sum _{{\textbf {h}}\in H}p(X,A,{\textbf {h}},\omega |\theta ).}$

Los diferentes${\displaystyle \omega }$Las s representan diferentes configuraciones de partes, mientras que las diferentes hipótesis h representan diferentes asignaciones de regiones a las partes, dado un modelo de partes.${\displaystyle \omega }$. La suposición de que la forma del modelo (tal como está representada por${\displaystyle X}$La colección de ubicaciones de las partes y la apariencia son independientes, lo que permite considerar la expresión de probabilidad.${\displaystyle p(X,A,{\textbf {h}},\omega |\theta )}$como dos probabilidades separadas de apariencia y forma. ^{[ 19 ]}

Para calcular${\displaystyle R}$, la integral${\displaystyle \int {p(X,A|\theta )p(\theta |X_{t},A_{t},O_{fg})}d\theta }$debe evaluarse, pero es analíticamente intratable. El modelo de categoría de objetos anterior proporciona información sobre${\displaystyle p(X,A|\theta )}$, por lo tanto, lo que queda es examinar${\displaystyle p(\theta |X_{t},A_{t},O)}$, la parte posterior de${\displaystyle \theta }$y encontrar una aproximación suficiente para que la integral sea manejable. Trabajos anteriores aproximan la distribución posterior mediante una${\displaystyle \delta }$función centrada en${\displaystyle \theta ^{*}}$, colapsando la integral en cuestión en${\displaystyle p(X,A|\theta ^{*})}$. Este${\displaystyle \theta ^{*}}$normalmente se estima utilizando una máxima verosimilitud (${\displaystyle \theta ^{*}=\theta ^{ML}}$) o máxima a posteriori (${\displaystyle \theta ^{*}=\theta ^{MAP}}$) procedimiento. Sin embargo, debido a que en el aprendizaje de una sola vez se utilizan pocos ejemplos de entrenamiento, la distribución no tendrá un pico bien definido, como se supone en un${\displaystyle \delta }$aproximación de función. Por lo tanto, en lugar de esta aproximación tradicional, el algoritmo de aprendizaje bayesiano de una sola vez busca "encontrar una forma paramétrica de${\displaystyle p(\theta )}$de tal manera que el aprendizaje de${\displaystyle p(\theta |X_{t},A_{t},O_{fg})}$es factible". El algoritmo emplea una distribución Normal - Wishart como distribución a priori conjugada de${\displaystyle p(\theta |X_{t},A_{t},O_{fg})}$y en la fase de aprendizaje, se utilizan métodos bayesianos variacionales con la misma complejidad computacional que los métodos de máxima verosimilitud para aprender los hiperparámetros de la distribución. Luego, dado que${\displaystyle p(X,A|\theta )}$es un producto de gaussianas, como se eligió en el modelo de categoría de objetos, la integral se reduce a una distribución t de Student multivariada , que puede evaluarse. ^{[ 21 ]}

Para detectar características en una imagen de modo que pueda representarse mediante un modelo de constelación, se utiliza el detector de prominencia de Kadir-Brady en imágenes en escala de grises, encontrando regiones prominentes de la imagen. Estas regiones se agrupan, lo que produce una serie de características (los grupos) y el parámetro de forma.${\displaystyle X}$, compuesto por los centros de los cúmulos. Se eligió el detector Kadir-Brady porque produce menos regiones, pero más prominentes, a diferencia de los detectores de características como el Harris multiescala, que produce numerosas regiones menos significativas.

Luego, las regiones se toman de la imagen y se reescalan a un pequeño parche de 11 × 11 píxeles, lo que permite que cada parche se represente en un espacio de 121 dimensiones. Esta dimensionalidad se reduce utilizando el análisis de componentes principales y${\displaystyle A}$, el parámetro de apariencia, se forma a partir de los primeros 10 componentes principales de cada parche. ^{[ 22 ]}

Para obtener información previa sobre la forma y la apariencia, se aprenden tres categorías (gatos manchados, caras y aviones) mediante la estimación de máxima verosimilitud. Estos parámetros del modelo de categoría de objetos se utilizan posteriormente para estimar los hiperparámetros de la información previa deseada.

Dado un conjunto de ejemplos de entrenamiento, el algoritmo ejecuta el detector de características en estas imágenes y determina los parámetros del modelo a partir de las regiones más relevantes. El índice de hipótesis h que asigna características a las partes impide una solución analítica del modelo lineal, por lo que la distribución posterior${\displaystyle p(\theta |X_{t},A_{t},O_{fg})}$se estima mediante el algoritmo variacional bayesiano de expectativa-maximización, que se ejecuta hasta la convergencia de parámetros después de aproximadamente 100 iteraciones. Aprender una categoría de esta manera lleva menos de un minuto en una  máquina de 2,8 GHz con un modelo de 4 partes y < 10 imágenes de entrenamiento. ^{[ 23 ]}

Para conocer la categoría de motocicletas:

• Se seleccionan seis imágenes de entrenamiento de la categoría de motocicletas del conjunto de datos Caltech 4 y se aplica el detector Kadir-Brady, lo que da como resultado${\displaystyle X_{t}}$y a través de PCA ,${\displaystyle A_{t}}$.
• A continuación, se calculan los parámetros del modelo previo a partir de 30 modelos.${\displaystyle \theta _{t}}$, 10 de cada una de las tres categorías aprendidas: gatos manchados, caras y aviones. Este conocimiento previo codifica la idea de que "los modelos que carecen de consistencia visual [es decir, desorden de fondo] ocupan una parte diferente del espacio de parámetros [que] los modelos coherentes".
• En el aprendizaje, que se realiza a continuación, el conocimiento previo influye en el conocimiento posterior.${\displaystyle p(\theta |X_{t},A_{t},O_{fg})}$hacia partes del espacio de parámetros correspondientes a modelos coherentes. Solo se utiliza un componente de la mezcla, lo que permite${\displaystyle \Omega =1}$La estimación de la distribución posterior se muestra a continuación.
• Finalmente, las figuras que se muestran a continuación ilustran el modelo de motocicleta estudiado, con la forma y el aspecto de sus partes, y las características correspondientes.
• Para las pruebas de reconocimiento, el modelo anterior se aplica a 50 imágenes que contienen motocicletas y 50 que no. La imagen inferior muestra una curva ROC, que mide la probabilidad de detección frente a la probabilidad de falsos positivos, así como algunos ejemplos reconocidos.

En este contexto, la coagulación es "la vectorización simultánea de cada una de las imágenes de un conjunto entre sí". Para un conjunto de imágenes de entrenamiento de una determinada categoría, la coagulación transforma iterativamente cada imagen para minimizar las entropías conjuntas de píxeles E de las imágenes, donde

${\displaystyle E=\sum _{p=1}^{P}H(\nu (p)),}$

"dónde${\displaystyle \nu (p)}$es la variable aleatoria binaria definida por los valores de un píxel particular p en todas las imágenes,${\displaystyle H()}$es la función de entropía discreta de esa variable, y${\displaystyle 1\leq p\leq P}$es el conjunto de índices de píxeles de la imagen."

El algoritmo de coagulación comienza con un conjunto de imágenes.${\displaystyle I_{i}}$y una matriz de transformación correspondiente${\displaystyle U_{i}}$, que al final del algoritmo representará la transformación de${\displaystyle I_{i}}$en su latente${\displaystyle I_{L_{i}}}$. Estos latentes${\displaystyle I_{L_{i}}}$minimizar las entropías conjuntas a nivel de píxel. Por lo tanto, la tarea del algoritmo de coagulación es estimar las transformaciones${\displaystyle U_{i}}$.

Esquema del algoritmo:

• Inicializar${\displaystyle U_{I}}$a la identidad.
• Calcula las entropías conjuntas píxel a píxel del conjunto actual de imágenes.
• Para cada imagen${\displaystyle I_{i}}$iterar a través de todas las transformaciones afines posibles${\displaystyle A}$(rotación, traslación en x, traslación en y, escala en x, escala en y, cizallamiento en x, cizallamiento en y) y prueba si${\displaystyle AU_{i}}$disminuye las entropías conjuntas por píxel. Si es así, configure${\displaystyle U_{i}=AU_{i}}$.
• Repita el paso anterior hasta que converja.

Al final del algoritmo,${\displaystyle U_{i}(I)=I_{L_{i}}}$, y${\displaystyle T=U_{i}^{-1}}$transforma la imagen latente de nuevo en la imagen observada originalmente. ^{[ 25 ]}

Para utilizar este modelo para la clasificación, debe estimarse con la probabilidad posterior máxima dada una imagen observada.${\displaystyle I}$. Aplicando la regla de Bayes a${\displaystyle P(c_{j}|I)}$y parametrización por la transformación${\displaystyle T}$da una integral difícil que debe aproximarse, y luego la mejor transformación${\displaystyle T}$Se debe encontrar (aquello que mapea la imagen de prueba a su imagen latente). Una vez que se encuentra esta transformación, la imagen de prueba se puede transformar en su latente, y un clasificador de vecino más cercano basado en la distancia de Hausdorff entre imágenes puede clasificar la latente (y por lo tanto la imagen de prueba) como perteneciente a una clase particular.${\displaystyle c_{j}}$.

Para encontrar${\displaystyle T}$La imagen de prueba I se inserta en el conjunto de entrenamiento para el proceso de coagulación. Dado que la imagen de prueba se extrae de una de las categorías${\displaystyle c_{j}}$, la coagulación proporciona una correspondiente${\displaystyle T_{\text{test}}=U_{\text{test}}^{-1}}$que mapea I a su latente. El latente puede entonces ser clasificado. ^{[ 26 ]}

Dado un conjunto de transformaciones${\displaystyle B_{i}}$obtenido al coagular muchas imágenes de una determinada categoría, el clasificador se puede extender al caso en el que solo se entrena${\displaystyle I_{t}}$ejemplo de una nueva categoría${\displaystyle c}$Está permitido. Aplicando todas las transformaciones${\displaystyle B_{i}}$secuencialmente a${\displaystyle I_{t}}$crea un conjunto de entrenamiento artificial para${\displaystyle c}$Este conjunto de datos artificiales se puede ampliar tomando prestadas transformaciones de muchas categorías ya conocidas. Una vez obtenido este conjunto de datos,${\displaystyle I}$, una instancia de prueba de${\displaystyle c}$, se puede clasificar como en el procedimiento de clasificación normal. El supuesto clave es que las categorías son lo suficientemente similares como para que las transformaciones de una se puedan aplicar a otra. ^{[ 27 ]}