Hispanopedia Wiki
Las palabras visuales , tal como se utilizan en los sistemas de recuperación de imágenes , [ 1 ] se refieren a pequeñas partes de una imagen que contienen algún tipo de información relacionada con las características (como el color, la forma o la textura) o los cambios que ocurren en los píxeles , como el filtrado, descriptores de características de bajo nivel ( SIFT o SURF ).
Historia
Los enfoques de los sistemas de recuperación de texto (o sistemas de recuperación de información [ 1 ] ), desarrollados durante más de 40 años, se basan en palabras clave o términos. La ventaja de estos enfoques radica en su eficacia y rapidez. Los motores de búsqueda de texto pueden encontrar rápidamente documentos entre cientos o millones (mediante un modelo de espacio vectorial [ 2 ] ). Al mismo tiempo, los sistemas de recuperación de texto han tenido un gran éxito, mientras que los sistemas estándar de recuperación de imágenes (como la búsqueda simple por colores o formas) presentan numerosas limitaciones. Por consiguiente, los investigadores intentan aprovechar las técnicas de recuperación de texto para aplicarlas a la recuperación de imágenes . Esto se puede lograr mediante un nuevo tipo de visión que permite comprender las imágenes como documentos textuales : el enfoque de palabras visuales [ 3 ] .
Analogía texto-imagen
Consideremos que los píxeles de una imagen, que son las partes más pequeñas de una imagen digital y no se pueden dividir en otras más pequeñas, son como las letras de un alfabeto. Un conjunto de píxeles en una imagen (un parche o una matriz de píxeles) constituye una palabra. Cada palabra se puede procesar mediante un sistema morfológico para extraer un término relacionado. Varias palabras pueden compartir el mismo significado, refiriéndose cada una al mismo término (como en cualquier idioma). Si varias palabras comparten el mismo significado, pertenecen al mismo término (contienen la misma información). Desde esta perspectiva, los investigadores pueden aprovechar las técnicas de recuperación de texto para aplicarlas a los sistemas de recuperación de imágenes.
Definiciones visuales
Este principio se puede aplicar a los juegos para descubrir qué palabras y términos aparecerán en nuestras imágenes. La idea es intentar comprender las imágenes mediante un conjunto de "palabras visuales".
Definición 1: Palabra visual
Fuente: [ 4 ]
Una pequeña zona de la imagen que puede contener cualquier información en cualquier espacio de características, como cambios de color o cambios de textura.
En general, las palabras visuales (PV) existen en un espacio de características con valores continuos, lo que implica una gran cantidad de palabras y, por lo tanto, un lenguaje extenso. Dado que los sistemas de recuperación de imágenes necesitan utilizar técnicas de recuperación de texto que dependen de lenguajes naturales, los cuales tienen un límite en la cantidad de términos y palabras, es necesario reducir la cantidad de palabras visuales.
Existen diversas soluciones para resolver este problema, como dividir el espacio de características en rangos, cada uno con características comunes (que pueden considerarse como la misma palabra). Sin embargo, esta solución presenta varios inconvenientes, como la estrategia de división y el tamaño del rango en el espacio de características. Otra solución propuesta por los investigadores consiste en utilizar un mecanismo de agrupamiento para clasificar y fusionar palabras que comparten información común en un número finito de términos.
Definición 2: Término visual
El resultado de la agrupación se encuentra en el espacio de características (centros de los clústeres). Más de un parche puede proporcionar la información más cercana en el espacio de características, por lo que podemos considerarlo en el mismo término.
Así como el término en un texto (el verbo infinito, los sustantivos y los artículos) se refiere a muchas palabras comunes que tienen las mismas características, el término visual (con su resultado de agrupamiento) se referirá a todas las palabras comunes que compartieron la misma información en un espacio de características.
Por último, si todas las imágenes hacen referencia al mismo conjunto de términos visuales, entonces todas las imágenes pueden hablar el mismo idioma (o lenguaje visual ).
Definición 3: Lenguaje visual
Un conjunto de palabras y términos visuales. Considerando únicamente los términos visuales, se constituye el "vocabulario visual", que será el sistema de referencia y recuperación del cual dependerá la recuperación de imágenes.
Todas las imágenes se representarán con este lenguaje visual como una colección de palabras visuales, o bolsa de palabras visuales.
Definición 4: Bolsa de palabras visuales
Fuente: [ 4 ]
Un conjunto de palabras visuales que, en conjunto, brindan información sobre el significado de una parte o de la totalidad de la imagen.
A partir de este tipo de representación de imágenes, es posible utilizar técnicas de recuperación de texto para diseñar un sistema de recuperación de imágenes. Sin embargo, dado que todos los sistemas de recuperación de texto dependen de términos, las imágenes de consulta del usuario deben convertirse en un conjunto de términos visuales dentro del sistema. Posteriormente, este comparará dichos términos visuales con todos los términos visuales de la base de datos.
Véase también
Referencias
- 1 2 BAEZA-YATES, RA; RIBEIRO-NETO, BA (1999), Recuperación moderna de información , ACM Press Addison-Wesley
- ↑ SALTON, G. (1971), El sistema de recuperación SMART
- ↑ JURIE, F.; TRIGGS, B. (2005), Creación de libros de códigos eficientes para el reconocimiento visual
- 1 2 Yang, Jun; Jiang, Yu-Gang; Hauptmann, Alexander; Ngo, Chong-Wah (2007). "Evaluación de representaciones de bolsa de palabras visuales en la clasificación de escenas". Actas del taller internacional sobre recuperación de información multimedia . Augsburgo, Baviera, Alemania: ACM.
Enlaces externos
- Un homenaje a las palabras visuales y cómo revolucionaron la visión por computadora.
- Conferencia Bag-of-Visual-Words de la Universidad Carnegie Mellon
- Modelo de bolsa de palabras visuales: reconocimiento de categorías de objetos
- Reconocimiento de ubicación basado en palabras visuales en modelos 3D mediante ponderación aumentada por distancia.
- Aplicaciones de la visión por computadora
- Búsqueda de imágenes