Recuperación de imágenes basada en contenido

El primer sistema comercial CBIR fue desarrollado por IBM y se denominó QBIC ( Query By Image Content ). ^{[ 5 ] [ 6 ]} Los enfoques recientes basados ​​en redes y grafos han presentado una alternativa simple y atractiva a los métodos existentes. ^{[ 7 ]}

Si bien el almacenamiento de múltiples imágenes como parte de una sola entidad precedió al término BLOB ( Binary Large Object ), ^{[ 8 ]} la capacidad de buscar completamente por contenido, en lugar de por descripción, tuvo que esperar a QBIC de IBM. ^{[ 3 ]}

QBE ( Query By Example ) es una técnica de consulta [ ^{11 ] que} consiste en proporcionar al sistema CBIR una imagen de ejemplo sobre la cual basará su búsqueda. Los algoritmos de búsqueda subyacentes pueden variar según la aplicación, pero las imágenes resultantes deben compartir elementos comunes con el ejemplo proporcionado. ^{[ 12 ]}

Las opciones para proporcionar imágenes de ejemplo al sistema incluyen:

• El usuario puede proporcionar una imagen preexistente o elegirla de un conjunto aleatorio.
• El usuario dibuja una aproximación burda de la imagen que busca, por ejemplo, con manchas de color o formas generales. ^{[ 12 ]}

Esta técnica de consulta elimina las dificultades que pueden surgir al intentar describir imágenes con palabras.

La recuperación semántica comienza con una solicitud del usuario, como "encontrar imágenes de Abraham Lincoln". Este tipo de tarea abierta es muy difícil de realizar para las computadoras, ya que Lincoln no siempre está mirando a la cámara ni en la misma pose . Por lo tanto, muchos sistemas CBIR generalmente utilizan características de nivel inferior, como textura, color y forma. Estas características se utilizan en combinación con interfaces que facilitan la introducción de los criterios o con bases de datos que ya han sido entrenadas para hacer coincidir características (como rostros, huellas dactilares o coincidencia de formas). Sin embargo, en general, la recuperación de imágenes requiere retroalimentación humana para identificar conceptos de nivel superior. ^{[ 6 ]}

Combinar las técnicas de búsqueda CBIR disponibles con la amplia gama de usuarios potenciales y sus intenciones puede ser una tarea difícil. Un aspecto clave para el éxito de CBIR reside en la capacidad de comprender la intención del usuario. ^{[ 13 ]} Los sistemas CBIR pueden utilizar la retroalimentación de relevancia , donde el usuario refina progresivamente los resultados de la búsqueda marcando las imágenes como "relevantes", "no relevantes" o "neutrales" para la consulta, y luego repitiendo la búsqueda con la nueva información. Se han desarrollado ejemplos de este tipo de interfaz. ^{[ 14 ]}

El aprendizaje automático y la aplicación de técnicas iterativas se están volviendo más comunes en CBIR. ^{[ 15 ]}

Otros métodos de consulta incluyen la exploración de imágenes de ejemplo, la navegación por categorías personalizadas/jerárquicas, la consulta por región de la imagen (en lugar de la imagen completa), la consulta por múltiples imágenes de ejemplo, la consulta por boceto visual, la consulta por especificación directa de características de la imagen y consultas multimodales (por ejemplo, combinando tacto, voz, etc.) ^{[ 16 ] .}

El cálculo de medidas de distancia basadas en la similitud de color se logra calculando un histograma de color para cada imagen que identifica la proporción de píxeles dentro de una imagen que tienen valores específicos. ^{[ 2 ]} El análisis de imágenes basado en los colores que contienen es una de las técnicas más utilizadas porque se puede realizar sin importar el tamaño o la orientación de la imagen. ^{[ 6 ]} Sin embargo, la investigación también ha intentado segmentar la proporción de color por región y por la relación espacial entre varias regiones de color. ^{[ 16 ]}

Las medidas de textura buscan patrones visuales en las imágenes y cómo se definen espacialmente. Las texturas se representan mediante texeles que luego se colocan en varios conjuntos, dependiendo de cuántas texturas se detecten en la imagen. Estos conjuntos no solo definen la textura, sino también su ubicación en la imagen. ^{[ 12 ]}

La textura es un concepto difícil de representar. La identificación de texturas específicas en una imagen se logra principalmente modelando la textura como una variación bidimensional del nivel de gris. El brillo relativo de pares de píxeles se calcula de manera que se pueda estimar el grado de contraste, regularidad, aspereza y direccionalidad. ^{[ 6 ] [ 18 ]} El problema radica en identificar patrones de variación de copíxeles y asociarlos con clases particulares de texturas como sedosa o áspera .

Otros métodos para clasificar texturas incluyen:

• Matriz de coocurrencia
• Leyes textura energía
• transformada wavelet
• Transformadas ortogonales (momentos discretos de Chebyshev)

La forma no se refiere a la forma de una imagen, sino a la forma de una región específica que se busca. A menudo, las formas se determinan primero aplicando segmentación o detección de bordes a una imagen. Otros métodos utilizan filtros de forma para identificar formas específicas de una imagen. ^{[ 19 ]} Los descriptores de forma también pueden necesitar ser invariantes a la traslación, la rotación y la escala. ^{[ 6 ]}

Algunos descriptores de forma incluyen: ^{[ 6 ]}

• transformada de Fourier
• Invariante de momento

• Consulta por contenido de imagen y vídeo: El sistema QBIC (Flickner, 1995)
• Hallazgo de personas desnudas (Fleck et al., 1996)
• Motor de vídeo Virage , (Hampapur, 1997)
• Codificación basada en bibliotecas: una representación para la compresión y recuperación eficiente de vídeo (Vasconcelos y Lippman, 1997)
• Sistema para la detección de imágenes inapropiadas (Wang et al., 1998)
• Recuperación de imágenes basada en contenido (Informe del programa de aplicaciones tecnológicas de JISC n.º 39) (Eakins y Graham, 1999)
• Windsurf: Recuperación de imágenes basada en regiones mediante ondículas (Ardizzoni, Bartolini y Patella, 1999)
• Arquitectura probabilística para la recuperación de imágenes basada en contenido (Vasconcelos y Lippman, 2000)
• Una visión unificadora de la similitud de imágenes (Vasconcelos y Lippman, 2000)
• Búsquedas web de próxima generación para contenido visual (Lew, 2000)
• Indexación de imágenes con jerarquías de mezcla (Vasconcelos, 2001)
• SIMPLIcity: Emparejamiento integrado sensible a la semántica para bibliotecas de imágenes (Wang, Li y Wiederhold, 2001)
• Un enfoque conceptual para la recuperación de imágenes web (Popescu y Grefenstette, 2008)
• FACERET: Un sistema interactivo de recuperación de rostros basado en mapas autoorganizados (Ruiz-del-Solar et al., 2002)
• Indexación lingüística automática de imágenes mediante un enfoque de modelado estadístico (Li y Wang, 2003)
• Google Video: Un enfoque de recuperación de texto para la coincidencia de objetos en videos (Sivic y Zisserman, 2003)
• Recuperación de imágenes con mínima probabilidad de error (Vasconcelos, 2004)
• Sobre la evaluación eficiente de funciones de similitud probabilística para la recuperación de imágenes (Vasconcelos, 2004)
• Ampliación de los sistemas de recuperación de imágenes con un tesauro para formas (Hove, 2004)
• Nombres y rostros en las noticias (Berg et al., 2004)
• Cortina: un sistema para la recuperación de imágenes web a gran escala basada en contenido (Quack et al., 2004)
• Una nueva perspectiva sobre la recuperación de información visual (Eidenberger 2004)
• Consulta de colecciones de imágenes basada en el lenguaje a partir de una ontología extensible (Town y Sinclair, 2004)
• El motor de búsqueda de imágenes personalizable PIBE (Bartolini, Ciaccia y Patella, 2004)
• Costume: Una nueva función para la indexación automática de contenido de vídeo (Jaffre 2005)
• Reconocimiento facial automático para la recuperación de personajes cinematográficos en largometrajes (Arandjelovic y Zisserman, 2005)
• Espacios de imágenes significativos (Rouw, 2005)
• Recuperación de información multimedia basada en contenido: estado del arte y desafíos (Lew et al., 2006)
• Navegación adaptativa de bases de datos de imágenes con PIBE (Bartolini, Ciaccia y Patella, 2006)
• Algoritmo en el que se basan Retrievr (búsqueda en Flickr) e imgSeek (Jacobs, Finkelstein, Salesin)
• Imaginación: Aprovechamiento del análisis de enlaces para la anotación precisa de imágenes (Bartolini y Ciaccia, 2007)
• Evaluación del uso de interfaces para la especificación de consultas visuales. (Hove, 2007)
• De los píxeles a los espacios semánticos: avances en la recuperación de imágenes basada en contenido (Vasconcelos, 2007)
• Recuperación de imágenes basada en contenido mediante la indexación de subventanas aleatorias con árboles aleatorios (Maree et al., 2007)
• Recuperación de imágenes: ideas, influencias y tendencias de la nueva era (Datta et al., 2008)
• Anotación computarizada de imágenes en tiempo real (Li y Wang, 2008)
• Problemas de procesamiento de consultas en bases de datos de imágenes basadas en regiones (Bartolini, Ciaccia y Patella, 2010)
• Shiatsu: Etiquetado automático jerárquico de vídeos basado en la semántica mediante segmentación con cortes (Bartolini, Patella y Romani, 2010)
• Recuperación de vídeo eficiente y eficaz basada en la similitud (Bartolini y Romani, 2010)
• Anotación y búsqueda de imágenes multidimensionales basadas en palabras clave (Bartolini y Ciaccia, 2010)
• La biblioteca Windsurf para la recuperación eficiente de datos jerárquicos multimedia (Bartolini, Patella y Stromei, 2011)
• " Pl@ntNet: Identificación interactiva de plantas basada en datos de imágenes sociales " (Joly, Alexis et al.)
• " Recuperación de imágenes basada en contenido " (Tyagi Vipin, 2017)
• Superimage: Empaquetado de imágenes semánticamente relevantes para la indexación y recuperación (Luo, Zhang, Huang, Gao, Tian, ​​2014)
• Indexación y búsqueda de 100 millones de imágenes con Map-Reduce (Moise, Shestakov, Gudmundsson y Amsaleg, 2013)