Ontología de conceptos a gran escala para multimedia

El proyecto Large-Scale Concept Ontology for Multimedia fue una serie de talleres celebrados desde abril de 2004 hasta septiembre de 2006 ^{[ 1 ]} con el propósito de definir un vocabulario formal estándar para la anotación y recuperación de vídeo.

El proyecto de Ontología de Conceptos a Gran Escala para Multimedia fue patrocinado por la Oficina de Tecnología Disruptiva y reunió a representantes de diversas comunidades de investigación, como aprendizaje multimedia, recuperación de información , lingüística computacional, biblioteconomía y representación del conocimiento, así como comunidades de "usuarios" como agencias de inteligencia y emisoras, para trabajar en colaboración en la definición de un conjunto de 1000 conceptos. ^{[ 2 ]} Individualmente, cada concepto debía cumplir los siguientes criterios: ^{[ 3 ]}

• Utilidad: los conceptos deben ser compatibles con problemas realistas de recuperación de vídeo.
• Viabilidad: los conceptos son capaces o serán capaces de detectarse dado el estado de la tecnología a corto plazo (proyección a 5 años).
• Observabilidad: los conceptos aparecen con una frecuencia relativamente alta en conjuntos de datos de vídeo reales.

En conjunto, estos conceptos debían cumplir el criterio adicional de proporcionar una cobertura amplia (independiente del dominio). ^{[ 3 ]} Las áreas objetivo de alto nivel para la cobertura incluían objetos físicos, incluidos objetos animados (como personas, multitudes y animales), y objetos inanimados, que abarcaban desde gran escala (como edificios y carreteras) hasta pequeña escala (como teléfonos y electrodomésticos); acciones y eventos; ubicaciones y entornos; y gráficos. El esfuerzo fue liderado por el Dr. Milind Naphade, quien fue el investigador principal junto con investigadores de la Universidad Carnegie Mellon , la Universidad de Columbia e IBM . ^{[ 1 ]}

El proyecto tuvo dos "líneas" principales: el desarrollo y despliegue de herramientas de anotación de fotogramas clave (llevado a cabo por CMU y Columbia), y el desarrollo de la propia jerarquía de conceptos de la Ontología de Conceptos a Gran Escala para Multimedia. La segunda línea se ejecutó en dos fases: la primera consistió en la construcción manual de una jerarquía de conceptos de 884, realizada en colaboración entre los representantes de la comunidad de investigación y de usuarios.

La segunda fase, llevada a cabo por expertos en representación del conocimiento de Cycorp, Inc. , consistió en el mapeo de los conceptos en la base de conocimiento de Cyc y el uso del motor de inferencia de Cyc para refinar, corregir y expandir de forma semiautomática la jerarquía de conceptos. La fase de mapeo/expansión del proyecto estuvo motivada por el deseo de aumentar la amplitud —el mapeo tuvo el efecto de pasar de 884 conceptos a mucho más allá del objetivo inicial de 1000— y de transformar la Ontología de Conceptos a Gran Escala para Multimedia de una jerarquía unidimensional de conceptos a una ontología completa con ricas conexiones semánticas. ^{[ 3 ]}

Los resultados del esfuerzo incluyeron: ^{[ 1 ]}

1. Una versión "ligera" de la jerarquía de conceptos de la Ontología de Conceptos a Gran Escala para Multimedia, que consta de un subconjunto de 449 conceptos.
2. Un corpus de 61.901 fotogramas clave de vídeo, extraídos del conjunto de datos TRECVID de 2006, anotados utilizando la ontología conceptual a gran escala para multimedia "lite".
3. La taxonomía completa de 2638 conceptos, construida de forma semiautomática mediante la asignación de 884 conceptos, identificados manualmente por colaboradores, a la base de conocimientos de Cyc, y la consulta al motor de inferencia de Cyc para obtener adiciones útiles.
4. La ontología completa, en forma de una publicación de ResearchCyc de 2006 que contenía la Ontología de Conceptos a Gran Escala para Multimedia y sus asignaciones a la ontología Cyc.

Se desarrollaron y lanzaron al público varios conjuntos de detectores conceptuales:

1. VIREO-374 , 374 detectores desarrollados por la Universidad de la Ciudad de Hong Kong .
2. Columbia374 , 374 detectores desarrollados por la Universidad de Columbia .
3. Mediamill101 , 101 detectores desarrollados por la Universidad de Ámsterdam .

Desde su lanzamiento, Large-Scale Concept Ontology for Multimedia ha comenzado a utilizarse con éxito en la investigación del reconocimiento visual: además de la investigación realizada por los participantes del proyecto, ha sido utilizada por investigaciones independientes en la extracción de conceptos de imágenes, ^{[ 4 ] [ 5 ]} y ha servido como base para una herramienta de anotación de vídeo. ^{[ 6 ]}

• Lenguaje de Ontología Web Multimedia ( MOWL )

• Ontología de conceptos a gran escala para la página principal de multimedia