Sistemas de consulta por ejemplo (multimedia)

Los sistemas de consulta por imagen es una técnica de consulta que implica dotar al sistema [[Consulta de imágenes mediante ejemplo con una imagen de ejemplo, donde ésta, servirá para realizar la búsqueda. Los algoritmos de búsqueda subyacente pueden variar dependiendo de la aplicación, pero las imágenes resultado comparten elementos comunes con el ejemplo proporcionado.

Esta técnica se basa en generar automáticamente una extracción de información de cada elemento de la base de datos en la cual se hará la búsqueda con el fin de compararla con la información obtenida del ejemplo. Esta información se incorpora en el archivo en forma de metadatos. Los metadatos que extraemos de la imagen ejemplo son descriptores de imagen que pueden ser de color, forma, textura u otros que sirvan para detectar caras o cuerpos, incluso caras con diferentes estados de ánimo u otros tipos de descriptores, que también se pueden combinar con otras metadatos como palabras clave. De esta manera el sistema CBIR se centra en el contenido visual de la imagen, dándole más importancia a lo que se puede buscar dentro de la imagen.

Gracias a la indexación audiovisual, que consiste en la asignación de etiquetas descriptivas del contenido de su clasificación, es posible realizar búsquedas rápidas y eficientes comparando estas etiquetas de la imagen ejemplo proporcionada con otros contenidos audiovisuales de la base de datos. De esta manera podemos hacer comparaciones de metadatos mucho más rápidas que haciendo comparaciones directas entre archivos, más eficientes, generar algoritmos automáticos y más objetivos y comunes que los que se pueden hacer a mano por una persona. Es importante saber cuáles son estos criterios de búsqueda. En primer lugar la tipología del contenido audiovisual que estamos buscando: texto, imagen, video, documentos, audio, posiciones, etc. Y en segundo lugar los descriptores para clasificar los resultados adecuados según el contenido visual de la imagen ya que los resultados pueden variar significativamente según la importancia de estos. La mayoría de los buscadores realizan esta selección sin que el usuario tenga que preocuparse, pero es necesario hacer un estudio previo sobre cuáles son los más adecuados y los que en general tienen más precisión.

Ejemplo de búsqueda con imagen ejemplo

Una vez han estado comparadas las imágenes con la base de datos, el buscador los ordena de más a menos importancia para que los resultados sean adecuados a lo que el usuario desea. En muchos buscadores también es posible realizar una retroalimentación de la información que vuelve a generar una clasificación de los resultados buscados y concentrar aún más la búsqueda, mancando algunos de los resultados obtenidos como satisfactorios o bien escogiendo otro criterio.

Basado en imágenes ejemplo

La cerca d’imatges permite obtener un conjunto de imágenes resultantes relacionadas con alguno de los elementos que forman la imagen.

Esta técnica consiste en proporcionar una imagen ya se existente o una aproximación proporcionada por el usuario al sistema CBIR. Este sistema es el más utilizado en búsqueda de imágenes. El CBIR se basa en la comparación del contenido de la imagen como puede ser:

- Color: Se utiliza un histograma para cada región de la imagen. Esta es una de las búsquedas más habituales dado que no dependen ni de la medida ni de la orientación de la imagen.

- Textura: Este tipo busca patrones visuales en la imagen.

- Formas: Se realiza una detección de bordes.

Con el fin de ofrecer un listado de imágenes parecidas dependiendo del tipo de comparación realizada, hay buscadores que ofrecen la opción de completar la búsqueda mediante texto (retroalimentación).

Búsqueda de imágenes estáticas

Ejemplos de motores de búsqueda con imágenes estáticas.

CIRES (Contentbased Image REtrieval System)

CIRES es un sistema de recuperación de imágenes por contenido. Un robusto sistema de recuperación de imágenes que obtiene unos resultados muy satisfactorios tanto para consultas sobre imágenes que contienen elementos constructivos como edificios, puentes y torres, como para aquellas que contienen objetos puramente naturales, como la vegetación, el agua, el cielo y las nubes. En definitiva, CIRES es capaz de distinguir distintos objetos dentro de una imagen. Este sistema se basa en la búsqueda de las formas en una imagen.

GNU Image Finding Tool (GIFT)

GIFT (GNU Image-Finding Tool) es un sistema CBIR que permite hacer consultas de imágenes mediante ejemplo (Query-by-example), dándole la oportunidad de mejorar los resultados de la consulta por la retroalimentación pertinente. Para el procesamiento de sus consultas el programa se basa enteramente en el contenido de las imágenes, liberándolo de la necesidad de anotar todas las imágenes antes de consultar la colección.

Búsqueda en vídeos

Las búsquedas de vídeo con imágenes tienen el mismo procedimiento que las búsquedas de imágenes. Este se debe a que un video es una secesión de imágenes. Por lo tanto el sistema para buscar video dada una imagen sería el mismo que hacemos servir para la búsqueda de imágenes. También existen algunos sistemas que dada una imagen proporcionan un video en un sistema móvil. Esto funciona debido a que en la imagen captada por la cámara del móvil tiene unos metadatos asociados que te proporcionan el link del video.

Búsqueda de audio con imágenes

Una vez se analiza la imagen, como ya se ha explicado anteriormente, se extrae información de la misma. Por ejemplo, palabras clave referentes al contenido de la imagen. Estas palabras se utilizan para la búsqueda de audios dentro de un banco de datos de sonido. Según la aplicación, los resultados de la búsqueda se mostrarán según las preferencias del usuario en cuanto al tipo de archivo (wav, mp3, aiff...) u otras características como número de canales o frecuencia de muestreo.

Búsqueda de texto con imágenes

En la búsqueda de texto mediante imágenes utilizamos el sistema CBIR ya que este no solo funciona con metadatos perceptuales, que son los más utilizados, sino que también utiliza metadatos semánticos como pueden ser palabras clave, De esta manera, de una imagen podemos buscar información del tipo autor, obra y también según su contenido perceptible.

SAPIR(Search In Audio Visual Content Using Peer-to-peer IR)

SAPIR , de la misma manera que lo hacen otros sistemas similares, ofrecen la posibilidad de hacer consulta de imágenes mediante ejemplo (Query-by -example), además de poder buscar vídeos con keyframes similares. Resumiendo, el usuario puede comenzar a realizar una búsqueda utilizando una parlaba clave y después ir refinando los resultados mediante la opción "similar".

Basado en otros tipos de ejemplos

Otros métodos para buscar imágenes utilizan como a ejemplo otros tipos de paràmetros. Estos parámetros pueden ser desde una palabra, hasta metadatos, o algún tipo de características implícitas, que describen la imagen a buscar.

Tipos de ejemplos

Podemos tener varios tipos de ejemplos, como texto, metadatos, o características propias de la imagen, como podría ser el color de la imagen, la forma, el contenido semántico de la imagen (el objeto en sí), etc...

"Google Images"

Después de pasar un tiempo de pruebas en Google Labs como Google Similar Images, Google Images [1] está empezando a ofrecer la consulta de imágenes mediante ejemplo.

En este caso, el usuario, hace una primera búsqueda mediante el texto que introduce y después va refinando los resultados usando la opción “Buscar imágenes similares” que aparece junto a la imagen resultado.

"Bing Images"

Bing [2], es el motor de búsqueda de Microsoft lanzado el 3 de junio de 2009. Sus funcionalidades prácticamente son similares a las de Google.

Bing, también dispone de la posibilidad de buscar imágenes, y al igual que Google Images, el usuario, hace una primera búsqueda mediante el texto que introduce y después va refinando los resultados usando la opción “Mostrar imágenes similares” que ofrece cada imagen resultado (Además de poder utilizar otras opciones de consulta).

"Xcavator.net"

Xcavator.net ofrece una búsqueda interactiva natural e intuitiva para fotografías de stock, proporcionando a los compradores con una experiencia de navegación basada tanto en el contenido visual y de palabras clave.

En términos laicos, ofrece tres tipos de opciones de búsqueda entre sí. Por un lado, ofrece búsqueda de fotos basada en palabras clave, por otro lado, ofrece la búsqueda por un color determinado y por último y la más interesante, ofrece la posibilidad de realizar consultas de fotos similares basándose en una imagen dada por el usuario y que ha sido subida arrastrando y soltando (drag&drop) la imagen.

Véase también

• Indexación audiovisual
• Metadatos
• Consulta de imágenes mediante ejemplo (CBIR)

Referencias

• Image retrieval querying with text and images. Bit Search [3]
• Xcavator.net: Visual Stock Photo Search. Techcrunch [4]
• "Interfaz Gráfica de Usuario para la Búsqueda de Imágenes basada en Imágenes", Silvia Cortés Yuste, Universitat Politécnica de Catalunya [5] (enlace roto disponible en Internet Archive; véase el historial, la primera versión y la última).