La cerca multimèdia permet cercar continguts en diferents formats d'arxius que inclouen text, àudio, imatge, vídeo o altres continguts multimèdia. La cerca es pot implementar mitjançant interfícies de cerca multimodal o bé interfícies de cerca per consulta que permeten mostrar els resultats no només de forma textual, sinó que enllacen a altres continguts.
Podem distingir dos metodologies dintre la cerca multimèdia:
Mètodes de cerca utilitzant les metadades associades als continguts. Cerca a través de les etiquetes en les metadades.
La cerca es realitza utilitzant les etiquetes (metadades) que contenen informació del contingut d'un arxiu multimèdia. La cerca és molt més senzilla, ràpida i eficaç, perquè en lloc de treballar amb material més complex com seria l'àudio, les imatges o el vídeo cerquem utilitzant el text. L'usuari es relaciona amb el programa mitjançant text.
Podem distingir tres processos que cal fer a l'hora d'utilitzar aquest mètode:
Indexació de dades (Extreure informació del contingut). Com a resultat obtenim descriptors.
Filtratge dels descriptors. (per exemple, per eliminar-ne la redundància)
Categoritzar els descriptors en classes.
Indexació de dades
Les metadades que es generen en la captació de continguts (nom del fitxer, autor, data, hora, mida, geo-localització ...) normalment són insuficients per poder trobar el contingut cercat. Per això s'utilitzen tècniques d'indexació audiovisual per generar metadades de més alt nivell.
Un estàndard preparat per incorporar metadades i facilitar la recuperació de continguts és MPEG-7. Tot i que actualment el seu ús encara és reduït.
Filtratge dels descriptors
Amb la indexació podem obtenir múltiples descriptors per un mateix contingut, ja que es poden utilitzar diferents criteris. Trobem diferents classes de descriptors:
Descriptors fixes: És resultat d'un procés de classificació. Pertany la classe d'interès o no.
Descriptors variables: Tenen associat un percentatge (sovint normalitzat entre 0 i 1) relacionat amb la classe d'interès.
Categoritzar els descriptors en classes
S'utilitzen diferents mètodes per categoritzar els descriptors. Gairebé sempre s'utilitza ""machine learning"" per escollir el criteri.
La consulta mitjançant exemple consisteix que a partir d'un contingut audiovisual (imatge, àudio, vídeo) es realitzi una cerca. O sigui, l'element des del qual parteix la cerca és un contingut audiovisual.
En la consulta mitjançant exemple sovint s'utilitza també la indexació audiovisual però en aquest cas primer hem d'escollir quin criteri utilitzem per generar metadades amb què realitzem la consulta. Podem dividir-ho en tres blocs de procediment:
Generació de descriptors de l'objecte multimèdia amb què volem realitzar la consulta. I generació de descriptors per als objectes multimèdia que tenim a la base de dades.
Comparar els descriptors de l'objecte que cerquem amb els descriptors dels objectes de la base de dades.
Llistar els objectes trobats per ordre de màxima coincidència.
Dins aquesta família hi trobem els cercadors d'imatges i els Cercadors de vídeos.
Cercadors d'imatges: Tot i que moltes vegades s'utilitza la cerca simple a les metadades per trobar-ne els continguts, cada cop més, s'intenta utilitzar mètodes d'indexació per poder realitzar cerques més acurades al que busca l'usuari, utilitzant consulta mitjançant imatge. N'és un exemple la lectura de codis QR en aplicacions de cercadors amb imatges per a mòbils.
Cercadors de vídeos: De la mateixa manera que la cerca d'imatges podem cercar vídeos a través de la cerca simple en les metadades o amb els mètodes d'indexació. Els vídeos també contenen àudio que es tracta amb cercadors d'àudio.
Cercadors d'àudio
Hi ha diferents mètodes de cerca i/o reconeixement d'àudio:
Cerca de música: Tot i que la majoria d'aplicacions de cerca de música treballen sobre les metadades senzilles associades (artista, nom de la cançó, àlbum...) hi ha programes de reconeixement de música. Exemples d'això són Shazam o SoundHound.
Cercadors multimèdia a internet
Logotip de l'empresa Google, exemple de cercador multimèdia
A internet hi ha una enorme quantitat de contingut multimèdia, és per aquest motiu que existeix la necessitat de poder buscar continguts. Trobem molts cercadors a internet que ofereixen aquest servei. Les grans empreses especialitzades amb els motors de cerca també incorporen cerca de continguts multimèdia. Per exemple:
