Documents Multimédia : Description et Recherche automatique...Documents Multimédia : Description et Recherche automatique ElEl se Arnaud (INRIA Rhôneise Arnaud (INRIA Rhône-Alpes)

Documents Multimédia : Documents Multimédia : Description et Recherche pautomatique

Elise Arnaud (INRIA Rhône-Alpes)El se Arnaud (INRIA Rhône Alpes)Anne Guérin-Dugué (GIPSA-lab)

elise.arnaud@inrialpes.fr i @ i l b i fanne.guerin@gipsa-lab.inpg.fr

M2PGI 1

PlanPlan

I t d ti1. Introduction2. Recherche de documents

« Texte » : un survol

7. Mesures de Similarité

« Texte » : un survol3. Évaluation

Indexation Signal vs

8. Boucle de reformulation

4. Indexation Signal vs Sémantique

5 Caractérisation « image »5. Caractérisation « image »6. Caractérisation « vidéo » et

« son » « son »

M2PGI 2

I IntroductionI. Introduction La problématique La problématique

Rechercher dans une base de documents (au sens large) un ou plusieurs documents qui sont en accord large) un ou plusieurs documents qui sont en accord avec une demande formulée par un utilisateur.

Les « composants » du systèmeL mp u y m Un utilisateur Base documentaire : Base d’images, de vidéos, de textes, … Langage pour exprimer sa demande : langage

d’interrogation Langage pour représenter les documents : langage Langage pour représenter les documents : langage

d’indexation Processus d’appariement : Fonction de correspondance

M2PGI 3

I IntroductionI. Introduction Quel type de documents ?Quel type de documents ?

Documents Multimédia Documents « Texte », Documents « Texte » + images

Images Bandes sonores Images , Bandes sonores Vidéos, Vidéos + Bandes sonores

Enjeuxj Développement des bases documentaires numériques Accès à leur contenu

U f i l i é Usage professionnel ou privé Exemple : Rapport scientifique Netsizer Janvier 2000

(www.netsizer.com/daily.html) : + 70 millions d’ordinateurs é l d 4000 T O d’I f i (I connectés, plus de 4000 Tera Octets d’Information (Image et

Vidéo)

M2PGI 4

I IntroductionI. Introduction Faire la distinction entre les applications Faire la distinction entre les applications

« RI » versus « BD » « RI » : avec sémantique pas de « vérité terrain » « RI » : avec sémantique, pas de « vérité terrain »,

plusieurs réponses possibles Collection d’œuvres d’Art (Musée Virtuel, Histoire de l’Art) Archives audiovisuelles (INA ) Archives audiovisuelles (INA, ….) Collection de photos de Presse (Agence de Presse) Collection de photos personnelles (Bornes interactives, …) …

« BD » :sans sémantique, avec « vérité terrain », identification O/N Empreintes digitales (Sécurité, Police) Photos d’identité (Sécurité, Police) Fichier de logos déposés (Copyright)

M2PGI 5

Fichier de logos déposés (Copyright) …

Exemple d ’une classification d ’une agence de photographiesagence de photographies

N° 1 Backgrounds & Landscapes N° 26 People & VacationN 1 Backgrounds & LandscapesN° 2 People & LifestylesN° 3 Lagoons & Palm treesN° 4 Trees & ForestN° 5 Waterfalls & WatersN° 6 S & L i

N 26 People & VacationN° 27 Landmarks of the WorldN° 28 Sport & ActionN° 29 Business, Space & IndustryN° 30 Panoramic LandscapesN° 31 B i & C iN° 6 Sport & Leisure

N° 7 Backgrounds & TexturesN° 8 MountainsN° 9 Building & CitiesN° 10 Business & Transportation

N° 31 Business & CreationN° 32 Super PanoramicN° 33 Industry & TransportationN° 34 Seniors & LifestylesN° 35 Food & Gastronomy

N° 11 Business & FinancesN° 12 Fields & FlowersN° 13 AnimalsN° 14 The 4 SaisonsN° 15 Natural Backgrounds

yN° 36 Elements & NatureN° 37 Skies & SunsetsN° 38 USA & SymbolsN° 39 MicrotexturesN° 40 Super BackgroundsN 15 Natural Backgrounds

N° 16 Fruits & VegetablesN° 17 Water BackgroundsN° 18 Silk BackgroundsN° 19 High TechN° 20 F ili & Child

N 40 Super BackgroundsN° 41 Business & EURON° 42 Business & ConceptsN° 43 Technology & CommunicationN° 44 Medecine & HealthcareN° 45 M d G tN° 20 Families & Children

N° 21 Business &CommunicationN° 22 Business & IdeasN° 23 Couples & TeensN° 24 Graphie Design & Creation

N° 45 Modern GastronomyN° 46 Panoramic Nature ScenesN° 47 AgricultureN° 48 European CitiesN° 49 Christmas & Celebrations

M2PGI 6

N° 25 France & Symbols N° 50 Attractive LandscapesN° 51 Internet & Communication

Primitives sémantiquesPrimitives sémantiques

Exemple d’une classification manuelle : Business & Finances

Objets : •Ordinateur•Téléphone•Téléphone•Tableau•CaféMallette•Mallette

•...Ambiance :

i•sereine•détendue•excitation

M2PGI 7

•travail•...

Impressions ÉmotionsImpressions, Émotions

Accueillant Joie de vivre

M2PGI 8

Plus austère, triste Plus fun !

Type de recherche : Enquête sur les usages (journalisme)les usages (journalisme)

Recherche par association avec des choix intéractifsp– Recherche dans des grandes bases d’images– But non spécifié précisément au départ

• Recherche d’une catégorieP ill d hi i– Pour illustrer un document, une histoire• Point de vue sémantique,

P i t d sthéti• Point de vue esthétique,• …

• Recherche d’une image spécifique (cible)• Recherche d une image spécifique (cible)– Point de départ : copie papier, une partie de l’image, …

A W M S ld t l I3E

M2PGI 9

A.W.M. Smeulders et al, I3E Pami, 22(12), 2000

Type de recherche : Enquête sur les usages (journalisme)les usages (journalisme)

Recherche par association avec des choix Recherche par association avec des choix intéractifs Recherche dans des grandes bases d’imagesg g But non spécifié précisément au départ

Recherche d’une catégorie Pour illustrer un document, une histoire

Point de vue sémantique, Point de vue esthétique, …

Recherche d’une image spécifique (cible) Point de départ : copie papier une partie de l’image

M2PGI 10

Point de départ : copie papier, une partie de l image, …A.W.M. Smeulders et al, I3E Pami, 22(12), 2000

Recherche par Requête vs par NavigationNavigation

Recherche par requête : Requête Recherche par requête : Requête explicite Documents Multimédia Documents Multimédia

Langage d’interrogation : Pas ou limité (exemple : dessin sur palette graphique)n ur pa tt graph qu )

Recherche par l’exemple (Query by Example –QBE) Expression du besoin d’information par un ou plusieurs

exemples Documents Texte Documents Texte

Langage d’interrogation : mots-clés

M2PGI 11

Recherche par Requête vs par NavigationNavigation

Recherche par navigation : Requête Recherche par navigation : Requête implicite Navigation de

proche en proche p pdans la base de documents

Forte interaction entre système et tili tutilisateur

Nécessite une IHM él b é

K. Rodden, W. Basalaj, D. Sinclair, K. Wood, Does Organisation by Similarity Assist Image

M2PGI 12

IHM élaborée Browsing?, SIGCHI’01, March 31-April 4, 2001, Seattle, WA, USA

Problèmes posésp

Ils sont complexes et fondamentaux à différents Ils sont complexes et fondamentaux, à différents niveaux : Modélisation de l’Information

Représentation des informations Multimédia Structuration de cette représentation Analyse d’images, Analyse de données, Statistiquesy g , y , q

Prise en compte de l’utilisateur Modèle comportemental Interaction « Usager » <-> « Système » Interaction « Usager » < > « Système » Interfaces Homme-Machine Formulation de la requête : Langage d’interrogation

Évaluation Évaluation Architectures Logicielles Matérielles

Accès aux ressources : mémoires, disques

M2PGI 13

Base de données Systèmes, Réseaux

Système RI « Grand Public »Système RI « Grand Public »

A partir du savoir faire de la RI « Texte » Une image est équivalente à un « sac » de motsg q Indexation

souvent manuelle en utilisant la technique « sac de mots », l’utilisation exprime sa requête par des mots-clés

cf chap. II, RI « texte » (http://images.google.fr/, http://images.search.yahoo.com/)p g y )

Quelques réalisations utilisant la similarité entre images (http://similar-images.googlelabs.com/)t l bi i d d (htt // d l /) et la combinaison des deux (http://www.cydral.com/)

IHM très pauvre Liste de liens = liste d’images

M2PGI 14

Liste de liens = liste d images

http://images search yahoo comhttp://images.search.yahoo.comMot-clé: mountains

M2PGI 15

http://images google fr/imageshttp://images.google.fr/images

Mot-clé: bonheur

M2PGI 16

http://images google fr/imageshttp://images.google.fr/images

Mot-clé: village

M2PGI 17

http://similar-images.googlelabs.com/http //similar images.googlelabs.com/

M2PGI 18

http://similar-images.googlelabs.com/http //similar images.googlelabs.com/

Page 1g

M2PGI 19

http://similar-images.googlelabs.com/http //similar images.googlelabs.com/

Page 2g

M2PGI 20

http://www cydral com/http://www.cydral.com/

M2PGI 21Etape 1 : Mots-clés, (Mountains)

http://www.cydral.com/ avec similarité entre imagessimilarité entre images

Etape 2 : Similarité par le contenu visuel

M2PGI 22Début de la liste

http://www.cydral.com/ avec similarité entre imagessimilarité entre images

Etape 2 : Similarité par le contenu visuel

M2PGI 23Suite de la liste

Appariement d’imagesAppariement d images

Applications utilisant la similarité par contenu visuel pour réaliser des contenu visuel pour réaliser des appariements d’images

C t ti d Constructions de vues panoramiques en 2D ou 3 D bl 3 D pa assemblage pour des scènes naturelles,

t llit i satellitaires , … + vision par ordinateur, -

h h d’i f ti

M2PGI 24

recherche d’information

http://photosynth nethttp://photosynth.net

M2PGI 25

http://photosynth nethttp://photosynth.net

M2PGI 26