13 février 2003 Communication Communication Visuo Visuo - - Gestuelle Gestuelle Langue des Signes Langue des Signes Analyse dImage Analyse dImage Patrice DALLE Patrice DALLE IRIT IRIT - - TCI TCI
13 février 2003
Communication Communication VisuoVisuo--GestuelleGestuelle
Langue des SignesLangue des Signes
Analyse d�ImageAnalyse d�Image
Patrice DALLEPatrice DALLEIRIT IRIT -- TCITCI
13 février 2003 IRIT-TCI-CVG 2
IRITIRIT--TCI TCI Traitement et Compréhension d�ImagesTraitement et Compréhension d�Images
!! Vision par ordinateurVision par ordinateur!! Stéréovision, calibrage, Stéréovision, calibrage, shape from shadingshape from shading!! Géométrie, Optimisation, Statistiques robustesGéométrie, Optimisation, Statistiques robustes
!! InterprétationInterprétation!! Environnement de conception, Systèmes, Environnement de conception, Systèmes,
ReconnaissanceReconnaissance!! Modélisation du TI, Autonomie, Interaction, Modélisation du TI, Autonomie, Interaction,
Incertain, ÉvolutionIncertain, Évolution!! Communication Communication VisuoVisuo--GestuelleGestuelle
13 février 2003 IRIT-TCI-CVG 3
CommunicationCommunication VisuoVisuo--GestuelleGestuelle
Analyse par un système de vision
CVG
13 février 2003 IRIT-TCI-CVG 4
CommunicationCommunication VisuoVisuo--GestuelleGestuelle
Analyse
- Attitudes- Expressions- Mouvements- Gestes- Signes
par un système de vision
des émis par une personne
CVG
13 février 2003 IRIT-TCI-CVG 5
CommunicationCommunication VisuoVisuo--GestuelleGestuelle
Analyse
- Attitudes- Expressions- Mouvements- Gestes- Signes
par un système de vision
des émis par une personne
dans un but de communicationavec d’autres personnesavec une machine
CVG
13 février 2003 IRIT-TCI-CVG 6
CommunicationCommunication VisuoVisuo--GestuelleGestuelle
Analyse
- Attitudes- Expressions- Mouvements- Gestes- Signes
par un système de vision
des émis par une personne
dans un but de communicationavec d’autres personnesavec une machine
Communication ≠ Interaction
CVG
13 février 2003 IRIT-TCI-CVG 7
CVG : pourquoi ? CVG : pourquoi ? (1/3)(1/3)
!! Etudier les Etudier les utilisations de la LSutilisations de la LSFavoriser leur développementFavoriser leur développement!! Communication en LSCommunication en LS
!! Éducation => apprendre en LS, enseigner la LSÉducation => apprendre en LS, enseigner la LS!! Formation => néologismesFormation => néologismes!! Vie sociale et professionnelle => outils de communication Vie sociale et professionnelle => outils de communication
!! Développer des services expérimentauxDévelopper des services expérimentaux=> => lieux d’observation de ces situationslieux d’observation de ces situations
!! Institut Institut IRISIRIS!! Département E&RDépartement E&R
CVG
13 février 2003 IRIT-TCI-CVG 8
CVG : pourquoi ? CVG : pourquoi ? (2/3)(2/3)
!! FinalitéFinalité : Communication, Langue des Signes: Communication, Langue des Signes!! OpportunitésOpportunités
!! Équipe TCI Équipe TCI (synergie, masse critique)(synergie, masse critique)!! Vision , mouvementVision , mouvement!! CompréhensionCompréhension
!! IRIT IRIT (coopérations)(coopérations)!! Image (analyse et synthèse)Image (analyse et synthèse)!! CHM, analyse de la vidéo, indexationCHM, analyse de la vidéo, indexation!! TALN (spatial), DialogueTALN (spatial), Dialogue
!! ToulouseToulouse!! LSF : fortes compétences (IRIS, LSF : fortes compétences (IRIS, InterpretisInterpretis, UTM, , UTM, WebSourdWebSourd,…),…)!! LAAS (geste)LAAS (geste)
CVG
13 février 2003 IRIT-TCI-CVG 9
CVG : pourquoi ? CVG : pourquoi ? (3/3)(3/3)
!! ProblématiqueProblématique!! Thème émergent en analyse d’imagesThème émergent en analyse d’images!! Cadre d’étude pertinentCadre d’étude pertinent
!! Scientifique : 3D, mouvement, compréhension, sensScientifique : 3D, mouvement, compréhension, sens!! Applications : Applications :
!! CHM (interaction, commande, observation de l’utilisateur, couplaCHM (interaction, commande, observation de l’utilisateur, couplage ge analyseanalyse--synthèse) synthèse)
!! LSF, LSF, !! Linguistique : étude des gestes Linguistique : étude des gestes coco--verbauxverbaux
!! EnseignementEnseignement!! DESS SI : Systèmes Intelligents (vision et interaction)DESS SI : Systèmes Intelligents (vision et interaction)!! DESS IIN : Ingénierie de l’Image NumériqueDESS IIN : Ingénierie de l’Image Numérique
IRR : Intelligence artificielle, Reconnaissance desIRR : Intelligence artificielle, Reconnaissance desformes , Robotiqueformes , Robotique
CVG
13 février 2003 IRIT-TCI-CVG 10
CVG et analyse d�imageCVG et analyse d�image
!! AnalyseAnalyse!! Détection : silhouette, visage, mouvementDétection : silhouette, visage, mouvement!! SegmentationSegmentation
!! Composants du visage, du corpsComposants du visage, du corps!! MouvementMouvement
!! ReconnaissanceReconnaissance!! Expressions (visage)Expressions (visage)!! GestesGestes
!! InterprétationInterprétation!! Mimiques facialesMimiques faciales!! GestesGestes coco--verbauxverbaux!! Signes (de la LSF)Signes (de la LSF)
CVG
13 février 2003 IRIT-TCI-CVG 11
Etude de la CVG : objectifsEtude de la CVG : objectifs!! LinguistiqueLinguistique
!! Etude des gestes Etude des gestes coco--verbaux, de la langue des signesverbaux, de la langue des signes!! Etudes par la langue des signesEtudes par la langue des signes
!! TranscriptionTranscription!! Formalisme pour analyser, mémoriser ou générerFormalisme pour analyser, mémoriser ou générer
!! Ecriture de la LSFEcriture de la LSF!! Traduction LSF Traduction LSF ⇔⇔ françaisfrançais!! Communication à distanceCommunication à distance
!! Transmission, codage, compressionTransmission, codage, compression!! Génération, personnage virtuel ou avatar signantGénération, personnage virtuel ou avatar signant
!! MémorisationMémorisation!! Stockage, indexation, interrogation, restitutionStockage, indexation, interrogation, restitution
CVG
13 février 2003 IRIT-TCI-CVG 12
Linguistique Linguistique ⇔⇔⇔⇔⇔⇔⇔⇔ InformatiqueInformatiqueapports croisapports croisééss
!! LinguistiqueLinguistique!! Primitives, niveaux d’analysePrimitives, niveaux d’analyse!! Démarche d’analyse ou de production d’énoncésDémarche d’analyse ou de production d’énoncés
!! InformatiqueInformatique!! Modélisation de la syntaxe et de la sémantiqueModélisation de la syntaxe et de la sémantique
!! Méthodes formellesMéthodes formelles!! Représentations pour rendre compte ou pour générerReprésentations pour rendre compte ou pour générer!! Modélisation du mouvement et des gestesModélisation du mouvement et des gestes
!! EnvironnementsEnvironnements!! EditeursEditeurs!! Outils de manipulation, stockage, interrogationOutils de manipulation, stockage, interrogation
!! Analyse : LS ( vidéo, direct) Analyse : LS ( vidéo, direct) ⇒⇒ représentationreprésentation!! Génération : représentation Génération : représentation ⇒⇒ personnage de synthèsepersonnage de synthèse
CVG
13 février 2003 IRIT-TCI-CVG 13
ProjetsProjets
!! ActionsActions!! ACI : Action ACI : Action Cognitique Cognitique Incitative Incitative (ministère de la Recherche)(ministère de la Recherche)!! AS : Action Spécifique STIC AS : Action Spécifique STIC
STIC STIC →→ domaine IHC domaine IHC →→ RTP RTP →→ AS, JEMSTIC, Equipe projet AS, JEMSTIC, Equipe projet (CNRS)(CNRS)
!! Langue des Signes Langue des Signes !! ACI LSACI LS--COLIN COLIN ((CuxacCuxac)) : LS analyseur de langues : LS analyseur de langues (2000(2000--
2002)2002)!! AS STIC AS STIC (Gibet,(Gibet,ToulotteToulotte)) : Communication en LS : Communication en LS (2003(2003--2004)2004)!! ACI ACI (Garcia(Garcia--BoutetBoutet)) : LSF : LSF -- Formes graphiques Formes graphiques (2003(2003--2005)2005)
!! Analyse des gestes Analyse des gestes coco--verbauxverbaux!! AS STIC AS STIC (Dalle, (Dalle, CuxacCuxac)) : interaction gestuelle : interaction gestuelle (2002(2002--2003)2003)
Projets
13 février 2003 IRIT-TCI-CVG 14
Projet LS-COLIN Langues des Signes - COgnition, Linguistique, INformatique
(Action COGNITIQUE)
- Sciences du Langage, Université Paris 8(linguistique de la LSF)- CAMS-LaLIC, Université Paris 4(linguistique cognitive)- IRIT-TCI, Université Toulouse 3(informatique et traitement de l'image)- LIMSI, CNRS, Orsay(informatique)
Langues des signes : Analyseurs privilégiés de la faculté de langage,
Apports croisés d'études linguistiques, cognitives et informatiques (traitement et analyse d'image)
autour de l'iconicité et de l'utilisation de l'espace.
Projet-1
13 février 2003 IRIT-TCI-CVG 15
LSLS--COLINCOLIN
!! L'iconicitL'iconicitéé des messages fonctionne comme analyseur des messages fonctionne comme analyseur cognitif. cognitif.
!! affiner l'inventaire des structures de "grande iconicitaffiner l'inventaire des structures de "grande iconicitéé" " !! modmodééliser lliser l’é’émergence du vocabulaire standard mergence du vocabulaire standard àà partir du partir du
processusprocessus d'iconicisation d'iconicisation initial; initial; !! vvéérifier des hypothrifier des hypothèèses des grammaires cognitives : l'expression ses des grammaires cognitives : l'expression
complcompléémentaire des primitives spatiales et non spatiales issues des mentaire des primitives spatiales et non spatiales issues des reprrepréésentations ssentations séémanticomantico--cognitives dans les cognitives dans les éénoncnoncéés en LS.s en LS.
!! Travaux communsTravaux communs!! Identification des primitives signifiantes pour linguistes et Identification des primitives signifiantes pour linguistes et
informaticiensinformaticiens!! Structuration, segmentationStructuration, segmentation!! SpSpéécification dcification d’’un outil de transcription un outil de transcription
Projet-1
13 février 2003 IRIT-TCI-CVG 16
LSLS--COLIN : Travaux des COLIN : Travaux des linguisteslinguistes
!! Thèmes de Thèmes de publicationspublications issues de l’actionissues de l’action(linguistes)(linguistes)!! Modèle d’une grammaire iconique de la LSFModèle d’une grammaire iconique de la LSF
!! Structures de grande iconicitéStructures de grande iconicité!! Opérations de transfertOpérations de transfert
! Conséquences cognitives des transferts en LS!! Classification des configurations manuelles Classification des configurations manuelles
pronomiales pronomiales en LSFen LSF! La construction de références temporelles dans les
Langues des Signes Primaires (LSP) pratiquées par des sourds vivant exclusivement en entourage entendant
Projet-1
13 février 2003 IRIT-TCI-CVG 17
Projet-1
13 février 2003 IRIT-TCI-CVG 18
Corpus LSCorpus LS--COLINCOLINProjet-1
13 février 2003 IRIT-TCI-CVG 19
Exploitation du corpus : « histoire du cheval » (I. Fusellier)
Validation : Clignement des yeux, rôle du regard, structure interne des transferts situationnels, …
Projet-1
13 février 2003 IRIT-TCI-CVG 20
LSLS--COLIN : Editeur de partitionsCOLIN : Editeur de partitionsProjet-1
13 février 2003 IRIT-TCI-CVG 21
Edition assistée par Traitement dEdition assistée par Traitement d ’Images’Images
Données: séquences vidéo
Détection des zones d’intérêtsEntités statiques Locuteur MainsTête
Extraction de l’information mouvement
Entités dynamiquesTrajectoireMotifs temporels
Caractérisation et organisation
de l’information extraite
TrajectoiresContactBalancementPointage …
Vitesse; AccélérationDurée; Direction
Forme, Orientations globales et locales, nombre de régions
Projet-1
13 février 2003 IRIT-TCI-CVG 22
AS Interaction gestuelleAS Interaction gestuelle(RTP Dialogue et Communication)(RTP Dialogue et Communication)
Etude et Développement
de la communication Homme-Machine
visuo-gestuelle
Patrice DALLE Patrice DALLE IRIT IRIT
UMR 5505UMR 5505-- Toulouse IIIToulouse III
Christian CUXAC Christian CUXAC Syntaxe formelle et typologie des languesSyntaxe formelle et typologie des langues
UMR 7023 UMR 7023 -- Paris VIIIParis VIII
Projet-2
13 février 2003 IRIT-TCI-CVG 23
ASAS--IG : MotivationIG : Motivation
!! Intérêt : Intérêt : !! Le geste permet une interaction naturelleLe geste permet une interaction naturelle
!! ConstatConstat!! Le geste est peu utilisé dans la communication HLe geste est peu utilisé dans la communication H--MM!! La vision est peu utilisée dans les dispositifs multimodauxLa vision est peu utilisée dans les dispositifs multimodaux
!! CausesCauses!! Analyse en temps réel d’un objet composé articulé Analyse en temps réel d’un objet composé articulé
déformable, avec beaucoup de degrés de libertédéformable, avec beaucoup de degrés de liberté!! Le gesteLe geste coco--verbal est peu contraint et donc difficile à verbal est peu contraint et donc difficile à
analyser par un système de visionanalyser par un système de vision!! L’expression gestuelle seule est incomplète et ambiguëL’expression gestuelle seule est incomplète et ambiguë
Projet-2
13 février 2003 IRIT-TCI-CVG 24
ASAS--IG : PrésentationIG : Présentation
!! ObjectifObjectif!! Enrichir les capacités d’échange de la communicationEnrichir les capacités d’échange de la communication
visuovisuo--gestuellegestuelle!! Développer des modèles d’analyse des langues gestuelles Développer des modèles d’analyse des langues gestuelles
par un système de visionpar un système de vision
!! MéthodeMéthode!! Etude des points communs Etude des points communs
langue des signes / gestuellelangue des signes / gestuelle coco--verbale verbale dans la communication Hdans la communication H--HH
!! Transposition à la communication HTransposition à la communication H--MM!! Réalisation d’une maquette de simulationRéalisation d’une maquette de simulation
Projet-2
13 février 2003 IRIT-TCI-CVG 25
ASAS--IG IG Apport de la langue des signesApport de la langue des signes
Langue des Signes
Gestesco-verbaux
analyse
enrichit
plus faciles à interpréter
plus expressifs
Projet-2
13 février 2003 IRIT-TCI-CVG 26
ASAS--IG : Laboratoires «IG : Laboratoires « c�urc�ur »»
!! Langue des signesLangue des signes!! UMR 7023 (Paris 8) "Syntaxe formelle et typologie des UMR 7023 (Paris 8) "Syntaxe formelle et typologie des
langues",langues", Ch CuxacCh Cuxac!! UPRESA 6065 (Rouen) "DYALANG" , R.UPRESA 6065 (Rouen) "DYALANG" , R. SabriaSabria
!! CoCo--verbalverbal!! UMR 8606 (Paris 5) "LEAPLE" ,UMR 8606 (Paris 5) "LEAPLE" , ChCh.. HudelotHudelot!! UMR 6057 (AixUMR 6057 (Aix--Marseille) "Parole et Langage" , I.Marseille) "Parole et Langage" , I. GuaïtellaGuaïtella--
CavéCavé
!! Vision et analyse du geste par ordinateur Vision et analyse du geste par ordinateur !! UMR 5505 (Toulouse 3) IRIT UMR 5505 (Toulouse 3) IRIT --"Traitement et Compréhension "Traitement et Compréhension
d'Images" P. Dalled'Images" P. Dalle!! UPR 3251 LIMSI "Geste et Image" A.UPR 3251 LIMSI "Geste et Image" A. BraffortBraffort,, Ch Ch ColletCollet
Projet-2
13 février 2003 IRIT-TCI-CVG 27
AS :AS : Communication en langue des signes des sourds(RTP Handicap)
Représentations et Modélisations du mouvement dans le contexte
de l’interaction et de l’animation d’agents de synthèsecommunicant en langue des signes.
Projet-3
13 février 2003 IRIT-TCI-CVG 28
AS :AS : Communication en langue des signes des sourds
!! Modèles et langages de spécification pour la Modèles et langages de spécification pour la génération et l’animation d’agents de synthèsegénération et l’animation d’agents de synthèse ::
!! Analyse et synthèse des expressions facialesAnalyse et synthèse des expressions faciales!! Codage des gestes des langues des signes pour le Codage des gestes des langues des signes pour le
stockage des gestes, leur transmission et leurstockage des gestes, leur transmission et leur rere--synthèse en temps réelsynthèse en temps réel
!! Interaction multimodale avec les agents virtuels de Interaction multimodale avec les agents virtuels de communicationcommunication
!! Évaluation des différents systèmes par des Évaluation des différents systèmes par des populations sourdes (représentation, reconnaissance populations sourdes (représentation, reconnaissance des gestes des avatars, dialogue)des gestes des avatars, dialogue)
Projet-3
13 février 2003 IRIT-TCI-CVG 29
AS :AS : Communication en langue des signes des sourds
! Porteurs! Sylvie Gibet
! Laboratoire VALORIA, Université de Bretagne Sud! Jean-Marc Toulotte
! Laboratoire I3D, université des Sciences et Technologies de Lille
! Participants! LINC – PARAGRAPHE, Université de Paris VIII! Université de Paris VIII, UMR 7023! LIMSI-CNRS, Université de Paris Sud! IRIT, UMR 5505, Université Paul Sabatier, Toulouse 3! Institut de la Communication Parlée, Université Stendhal,
Grenoble
Projet-3
13 février 2003 IRIT-TCI-CVG 30
ACIACI--JC JC La LSF : quelles conditions pour quelles formes La LSF : quelles conditions pour quelles formes
graphiquesgraphiques(proposition de projet)(proposition de projet)
! Porteurs! Dominique Boutet
Brigitte Garcia
(linguistes - Paris 8)
+ laboratoires partenaires
Projet-4
13 février 2003 IRIT-TCI-CVG 31
Analyse d�imageAnalyse d�imagede personnages de personnages signants signants ::
Études menées à Études menées à l�IRITl�IRIT--TCITCI!! DescriptionDescription
!! Détection , Extraction de primitivesDétection , Extraction de primitives!! SegmentationSegmentation!! CaractérisationCaractérisation
!! Reconstruction 3DReconstruction 3D!! ReconnaissanceReconnaissance!! InterprétationInterprétation
Analyse d’image
13 février 2003 IRIT-TCI-CVG 32
Edition assistée par Traitement dEdition assistée par Traitement d ’Images’Images
Données: séquences vidéo
Détection des zones d’intérêtsEntités statiques Locuteur MainsTête
Extraction de l’information mouvement
Entités dynamiquesTrajectoireMotifs temporels
Caractérisation et organisation
de l’information extraite
TrajectoiresContactBalancementPointage …
Vitesse; AccélérationDurée; Direction
Forme, Orientations globales et locales, nombre de régions
Analyse d’image IRIT-TCI
13 février 2003 IRIT-TCI-CVG 33
Analyse d�image dans les projetsAnalyse d�image dans les projets
!! Système d’analyse de la LSF Système d’analyse de la LSF !! Boris Boris LenseigneLenseigne!! Projet LSProjet LS--COLINCOLIN!! Action STIC : Communication en LSAction STIC : Communication en LS
!! Analyse des gestesAnalyse des gestes coco--verbauxverbaux!! Frédérick Frédérick GianniGianni!! Action STIC : interaction gestuelleAction STIC : interaction gestuelle
!! Résumé d’exposés en LSFRésumé d’exposés en LSF!! ACI : LSF ACI : LSF -- formes graphiquesformes graphiques
Analyse d’image IRIT-TCI
13 février 2003 IRIT-TCI-CVG 34
Extraction du locuteurExtraction du locuteur
- Comparaison avec une image de référence du fond
- Filtrage et traitement morphologique
Analyse d’image IRIT-TCI
13 février 2003 IRIT-TCI-CVG 35
Extraction des entités mains et visageExtraction des entités mains et visage
1. Extraction des zones de peau
2. Identification des différentes régions par critères de taille et de forme
Mains, Visage
Analyse d’image IRIT-TCI
13 février 2003 IRIT-TCI-CVG 36
Analyse des mimiques facialesAnalyse des mimiques faciales
!! Détection du visageDétection du visage!! Suivi du visage Suivi du visage "" mmééthode thode mean mean shiftshift!! ModModéélisation du visagelisation du visage!! Etude des variations des composantsEtude des variations des composants
Analyse d’image IRIT-TCI
13 février 2003 IRIT-TCI-CVG 37
Représentation du mouvement Représentation du mouvement par motifs temporelspar motifs temporels
tMHI : Intensité pixel = fonction de l�historique du mouvement
Détection des gestes symétriques par analyse de l�image tMHI
Analyse d’image IRIT-TCI
13 février 2003 IRIT-TCI-CVG 38
Détection des contours mobilesDétection des contours mobiles
Frontières des objets en mouvement
Analyse d’image IRIT-TCI
13 février 2003 IRIT-TCI-CVG 39
Suivi des éléments mobilesSuivi des éléments mobiles
QuickTime™ et un décompresseur sont requis pour visionner cette image.
Analyse d’image IRIT-TCI
13 février 2003 IRIT-TCI-CVG 40
Estimation 3D de la postureEstimation 3D de la posture
Point 3D = droite de projection ∩∩∩∩ sphère
Analyse d’image IRIT-TCI
13 février 2003 IRIT-TCI-CVG 41
Estimation 3D de la postureEstimation 3D de la posture
! Filtrage des solutions–Modèle géométrique du bras
•position 3D ⌫⌫⌫⌫ valeurs des articulations•butées
–Mouvement•hypothèse de continuité•modèles différentiels (vitesse et accélération)
Analyse d’image IRIT-TCI
13 février 2003 IRIT-TCI-CVG 42
Estimation 3D de la postureEstimation 3D de la postureReconstruction des trajectoires 3D des articulations d’un bras lors d’un mouvement
Analyse d’image IRIT-TCI
13 février 2003 IRIT-TCI-CVG 43
Estimation 3D de la postureEstimation 3D de la postureReconstruction des trajectoires 3D des articulations d’un bras lors d’un mouvement : étude du bruit
Analyse d’image IRIT-TCI
13 février 2003 IRIT-TCI-CVG 44
VisualisationVisualisationde l’espacede l’espacede de signationsignation
Analyse d’image IRIT-TCI
13 février 2003 IRIT-TCI-CVG 45
Visualisation de l’espace de Visualisation de l’espace de signationsignation
Analyse d’image IRIT-TCI
13 février 2003 IRIT-TCI-CVG 46
Visualisation de l’espace de Visualisation de l’espace de signationsignation
Analyse d’image IRIT-TCI
13 février 2003 IRIT-TCI-CVG 47
Système d’analyse de locuteur signantSystème d’analyse de locuteur signantCahier des charges (1)Cahier des charges (1)
!! Le système doit fournirLe système doit fournir!! des outils de TI permettant de segmenter des composants d’un des outils de TI permettant de segmenter des composants d’un
signesigne!! des outils de mesuredes outils de mesure!! des outils de reconnaissance (régiondes outils de reconnaissance (région$$composant dcomposant d ’’un signe)un signe)!! des outils de structuration des composantsdes outils de structuration des composants
pour chaque image isolément
Analyse d’image IRIT-TCI
13 février 2003 IRIT-TCI-CVG 48
Cahier des charges (2)Cahier des charges (2)
!! Le système doit fournirLe système doit fournir!! des outils de TI permettant la segmentation temporelle de la des outils de TI permettant la segmentation temporelle de la
séquenceséquence!! des outils de mesure de la dynamiquedes outils de mesure de la dynamique!! des outils de reconnaissance de trajectoiresdes outils de reconnaissance de trajectoires!! des outils de structuration des mouvementsdes outils de structuration des mouvements
pour la séquence d ’images.
Analyse d’image IRIT-TCI
13 février 2003 IRIT-TCI-CVG 49
Cahier des charges (3)Cahier des charges (3)
!! Les composants sont identifiables par :Les composants sont identifiables par :!! leurs caractéristiques (main = tâche de couleur peau + taille + leurs caractéristiques (main = tâche de couleur peau + taille + forme)forme)!! le contexte (objet qui touche la tête = main)le contexte (objet qui touche la tête = main)
%% La méthode de reconnaissance n’est pas uniqueLa méthode de reconnaissance n’est pas unique%% Le choix de la méthode évolue au cours du tempsLe choix de la méthode évolue au cours du temps
Système adaptatif : - les objets ont une définition unique- il n ’y a pas une description discriminante
Remarque sur la reconnaissance et la structurationRemarque sur la reconnaissance et la structuration
Analyse d’image IRIT-TCI
13 février 2003 IRIT-TCI-CVG 50
Cahier des charges (4)Cahier des charges (4)
!! Contrainte : Contrainte : ne pas limiter lne pas limiter l ’espace des problèmes’espace des problèmes
!! Le linguiste : doit pouvoir exprimer ce qu’il cherche, au momentLe linguiste : doit pouvoir exprimer ce qu’il cherche, au momentde lde l ’analyse’analyse
!! Requêtes : exprimées en termes dRequêtes : exprimées en termes d ’indices visuels dans le ’indices visuels dans le contexte courantcontexte courant
Problème de communication et de compréhension entre 2 acteurs qui échangent des notions à propos d ’images de la LS
Linguiste Système
vidéo
Analyse d’image IRIT-TCI
13 février 2003 IRIT-TCI-CVG 51
SystèmeSystème
Système intermédiaire
Interface linguiste
pilote
pilote Interprète en termes du TI
Séquence d’images de durée ∆t (=objet) Configuration à un moment donné
(Θinterp= temps d ’interprétation)
Observe et interprète
Analyse d’image IRIT-TCI
13 février 2003 IRIT-TCI-CVG 52
!! ContactsContacts
!! [email protected]@iritirit..frfrIRITIRIT--TCI TCI UPS UPS 118 route de Narbonne 31062 Toulouse cedex 4118 route de Narbonne 31062 Toulouse cedex 4tel : 05tel : 05--6161--5555--6363--0909http://www.irit.fr/ACTIVITES/EQ_TCI/home.html
!! RéférencesRéférences!! LSLS--COLIN : COLIN :
!! http://www.irit.fr/LShttp://www.irit.fr/LS--COLINCOLIN!! Rapport final : contact Patrice DalleRapport final : contact Patrice Dalle
!! ASAS--IG : IG : !! http://www.irit.fr/AShttp://www.irit.fr/AS--IGIG