Modélisation du geste Modélisation du geste communicatif communicatif et réalisation d’un signeur et réalisation d’un signeur virtuel virtuel de phrases en Langue des de phrases en Langue des Signes Française Signes Française Olivier Losson Interaction, Image, et Ingénierie de la décision (I3D) Cité scientifique 59650 Villeneuve d ’Ascq Directeurs de thèse : J.-M. Toulotte, B. Cantégrit
Interaction, Image, et Ingénierie de la décision (I3D) Cité scientifique 59650 Villeneuve d ’Ascq. Modélisation du geste communicatif et réalisation d’un signeur virtuel de phrases en Langue des Signes Française. Olivier Losson. Directeurs de thèse : J.-M. Toulotte, B. Cantégrit. - PowerPoint PPT Presentation
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Modélisation du geste communicatifModélisation du geste communicatifet réalisation d’un signeur virtuelet réalisation d’un signeur virtuel
de phrases en Langue des Signes Françaisede phrases en Langue des Signes Française
Olivier Losson
Interaction, Image, et Ingénierie de la décision (I3D)
Cité scientifique
59650 Villeneuve d ’Ascq
Directeurs de thèse : J.-M. Toulotte, B. Cantégrit
Sommaire de l’exposéSommaire de l’exposé
Introduction Etat de l’Art Buts recherchés et démarche adoptée Spécification du signe Synthèse du signe Spécification et génération de phrases signées Evaluation des signes synthétiques Conclusion et perspectives
Le geste de communicationLe geste de communication
Définition Mouvement intentionnel et significatif du corps Fonction informative Conforme à un code reproductible, contrôlable
Catégorisation (Kendon)
Disparition progressive de la parole Apparition de caractéristiques langagières
Gestes co- Gestes de Langueverbaux para-langage des signes
Pantomime Emblèmes
La langue des signesLa langue des signes
Une langue à part entière Double articulation Grammaire et syntaxe propres Capacité à transmettre le message sans ambiguïté Mécanismes paralinguistiques
Vers des interfaces gestuellesVers des interfaces gestuelles
Le geste en interaction homme-machine Une réponse aux handicaps
Outils dédiés à la langue des signes Les besoins de la communauté sourde Outils spécifiques basés sur la vidéo
Dictionnaires bidirectionnels Didactitiels
Vers des interfaces adaptées aux signes
Signes en entrée : capture et identificationSignes en entrée : capture et identification
La capture Caméra (+gants colorés/marqueurs luminescents) Capteurs 6D et gants numériques
ExemplesA. Braffort, H. Sawada, ...
La reconnaissance Détection des limites (segmentation) Influence entre gestes (coarticulation) Variabilité (inter/intra-personnelle)
Signes en sortie : synthèse (1)Signes en sortie : synthèse (1)
Les limites de la vidéo Contraintes de création Volume d’information (stockage / transmission) Flexions et production de phrases signées Exemple de LAC
Premiers travaux d’animation synthétique Succession de motifs animés sur fond fixe
Harrison, 82 Projet H.A.N.D.S. (HamNoSys)
Première synthèse 3D (Shantz & Poizner, 82)
Signes en sortie : synthèse (2)Signes en sortie : synthèse (2)
F. Godenschweger Dessin au trait animé Spécification de bas niveau
T. Lebourque (LIMSI) Génération de mouvements naturels Langage formel de description du signe
« Signing Avatars » Tenants et aboutissants ? Reproduction de signes captés ?
Tenants et aboutissantsTenants et aboutissants
Chaîne globale de traductionAnalyse
grammaticaleTextesource
Analysesémantique
Correspondance,ordonnancement
Synthèsegraphique
Phrasesignée
Spécificationdes signes
Phrase à signer
“mots-signes”
Evaluationdes signes
Modèle du signeur virtuel
Représentationintermédiaire
Synthèsegraphique
Primitivesde synthèse
Détail de la synthèse
Buts recherchés et démarche adoptéeButs recherchés et démarche adoptée
Spécification Lisibilité et compacité de la description
Description textuelle (pas de symbole) Intégrité du message + généricité
Base = études linguistiques (phonèmes gestuels)
Génération Approcher le temps réel
Sophistication graphique limitée Production de phrases complètes
Etude et modélisation des processus grammaticaux
Histoire FxF
Travaux de Stokoe (65)
Chérèmes T D S
Tabular T : Position
Designator D : Configuration
Signation S : Action effectuée par D dans la position T
Validation Battison (74) : Orientation; Klima & Bellugi (78) Nève de Mevergnies (98) : gestèmes COLORIACT Autres ensembles : HamNoSys, Liddell & Johnson
Bases linguistiquesBases linguistiques
Spécification manuelle ConfigurationConfiguration
OrientationOrientation
LocalisationLocalisation Point manuel
Primitive de déplacementPrimitive de déplacement
ni
paume ( )index ( )
Primitive de déplacement Spécification manuelle initiale MouvementMouvement Spécification manuelle finale
Mouvement principal 3 types de trajectoires Dynamique (emphase)
MouvementMouvement
Mouvement secondaire des doigts du poignet
Primitive de déplacement
Spécif manu I
Spécif manu F
Spécif manu tr
MVT
Mvtprinc
Forme chemin
Modifmvt
Mvtsec
Outil Vision Suivi manuel Tableur
Résultats
Mouvement : étude de la dynamiqueMouvement : étude de la dynamique
td tf
vmax
tf- t
v
)(tvd
)()(.)( tvtvktv fd
)()( ttvtv fdf ex. Signe
Piquer
DéplacementDéplacement
3 formes
Complète Conservation de Anti-symétrieposition relative
Synoptique de la synthèseSynoptique de la synthèse
\YNQ4 Toi rester maison toi
r
Analyse, évaluation et
synthèse
Synthèse de phrases signéesSynthèse de phrases signées\CND2 jour_semaine (vendredi) il_pleut
\NO3 je rester maison aller bibliothèque je
%Julie(droite) téléphoner(Julie,moi) fini.
Arriver>endroit être_en_retard elle(Julie).
Synthèse de phrases signéesSynthèse de phrases signées%Julie(droite) téléphoner(Julie,moi) fini.
Arriver>endroit être_en_retard elle(Julie).
Méthodologie de l’évaluationMéthodologie de l’évaluation
Contenu 50 signes représentatifs forme de citation (hors contexte) possibilité de tester à distance (HTML+e-mail)
Protocole 8 informateurs dont 5 sourds demander l’acception perçue + nombre de visualisations évaluer la distance sémantique et classifier expliciter la (les) raison(s) de non-identification
RésultatsRésultats Tests 1-8 (moyennes)
Evaluation de phrases : marquage des clauses améliorer les expressions non-manuelles implanter les pauses (étude théorique seule) prendre en compte le rythme de production (rupture)
70%
18%
9% 3%
Correct/Proche
Inconnu, différent, hors contexte
Caractéristiques mal perceptibles
Problème de vision (profondeur)
ConclusionConclusion
Création des signes Système de spécification (grammaire formelle) Interface graphique d’édition
Génération de phrases signéesFlexions sur les signes (processus grammaticaux)
Module de synthèse graphique
Avantages par rapport à la vidéo Facilité de création; signes fléchis Compacité de la description textuelle
PerspectivesPerspectives Applications
EAO, en particulier à distance (faible volume nécessaire)
Analyses syntaxique & sémantique traduction Sous-titrage automatique (ex. télétexte) Traduction de pages web
Evolutions du système Rythme de la phrase Synchronisation des articulateurs Fluidité et rendu du signeur