Page 1
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modélisation bayésienne de la perception et de l’action
Julien DiardLaboratoire de Psychologie et NeuroCognition – CNRS
UE Cognition bayésienne03/02/2009
http://julien.diard.free.fr [email protected]
Page 2
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
2
Page 3
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation bayésienne de la perception
– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Perception visuo-acoustique des voyelles– Questions ouvertes
• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance
• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes
3
Page 4
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation bayésienne de la perception
– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Perception visuo-acoustique des voyelles– Questions ouvertes
• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance
• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes
4
Page 5
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modélisation de la perception multi-
• Multi-?– Sensorielle / indice – multimodale / intramodale
• Modèle de pondération linéaire
5
(Lambrey, 2005)
Page 6
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modèle de pondération sensorielle
6
Page 7
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modélisation de la
perception• Perception
– Un problème inverse (Poggio, 1984)
• Modèle bayésien– Inversion + hypothèse
d’indépendance conditionnelle–
7
S1
S2
Sn
V
S1S2Sn
V?
€
P S1S2K SnV |C( )
= P V |C( )P S1 |VC( )P S2 |VC( )K P Sn |VC( )
Page 8
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
8
€
P S1S2K SnV |C( )
= P V |C( )P S1 |VC( )P S2 |VC( )K P Sn |VC( )• Vision
– Perception des plans : préférence pour des plans rigides, de stationnaires (Colas, 06)
– Perception des formes (revue de Kersten et al., 04) :
• préférence pour les objets convexes• préférence pour des lumières venant
du haut, stationnaires• préférence pour un point de vue
situé au dessus de la scène
• Proprioception (Laurens, 08)
Page 9
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
9
• Fusion multi-indices– Haptique : géométrie et force (Drewing &
Ernst, 06)– Vision (Kersten et al., 04)
• Fusion multi-sensorielle– Visuo-haptique (Ernst & Banks, 02)– Visuo-acoustique
• Localisation de sources (Battaglia et al., 03)• effet McGurk• Reconnaissance de voyelles (Gilet, 06)
€
P S1S2K SnV |C( )
= P V |C( )P S1 |VC( )P S2 |VC( )K P Sn |VC( )
Page 10
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation bayésienne de la perception
– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Perception visuo-acoustique des voyelles– Questions ouvertes
• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance
• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes
10
Page 11
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Nature, 429–433, 2002
Page 12
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
12
Humans integrate visual and haptic information in a
statistically optimal fashion
• Mécanisme d’integration visuo-haptique par fusion de gaussiennes
• Utilisé par les humains
Page 13
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
13
Plan
• Protocole expérimental• Modèle bayésien de fusion
capteurs• Comparaison du modèle au
données
Page 14
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
14
Matériel expérimental
Page 15
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
15
Stimuli visuels
Page 16
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
16
Stimuli et tâche
• 4 niveaux de bruit visuel : 0% 67% 133% 200%
• 1 niveau haptique
• 1 s de présentation
• Tâche de choix forcé– laquelle de ces deux
barres est la plus grande ?
Page 17
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
17
Cas mono-modal
Page 18
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Integration visuo-haptique
0%
18
Page 19
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
0%67%
Integration visuo-haptique
19
Page 20
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
0%67%
133%
Integration visuo-haptique
20
Page 21
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
0%67%
133%200%
Integration visuo-haptique
21
Page 22
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan
• Protocole expérimental• Modèle bayésien de fusion
capteurs• Comparaison du modèle au
données
22
Page 23
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modèle bayésien de fusion « naïve »
23
Page 24
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modèle bayésien de fusion « naïve »
24
Page 25
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
• Estimateur de maximum de vraisemblance– – Par opposition à Bayésien
• « Statistiquement optimal »– Moindre variance :
Modèle bayésien de fusion « naïve »
25
Page 26
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan
• Protocole expérimental• Modèle bayésien de fusion
capteurs• Comparaison du modèle au
données
26
Page 27
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Quelles gaussiennes ?
• Choix d’une gaussienne parmi 2
• Point d’égalité subjective– PSE : moyenne
• Seuil de discrimination–
T = 0.085 x 55 mm
0.04 x 55 mm
27
Page 28
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Integration visuo-haptique
28
0%67%
133%200%
Page 29
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
0%67%
133%200%
Comparaison modèle - données
29
Page 30
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
30
Moyennes prédites - observées
Page 31
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
31
JND
Variances prédites - observées
Page 32
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Questions, critiques ?
32
Page 33
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation bayésienne de la perception
– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Perception visuo-acoustique des voyelles– Questions ouvertes
• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance
• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes
33
Page 34
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Perception multi-sensorielle
• En psychophysique– Ernst & Banks– JND, PSE, …
• En psychologie cognitive ?
34
0%67%
133%200%
Page 35
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
• Modélisation bayésienne de la perception visuo-acoustique de voyelles
35
Page 36
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Perception audiovisuelle
36
Page 37
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Perception audiovisuelle
37
Page 38
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Remarque
38
Page 39
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modélisation bayésienne de la perception
audiovisuelle• Trois modèles bayésiens
– Modèle M0
– Modèle M1
– Modèle M2
• Comparaison bayésienne des modèles
39
Page 40
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Espace interne de M0
40
Page 41
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modèle M0
41
Page 42
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modèle M0
42
Page 43
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modèle M0
43
Page 44
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modèle M0 : résultats
44
Page 45
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modèle M1
45
Page 46
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modèle M1 : résultat
46
Page 47
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modèle M2
47
Page 48
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modèle M2 : résultat
48
Page 49
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation bayésienne de la perception
– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Perception visuo-acoustique des voyelles– Questions ouvertes
• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance
• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes
49
Page 50
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Question ouverte
• De nombreux exemples d’application du modèle de fusion
• Limite de validité du modèle ?
• Valeur d’un modèle qui s’applique partout ?
50
Page 51
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation bayésienne de la perception
– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Perception visuo-acoustique des voyelles– Questions ouvertes
• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance
• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes
51
Page 52
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modélisation du contrôle
• Mouvements de pointage, volontaire, chez l’humain
• Etude des régularités– Lois du mouvement
• Hypothèses sur les mécanismes – Modèles (neuro)cognitifs
52
Page 53
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
3 lois
• Isochronie• Loi de Fitts• Loi de la puissance 2/3
53
Page 54
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
54
Tâche : Saisie d’un cylindre à différentes distances (40,32,25)
Résultats : Temps similaire/augmentation de la vitesse
L’Isochronie : la durée du mouvement reste stable quelque soit l’amplitude du mouvement
Ex : Saisie (Jeannerod 1984)
La durée du mouvement semble fixée à l’avance
Palluel-Germain, 08
Vitesse (cm/s)
Durée (ms)
Page 55
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
• Cible de taille W à une distance D
55
Page 56
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
56
Loi de puissance de 2/3V(t) = K * R(t) 1-βK = gain de vitesseV(t) = vitesse du mouvementR(t) = rayon de courbure1-β = 1/3
Page 57
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modèles de planification de mouvements
57
Planification de mouvement =Sélection d’une trajectoire selon un coût
Page 58
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Observations• Les trajectoires de la main
sont invariantes et quasiment rectilignes quelles que soit les positions initiales et terminales du mouvement et s’accompagnent toutes d’un profil de vitesse en cloche.
• Au contraire, lorsque les mouvements sont décrits selon leur trajectoire articulaire une grande variabilité est observée
58
Page 59
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Espaces de contrôle
• Planification intrinsèque– Espace articulaire
• Planification extrinsque– Espace cartésien
59
Page 60
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
60
Trajectoire observéeChangement angulaire des articulations
D’après Hollerbach & Atkeson (1986)
Modèle d’interpolation linéaire dans l’espace
articulaire
Page 61
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modèle d’interpolation linéaire dans l’espace
articulaire
61
βα
Page 62
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
62
Page 63
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Espace de travail
• Minimisation des dérivées de l’endpoint
– n=2 minimum acceleration– n=3 minimum jerk– n=4 minimum snap
63
Page 64
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Minimum jerk
• Prédit des segments droits• Pas observés pour des
mouvements de grande amplitude
64
Lacquaniti et al. (1986)
Page 65
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Espace des couples moteurs
• Minimisation des couples zi générés à chaque articulation
65
Page 66
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Minimum variance
• Bruit dépendant du signal (signal dependent noise SDN)
66
Page 67
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation bayésienne de la perception
– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Perception visuo-acoustique des voyelles– Questions ouvertes
• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance
• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes
67
Page 68
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
• Modélisation bayésienne d’une boucle sensorimotrice : application à l’écriture
68
Page 69
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Equivalence motrice
69
Page 70
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
70
Page 71
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
71
Page 72
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
72
Page 73
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
73
Page 74
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
74
Page 75
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
75
Page 76
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
76
Page 77
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
77
Page 78
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
78
Page 79
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
79
Page 80
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
80
Page 81
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
81
Page 82
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
82
Page 83
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
83
Page 84
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Plan• Modélisation bayésienne de la perception
– Introduction à la perception multi-– Perception visuo-haptique (Ernst & Banks, 02)– Perception visuo-acoustique des voyelles– Questions ouvertes
• Modélisation bayésienne de l’action– Introduction au contrôle moteur– Modèle de minimum variance
• Modélisation de la perception et de l’action: boucles sensorimotrices– Exemple : modélisation de l’écriture– Questions ouvertes
84
Page 85
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Questions ouvertes
• Modélisation bayésienne de boucles sensorimotrices
Vraiment ?
85
Page 86
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
• Boucle ouverte
86
musclesMotor commands force
Body partState change
Page 87
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
87
muscles
Motor commandsforce
Body partState change
Sensory system
ProprioceptionVision
Audition
Measured sensory
consequencesIntegration
Tps
Vitesse
• Boucle fermée
Page 88
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
88 88
muscles
Motor commandsforce
Body partState change
Sensory system
ProprioceptionVision
Audition
Measured sensory
consequencesIntegration
40 ms
100 ms
???
Page 89
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
89
musclesMotor commandsforce
Body partState change
Sensory system
ProprioceptionVision
Audition
Measured sensory
consequences
Forward model
Predicted sensory consequences
Integration
Belief
What we sense depends on what we predicted
Page 90
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
90
Expérience de saisie
Expérience d’auto chatouillage
Page 91
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Modélisation d’une boucle sensorimotrice
• Apprentissage = passage d’une boucle fermée à une
boucle ouverte ?
91
Page 92
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Une boucle vs. des boucles
• Hiérarchie de boucles• Constantes de temps• Apprentissage hiérarchique
92
Page 93
Julien Diard — LPNC-CNRSCours M2R Sciences Cognitives, « Cognition bayésienne » — 2009
Merci de votre attention !
Questions ?