Détection dhypovigilance chez le conducteur par fusion dinformations physiologiques et vidéo Soutenance de thèse d Antoine Picot Lundi 9 novembre 2009.

Détection d’hypovigilance chez le conducteur par fusion d’informations

physiologiques et vidéo

Soutenance de thèse d’ Antoine Picot

Lundi 9 novembre 2009

2

L’hypovigilance

Conséquences: baisse de l’attention, baisse de la vivacité, augmentation du temps de réaction, augmentation du sentiment de fatigue…

Dégradation des facultés de conduite

Responsable d’un accident sur trois sur autoroute (Sécurité Routière, 2009)

Définition: état intermédiaire entre la veille et le sommeil durant lequel l’organisme a ses facultés d’observation et d’analyse très réduites. (Reverso)

3

État de l’art

Deux types d’approches:

Orientée véhicule

Position du véhicule sur la route

Mouvements du volant

Pression pédale de frein

Vitesse

Orientée conducteur

Activité cérébrale

Clignements des yeux

Bâillements

Direction du regard

Expression

Température

4

SituationRessenti au volant:

Difficulté à garder les yeux ouvertsManque de réactivité

Hypovigilance caractérisée par des modifications de l’activité cérébrale et de l’activité oculaire (Renner & Mehring, 1997)

Majorité des systèmes: soit orientés physiologie, soit vidéo

Détection d’hypovigilance par fusion des informations cérébrales et visuelles

5

Plan de la présentation

1. Détection d’hypovigilance par analyse de l’activité cérébrale

2. Détection d’hypovigilance par analyse des signes visuels

3. Détection d’hypovigilance par fusion des approches cérébrale et visuelle

Détection d’hypovigilance par analyse de l’activité cérébrale

7

Difficultés

Analyse des signaux issus du cerveau (résultent de l’activité de milliard de neurones, faible amplitude, bruit…)

Obtention de données cérébrales d’hypovigilance

Expertise de ces données

S’affranchir des différences interindividuelles

8

Plan

1. Détection d’hypovigilance par analyse de l’activité cérébrale1. Caractérisation de l’hypovigilance par EEG

2. Système de détection

3. Données de validation

4. Résultats obtenus



9

L’électroencéphalogramme (EEG)

EEG: mesure de l’activité électrique du cerveau

10

Description de l’EEG

[0,5-4Hz]

[4-8Hz]

[8-12Hz]

[12-26Hz]

2s d’EEG

[26-100Hz]

Sommeil profond

Méditation et somnolence

Hypovigilance, relaxation et yeux fermés

Concentration active

Fonctions motrices etcognitives

11

L’hypovigilance dans l’EEG

Augmentation de l’activité et Gillberg et al., 1996)

Baisse de l’activité (Makeig et al, 2000)

Principalement en zones pariétale (P) et centrale (C) (Bittner et al., 2001; Oken et al. 2006)

12

Plan







13

Le système de détection But: analyser les variations de l’activité dans les

bandes de fréquence potentiellement intéressantes à partir d’un canal unique

‘‘Fatigué’’?

14

La comparaison de moyenne (MCT)

But: comparer le contenu d’une fenêtre glissante à une fenêtre fixe

La variable suit une loi normale

Egalité de moyennes éprouvée par un test bilatéral de seuil MCT

-u1-MCT/2<u<u1-MCT/2

2

22

1

21

21

n

s

n

s

xxu

ii

mimii

x1mi

s²1i

x2mi

s²2i

15

Le système de détection But: analyser les variations de l’activité dans les

bandes de fréquence potentiellement intéressantes à partir d’un canal unique

‘‘Fatigué’’?

16

Les artéfacts Artéfacts: perturbation électrique du signal d’origine

non cérébrale Origines: biologiques ou environnementales But: détection d’artéfacts de haute amplitude pour

évaluer la qualité du signal EEG

17

La comparaison de variances (VCT)

But: comparer le contenu d’une fenêtre glissante à une fenêtre fixe

La variable suit une loi de Fisher

Egalité de variances éprouvée par un test bilatéral de seuil art

Fart/2<F<F1-art/2

21

22

i

ii s

sF

s²1i s²2i

18

Plan







19

La base de données

Fournie par Centre d’Etude de Physiologie Appliquée (CEPA) de Strasbourg

60 heures de conduite à partir de 20 conducteurs différents

2 sessions de conduite de 1h30:Sans privation de sommeil: le conducteur a

dormi une nuit complète Avec privation de sommeil: le conducteur a

dormi 4 heures uniquement

20

Contenu

Conduite sur simulateur

1 vidéo de contrôle

4 canaux EEG

1 canal EOG

21

Expertise Données expertisée toutes les 20s selon l’échelle OSS

Constitue une vérité de terrain Attention: pas d’échelle standard (contrairement au

sommeil)

Objective Sleepiness Score

Contenu EEGClignements et

mouvements d’yeux

0 Beta, pas d’alpha, pas de thêta Normal

1alpha et thêta dans pendant

moins de 5 secondes en cumulé

Normal

2alpha et thêta moins de 5s

oualpha et thêta entre 5 et 10s

Lentou

Normal

3alpha et thêta entre 5 et 10s

oualpha et thêta plus de 10s

Lentou

Normal

4 alpha et thêta entre plus de 10s Lent

Échelle OSS (Muzet et al., 2003)



mouvements d’yeuxÉchantillons

0 Beta, pas d’alpha, pas de thêta Normal 5512 (72,9%)



Normal 949 (12,6%)



Lentou

Normal663 (8,8%)



Lentou

Normal407 (5,4%)

4 alpha et thêta entre plus de 10s Lent 26 (0,3%)

22

Évaluation des performancesBinarisation de la décision experte


Contenu EEG

0 Beta, pas d’alpha, pas de thêta







4 alpha et thêta entre plus de 10s

t(s)

3

2

1

0

Éveillé

Fatigué

t(s)Éveillé

Fatigué

Binarisation

23

Évaluations des performances

Comparaison par bloc de 20s: « fatigué » si au moins 2s classées comme « fatigué »

Expert

Notresystème

20s 40s t(s)

20s 40s t(s)

60s

60s

24

Évaluation des performances

Présentation par courbe COR:TPrate: taux de bonnes détections

FPrate: taux de fausses alarmes

Comparaison par le test de McNemar:n10: nombre d’échantillons bien classés par d1 mais pas par d2

n01: nombre d’échantillons bien classés par d2 mais pas par d1

Equivalence si (²(1)=3,84 pour =0,05)

0110

)11001( 22

nn

nnMcNemar

)1(22 McNemar

25

Plan







26

Choix du canal (résultats obtenus sur la bande )

Classifieur a

léatoire

MCT=1,5

MCT=5

Meilleurs résultats pour le canal P3 Résultats peu dégradés lorsque MCT varie

Indépendant du conducteur Pour la suite, on utilise uniquement le canal P3

27

Influence de la détection d’artéfacts (résultats obtenus sur la bande et le canal P3)

Résultats améliorés lorsqu’on prend en compte les artéfacts de haute amplitude

Ce type d’artéfact ne représente que 2% de la base de données Pour la suite, on prend en compte la présence d’artéfacts

28

Résultats pour les différentes bandes de fréquence

est le meilleur indicateur n’apporte pas d’informations pertinentes et (+)/ donnent des résultats corrects

Indices:

•Alpha

•Beta

•Theta

•Alpha|Theta

•(+)/

et sont lesmeilleurs indicateurs

29

Détection par fusion floue des informations et

MCT

MCT

Fuzzification (MCT)

(MCT) & EEG

DEEG=« fatigué » si EEG>0,5DEEG=« éveillé » sinon{

30

Résultats de la fusion

Résultats améliorés en fusionnant les informations et Confirmé par le test de McNemar (²McNemar=66,01>>²(1))

TPrate=84,6% et FPrate=17,9%

Indices:

•Alpha

•Beta

•Fusion

31

Comparaison à la littérature

Auteurs Résultats TechniqueNombre

de canauxNombre de conducteurs

Picot et al., 2009

82,5% MCT et fusion floue sur et 1 20

Ben Khalifa et al., 2004

76% Réseau de neurones 1 4

Lin et al., 2005

r=0,88 Régression linéaire 33 10

Rosipal et al.,2007

77% modèle de mixtures gaussiens 3 32

Pal et al., 2008

r=0,78Distance de Mahalanobis sur

et 1 13

32

Bilan

Détection par fusion des informations et

Fonctionne à partir d’un canal unique (P3)

Détecteur d’artéfact pour évaluer la qualité du signal

Indépendant du conducteur

Performances: TPrate=84,6% et FPrate=17,9%

Détection d’hypovigilance par analyse des signes visuels

34

Problématique

Clignements: indicateurs d’hypovigilance

Deux techniques:EOG: peu ergonomiqueVidéo: plus pratique

Dans quelle mesure la vidéo peut elle remplacer l’EOG?

Quelle caractérisation d’hypovigilance possible par analyse vidéo?

35

Difficultés

Détection des yeux, quel que soit leur état

Caractériser précisément les clignements

Obtention de données oculaires d’hypovigilance


S’affranchir des différences interindividuelles

36

Plan


2. Détection d’hypovigilance par analyse des signes visuels1. Comparaison entre vidéo et EOG

2. Détection d’hypovigilance par analyse vidéo


37

Plan



1. Caractérisation de clignements par analyse vidéo

2. Comparaison des caractérisations vidéo et EOG



38

Détection de clignements par analyse vidéo

But: détecter les clignements à partir de signaux d’énergie calculés dans la zone de l’œil

(A. Benoit, 2006)

Testé sur la base BioID (1521 visages)

97% de bonnes détections

39

Détection des clignements

EOPL

(contoursstatiques)

EIPL

(contoursmobiles)

SIPL

Clignement validé!

40

Indicateurs de l’hypovigilance à partir d’un clignement

Plusieurs indicateurs peuvent être extraits des clignements EOG (mesure de l’activité électrique de l’œil) sert

traditionnellement à la caractérisation des clignements

EOPL(contoursstatiques)

EIPL(contoursmobiles)

TF TO

D

D50

A

P80

EO

EF

41

Plan



1. Caractérisation de clignements par analyse vidéo

2. Comparaison des caractérisations vidéo et EOG



42

Base de données de comparaison 14 participants (11 hommes, 3 femmes) Enregistrements de 1min EOG (250Hz) et vidéo Durée moyenne d’un clignement ~150ms: seulement 5 images à

30fps 4 échantillonnages vidéo: 30fps, 100fps, 150fps et 200fps

Echantillonnage 30fps 100fps 150fps 200fps

Clignements 634 767 634 773

43

Comparaison entre vidéo et EOG

Détection des clignements par analyse vidéo

Fréquence d’échantillonnage

Détectionscorrectes

Non-détections

Fausses alarmes

30fps96,4%

(611)

3,6%

(23)21

100fps96,2%

(738)

3,8%

(29)13

150fps96,5%

(612)

3,5%

(22)6

200fps98,1%

(738)

1,9%

(15)3

44

Comparaison entre vidéo et EOG

L’évolution des différents indicateurs est liée à l’hypovigilance

Objectif: vérifier que les indicateurs EOG et vidéo évoluent de la même manière.

Calcul de la corrélation entre EOG et vidéo car signaux de valeurs différentes.

45

Coefficients de corrélation entre vidéo et EOG

Paramètre 30fps 100fps 150fps 200fps

Durée 0,84 0,91 0,91 0,96

D50 0,72 0,96 0,93 0,97

Fermeture 0,26 0,36 0,31 0,40

Ouverture 0,32 0,36 0,36 0,33

Amplitude 0,56 0,45 0,38 0,45

Fréquence 0,97 0,99 0,99 0,99

PCV 0,34 0,43 0,49 0,60

P80 0,78 0,90 0,91 0,93

VF 0,34 0,46 0,48 0,61

VO 0,27 0,47 0,49 0,60

TR 0,39 0,41 0,38 0,42

A/PCV 0,67 0,76 0,82 0,78

EF et VF 0,46 0,68 0,68 0,74

EO et VO 0,35 0,61 0,58 0,44

46

Bilan

Intérêt d’utiliser une caméra rapide (200fps)Variables communes à la vidéo et à l’EOG:

DuréeDurée à 50% FréquenceP80A/PCV

Variable spécifique à la vidéo:EF corrélé à la vitesse de fermeture

47

Plan



2. Détection d’hypovigilance par analyse vidéo1. Analyse des différents variables


3. Résultats


48

Préambule

But: développer un système de détection d’hypovigilance à partir des différentes variables trouvées

Pertinence de ces variables?Analyse réalisée sur les données EOG de la

base de données du CEPADifficulté d’obtenir une base de données vidéo

d’hypovigilance expertiséeBase de données du CEPA très richePrécautions quant aux variables utilisées: même

performances attendues si on travaille à partir de la vidéo

49

Méthode

EOG

t(s)

Fenêtre d’analyse (20s, 40s ou 60s)Variable

considérée

t(s)Éveillé

Fatigué

Seuil de détection fixeou par apprentissage

Décision

50

Évaluation des performances

Binarisation des décisions expertes

Comparaison par blocs de 20s: « fatigué » si au moins 10s classées comme « fatigué »


Clignements et mouvements d’yeux

0 Normal

1 Normal

2Lentou

Normal

3Lentou

Normal

4 Lent

« Fatigué »

« Éveillé »

51

Résultats

Meilleurs résultats avec un seuil fixe Meilleurs résultats avec une fenêtre d’analyse de 20s Variables les plus pertinentes: D50, P80, A/PCV et F

Résultats Seuil sF

D50TPrate=81,3%

FPrate=25,9%130ms

P80TPrate=83,2%

FPrate=21,3%0,75%

FTPrate=76,9%

FPrate=18,7%0,1Hz

A/PCVTPrate=78,7%

FPrate=18,7%17,25

EF

TPrate=69,7%

FPrate=31,0%190

52

Plan



2. Détection d’hypovigilance par analyse vidéo1. Analyse des différentes variables


3. Résultats


53

Détection par fusion floue des variables pertinentes

D50P80

A/PCVF

Fuzzification(D50)(P80)(A/PCV)(F)

vidéo

Dvidéo=« fatigué » si vidéo>0,5Dvidéo=« éveillé » sinon{

54

Plan



2. Détection d’hypovigilance par analyse vidéo1. Analyse des différents variables


3. Résultats


55

Résultats

Résultats meilleurs avec la logique floue qu’avec les variables seules (²McNemar=327,81>>²(1)) TPrate=81,4% et FPrate=13,1%

Indices:

•Fusion

•A50

•P80

•F

•A/PCV

56


Auteurs TPrate FPrate Technique Signal

Picot et al., 2009

81,4% 13,1%Fusion floue des paramètres D50,

P80, F et A/PCVEOG/Vidéo

Johns, 2007 75% 30% A/PCV uniquement Vidéo

Omi et al., 2008

84% 9%Régression multiple sur une

dizaine de paramètresEOG

Hu & Zheng, 2009

81% 17%SVM sur une dizaine de

paramètresEOG

Damousis et al., 2009

90% 30%Système flou fusionnant durée

fréquence et intervalle des clignements

Vidéo

57

Bilan

Caméra à 200fps permet d’obtenir D50, P80, A/PCV, F et EF avec la même précision que par EOG

D50, P80, A/PCV et F sont les plus pertinents

Détection par fusion de ces variables pertinentes


Performances: TPrate=81,4% et FPrate=13,1%

Détection d’hypovigilance par fusion des approches cérébrale et visuelle

59

Difficultés

Interaction entre EEG et vidéo

Synchronisation des approches développées

Obtention de données EEG et vidéo d’hypovigilance


60

Plan



3. Détection d’hypovigilance par fusion des approches cérébrale et visuelle1. Système de fusion

2. Résultats

61

Objectif

Hypovigilance caractérisée par l’activité cérébrale et l’activité oculaire

Fusionner les approches cérébrales et visuelles pour améliorer la pertinence de la détection

62

Présentation générale



mouvements d’yeux

0 Beta, pas d’alpha, pas de thêta

Normal



Normal



Lentou

Normal



Lentou

Normal

4 alpha et thêta entre plus de 10s

Lent

EEG Vidéo

Éveillé

Fatigué

Trèsfatigué

63

Méthode de fusion

DEEG

Dvidéo “très fatigué”

“fatigué”

“éveillé”

Dart

0

1

1

0

1

00 &

Dar

t=1

Fusion

DétectionEEG

Détectiond’artéfacts

Détectionvidéo S

ynch

roni

satio

n te

mpo

relleDEEG

Dart

Dvidéo

EEG

Vidéo

64

Plan



3. Détection d’hypovigilance par fusion des approches cérébrale et visuelle1. Système de fusion

2. Résultats

65

Résultats

Eveillé FatiguéTrès

fatigué

Eveillé 82,1% 14,0% 3,7%

Fatigué 14,5% 72,6% 16,7%

Trèsfatigué

3,4% 13,4% 79,6%

Eveillé FatiguéTrès

fatigué

Eveillé 75,2% 11,0% 1,8%

Fatigué 14,9% 72,6% 16,8%

Trèsfatigué

9,9% 16,4% 81,4%

Notre méthode Fusion « aveugle »

Éch. 5512 949 1096 Meilleurs résultats avec notre méthode Confirmés par le test de McNemar

(²McNemar=302,47>>²(1)) 80,6% de bonnes classifications sur 3 niveaux

Expert

Not

re s

ystè

me

66

Comparaison à la détection vidéo seule

Détection vidéo et détection des « très fatigué » par fusion concernent le même niveau d’hypovigilance

Forte diminution du taux de fausses alarmes Meilleurs résultats avec l’apport de l’information EEG

(²McNemar=428,62>>²(1))

Vidéo seuleTPrate=81,4%FPrate=13,1%

Vidéo + EEG:TPrate=79,6%FPrate=5,2%

67


Auteurs Résultats Données TechniqueNiveaux

d’HVNombre de

conducteurs

Picot et al., 2009

80,6% EEG et vidéoFusion floue et combinaison de

décisions3 20

Khardi & Hernandez-Gress, 2000

93%Mécaniques et

vidéoRéseau de neurones 2 10

Ji et al., 2006 r=0,95Vidéo et

environnementRéseaux bayésiens % 8

Su & Zheng, 2007

TPrate=71%FPrate=42%

Vidéo et mécaniques

Théorie de l’évidence 2 44

Conclusions et perspectives

69

Difficultés du problème

But: un système de détection d’hypovigilance par fusion des informations physiologiques et vidéo

Difficultés engendrées: Analyse et caractérisation des signaux EEG Caractérisation de l’hypovigilance à partir de la vidéo S’affranchir des différences interindividuelles Interaction entre EEG et vidéo Obtention de données d’hypovigilance Expertise de ces données

70

Solutions proposées

Approche EEG utilisant un seul canal

Approche vidéo par caméra rapide

Système de détection d’hypovigilance par fusion d’informations EEG et vidéo


Performant: 80% de bonnes détections de 3 niveaux d ’hypovigilance sur 20 conducteurs différents

71

Perspectives

À court terme:Validation sur une base de données EEG et

vidéo rapide synchronisée

À plus long termeAméliorer la détection EEGExplorer les possibilités offertes par la vidéoAjout des informations contextuellesBoucler ce système avec une approche orientée

véhicule

Merci de votre attention!

Détection d’hypovigilance chez le conducteur par fusion d’informations

physiologiques et vidéo

Soutenance de thèse d’ Antoine Picot

Lundi 9 novembre 2009

74

Paramètres EOG pertinentsParamètre Importance

Durée, A50 1(Caffier, Sensation), 3(Galley)

Tps ouverture 1(Caffier), 2(Galley,Sensation)

Tps fermeture 1(Sensation), 3(Galley, Caffier)

Fréquence 2(Sensation, Galley), 3(Caffier)

Lid closure param 1(Galley), 2(Sensation),

Lid opening param 1(Galley), 2(Sensation)

Perclos 1(Galley)

Amplitude 3(Galley, Caffier, Sensation)

1:très important, 2: important, 3:peu important

Détection dhypovigilance chez le conducteur par fusion dinformations physiologiques et vidéo Soutenance de thèse d Antoine Picot Lundi 9 novembre 2009.

Documents

lactivit crbrale et

dtection par fusion

dtection dhypovigilance

bilan dtection par fusion

clignements par

lactivit crbrale page

difficults dtection

veille et