Indexation de squences de descripteurs
Indexation de squences de descripteursRomain Tavenard
Jury :Marie-Odile CORDIER, Univ. Rennes IPhilippe JOLY, Univ. P.
Sabatier (Toulouse), RapporteurHerv GLOTIN, Univ. Sud-Toulon-Var,
RapporteurStphane MARCHAND-MAILLET, Univ. GenvePatrick GROS, INRIA
RennesLaurent AMSALEG, CNRS /
IRISA1ProblmatiquesExemplesShazamReprises musicalesQuery by
Humming
Problmatiques induitesComparerRechercher
Application aux grands volumes de donnesCompromis cot /
pertinence4/07/2011Indexation de squences de descripteurs - Romain
Tavenard2Des mots simples !2Comparer :Spcificits des
squencesDistorsions temporelles ou value-mtriques
Sous-squences
4/07/2011Indexation de squences de descripteurs - Romain
Tavenard3Squence : suite lements dans laquelle lordre fait
sensExpliquer traits verticaux3Rechercher
:Indexation4/07/2011Indexation de squences de descripteurs - Romain
Tavenard4IndexDocument XDocument YDocument ZBaseListe de
rsultats4PlanRecherche de squencesRduction du cot de
comparaisonRduction du cot de recherche
Recherche de sous-squencesRecherche de plus proches voisins
locaux efficaceRobustification temporelle
Ncessit de lutilisation de lAlignement DynamiqueIndexation de
squences de descripteurs - Romain Tavenard54/07/2011Proposition de
reduction des couts pour comparaison de 2 sequences utilisant
AD5Dynamic Time Warping (DTW)Principe de baseEn
pratique4/07/2011Indexation de squences de descripteurs - Romain
Tavenard6 gauche : trouver lalignement complet le meilleur droite :
Expliquer matricetrouver le chemin de cot minimal (cot = somme des
cases traverses -> on cherche mettre en correspondance des
lments qui se ressemblent)ClicDiagonaleClica nous donne une
similarit entre deux squences -> recherche dans une base =
comparer tout6DTW & Bornes infrieures PrincipeUtilit des bornes
infrieures[Keogh2005]4/07/2011Indexation de squences de
descripteurs - Romain Tavenard7S1S2S3S4Distance la
requteBIDTWObjectif : pr-traitement pour pas calculer la DTW entre
la Q et tout gauche :Dabord, calculer LB pour toutes les
squencesEnsuite, prendre les seq par ordre de LB croissant car on
espre se focaliser sur les petites DTWOn voit quavec S2 on limine
dj S1+ LB est proche de DTW, + gnial -> ajustementOn calcule
toutes les DTW ncessaires pour tre srs davoir le PPV exact7DTW
& Bornes infrieures LimitesRecherche exacte + Cot faible de la
borne Mauvais ajustement Calculs de DTW trop
nombreux4/07/2011Indexation de squences de descripteurs - Romain
Tavenard8
20 Jeux de donnes classiques pour le domaine (UCR)Jeux de donnes
en xLB_KeoghOn veut donc amliorer lajustementSachant quon ne veut
pas augmenter le cot de la borne, on dcide de faire de
lapproximatif cf indexation multidimensionnelle. Objectif : perdre
un peu en qualit pour gagner beaucoup en temps de
calcul8Apprentissage de la borne infrieure approximativePour un
ensemble de paires de squences dapprentissage, on calcule :
On en dduit :4/07/2011Indexation de squences de descripteurs -
Romain Tavenard9BIBSDTWpBIABIBS01Utilisateur choisit p : proba de
surestimer la DTW, et on en dduit la borne inf approxIntrt : en
pratique la courbe bleue est dcale sur la droite et trs
pentuePourquoi cela fonctionne :Car rpartition de DTW dans
lintervalle due dynamique des squencesRptable sur la base
9Rsultats exprimentauxJeux de donnes UCR Time Series20 jeux de
donnesChaque jeu de donnes spar entre :1 jeu dapprentissage (de 24
1 000 squences)1 jeu de test (de 28 6 174 squences)Squences de mme
taille dans chaque jeu de donnestiquettes de classification
fourniesEx: Jeu de donnes EEG3 tats des rats tudis (veill + 2
phases de sommeil)4/07/2011Indexation de squences de descripteurs -
Romain Tavenard10Mme jeu de donnes que plus hautEnsemble de jeux de
donnes de provenance diversesJeu de donnes de rfrence dans le
domainetiquettes de classif : squences runies par similarit ->
exemple ?10
Rsultats exprimentauxAjustement
Recherche de plus proches voisins4/07/2011Indexation de squences
de descripteurs - Romain
Tavenard11MtriqueCot1-PPVClassificationKeogh1,0001,0000,918BIA
p=0,050,1650,7150,913Dire que ce sont les critres de qualit
classiques pour ce jeu de donnes & ce domaineLire le tableau
verticalement1-PPV : taux de PPV exacts classs en premire
positionClassif : attribuer ltiquette du PPV11
DTW & IndexationArbre dindexation : iSAX
[Shieh2008]Sous-chantillonnageQuantificationSquences stockes dans
les feuillesRecherche = parcours des feuilles bas borne
infrieure
4/07/2011Indexation de squences de descripteurs - Romain
Tavenard12{0*,0*}[0*,1*]{00,1*}{01,1*}iSAX : sous-chantillonage
temporel : ici 2 lments par squenceQuantification avec raffinement
quand on parcourt larbre- insister sur le fait quune borne inf est
utilise pour la slection des noeuds visiter
Rsultats :- Comparaison LB Approx, seule mthode approximative
existant pour iSAX- Un seul point de fonctionnement, cf manuscrit
pour autres points12
DTW & IndexationRsultats
Dans le manuscritkPAAk-meansquilibrage4/07/2011Indexation de
squences de descripteurs - Romain Tavenard13MthodeCot1-PPVShieh
exacte1,0000,789Shieh approximative0,0340,127BIA0,0040,146Rsultats
:- Comparaison LB Approx, seule mthode approximative existant pour
iSAX- Un seul point de fonctionnement, cf manuscrit pour autres
points13PlanRecherche de squencesRduction du cot de
comparaisonRduction du cot de recherche
Recherche de sous-squencesRecherche de plus proches voisins
locaux efficaceRobustification temporelle
Ncessit de lutilisation de lAlignement DynamiqueIndexation de
squences de descripteurs - Romain Tavenard144/07/2011Proposition de
reduction des couts pour comparaison de 2 sequences utilisant
AD14Recherche de sous-squencesContexte temporelSous-squence
commune
Cas dapplication : recherche de reprises musicalesStructure du
morceau altreModification locale de la partition joue (insertion
darpges, )4/07/2011Indexation de squences de descripteurs - Romain
Tavenard15Pk pas LBKeogh ?diagonaleContexte temporelOn a deux
squences longuesOn cherche trouver la plus grande sous partie
communeCover :Tout le monde reconnat que cest la mme chansonMais
cest trs diffrentExpliquer pourquoi cest typique de sous
seq15Recherche de reprises musicales[Serr2009] : comparaison de 2
squencesMatrice de similarit binarise (relation est un des plus
proches voisins de et sa rciproque)Algorithme de Plus Longue
Sous-squence Commune
4/07/2011Indexation de squences de descripteurs - Romain
Tavenard16RequteChanson XRelation PPV locale la chansonSi les deux
chansons nont rien voir, on trouvera quand mme des PPV, mme avec
des grandes valeurs de distancePas dindexation car gens de
communaut signal & musiquePas de la DTW car on cherche pas un
chemin qui traverse toute la matrice, seulement le plus long chemin
dans la matrice -> alignement dynamique aussiTrs coteux (les 2
tapes + pas de filtrage)16Recherche de plus proches voisins
locauxUtilisation de la basePlus proches voisins dans la base
Amlioration dune mthode de ltat-de-lartIVFADC
[Jgou2011]Estimation de distancesIVFADC+RRaffinement efficace de
lestimationPassage lchelle (valu sur 1milliard de descripteurs)
Indexation de squences de descripteurs - Romain
Tavenard174/07/2011Utilisation de la base : les PPV correspondent
forcment des valeurs petites de distanceAlgo dindexation :Pour
chaque lment de la requte, on cherche les PPV dans la baseAlgo
approx (cot)
17Serr & IVFADC+R4/07/2011Indexation de squences de
descripteurs - Romain Tavenard18RequteChanson XChanson YChanson
ZRequteRappeler que ici les points bleus sont calculs par rapport
la basetape peu coteuseEnsuite on carte toutes les chansons telles
que YNe reste que quelques chansons comme X et ZX est
temporellement cohrente avec la requte, + que Z18valuation
exprimentaleJeu de donnesYolita (remixes de Madonna)2 018 chansons
dans la base (~8M descripteurs), 82 requtesChromagrammes (dimension
12) concatns par groupes de 5 (dimension 60)Fentre danalyse : 200
msRecouvrement entre fentres : 100 ms
4/07/2011Indexation de squences de descripteurs - Romain
Tavenard19
- Jeu de donnes issu de ltat-de-lart19valuation
exprimentale4/07/2011Indexation de squences de descripteurs -
Romain Tavenard20
Dfinir Recall@rdj, sans temporel, on est trs bonsEn utilisant
temporel que pour raffinement, on est meilleur que
SOTA20PlanRecherche de squencesRduction du cot de
comparaisonRduction du cot de recherche
Recherche de sous-squencesRecherche de plus proches voisins
locaux efficaceRobustification temporelle
Ncessit de lutilisation de lAlignement DynamiqueIndexation de
squences de descripteurs - Romain Tavenard214/07/2011Proposition de
reduction des couts pour comparaison de 2 sequences utilisant
AD21Alignement dynamiqueUtilisation frquente pour comparer des
squences
Est-ce ncessaire ? Car cest coteux !
lment de rponseReprises musicales : Oui
Deux autres cas de figuresRecherche de quasi-rplicats
(vido)Recherche de rptitions altres (audio)4/07/2011Indexation de
squences de descripteurs - Romain Tavenard22Je pense quePour tayer
mon opinion, deux expriences22Approches rfrentesPas dinformation
temporelleSacs de motsInformation temporelle localeSacs de mots
n-grammes4/07/2011Indexation de squences de descripteurs - Romain
Tavenard23
- Faire reference Cover : on a vu que des 5-grammes marchaient
bien23Recherche de quasi-rplicats (vido)CadreDformations uniquement
value-mtriquesCorpusJeu dapprentissage : 1 jour de flux TV (France
2)Base : 2 jours de flux TV (France 2) distincts du jeu
dapprentissageFlux dcoup en segments de 5 secondesRequtes : 33
jingles annonant la publicit France 2Descripteurs1 image 1
Signature binaire 64-bit [Naturel2005][Chantamunee2008] TRECVID,
par exemple
4/07/2011Indexation de squences de descripteurs - Romain
Tavenard24Recherche de quasi-rplicats (vido)
4/07/2011Indexation de squences de descripteurs - Romain
Tavenard25Dformations du flux non temporellesAlignement dynamique =
ide coteusen-grammes pnalissPourquoi les n-grammes sont pourris
:Descripteurs suffisamment discriminantsDu coup, temporel pas
ncessaireDescripteurs de plus grande dimension quantifies en un
nombre fixe de symboles : erreur de quantification +
forte25Recherche de rptitions altres (audio)CadreDformations
temporelles fortes : un mot est rpt par plusieurs
locuteursCorpusJeu dapprentissage : 8 heures de flux radio (France
Info)Base : 1 heure de flux radio (France Info)Flux dcoup en
segments de 5 secondesRequtes : 78 enregistrements de
motsDescripteursMel Frequency Cepstral Coefficients (dimension
12)[Muscariello2009,Fraihat2010] par exemple4/07/2011Indexation de
squences de descripteurs - Romain Tavenard26Recherche de rptitions
altres (audio)4/07/2011Indexation de squences de descripteurs -
Romain Tavenard27Alignement dynamique largement utilisSacs de mots
bruts insuffisants
Information temporelle faible suffisante
n-grammes utilesCar ils apportent plus de discrimination, cf
exemple27Faiblesses de lalignement dynamique4/07/2011Indexation de
squences de descripteurs - Romain Tavenard2828Alignement dynamique
etmodle de dformationsVariabilit temporelle de type
insertions/suppressions Alignement dynamique OKExemple : Reprises
musicalesVariabilit temporelle dun autre type Alignement dynamique
questionnableExemple : ParoleAbsence de variabilit
temporelleAlignement dynamique inadaptExemple : Recherche de
quasi-rplicats tudier la nature des transformations applicables
avant de choisir une mtrique de similarit4/07/2011Indexation de
squences de descripteurs - Romain Tavenard29- Insister sur
conclusion29Conclusion gnralePropositions drives de lalignement
dynamique dans deux cadres distinctsDTW classique entre squences
Mthode de rduction de cot de calcul au dtriment de
lexactitudeRecherche de sous-squences communesPremire tape de
filtrage rapide avec peu dinformation temporelleRobustification
utilisant lalignement dynamique
Limites de lalignement dynamiqueImportance de la nature des
dformations considres4/07/2011Indexation de squences de
descripteurs - Romain Tavenard30Perspectives - 1Modles de
dformations temporelles plus adaptes au cas dutilisationTravail
entam sur la recherche de reprises musicales
Attaquer le problme des grandes valeurs dans la matrice de
similaritDTW symbolique pour des donnes numriquesAnalogie avec les
mthodes robustes en statistiques4/07/2011Indexation de squences de
descripteurs - Romain Tavenard3131Perspectives - 2Dcouverte de
motifsNcessit dune approche plusieurs niveauxIntrt des
reprsentations peu coteuses intgrant peu dinformation
temporelle
Classificationcf. recherche de reprises qui est proche de la
classificationSupervise : Mthodes noyau & DTWNon supervise :
k-means & DTW
4/07/2011Indexation de squences de descripteurs - Romain
Tavenard3232BonusLBUB vs. IDDTWIterative Deepening Dynamic Time
WarpingEstimation de la DTW des niveaux de rsolution
croissantsFiltrage progressif des squences4/07/2011Indexation de
squences de descripteurs - Romain Tavenard33
BonusDTW & pnalisationRecherche de mots parls[Fraihat2010]
suggre de pnaliser la diagonale4/07/2011Indexation de squences de
descripteurs - Romain Tavenard34
BonusVido & courts extraits
4/07/2011Indexation de squences de descripteurs - Romain
Tavenard3535BonusSquences illustratives4/07/2011Indexation de
squences de descripteurs - Romain Tavenard36
Recherche approximative de plus proches
voisins4/07/2011Indexation de squences de descripteurs - Romain
Tavenard37S1S2S3S4DTWS1S2S3S4DTWS1S2S3S4DTWLBLBUBDTW loral : point
sur ce quon va faire : utiliser la mme mthode que pour les bornes
exactes, mais avec des bornes approximatives, montrer que dans
certains cas, on se plantera (mmes exemples que plus haut)
37