P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 1 Estimation de mouvement et segmentation Patrice BRAULT IEF, Institut d’Electronique Fondamentale, CNRS UMR 8622, Département ACCIS, Paris-Sud University, 91405 Orsay, FRANCE. [email protected]http://braultp.free.fr : Estimation de mouvement par ondelettes spatio-temporelles adapt Partie II : Segmentation bayésienne par modèle de Potts-Markov dans le domaine des ondelettes (LSS) G P i
24
Embed
P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 1 Estimation de mouvement et segmentation Patrice BRAULT IEF, Institut.
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 1
Estimation de mouvement et segmentation
Patrice BRAULT
IEF, Institut d’Electronique Fondamentale, CNRS UMR 8622,
Partie I : Estimation de mouvement par ondelettes spatio-temporelles adaptées (IEF)
Partie II : Segmentation bayésienne par modèle de Potts-Markov dans le domaine des ondelettes (LSS)
GPi
P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 2
• Partie I : Estimation de mouvement (E.M.) par ondelettes spatio-temporelles.1. Etat de l'art : Compression vidéo, EM.
2. Construction d'ondelettes continues adaptées au mouvement. Transformation associée.
3. Application à deux séquences.
4. Performances comparées avec le calcul rapide du flot optique [C. Bernard, S. Mallat]
5. Conclusion et perspectives.
• Partie II : Segmentation d’image et de séquence
1. Modèle de markov caché et segmentation bayésienne dans le domaine des pixels
2. Segmentation incrémentale d’une séquence vidéo
3. Projection et classification dans le domaine des ondelettes par modèle de Potts avec voisinage d’ordre 2.
4. Conclusion et perspectives
Plan: Partie I
P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 3
Compression et estimation de mouvement (EM). 1/2
• Mise en correspondance de blocs (Block Matching)
Séquence Stefan
Codeur hybride orienté objet
1. Partitionnement en macroblocs (MB) 16x16
2. Codage temporel : redondance temporelle Mise en correspondance de blocs (BM, block-
matching)
3. Codage spatial : redondance spatiale DCT sur les MB compensés en mvt.
• Deux familles de codeurs (ou compression) : hybrides (MPEG, H264) et 2D+T
Sprite : compression forte
MV (VM Motion Vector)
VO : Video Object ( compression
faible)
MPEG4 : hybride, o.o. (orienté objet)
P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 4
Compression et estimation de mouvement. 2/2
• Approches actuelles par transformées en ondelettes (TO; WT)1. Filtrage post-CM (compensation de mvt) avec des ondelettes de Haar (motion-threading).
[J.Vieron, C.Guillemot, S.Pateux; TEMICS/IRISA]
1. Compression 2D+T avec CM (compensation de mouvement) et lifting. [J.W.Woods].
2. Calcul rapide de flot optique par projection et résolution des équations du flot sur une base d'ondelettes orthogonales. Complexité =O(N). [C.Bernard, S.Mallat]
• Approche de l'EM choisie Filtrage par TO continue spatio-temporelle adaptée au mvt (MTST-CWT) [origine : ondelettes DDM, galiléennes, 2D-CWT : M.Duval-Destin, JP.Antoine, R.Murenzi,
F.Mujica, JP.Leduc, JR. Corbett, M.Kong]But :
- EM par quantification des paramètres de mouvement - détection d'objet par le mouvement (vitesse), la position, l'orientation, l'échelle.
(* - projection de l'eqn du flot optique (problème mal posé) sur une base d'ondelettes orthogonales. - résolution en faisant l'hypothèse de séparation d'échelles : v = cte sur les 4 ondelettes de la base.
P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 5
Détection des vitesses par analyse spectrale Séquence "rectangles en translation uniforme"
FFT3D ) Détection des 3 vitesses horizontales (1, 3 et 10 pix/fr) et des 2 vitesses verticales (1 et 3pix/fr)
FFT3D
0
3 vitesses horizontales : 1, 3, 10 pix/fr.
3
1
10
13
101
3
2 vitesses verticales : 1, 3 pix/fr.
130
P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 6
Analyse du mouvement par ondelettes : propriétés
Toute transformation subie par un signal peut être détectée par une ondelette adaptée à cette transformation
• Propriété 1 : Dans l'intégrale de convolution exprimant la TO, la transformation A subie par un signal peut être transférée à l’ondelette.
• Propriété 2 : en 2D +T, le spectre d’un objet en mouvement est
décalé dans un plan
- se rapprochant du vecteur d’onde temporel pour des vitesses positives
- Proportionnellement au module de la vitesse.
P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 7
Groupe de transformations
• Les transformations suivantes sont applicables à une ondelette spatio-temporelle [M. Duval-Destin, A. Grossman, R. Murenzi 93] , [Leduc,Mujica, Murenzi, Smith 00], [J.P. Antoine, R. Murenzi, P. Vandergheynst, S.T.Ali 04].
1. Translation spatio-temporelle : choix intra et inter-trames de l'analyse
3. Rotation spatiale
• Représentations spectrales sur le support quasi-sphérique de l'ondelette de Morlet = gaussienne 3D dans Fourier
4. Adaptation à la vitesse (représentée selon Ox)
C=1
C=1
kt =
kx
ky
C=4
C=1/8
C=1
C=4
C=1/8
C=1
2. Changement d'échelle spatio-temporel
C >1
C < 1
P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 8
Transformations appliquées à l’ondelette de Morlet
• Ondelette de Morlet 2D+T dans le domaine direct.
• Version dans le domaine de Fourier :
•
FFT à enveloppe sphérique en 3D
• Difficulté : se représenter les nouveaux opérateurs par rapport à la TO continue classique, et comment en réaliser le codage ?
• Comment appliquer les opérateurs de transformation dans la relation de Morlet ?
P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 9
Sélectivité, séparabilité et choix particuliers
• Paramètre de sélectivité . • On cherche à renforcer l'anisotropie de l' ondelette de Morlet, au moyen de sa variance
• Relation finale de la MTSTWT dans le domaine de Fourier avec des ondelettes séparables
Domaine spectral pour kx :
Bloc de n trames
• Choix particuliers :- Choix de l'ondelette de Morlet : complexe, anisotrope, compacité temps/fréquence, mais oscillante.
) Cauchy [Antoine et al. 99]- Algorithme rapide "a trous" [Shensa] mais relation de double échelle car AMR.- Possibilité dans l'espace direct : velocity-tuned filters (mono-échelle) [Burns, Rogers ].
P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 05 10
Pseudo-code de la MTST-CWT
FFT 3D séquence s(x,t)
Relation spectrale de chaque ondelette
choix de
choix de l'anisotropie
Création de 3 vecteurs "vecteur d'onde", kx, ky et kt, pour toutes les positions
boucle échelle a boucle rotation
boucle vitesse c Produits, selon
IFFT pour la trame considérée
fin boucle c
fin boucle fin boucle a
Analyse dans le domaine direct par affichage selon les paramètres choisis. Ex :
P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 11
MTSTWT adaptée à la vitesse sur deux séquences
MTSTWT spectrale sur la séquence 2D "tennis" : 360 240 30 frames, 8 bits.
Affichage =6ms/trame Résultat : détection des différentes vitesse (balle, bord de table en zoom arrière) 10ms/trame
Bleu RougeVertPosition x
Vitesse (pix/fr)Position x
MTSTWT spectrale sur séquence de 3 gaussiennes 1D en déplacement (256 x 64fr).
Bleu1.4:1.08 pix/fr
Rougev = +1pix/fr
Vert-1 pix/fr
P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 12
Résultats et comparaison avec le calcul rapide du flot optique [C. Bernard, S. Mallat]
Vitesse de calcul (Calculs effectués sur un Xeon bi-processeur à 2.4gHz).
MTSTWT (spectrale) avec 3 ondelettes adaptées à 3 vitesses (3, 6, 10 pixels/fr) sur un bloc (360240) de 8 trames (séquence Tennis ) et à la plus haute résolution :
- PM : Intégration p(g) Approximation de Laplace (cas unimodal) ou MCMC
4
P.Brault Segmentation par modèle de Potts-Markov dans le domaine des ondelettes IEF 29 nov. 2005 17
Echantillonnage et MCMC
• Génération de N échantillons
• Estimateur de la loi, et des paramètres, calculé sur des valeurs significatives après un "temps de chauffe" de L échantillons :
• Moyenne a posteriori (PM) pour les variables, ou paramètres, continus
• Mode de l'histogramme pour les variables discrètes
• Initialisation aléatoire puis échantillonneur de Gibbs.
n itérations pour chaque site(*) r(i,j).
(*) Echantillonnage "en parallèle" avec deux ss-ensembles de sites indépendants.
• Coût de segmentation / K classes• Initialisation aléatoire ) innovations
P.Brault Segmentation par modèle de Potts-Markov dans le domaine des ondelettes IEF 29 nov. 2005 18
Segmentation bayésienne de séquences et E.M.
2) Segmentation avecinitialisation :
K=4, itermax(tr1)=20, itermax(tr2:tr6) =6
5) - Calcul du VM (vecteur mouvement) sur le "centre de masse" de l’objet .
3) - Sélection d'une région par sa classe
- Masse (nbre de pixels de région) , critère de reconnaissance
• 2ème apport : Calcul du vecteur mouvement pour une région : "region-matching"
1) Séquence originale 320240 6 3) Itérations entre 2 trames 1 et 2 : convergence atteinte à la 4ème
itération
tr2
tr1tr1 tr2tr2
tr6 tr6
tr1
• 1er apport : Segmentation incrémentale (utilisant la corrélation entre trames) par la méthode BPMS (domaine direct) :
) L'initialisation n'est plus aléatoire
P.Brault Segmentation par modèle de Potts-Markov dans le domaine des ondelettes IEF 29 nov. 2005 19
Segmentation dans le domaine des coefficients d’ondelettes
Histo. de l’image originale et des coeffs. d’échelle aJ
Histo. des coeffs d’ondelettes dj :
2 gaussiennes K=2 classes
Log/log
• Décomposition multirésolution• Classification en 2 classes : K=2, des coefficients d’ondelette.
OWT 2 échellesImage originale
• Transformée orthogonale (OWT) et propriétés statistiques des coefficients d’ondelettes
P.Brault Segmentation par modèle de Potts-Markov dans le domaine des ondelettes IEF 29 nov. 2005 20
Nouveau modèle du champ de Potts pour une TO orthogonale
• 3ème apport : on introduit une nouvelle expression du champ de Potts-Markov (PMRF) pour s'adapter à l'orientation privilégiée des ss-bandes diagonales.
• Le nouveau champ utilise une combinaison des voisinages d'ordre 1 et d'ordre 2
Echantillonnage aussi réalisé "en parallèle" avec deux ss-ensembles différents
P.Brault Segmentation par modèle de Potts-Markov dans le domaine des ondelettes IEF 29 nov. 2005 21
Algorithme de segmentation dans le domaine ondelettes (2/2)
j=J j=J-1 j=0
2. Segmentation incrémentale dans le domaine ondelettes
3. Filtrage
4. Reconstruction et reclassification (K=6)
1. OWT
Image satellite bruitée
P.Brault Segmentation par modèle de Potts-Markov dans le domaine des ondelettes IEF 29 nov. 2005 22
Performances de la segmentation WBPMS
a) Mosaïque 1024x1024, 8bits
Segmentation de toutes les sous-bandes aJ /dj
• 1) Image test : mosaïque homogène texmos1024 bruitée
• 2) Exemple : Segmentation de la mosaïque de test sur J= 2 niveaux
• 3) Performances comparées de la segmentation WBPMS
c) Histogramme
Reclassification et segmentation finale
Segmentation aJ
Décomposition sur J=2 niveaux
Histogramme bruité après reconstruction
P.Brault Estimation de mouvement et segmentation IEF 29 nov. 2005 23
• Contribution personnelle
• Application d'une méthode de segmentation bayesienne de manière "incrémentale" conduisant à une accélération de la segmentation de séquences.
• EM : block-matching "region-matching"
• Adaptation de la méthode initiale pour sa projection dans le domaine des ondelettes orthogonales, conduisant à une accélération de la vitesse de traitement.
• Perspectives :
• EM par region-matching et construction de trajectoires des objets segmentés.
• Segmentation et EM basée région, avec multirésolution.
• Publications :
1. - [Brault and Djafari.], WSEAS Transactions on Mathematics, 2005.
2. - [Brault and Djafari], MaxEnt05-AIP, Darmstadt, 2005.
3. - [Brault and Djafari], Colloque Bouyssy (sans actes), 2005.
4. - [Brault and Djafari], Journal of Electronic Imaging, 2005.
Conclusion et perspectives partie II
P.Brault Estimation de mouvement par ondelettes spatio-temporelles IEF 29 nov. 2005 24