-
Introduction Vue globale Flot optique Occlusions Segmentation
Carte de profondeur
Génération automatique de cartes de profondeurrelative par
utilisation des occlusions dynamiques
Louiza Oudni, Carlos Vázquez, Stéphane Coulombe
Université du QuébecÉcole de technologie supérieure
Département de génie logiciel et des TI
1/12Occlusions pour la conversion 2D à 3D
-
Introduction Vue globale Flot optique Occlusions Segmentation
Carte de profondeur
1 Introduction
2 Vue globale
3 Flot optique
4 Calcul des occlusions
5 Segmentation
6 Calcul de l’ordre
2/12Occlusions pour la conversion 2D à 3D
-
Introduction Vue globale Flot optique Occlusions Segmentation
Carte de profondeur
Mise en contexte
Les téléviseurs 3D n’ont pas eu tout le succès escompté.
Obstacle rencontré ? : Manque de contenu 3D
Peu de contenu 3D
Manque d’intérêt pour la 3D
Ralentissement de l’industrie de la 3D
Une solution ?Conversion automatique de vidéo 2D à 3D
3/12Occlusions pour la conversion 2D à 3D
-
Introduction Vue globale Flot optique Occlusions Segmentation
Carte de profondeur
Passage de la 2D à la 3D
Que manque-t-il à la 2D pour être 3D ?L’information de
profondeur
L’algorithme Depth-Image Based Rendering (DIBR), permetde
générer du contenu 3D à partir de contenu 2D et de laprofondeur
Contenu 2D
Estimation deprofondeur
Carte de profondeur
Algorithme DIBR Contenu 3D
Il faut donc estimer la profondeur du contenu 2D !
4/12Occlusions pour la conversion 2D à 3D
-
Introduction Vue globale Flot optique Occlusions Segmentation
Carte de profondeur
Indices de profondeurs
Des indices de profondeurs sont présents dans du contenu 2D
etrendent la conversion automatique 2D à 3D possible. On peutciter
:
Des indices de profondeur statiques : Les perspectiveslinéaires,
occlusions statiques, taille connue des objets, brumeatmosphérique
. . .Des indices de profondeur dynamiques : Parallaxe demouvement,
occlusions dynamiques . . .
Avantages des occlusions :Un indice de profondeur fiable et
présent dans tout type de scène
5/12Occlusions pour la conversion 2D à 3D
-
Introduction Vue globale Flot optique Occlusions Segmentation
Carte de profondeur
Vue globale
L’approche suivie est inspiréepar celle de Salembier et
Palou(2014) et comprend lesaméliorations :
Le flot optique utilisé estune version modifiée del’Epic-flow :
les contourssont préservés et il y acohérence entre le flot enavant
et en arrièreLe calcul des occlusions esteffectué plus
simplementgrâce aux propriétés du flotoptique utilisé.
trametraitée
t
tramet − 1
tramet + 1
flot(t − 1)→ t
flott → (t − 1)
flotsoptiques
avant/arrière
flot(t + 1)→ t
flott → (t + 1)
flotsoptiques
avant/arrière
Partition initiale
Arbre binairede partition
Elagage/segmentation
Carte de pro-fondeur relative
Pixelscachés
Pixelsnouvellement
apparus
Calcul des Occlusions
6/12Occlusions pour la conversion 2D à 3D
-
Introduction Vue globale Flot optique Occlusions Segmentation
Carte de profondeur
Epic-flow
L’Epic-flow est une méthode de calcul du flot optique qui a
pouravantage de préserver les contours, mais n’assure pas
lacohérence des mouvements avant et arrière.
Image I1
Image I2
ContoursC1
Correspondance1 → 2
Régions deVoronoi 1
Interpolation denseet
minimisation d’énergie
Flot optique1 → 2
Étapes de l’Epic-flow
7/12Occlusions pour la conversion 2D à 3D
-
Introduction Vue globale Flot optique Occlusions Segmentation
Carte de profondeur
Epic-flow modifié
Des modifications apportées à l’Epic-flow, ont permis de rendre
leflot optique cohérent avant-arrière.
image I1
image I2
Contours C1
Contours C2
Correspondances1 → 2
Correspondances2 → 1
Correspondances1 ↔ 2
Régions 1
Régions 2
Interpolation denseet
minimisation d’énergie
Interpolation denseet
minimisation d’énergie
Correspondanceentrerégions
Flot optique1 → 2
Flot optique2 → 1
Étapes de l’Epic-flow modifié8/12
Occlusions pour la conversion 2D à 3D
-
Introduction Vue globale Flot optique Occlusions Segmentation
Carte de profondeur
Calcul des occlusions
Un pixel p est considéré caché à la trame t + 1 par rapport à
latrame t s’il vérifie les trois conditions :
Il n’y a pas, au point p, cohérence entre le mouvement
avantwt→(t+1) et arrière w(t+1)→t .p est proche d’un contour.Les
voisins de p selon la direction du gradient du contour à p,déplacés
par le mouvement avant wt→(t+1) s’approchent dept+1. Avec pt+1 = p
+ wt→(t+1)(p).
Si pc est un pixel caché, alors pcret = pct+1 + w(t+1)→t(p
ct+1) est le
pixel de la trame t, qui le cachera à la trame t + 1.
9/12Occlusions pour la conversion 2D à 3D
-
Introduction Vue globale Flot optique Occlusions Segmentation
Carte de profondeur
Segmentation
La segmentation est effectuée de façon similaire à l’approche
Salembier etPalou (2014)
1 Un arbre de partition binaire estformé en fusionnant
itérativementdes régions. À chaque itération,les deux régions les
plus similairessont fusionnées, selon unemétrique considérant la
couleur,le mouvement, la taille et laforme des régions.
2 Un élagage de cet arbre permetd’obtenir une
segmentation.L’élagage minimise le nombre depaires (pc , pcret)
contenu dans uneseule région.
10/12Occlusions pour la conversion 2D à 3D
-
Introduction Vue globale Flot optique Occlusions Segmentation
Carte de profondeur
Une fois la segmentation obtenue, les régions sont ordonnées
àl’aide des paires (pc , pcret).Plus le nombre de pixels pc
appartenant à une région Ra et leurspcret respectifs appartiennent
à une région Rb est grand, plus il estprobable que Rb soit en avant
de Ra.
Segmentation Carte de profondeur relative
11/12Occlusions pour la conversion 2D à 3D
-
Introduction Vue globale Flot optique Occlusions Segmentation
Carte de profondeur
Références
Revaud, Jerome, Philippe Weinzaepfel, Zaid Harchaoui,Cordelia
Schmid, Jerome Revaud,Philippe Weinzaepfel, ZaidHarchaoui et
Cordelia Schmid Epicflow Edge. 2015. «Epic-Flow : Edge-Preserving
Interpolation of Correspondencesfor Optical Flow ».Cvpr2015, p.
1164–1172Salembier, Philippe et Guillem Palou. 2014. « Depth
orderestimation for video frames using motion occlusions
».IETComputer Vision, vol. 8, n.2, p. 152–160
12/12Occlusions pour la conversion 2D à 3D
IntroductionVue globaleFlot optiqueCalcul des
occlusionsSegmentationCalcul de l'ordre