Ανάλυση Εικόνας και Όραση Υπολογιστών : Θεωρία και Εφαρμογές στην Αποκατάσταση Αρχαίων Τοιχογραφιών Γεώργιος Παπανδρέου Ομάδα Όρασης Υπολογιστών, Επικοινωνίας Λόγου και Επεξεργασίας Σήματος Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών Εθνικό Μετσόβιο Πολυτεχνείο http://cvsp.cs.ntua.gr Υποστήριξη διδακτορικής διατριβής
76
Embed
ΑνάλυσηΕικόναςκαιΌρασηΥπολογιστών ...cvsp.cs.ntua.gr/gpapan/Papandreou_PhD_ntua-slides09.pdf · 2009-07-30 · Modeling and Speech Acoustic Information
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Ανάλυση Εικόνας και Όραση Υπολογιστών: Θεωρία και Εφαρμογές στην Αποκατάσταση
Αρχαίων Τοιχογραφιών
Γεώργιος Παπανδρέου
Ομάδα Όρασης Υπολογιστών, Επικοινωνίας Λόγου και Επεξεργασίας ΣήματοςΣχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών ΥπολογιστώνΕθνικό Μετσόβιο Πολυτεχνείοhttp://cvsp.cs.ntua.gr
Υποστήριξη διδακτορικής διατριβής
2
Περιεχόμενα διδακτορικής διατριβής
Έναρξη διατριβής: Νοέμβριος 2003Ανάλυση εικόνας και όραση υπολογιστών
Ενδοσυμπλήρωση και κατάτμηση με τεχνικές μερικώνδιαφορικών εξισώσεωνΠολυκλιμακωτές αναπαραστάσεις σημάτωνΣτατιστική μοντελοποίηση εικόνας στο πεδίο των κυματιδίωνΒασική εφαρμογή: Αποκατάσταση αρχαίων τοιχογραφιών
Συνδυασμένη οπτική-ακουστική μοντελοποίηση φωνήςΟπτική-ακουστική μοντελοποίηση ομιλίας και τεχνικές γιαβέλτιστη σύμμειξη πολυτροπικών σημάτωνΜοντέλα όρασης υπολογιστών για περιγραφή προσώπου
3
(Μέρος Ι) Τοιχογραφίες στην Ανασκαφή Ακρωτηρίου Θήρας
4
Πρόγραμμα ΠΕΝΕΔ
Συμμετέχοντα ιδρύματα και επικεφαλείς ερευνητέςΣΗΜΜΥ - ΕΜΠ
Π. Μαραγκός (Ε.Υ.), Κ. ΤζαφέσταςΑνασκαφή Θήρας
Χ. Ντούμας, Α. ΒλαχόπουλοςΑρχιτεκτονική Σχολή ΑΠΘ
Κ. ΠαλυβούΠανεπιστήμιο Ιωαννίνων, Τμήμα Ιστορίας & Αρχαιολογίας
Ενδοσυμπλήρωση (inpainting). Ορισμός:Παρεμβολή τιμών σε ελλειπούσες περιοχέςμιας εικόνας, δεδομένων των τιμών στιςορατές περιοχές της, με αξιοποίηση γνώσηςσχετικά με τη συνήθη μορφή φυσικών εικόνων.
Μοντέλα που ενσωματώνουν:Διαδικασία αλλοίωσης της εικόνας (μέτρηση)
Κανονικότητες φυσικών εικόνων (πρότερη γνώση)
Συγκερασμό μέτρησης & πρότερης γνώσης (σύμμειξη)
24
Ενδοσυμπλήρωση & ανθρώπινη οπτική αντίληψη
Εικόνες: 2-Δ όψεις του φυσικού κόσμουΟπτική αντιστροφή έντονη αμφισημία
Μηχανισμοί κανονικοποίησης
Ασύνειδος συμπερασμός (Helmholtz, 19ος αι.)
Ανθρώπινη όραση & συμπλήρωσηπληροφορίας
Τυφλό σημείο/σκοτώματα αμφιβληστροειδούς
Απατηλά περιγράμματα/αντιληπτική οργάνωση
Κατανόηση/οικονομική περιγραφή εικόνας
Λειτουργίες χαμηλού-μέσου-υψηλού επιπέδουόρασης
κλείσιμο
τρίγωνο Kanizsa
τυφλό σημείο
Pessoa et al. Finding out about filling-in, Beh. Brain Sc, 1998
25
Περιοχές εφαρμογής & σχετιζόμενες τεχνικές
Περιοχές εφαρμογήςΚινηματογράφος: αποκατάσταση φιλμ σε ταινιοθήκες και ύστερηεπεξεργασία ταινιών/ειδικά εφέ
Μη-παραμετρικές δεδομενοστρεφείς τεχνικές βασισμένες σε υποδείγματαΕξανλητική αναζήτηση ομοειδών γειτονιών για «αντιγραφή & επικόλληση»εικονοστοιχείων ή μπλοκ της εικόναςΙδιαίτερα ικανοποιητικά οπτικά αποτελέσματα
Popat and Picard (1997), De Bonet (1997), Efros and Leung (1999), Criminisi et al. (2003), …
Τεχνικές μεταβολικού λογισμού και ΜΔΕΔιάχυση περιεχομένου εικόνας κατά μήκος δομικών της στοιχείων
Masnou and Morel (1998), Bertalmio et al. (2000), Chan and Shen (2001), …
Συνεισφορά: επιτάχυνση μεθόδων ΜΔΕ με πολυπλεγματικούςαλγορίθμους
Παραμετρικά πιθανοτικά μοντέλαΠεριγράφουν και αναπαράγουν βασικές στατιστικές ιδιότητες εικόνωνΠεριγραφή κυρίως στο πεδίο κάποιου μετασχηματισμού «κυματιδίων»
Zhu and Mumford (1997), Portilla and Simoncelli (2000), …Elad et al. (2005), Fadili and Starck (2005), Guleryuz (2006), Hua and Orchard (2007), …
Συνεισφορά: βελτιωμένο πιθανοτικό μοντέλο στο πεδίο κυματιδίων πουαξιοποιεί διακλιμακικές εξαρτήσεις μεταξύ συντελεστών κυματιδίων
27
(Μέρος ΙΙΙ) Πολυπλεγματικοί Αλγόριθμοι για ΜΔΕΕνδοσυμπλήρωσης & Κατάτμησης
28
Μοντέλα μερικών διαφορικών εξισώσεων στην όρασηυπολογιστών: Χώροι κλίμακας
div( )u
ut
∂= ∇
∂div( )
u ut u
∂ ∇=
∂ ∇
Gau
ssia
n απ
όγραμμική
διάχυση
Μη-γραμμική
ανομοιογενής
διάχυση
Μη-γραμμική
ολικής
μεταβολής
div( ( ) )u
g u ut
∂= ∇ ∇
∂
29
ΜΔΕ και ελαχιστοποίηση ενέργειας για ενδοσυμπλήρωση
Στενή σχέση ΜΔΕ & μεταβολικού λογισμού (Euler-Lagrange)
2 20min ( ) ( )Eu u u u dxμ
Ω= ∇ + −∫∫ 0div( ) ( )
uu u u
tμ
∂= ∇ − −
∂
20min ( ) ( )TVu u u u dxμ
Ω= ∇ + −∫∫ 0div( ) ( )
u uu u
t uμ
∂ ∇= − −
∂ ∇
Ενδοσυμπλήρωση-Κανονικοποίηση: Το είδος του συναρτησιακούκαθορίζει τι θεωρούμε «τυπική εικόνα»
Ενέργεια «μεμβράνης»: ευνοεί ιδιαίτερα ομαλή ανακατασκευή
Συναρτησιακό ολικής μεταβολής: επιτρέπει ακμές στην εικόνα
Ενδοσυμπλήρωση-Μέτρησηανάλογα με ύπαρξη/πιστότητα παρατήρησης( , )x yμ μ=
όροικανονικο-ποίησης
όροιμέτρησης
30
ΜΔΕ ανισοτροπικής διάχυσης
0div( ) ( )u
D u u ut
μ∂
= ∇ − −∂
Γενίκευση: από βαθμωτό συντελεστή διάχυσης σε τανυστή διάχυσηςΚαλύτερη συνέχιση ακμών σε ενδοσυμπλήρωση (+)
Ψεύδεργα «ιμπρεσιονιστικού» τύπου (+/-)
δομικόςτανυστής
τανυστήςδιάχυσης
31
Κατάτμηση με ενεργά περιγράμματα και αναπαράστασηεπιπεδοσυνόλων
Αλληλεξαρτήσεις μεταξύ κλιμάκωνΑλληλουχίες από Gaussian scale mixtures
Κρυφό δένδρο Markov
Σύγκριση με βιβλιογραφία που συνδυάζεικυματίδια & ενδοσυμπλήρωση:Προηγούμενες εργασίες: κυρτωτικές κατανομές
Συνεισφορά μας: + μοντελοποίηση εξαρτήσεων
1L
51
Δομή κρυφού δέντρου Markov στο πεδίο μιγαδικώνκυματιδίων
52
Δομή κρυφού δέντρου Markov στο πεδίο μιγαδικώνκυματιδίων
53
Κρυφό δέντρο Markov (HMT) στο πεδίο κυματιδίων
0q
1q 2q
5q 6q4q3q 4y3y
1y
0y
2y
6y5y
tq διακριτή κρυφή μετα-βλητή/ενεργό μείγμα
ty συντελ. κυματιδίου
01
( )p tt
T
q q qt
P q π α=
= ∏
0
( | ) ( ; , ) ( ; , )t t
T
q q t q qt
P y q N y N yμ μ=
= Σ = Σ∏ , , , j iθ π α μ= Σ
παράμετροι μοντέλου
Crouse et al. (1998)
tp γονιός κόμβου t1T + πλήθος κόμβων
Q κρυφές καταστ.
2-Δ
1-Δ
54
Κρυφά δέντρα Markov: Βασικές λειτουργίες
ˆ arg max ( ; )P yϑ ϑ=ˆ arg max ( | )q P q y=
0q
1q 2q
5q 6q4q3q 4y3y
1y
0y
2y
6y5y
tq διακριτή κρυφή μετα-βλητή/ενεργό μείγμα
ty Συντελ. κυματιδίου
Pearl (1988), Rabiner (1989), Bouman & Shapiro (1994), Crouse et al. (1998), Laferte et al. (2000), Willsky (2002)
1. Άνωαναδρομή
2. Κάτωαναδρομή
Αποδοτικοί αναδρομικοί ως προς την κλίμακα αλγόριθμοι:Αποτίμηση πιθανοφάνειας (άνω)Συμπερασμός (άνω-κάτω)Viterbi πιθανότερο μονοπάτι (άνω-κάτω)Παράμετροι μέγ. πιθανοφάνειας με EMΥπό-συνθήκη δειγματολ. (άνω-κάτω)
Ενδοσυμπλήρωση με μοντέλα ανισοτροπικής διάχυσηςΚατάτμηση με μοντέλα γεωμετρικών ενεργών περιγραμμάτων
Στατιστικά μοντέλα για ενδοσυμπλήρωση στο πεδίο τωνκυματιδίωνΒασική εφαρμογή: Αποκατάσταση αρχαίων τοιχογραφιών
Συνδυασμένη οπτική-ακουστική μοντελοποίηση φωνήςΣύμμειξη πολυτροπικών σημάτων με αντιστάθμιση αβεβαιότηταςΜοντέλα όρασης υπολογιστών για περιγραφή προσώπου
75
Δημοσιεύσεις διατριβής1. G. Papandreou and P. Maragos, Multigrid Geometric Active Contour
Models, IEEE Transactions on Image Processing, vol. 16, no. 1, pp. 229-240, Jan. 2007
2. G. Papandreou, A. Katsamanis, V. Pitsikalis, and P. Maragos, Adaptive Multimodal Fusion by Uncertainty Compensation with Application to Audio-Visual Speech Recognition, IEEE Transactions on Audio, Speech and Language Processing, vol. 17, no. 3, pp. 423-435, Mar. 2009
3. A. Katsamanis, G. Papandreou, and P. Maragos, Face Active Appearance Modeling and Speech Acoustic Information to Recover Articulation, IEEE Transactions on Audio, Speech and Language Processing, vol. 17, no. 3, pp. 411-422, Mar. 2009
4. S. Lefkimmiatis, P. Maragos, and G. Papandreou, Bayesian Inference on Multiscale Models for Poisson Intensity Estimation: Applications to Photon-Limited Image Denoising, IEEE Transactions on Image Processing, vol. 18, no. 8, pp. 1724-1741, Aug. 2009
5. G. Papandreou and P. Maragos, Image Inpainting with Transform Domain Hidden Markov Tree Models, προετοιμάζεται για υποβολή+ 13 δημοσιεύσεις σε διεθνή συνέδρια με κριτή+ 2 κεφάλαια σε βιβλίο