ALMA MATER STUDIORUM UNIVERSITÀ DI BOLOGNA FACOLTÀ DI INGEGNERIA CORSO DI LAUREA IN INGEGNERIA INFORMATICA INDICIZZAZIONE DI COLLEZIONI VIDEO INTERFACCIA MIDDLEWARE CANDIDATO RELATRICE Daniele Campogiani Prof.ssa Ilaria Bartolini CORRELATORE Prof. Marco Patella 19 Dicembre 2012
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
ALMA MATER STUDIORUMUNIVERSITÀ DI BOLOGNAFACOLTÀ DI INGEGNERIACORSO DI LAUREA IN INGEGNERIA INFORMATICA
INDICIZZAZIONE DI COLLEZIONI VIDEO
INTERFACCIA MIDDLEWARE
CANDIDATO RELATRICE
Daniele Campogiani Prof.ssa Ilaria Bartolini
CORRELATORE
Prof. Marco Patella
19 Dicembre 2012
Scenario
● Estensione del framework di gestione di collezioni video SHIATSU (© MultiMedia DataBase Group –
Università di Bologna) arricchendolo del supporto per interrogazioni di similarità basate su indici– Realizzazione di algoritmi per la ricerca di video
di interesse basate su indici– Realizzazione di interfaccia middleware
indipendente dalla rappresentazione di key frame di una sequenza video
Rappresentazione di un video
● Il video è un oggetto multimediale complesso– video diviso in
sequenze (shot)
– shot rappresentati da un insieme di key frame
Il problema del confronto di video● La similarità tra due video è ottenuta partendo dalla
similarità tra gli shot che costituiscono i video● La similarità tra due shot è ottenuta grazie a somiglianza
tra key frame rappresentativi● Quali scegliere?
– Il primo il mediano e l'ultimo– Campionando ad intervalli di tempo prefissati
● Come aggregare informazioni sui singoli key frame?
Il problema del Matching
● Trovare similarità tra due shot si traduce in assegnare i keyframe dei due shot
Matching 1-1 Matching N-M
Similarità tra shot
● Estrazione keyframe rappresentativi● Matching dei keyframe● Calcolo distanza tra singoli keyframe● Tramite funzione di aggregazione si ottiene
somiglianza dei due shot– SHIATSU solo su Earth's Mover Distance che
offre una soluzione efficiente per il problema del trasporto
Implementazione indici
● Utilizzo di indice M-Tree (© MultiMedia DataBase Group –
Università di Bologna) :– Recuperare oggetti simili ad un oggetto query
in modo efficiente
● Due tipi di indice:– Su oggetti completi : Shot
– Su frammenti degli oggetti: Key frame
Le rappresentazioni dei key frame
Immagini alla Windsurf (© 2009 MultiMedia DataBase Group – Università di Bologna)
Immagine suddivisa in regioni grazie a informazioni su colore, forma e texture
● Pro : elevata precisione
● Contro : costo computazionale elevato
Istogrammi HSV
Utilizzo delle sole informazioni sul colore
● Pro : basso costo computazionale
● Contro : minor precisione
Risultati ottenuti
Windsurf Istogrammi HSV
FirstFirst - Last
First - Middle - LastAll
0
200
400
600
800
1000
1200
1400
294.4
563.2
845.5
1303
0.54 1.89 3.51 6.34
Sequenziale
k-NN-ShotIndex
Te
mp
o (
se
con
di)
FirstFirst - Last
First - Middle - LastAll
0
100
200
300
400
85.5
175.5
271335
0.1 0.2 0.34 0.48
Sequenziale
k-NN-ShotIndex
Te
mp
o (
se
con
di)
FirstFirstLast
FirstMiddleLastAll
00.10.20.30.40.50.60.70.80.9
1
Precision
Recall
FirstFirstLast
FirstMiddleLastSeven
00.10.20.30.40.50.60.70.80.9
1
Precision
Recall
Esempio di query
Conclusioni● È stata realizzata un'interfaccia middleware Java che permette
l'utilizzo di codice nativo C++ (libreria M-Tree) tramite JNI– Tale libreria in garantisce prestazioni migliori
● scalabilità
● Interfaccia middleware indipendente dalla rappresentazione dei key frame.– Immagini alla Windsurf
– Istogrammi HSV
Si è raggiunto l'obiettivo di scalabilità per il framework SHIATSU che ne permette l'applicazione su collezioni video di elevate dimensioni– Applicazioni reali
Related Documents
