Mozgó objektumok sztereólátással támogatott tartalom alapú felismerése

Kiss Attila, Németh Tamás

Budapesti Műszaki Főiskola

Konzulensek: Sergyán Szabolcs, Vámossy Zoltán

Mozgó objektumok sztereólátással támogatott tartalom alapú felismerése

2005.03.22. BMF-NIK OTDK 2005 2/20

A bemutató felépítése

Projekt ismertetés Rendszerfelépítés Használt technikák

Sztereólátás Tartalom alapú felismerés

Elért eredmények Összefoglalás, kitekintés

2005.03.22. BMF-NIK OTDK 2005 3/20

Projekt ismertetése

Célunk egy olyan kétkamerás megfigyelőrendszer készítése, amely képes: mozgó objektumokat észlelni

(Object Detecting) térben modellezni

(Stereo Vision) saját adatbázisában ahhoz hasonlókat keresni

(Content Based Image Retrival - CBIR)

2005.03.22. BMF-NIK OTDK 2005 4/20

Rendszerfelépítés

Kamerakezelő rendszer Mozgásdetektálás Modell előkészítés

Modellező rendszer Modellkészítés Megjelenítés

Tartalom-alapú képkinyerő rendszer (CBIR) Tulajdonságkinyerés Hasonlóságmérés Visszacsatolás

2005.03.22. BMF-NIK OTDK 2005 5/20

Kamerakezelő rendszer Objektum detektálás

Változások észlelése a háttérképhez képest A megváltozott terület jelölése

Kapcsolat a CBIR-rel Kamerakép A differenciakép legkisebb határoló téglalapja A differenciakép konvex burka által meghatározott

képrészlet elküldése Modell előkészítés (Jel alapú sztereo módszer)

Jellemző pontok keresése a Harris-féle sarokdetektáló módszerrel

C. Harris, M. Stephens – „A Combined Corner and Edge Detector”, Fourth Alvey Vision Conference, pp. 147-151, 1988.

2005.03.22. BMF-NIK OTDK 2005 6/20

Modellező rendszer

Modellkészítő Jellemző pontok megfeleltetése a bal és jobb oldali

kameraképen intenzitás kereszt korreláció segítségével

Mélységinformáció kinyerése a megfeleltetett pontok diszparitásának számításával

Korreláció alapú sztereó módszer Megjelenítés

Az elkészült modell megjelenítése OpenGL használatával

W.E. Snyder, H. Qi – “Machine Vision”, Cambridge University Press, 2004.

2005.03.22. BMF-NIK OTDK 2005 7/20

Tartalom alapú képkinyerés - 1

J. A. Lay, L. Guan – „Image Retrieval Based on Energy Histograms of the Low Frequency DCT Coefficients”, 2004.http://debut.cis.nctu.edu.tw/pages/slides/jeffrey/present2.pdf

2005.03.22. BMF-NIK OTDK 2005 8/20

Tartalom alapú képkinyerés - 2

Előfeldolgozás, zajszűrés Medián szűrő Gauss szűrő

Színnormalizáció (Finlayson módszere alapján) Alacsonyszintű tulajdonságok

DCT együtthatók Színhisztogramok 6 színtérben

(RGB, HSV, YIQ, XYZ, L*u*v*, L*a*b*) Textúrázottság (sarkosság), horizontális és vertikális

maszk Diszparitás térkép

B. V. Funt, G. D. Finlayson – “Color Constant Color Indexing” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 17, No. 5, pp. 522-529, 1995.

2005.03.22. BMF-NIK OTDK 2005 9/20

Tartalom alapú képkinyerés - 3

Hasonlóságmérés Minkowski-féle távolságok Hisztogram metszet (Histogram Intersection)

Hierarchikus keresés (könyvtárszerkezet mintájára) Több dimenziós hasonlóság vizsgálat Visszacsatolás, Yong Rui technikája

Y. Rui, T.S. Huang, M. Ortega, S. Mehrotra - Relevance Feedback - „A Power Tool for Interactive Content-Based Image Retrieval” IEEE Transactions on Circuits and Video Technology, Vol. 8, No. 5, pp. 644-655, 1998.

2005.03.22. BMF-NIK OTDK 2005 10/20

Pontok megfeleltetése Jellemző pontok keresése

Jellemző pontok megfeleltetése

2005.03.22. BMF-NIK OTDK 2005 11/20

Korreláció alapú sztereó

Pentagon műholdas sztereóképei és diszparitástérképe

Saját képek és diszparitástérképe

2005.03.22. BMF-NIK OTDK 2005 12/20

Saját adatbázis elemei

2005.03.22. BMF-NIK OTDK 2005 13/20

Demo

2005.03.22. BMF-NIK OTDK 2005 14/20

Teszt eredmények (CBIR)

Néhány eredmény csoport teszteléssel

2005.03.22. BMF-NIK OTDK 2005 15/20

Tesztelés az UW kollekcióval

Pontosság a University of Washington kollekció alapján

H. Müller, W. Müller, S. Marchand-Maillet, T. Pun – “A Web-Based Evaluation System for CBIR”, 2004., http://woodworm.cs.uml.edu/~rprice/ep/mueller/

UW kollekció képei

RendszerVissza-csatolásnélkül

Négyvissza-

csatolással

Saját rendszer 30,83% 41,25%

GIFT rendszerhasználatával 53,92% 91,07%

2005.03.22. BMF-NIK OTDK 2005 16/20

Összefoglalás – 1

Két kamerás sztereó rendszer Mozgásészlelés Modellezés Diszparitás térkép továbbítása CBIR felé

Tartalom alapú képkinyerés Indexelési technikákkal plugin-ezhető Automatikusan elkészíti az indexeket

Szín alapú Textúra alapú Mélység alapú

2005.03.22. BMF-NIK OTDK 2005 17/20

Összefoglalás – 2

Szemantikus interpretáció Szöveges leírás Hierarchikus adatbázis kiépítés

Lekérdezések típusa NN – legközelebbi szomszédok

Visszacsatolás Automatikus tesztelés és kiértékelés

Tárolás Összehasonlítás

2005.03.22. BMF-NIK OTDK 2005 18/20

Kitekintés

Új tulajdonságkinyerési technikák implementálása

Alkalmazott modellező algoritmusok gyorsítása és javítása

OODB használata

2005.03.22. BMF-NIK OTDK 2005 19/20

Hivatkozások M.J. Swain, B.H. Ballard - Color Indexing”

Int’l J. Computer Vision, Vol. 7, No. 1, pp. 11-32, 1991. B. V. Funt, G. D. Finlayson - “Color Constant Color Indexing” IEEE Transactions on

Pattern Analysis and Machine Intelligence, Vol. 17, No. 5, pp. 522-529, 1995. Y. Rui, T. S. Huang, M. Ortega, S. Mehrotra - Relevance Feedback - „A Power Tool

for Interactive Content-Based Image Retrieval” IEEE Transactions on Circuits and Video Technology, Vol 8, No. 5, pp. 644-655, 1998.

J. Owens, A. Hunter, E. Fletcher - „A Fast Model-Free Morphology-Based Object Tracking Algorithm”http://www.bmva.ac.uk/bmvc/2002/papers/99/full_99.pdf

M. Pollefeys - „3D Modelling from Images” http://www.esat.kuleuven.ac.be/~pollefey/tutorial/

C. Harris, M. Stephens – „A Combined Corner and Edge Detector” Fourth Alvey Vision Conference, pp.147-151, 1988.

H. Müller, W. Müller, Stephane Marchand-Maillet, Thierry Pun – “A Web-Based Evaluation System for CBIR” http://woodworm.cs.uml.edu/~rprice/ep/mueller/

W.E. Snyder, H. Qi – “Machine Vision”, Cambridge University Press, 2004.

2005.03.22. BMF-NIK OTDK 2005 20/20

Köszönöm a figyelmet!

Elérhetőségek:

Kiss Attila ([email protected])

Németh Tamás ([email protected])

Honlap:

http://roberta.obuda.kando.hu/iar/2004_2005/FTT