Specific Object Recognition using SIFT

Specific Object Recognition using SIFT

گروه بینایی ماشین و پردازش

تصویرMachine Vision and Image Processing Group (Student Group)Electronic Research Center of Iran University of Science and Technology

http://mvip.iust.ac.ir

Presentation by:

Amir Azizi

1389آبان November 2010

[email protected]

Introduction

Example for specific object recognition:Search photos on web for the particular places

j. sivic

[email protected]

Introduction

Why is it difficult?

j. sivic

[email protected]

Challenges1- Viewpoint

[email protected]

Challenges2- Illumination

[email protected]

Challenges3- Occlusion

[email protected]

Challenges4- Scale

[email protected]

Challenges5- Deformation

[email protected]

Challenges6- Background Clutter

[email protected]

Local FeaturesNew

Dataset

☺Corners☺Blobs

Local Features (Interest points or key points):

Some of applications:- Specific object recognition- Tracking- Image registration- Camera calibration- ….

[email protected]

Local Features

Desired Properties of local features:* Repeatability

- The same feature can be found in several images despite geometric and photometric transformation

* Distinctiveness- Each feature has a distinctive description

* Locality- A feature occupies a relatively small area of the image; robust to clutter and occlusion

* Quantity- Number of features

* Efficiency- Applications that need to speed

[email protected]

Local feature-based object recognition

(:Detector- آشکارساز )1استخراج نقاط کلیدی

- توصیف کننده 2(Descriptor:)

ساخت بردار ویژگی برای هر (Matching- انطباق )3نقطه کلیدی

انطباق بردارهای ویژگی با دیتاست

نیرومندی نسبت به موارد زیر:

تغییر نقطه دید-تغییر روشنایی-تغییر شکل و کجی-تغییر اندازه-انسداد-شلوغی و درهم -

برهمی

سرعت نیز اهمیت دارد

مراحل:

[email protected]

توصیف کننده هاآشکارسازها- Harris- Harris-Laplace- Harris-Affine- MSER- Salient Regions- SIFT Detector (DoG)- SURF Detector

- Hessian-Laplace- Hessian-Affine- Shape Context- Geometric Blur- SIFT Descriptor- SURF Descriptor

Local feature-based object recognition

[email protected]

SIFT

SIFT: Scale Invariant Feature Transform1999 and 2004

[email protected]

Hessian Matrix

𝐻=[ 𝐿𝑥𝑥(𝑥 , 𝑦 ,𝜎) 𝐿𝑥 𝑦 (𝑥 , 𝑦 ,𝜎 )𝐿𝑥 𝑦(𝑥 , 𝑦 ,𝜎 ) 𝐿𝑦𝑦 (𝑥 , 𝑦 ,𝜎) ] 𝐿𝑥𝑥 (𝑥 , 𝑦 ,𝜎 )= 𝜕2

𝜕 𝑥2 𝑃

In mathematics, the Hessian matrix (or simply the Hessian) is the square matrix of second-order partial derivatives of a function; that is, it describes the local curvature of a function of many variables.

We want to find Blobs, soSIFT uses extrema of Hessian matrix trace:

Laplacian=𝑇𝑟𝑎𝑐𝑒=𝐿𝑥𝑥 (𝑥 , 𝑦 ,𝜎 )+𝐿𝑦𝑦 (𝑥 , 𝑦 ,𝜎 )

[email protected]

1- SIFT Detector

هدف: آشکارسازی مکان هایی که با تغییر اندازه تصویر ثابت بمانند.

1- Lindeberg 1994,19982- Koendernik 1984

SCALE-SPACE𝐿 (𝑥 , 𝑦 ,𝜎 )=𝐺 (𝑥 , 𝑦 ,𝜎 )∗ 𝑓 (𝑥 , 𝑦 )

Scale = σ

[email protected]

1- SIFT Detector SCALE-SPACE

𝐿 (𝑥 , 𝑦 ,𝜎 )=𝐺 (𝑥 , 𝑦 ,𝜎 )∗ 𝑓 (𝑥 , 𝑦 )

Laplacian=𝑇𝑟𝑎𝑐𝑒=𝐿𝑥𝑥 (𝑥 , 𝑦 ,𝜎 )+𝐿𝑦𝑦 (𝑥 , 𝑦 ,𝜎 )Laplacian=𝑇𝑟𝑎𝑐𝑒=(𝐺¿¿ 𝑥𝑥 (𝑥 , 𝑦 ,𝜎 )+𝐺𝑦𝑦(𝑥 , 𝑦 ,𝜎 ))∗ 𝑓 (𝑥 , 𝑦 )¿

𝐺 (𝑥 , 𝑦 ,𝑘𝜎 )−𝐺 (𝑥 , 𝑦 ,𝜎 )≈(𝑘−1)𝜎2𝛻2𝐺

𝐿𝑜𝐺=𝛻2𝐺

DoG

Mikolajczyk 2002: normalized Laplacian gives more robust features

𝐻=[ 𝐿𝑥𝑥(𝑥 , 𝑦 ,𝜎) 𝐿𝑥 𝑦(𝑥 , 𝑦 ,𝜎 )𝐿𝑥 𝑦(𝑥 , 𝑦 ,𝜎 ) 𝐿𝑦𝑦 (𝑥 , 𝑦 ,𝜎) ]

[email protected]

1- SIFT Detector

Down sampling

ساخت هرم:

[email protected]

1- SIFT Detector

آشکارسازی اکسترمم ها:

[email protected]

1- SIFT Detector

تعیین محل دقیق نقطه کلیدی:

[email protected]

1- SIFT Detector

حذف نقاط کلیدی نقاط دارای کنتراست پایین*ناپایدار:

نقاطی که بطور ضعیفی روی لبه ها قرار گرفته اند*

[email protected]

2- SIFT Descriptor تخصیص جهت به نقاط

کلیدی

[email protected]

2- SIFT Descriptor Rotation Invariance:

[email protected]

2- SIFT Descriptor

4×4×8=128

So we have a feature vector with 128 dimensions

[email protected]

3- Matching

دارای k-dساخت درخت * kمحاسبه تقریبی نزدیکترین همسایه اول و دوم به هر نقطه کلیدی در دیتا ست * بعد

نسبت نردیکترین همسایه اول به نزدیکترین همسایه دوم محاسبه * BBFبه کمک روش می شود

برای David Loweروش انطباق

در انتها برای *افزایش دقت

شناسایی نسبت به تغییر شکل و استتار از تبدیل

هاف نیز استفاده می شود.

با سپاس از توجه شما

؟[email protected]