Automatic Photo Pop up Presentation

AUTOMATIC PHOTO POP UP

AUTOMATIC PHOTO POP UP 1

CGIV 2009, Sung Ki Young, Dongseo Univ., E-Mail:[email protected]

Automa tic Pho to Po p Up Re s e a rc h Pape r는 한장의 2 D 영상을

Ge ome tric Cue s 를 기반으로 영상 인식 후 , 3D 로 복원하는 어플리케이션

Wha t is Automa tic Pho to Po p Up



’ Automa tic Pho to Po p Up s STEP

위의 단계 중 ( ) Multip le S e gme nta tio n Co ns te lla tio ns

단계부터 ( )Imag e Labe ling Labe ling 단계까지가 2 D 영상 분석이며 ,

Ge ome tric Cue s 를 이용하여 영상 분석을 실행하고 있습니다 .



’ Automa tic Pho to Po p Up s STEP

Input

Ground

Vertical

Sky

Geometric Labels Cut’n’Fold 3D Model

Image

Learned Models



Wha t is S e gme nta tio n

컴퓨터 비전에서는 세그먼트를 여러 세그먼트 픽셀 ( 세트 ) 에 디지털 이미지를

파티션 과정 ( 또한 s upe rp ixe ls 라고도 함 ) 를 말합니다 .



?Wha t is Ge ome tric Cue s

Ge ome tric

Cue s

Comme nts

Co lo rsurface 구성요소를 인지하는데 유용하다 . 예를들어 sky 는 일반적으로 blue 또는 white 색상을

가지고 있으며 , ground는 green (grass) 또는 brown (dirt) 등의 색상을 가지고 있다 .

Te xture

surface 구성요소에 대한 추가적인 정보를 제공한다 . 예를들어 , texture는 white sky와 water 를

구별하는데 도움이 되며 , green tree와 grass 를 구별하는데 도움이 된다 .

Texture는 oriented Gaussian filters 및 Berkeley segmentation dataset [Martin et al. 2001] 를

이용하여 구할 수 있다 .

Lo c a tio nground (image 의 아랫부분 ), vertical structures 및 sky (image 의 윗부분 ) 를 구별하는 중요한

정보를 제공한다 .

3 D Ge ome try

surface의 3 차원 방향을 결정하는데 도움을 준다 . 평면상의 소실선은 바라보는 사람의 3 차원 방

향에 의해 결정되지만 [Hartley and Zisserman 2004], 이러한 정보는 쉽게 얻을 수 있는 것이 아니

다 . Straight lines 의 통계 및 그들의 교차점을 계산함으로써 , 본 논문은 surface 의 소실점에 대한

정보를 얻는다 . 본 논문은 [Kosecka and Zhang 2002] 방식을 이용하여 이미지 상의 long and

straight edges 를 찾고 물체의 중점을 계산함으로써 texture 기울기 정보를 알아낸다 . 덧붙여 본 논

문은 모든 교차점으로부터 정해진 최소 거리 내에 존재하는 수평선의 교차점을 이용하여 horizon

position 을 계산해내고 있다 .



Color

Location

Texture

Perspective

?Wha t is Ge ome tric Cue s



1 . Supe rp ixe ls

- Effe c tive Graph Ba s e d Imag e S e gme nta tio n 알고리즘을 이용하여 ,

한장의 2 D 영상을 S e gme nta tio n 하는 작업을 진행합니다



2 . ( )Multip le S e gme nta tio n Co ns te lla tio n

Ge ome tric Cue s 중 , , Co lo r Te xture and Lo c a tio n 정보를 이용하여 ,

Supe rp ixe ls 로 나누어진 영역을 하나의 영역으로 재구성

S ing le S e gme nta tio n 이 아닌 Multip le S e gme nta tio n 작업을 진행하는

이유는 오차율을 줄이고자 실시하는 것으로 논문에서 언급하고 있습니다 .



3 . ( )Imag e Labe ling Labe ling

Multip le S e gme nta tio n 의 결과로 나온 영상들에 적용하여 ,

영상 분석이 완성된 하나의 이미지를 만들어내는 과정입니다 .



3 . ( )Imag e Labe ling Labe ling

Multip le S e gme nta tio n 의 결과로 나온 영상들에 적용하여 ,영상 분석이 완성된 하나의 이미지를 만들어내는 과정입니다 .



4 . (3 )Cut and Fo ld D c o ns truc tio n

Imag e Labe ling 을 통해 Co ns te lla tio ns 가 단계별로 구분된 한장의 2 D Imag e 를 3D 로 Mo de ling 하기 위해 Fo ld and Cut 를 실행하는 과정입니다 .



5 . 3 Co ns truc t D Mo de l

Cut and Fo ld 가 끝난 이미지를 기준으로 3 D Mo de l 을 생성 후 2 DImag e 를

Te xture Mapp ing 함으로써 3 D Mo de l 을 아래와 같이 생성할 수 있습니다 .



We akne s s

⑴ 복잡한 장면 ex) 수많은 나무나 사람이 포함된 장면 → 일일이 레이블하기 어려움 ⑵ 경사진 면에 대한 고려 부재 ⑶ 다중의 Ground-Parallel 면에 대응하기 어려움 ex) 계단 ⑷ 레이블 오류 ⑸ 수직 영역으로 표기된 부분의 중복 ⑹ 수평선 추청 오류



Examp le



Examp le



Examp le



Examp le



Examp le

T H A N K Y O U


Automatic Photo Pop up Presentation

Education