숨은그림찾기 자동제작 시스템

숨은그림찾기 자동제작 시스템숨은그림찾기 자동제작 시스템

연세대학교 컴퓨터과학과비쥬얼컴퓨팅연구실

1

IntroductionIntroduction

• 기존의 숨은그림찾기의 특징

– 색상 무시 또는 간소화– 숨겨질 물체의 형태 유사성– 동기화를 위한 약간의 변형 허용

• 시스템의 목적

– 숨은그림찾기 퍼즐의 자동제작 시스템

• 데이터베이스에서 숨겨질 물체를 자동으로 선택• 배경이미지 위에 숨겨질 물체의 위치 , 회전 , 크기의 자동 선택• 동기화를 위한 자동 변형

2

Liz ball

Related WorkRelated Work

• 이미지 스타일화– 미적 스타일화

• Abstraction : [Christoudias et al. 2002], [DeCarlo et al. 2002]…

• Painterly rendering : [Hertzman 1998], [Hertzman 2001]…

• Example based method : [A. Hertzmann et al. 2001], [Youngha Chang et al. 2007]

– 목적성 스타일화• Maze construction: [Xu and Kaplan 2007]

• Calligraphic packing: [Xu and Kaplan 2007]

• Computer-generated papercutting: [Xu and Kaplan 2007]

3

System overviewSystem overview

4

Line DrawingLine Drawing

• Coherent Line Drawing [Kang et al. 2007]

– Edge tangent flow(ETF) 와 flow difference of Gaussian(FDOG) 에 기반한 외곽선 추출기법

5

Object DatabaseObject Database

• 웹상에 존재하는 임의의 이미지

– 임의의 물체 이미지를 라인드로잉 형태로 변형

– 인식가능한 물체만 걸러냄

– 총 200 개의 물체

6

Shape MatchingShape Matching

• Shape context [Hao and Zhang 2003]

– 특징점 기반의 형태기술자

• 하나의 특징점을 기준으로 이웃한 특징점들의 분포를 거리와 각도를 기준으로 히스토그램으로 표현

• 크기와 이동에 독립적인 형태기술자• 회전 독립성 : PCA 기반의 주축 사용

Line image Harris corner detectorPCA axis

Shape contextRotation invariant Shape context

7

Shape MatchingShape Matching

• 배경이미지를 위한 Shape context

– N 개의 이웃 점을 기준으로 물체와 같은 식으로 형태기술자 정의

– 지역적인 형태를 대표함

8

Shape MatchingShape Matching

• Shape context 간의 비교

– 지역적인 유사성을 판단할 수 있음

Object image

Back ground image

Sj

9

Shape MatchingShape Matching

• 이웃한 Shape context 간의 비교

– 가장 유사한 Shape context 쌍의 이웃간의 비교를 통해 유사도 값을 보정

– 크기를 고려하기 위해 shape context 의 반지름 크기도 비교

Object image

Back ground image

Sj

10

Shape MatchingShape Matching

• 이산적 유사도 값 의 보간

– 일반적인 곡선보간

• Over-fitting 문제 발생

– Thin-plate spline (TSP)

• 곡선의 굴곡을 최소화 하는 형태로 보간 하는 기법

11

Shape MatchingShape Matching

• 형태 매칭 결과에 따른 숨겨질 물체의 위치 판단– 위치 : 유사도를 보간한 TPS 곡면이 최고값을 가지는 위치 – 회전 : 최고 유사도를 가지는 shape context 간의 회전축 비교– 크기 : 최고 유사도를 가지는 shape context 간의 반지름 비교

Background image Target Object TPS map12

Shape deformationShape deformation

• 물체에 대한 약간의 변형을 허용

– 과도한 변형은 물체가 가지는 고유한 특성을 잃어버릴 위험 존재– 해결책 : Affine transform [2x3] 매트릭스

• Pi : 숨겨질 물체의 특징점

• Qi: 배경이미지 위에 위치한 Pi 와 가장 가까운 특징점

T T 1 Qx y x y

i i i iA P P Q

13

Shape deformationShape deformation

• 순차적인 선형 최소화 문제

– 선형문제의 정의

– 잘못된 매칭 (outlier) 제거 [Liu et al. 2006]• Inlier 확률식

• 임계값을 기준으로 한 Outlier 제거

T T 1 Qx y x y

i i i iA P P Q

2T T

Pr exp 1 Q / 2x y x yi i i i iA P P Q

Pr 1.3 (Pr )n imean

14

Result generationResult generation

• 배경에 알맞은 숨겨질 물체의 선택

– 데이터베이스상의 물체 중 가장 높은 유사도를 가지는 물체군 선택– 유저가 선택한 물체의 숨김도 가능

• 최종 결과의 렌더링

– 숨겨질 물체와 배경 이미지의 연결성을 보완하기 위해 CLD 기법을 사용하여 다시 한번 외곽선을 검출

15

Experimental resultExperimental result

16

Experimental resultExperimental result

17

Experimental resultExperimental result

18

Experimental resultExperimental result

19

Experimental resultExperimental result

20

Experimental resultExperimental result

21

Experimental resultExperimental result

22

User EvaluationUser Evaluation

• 30 명의 테스터에 기반

23

ConclusionConclusion

• 숨은그림찾기 자동제작 시스템의 최초의 제안– 새로운 이미지 스타일화 기법– 빠른 유사도 검색 방법 제안– 물체변형 지원으로 난이도 상승

• 문제점– 형태 매칭의 부정확성

• Local entropy 차이 값을 사용한 부정확한 매칭결과 제거 가능

24