Digital image processing

Digital Image Processing: MPEG and Applications

January 28, 1999

Jeong-Cheol, Lee

IEFAL Seminar 2/29

Contents

• Part I : MPEG• Part II: Number Recognition Using an Image

Processing Method• Part III : Content-based Image Retrieval

System

IEFAL Seminar 3/29

I. MPEG(1/2)

• Moving Picture Expert Group(MPEG)• a working group of ISO/IEC in charge of the

development of international standards for compression, decompression, processing, and coded representation of moving pictures, audio and their combination.

IEFAL Seminar 4/29

I. MPEG(2/2)

So far MPEG has produced:

• MPEG-1, the standard for storage and retrieval of moving pictures and audio on storage media(approved Nov. 1992)

• MPEG-2, the standard for digital television(approved Nov. 1994)

• MPEG-4 version 1, the standard for multimedia applications(approved Oct. 1998) and is now developing

• MPEG-4 version 2(to be approved Dec. 1999)

• MPEG-7, the content representation standard for information search(to be approved July 2001).

Two-Stage Recognition of Freight Train ID Number under Outdoor Environment

Jeong-Hun Jang and Ki-Sang Hong

Image Information Processing Lab. Pohang University of Science and Technology

International Conference on Document Analysis and Recognition, Montreal, Canada, August 14-16,1995.

II. Number Recognition Using an Image Processing Method

IEFAL Seminar 6/29

1. Introduction

• Purpose– Automating the process of checking freight train ID

numbers in order to reduce the number of operators.

• Features– Machine-printed character recognition.

– Noisy gray-scale character images.

– Recognition in the outdoor environment.

IEFAL Seminar 7/29

2. System Configuration

Camera

Frame Grabber

Weigher

Freight Train

Coal or Ore

PC

IEFAL Seminar 8/29

3. Overall Flow(1/2)

Karhunen-Loève Transform(KLT)

• is based on statistical properties of vector representations.

• has several useful properties that make it an important tool for image processing.

• is used to develop a robust classifier against noises.

IEFAL Seminar 9/29

3. Overall Flow(2/2)

IEFAL Seminar 10/29

4. Main Algorithms(1/2)

• Determination of the existence of a number by the Mahalanobis distance measure.

• Segmentation of a number image by scale-space filtering.

• Recognition of digits by the subspace method.

IEFAL Seminar 11/29

4. Main Algorithms(2/2)

IEFAL Seminar 12/29

5. Screen Shot

IEFAL Seminar 13/29

"SCARLET : Design and Implementation of a Content-based Image Retrieval System using

Wavelet Transform"

Dong-Ho Lee, Yong-Jun Song, Hyoung-Joo Kim

OOPSLA Lab. Seoul National Univ.

JKISS, Vol. 3 No. 4 Aug. 1997.

III. Content-based Image Retrieval System

IEFAL Seminar 14/29

1. 서론 (1/2)

• 멀티미디어 데이터를 효율적으로 저장 , 관리 및 검색할 수 있는 멀티미디어 DB 시스템의 필요성 증대

• 멀티미디어 검색 기법의 종류– 주석 기반 검색 기법– 내용 기반 검색 기법

IEFAL Seminar 15/29

1. 서론 (2/2)

• 내용 기반 검색 기법의 특징– 시각적 질의를 주로 사용

• 사용자 그림에 의한 질의• 예제 이미지에 의한 질의

– 유사 일치 검색을 주로 사용• 유사성 측정 : 이미지들로부터 추출한 특징 벡터들 간의

차이에 의해 측정

– 특징 벡터 자동 추출의 어려움• 외곽선 데이터에서 웨이브릿 변환을 적용하여 특징

벡터의 자동 추출 시도

IEFAL Seminar 16/29

2. 관련 연구 (1/3)

• QBIC – IBM Almaden 연구소에서 개발– 이미지의 색상 , 질감 , 모양 등과 같은 다양한

속성에 기반한 시각적 질의 제공– 대략적으로 그린 외곽선을 통한 질의 제공– 키워드로 주석 허용– 질의 인터페이스 통합의 체계화 부족– 데이터의 완전 자동 추출 불가능

IEFAL Seminar 17/29

2. 관련 연구 (2/3)

• Chabot– Berkeley 에서 개발 , 관계형 DB 이용– 이미지에 대한 히스토그램 이용– 색상에 대한 적절한 주석을 기술하여 검색 수행

• QBE– Hirata, Kato 가 개발– 이미지로부터 추출한 외곽선 데이터를 그대로

검색에 이용– 저장된 이미지의 이동 , 스케일링 , 회전 등을 고려

IEFAL Seminar 18/29

2. 관련 연구 (3/3)

• Charles 와 Adam 이 제안한 시스템– 특징 데이터의 추출 과정에서 웨이브릿 변환을

처음 사용– 칼라 이미지에 직접 적용 (R, G, B 의 3 채널 )

– 특징 벡터의 모호성

IEFAL Seminar 19/29

3. SOP 시스템에서의 이미지 관리 (1/2)

• 새로운 데이터 타입에 대한 뛰어난 확장성• SOP: OOPSLA Lab. 에서 개발한 OODBMS• 이미지 클래스 라이브러리 제공

– 저장 관리자 클래스 : 저장과 검색 관리– 분석 관리자 클래스 : 변환 , 외곽선 추출 , 분석

관리• 특징 추출자 클래스 : 특징 데이터 추출

– 질의 관리자 클래스 : 질의 관리

IEFAL Seminar 20/29

3. SOP 시스템에서의 이미지 관리 (2/2)

< 이미지 클래스 라이브러리의 클래스 다이어그램 >

IEFAL Seminar 21/29

4. SCARLET 의 설계 및 구현- 웨이브릿 변환의 사용 -

• Shape representation scheme 에서 요구되는 특징– 유일성 , 완전성 , 불변성 , 민감도 , 추상화

• 푸리에 변환과 비교한 웨이브릿 변환의 장점– 기본 함수로 사인 , 코사인 함수 외에 웨이브릿

모함수 사용 가능– 지역적 특징 분석 가능– 다해상도 분석 가능

IEFAL Seminar 22/29

4. SCARLET 의 설계 및 구현 (2/3)- 전체적인 메커니즘 -

IEFAL Seminar 23/29

4. SCARLET 의 설계 및 구현 (2/3)- 전체적인 구조 -

IEFAL Seminar 24/29

• 특징 벡터 추출시 고려 사항– 웨이브릿 타입 : 기본 함수의 종류에 따라 달라짐– 분해 타입 : 표준 분해와 비표준 분해– 절단 : 절대값이 가장 큰 몇 개의 계수만 취함

• 유사성 계산

4. SCARLET 의 설계 및 구현 (2/3)- 특징 벡터의 구성과 거리 함수 -

QFV: 질의 이미지의 특징 벡터TFV: DB 에 저장된 목적 이미지의 특징 벡터

IEFAL Seminar 25/29

5. SCARLET 의 사용자 인터페이스 및 질의 검색의 결과 (1/2)

- 사용자 그림에 의한 질의 -

Query

IEFAL Seminar 26/29

5. SCARLET 의 사용자 인터페이스 및 질의 검색의 결과 (2/2)

- 예제 이미지에 의한 질의 -

Query

IEFAL Seminar 27/29

6. 실험 결과의 분석Success Rate Efficiency

IEFAL Seminar 28/29

결론 : MPEG 장비를 이용한 표준시간 설정 시스템 개발에 관한

문제• MPEG 장비가 드디어 들어오는데… ( 토요일 )

– 시스템 사용 방법을 익힌다 .

• 기존의 표준시간 설정 방법의 절차 , 문제점에 관한 연구

• Digital Image Processing 에 관한 지식 축적

IEFAL Seminar 29/29

References & 관련 사이트

• 홍기상 , 장정훈 , 1996, 슬라브 번호 인식 장치의 개발 , 제어 /자동화 / 시스템 공학회지 , 제 2 권 , 제 6 호 , 11 월

• Dibyendu N. and Jezekiel Ben-Arie, 1999, Generalized feature extraction using expansion matching, IEEE Transactions on image processing, Vol. 8, No. 1, Jan.

-----------------------------------------------------------------------------------------

• http://cbs.co.kr/cbsbeta/lecture/MPEG.htm, MPEG 과 정보혁명• http://sp09a.etri.re.kr/etlars-cgi, MPEG 의 최근 동향 분석• http://sp09a.etri.re.kr/etlars-cgi, 내용 기반 이미지 정보 검색

시스템 기술 동향• http://cafe.postech.ac.kr, 번호 인식 시스템 프로젝트 관련 정보• Http://www.cselt.it/mpeg, MPEG 관련 정보