MPEG 비디오부호화II —MPEG-4, 7과그이후graphics.hallym.ac.kr/teach/2008/mm/src/chap12.pdf · 2009-03-24 · 3 12.1 MPEG-4 개요 MPEG-4 더새로운표준. 압축외에도,

Chapter 12

MPEG 비디오 부호화 II — MPEG-4, 7과 그 이후

멀티미디어 개론08. 11. 19발표자 : 김경석

1

발표자 김경석

MPEG-4 기술 소개

2

MPEG-4 기술 소개

Animation Game

Virtual studio Simulation

3

Simulation

12.1 MPEG-4 개요

MPEG-4

더 새로운 표준. 압축 외에도 , 사용자 상호 작용에 큰 관심을 가짐

새로운 객체 지향 부호화 접근 방식을 채택새로운 객체 지향 부호화 접근 방식을 채택

미디어 객체는 MPEG-4 부호화를 위한 실체(entity)자연 객체 또는 합성 객체일 수 있음

비디오 카메라에 촬영되거나 컴퓨터 프로그램에 의해 만들어짐

객체 지향 부호화는 고 압축률을 제공하는 잠재성을 가질 뿐만 아니라 디지털 비디오 합성, 조작, 인덱싱, 그리고 검색에 유리

원래 낮은 비트율 통신을 목표로 했지만 5 kbps~ 10 Mbps까지 넓은 범위를 포함

4

12.1 MPEG-4 개요

MPEG-4

<그림 12 1> MPEG 4 비디오의 합성과 조작(VOP video Object Plane)

5

<그림 12.1> MPEG-4 비디오의 합성과 조작(VOP = video Object Plane)

12.1 MPEG-4 개요

<그림 12.2> MPEG 표준들의 상호작용 : (a) MPEG-1과 2의 기준모델(점선으로 된 상호작용은 MPEG-2에 의해서만 제공; (b) MPEG-4 기준 모델

6

호작용은 MPEG 2에 의해서만 제공; (b) MPEG 4 기준 모델

12.1 MPEG-4 개요

그림 12.2(a)

MPEG–1 시스템은 저장장치로부터 오디오와 비디오 데이터를 단순히 전송하고 이용자 상호 작용을 허락하지 않음히 전송하고 이용자 상호 작용을 허락하지 않음

MPEG-2 는 상호 작용 컴포넌트가 추가되고, 네트워크 비디오와 쌍방향 TV와 같은 응용에서 제한적인 사용자 상호 작용이 허용

( )그림 12.2(b)

원하는 오디오 비주얼 장면을 만들기 위해 미디어 객체를 합성

서비스의 질(QoS)을 보장하면서 전송하기 위해 미디어 데이터 실체서비스의 질(QoS)을 보장하면서 전송하기 위해 미디어 데이터 실체를 위한 비트스트림을 다중화 및 동기화

수신 측에서 오디오 비주얼 장면과 상호작용하기 위한 완전히 새로운 표준운 표준

MPEG -4 는 오디오, 비디오 압축을 위한 진보한 부호화 모듈과 알고리즘의 툴박스 제공

7

12.1 MPEG-4 개요

BIFS(Binary Format for Scenes)장면 그래프에 의해 자주 표현

장면 그래프 내의 노드는 오디오비주얼 원본과 그들의 속성을 묘사장면 그래프 내의 노드는 오디오비주얼 원본과 그들의 속성을 묘사

그래프 구조는 장면 내에서 객체들의 시공간적 관계를 기술 가능하게 함

가상 현실 모델링 언어의 개선된 것가상 현실 모델링 언어의 개선된 것

VRML 디자인에서 부족한 객체의 타이밍과 동기화를 강조

MPEG-4(버전 2)는 말단 이용자의 상호 작용을 강화하기 위해 자바 에 리케이션( )이 자바패키지와 에 접 할 수 있바 에플리케이션(MPEGlets)이 자바패키지와 APIs에 접근할 수 있는MPEG-J 프로그래밍 환경을 제공

8

12.1 MPEG-4 개요

BIFS(Binary Format for Scenes) 의 또다른 정의장면 이진 부호화

양방향 실시간 비디오데이터 서비스 또는 연동형 데이터방송 구현 기술양방향 실시간 비디오데이터 서비스 또는 연동형 데이터방송 구현 기술

프로그램과 연동된 양방향 서비스를 가능하게 하는 기술

사용자 요구사항에 따른 대화형 서비스를 가능케 하는 기술 규격

지상파 DMB의 양방향 데이터 서비스의 특징CDMA 등 무선통신망을 이용함으로, 방송과 통신이 결합된 융합서비스라고 볼 수 있으며 값비싼 통신망을 사용라고 볼 수 있으며, 값비싼 통신망을 사용

오디오, 비디오 방송 외에 그림, 문자, 동영상을 이용한 대화형 서비스를 위한 MPEG-4 시스템 규격 사용

9

12.1 MPEG-4 개요

BIFS의 필요성

현재 지상파 DMB는 지상파와 신규방송채널을 불특정 다수에게 일방적으로 전송하는 형태로 제공방적으로 전송하는 형태로 제공

원하는 채널만 원하는 시간에 수신하거나 프로그램 중간에 다른 부가서비스를 선택해 이용하는 등 다양한 형태의 부가서비스에 대한수요수요

주요 기능

3차원 공간의 그래픽을 표현하는 프로그래밍 언어인 VRML(Virtual Reality Modeling Language)와 유사한 기능을 수행

어떤 장면에서 어떤 자막이 삽입될 지, 그림이 어떤 형태로 포함될어 장 에서 어 자막이 될 지, 이 어 형태 될지, 몇 초 간격으로 얼마동안 나올지를 기술하고 이를 압축, BIFS가있어야 프로그램과 DB가 원활하게 연동함

10

12.1 MPEG-4 개요

활용서비스

대화형 프로그램 가이드 서비스

동영상 연동의 쇼핑서비스동영상 연동의 쇼핑서비스

프로그램에 대한 시청자 의견 받기 서비스

프로그램과 관련한 추가정보를 제공하는 화면으로 이동

11

12.1 MPEG-4 개요

<그림 12.3> MPEG-4 비주얼 비트스트림 장면의 비디오 객체 지향적인 계층적 기술

12

MPEG-4 비디오 구성 계층

13

12.1 MPEG-4 개요

비디오 객체 시퀀스(VS)VS는 2차원 또는 3차원, 자연 또는 합성인 객체를 포함하는 완전한MPEG-4 비주얼 장면을 전달MPEG 4 비주얼 장면을 전달

비디오 객체(VO)VO는 장면의 배경 또는 객체에 해당되는 임의의(직각이 아닌) 형태가 될수 있는 장면 내 특정한 객체수 있는 장면 내 특정한 객체

비디오 객체 계층(VOL)다중 계층의 스케일러블 부호화를 지원하는 방법을 용이 하게 함

한 VO는 스케일러블 부호화에서 여러 개의 VOL을 가질 수 있고 스케일러블 부호화가 아닌 경우에는 한 개의 VOL을 가짐

MPEG-4는 또한 더 짧은 헤더를 갖는 특별한 타입의 VOL을 지원

기본 H.263과 비트스트림 호환성을 제공

14

12.1 MPEG-4 개요

비디오 객체 평면의 그룹(GOV)GOV(Group of Video Object Planes)는 비디오 객체 평면들이 그룹화되어 있음 이것은 선택적인 단계어 있음. 이것은 선택적인 단계

비디오 객체 평면(VOP)Vop(Video Object plane)는 특정한 순간, VO의 형상, 질감, 그 순간의움직임 파라미터를 반영하는 VO의 스냅사진.

일반적으로, VOP는 임의 형식의 한 영상

MPEG-4 비디오 부호화의 특징을 잘 이용하지 못하는 경우는 직각의 비디오 프레임 전체를 한 VOP로 취급할 때 발생. 이 경우 MPEG-1 및 2와동등.

MPEG-4는 겹쳐진 VOPs를 허용 – 한 VOP는 부분적으로 장면 내 또 다른 VOP와 겹칠 수 있음.

15

12.1 MPEG-4 VOP

Rectangular ShapeArbitrary ShapeVideo Object

Animated FaceRectangular ShapeVideo Object

j

16

12.1 MPEG-4 VOP

원영상

각각의 VOP

17

각각의 VOP

12.2 MPEG-4의 객체 지향비주얼 부호화

12.2.1 VOP 기반 부호화 대 프레임 기반 부호화MPEG-1과 2는 VOP 개념을 지원하지 않기 때문에, 그들의 부호화 방법은프레임 기반(frame based)으로 일컬어짐프레임 기반(frame based)으로 일컬어짐.

각각의 프레임이 움직임 보상 기반 부호화가 실행되는 많은 매크로블록으로나누어지기 때문에, 블록 기반 부호화(block-base cording)로 알려짐

<그림 12.4(a)> 비디오 시퀀스

그림 12.4(a)는 왼쪽 방향으로 움직이는 자동차와 반대 방향으로 걷고 있는보행자를 찍은 비디오 시퀀스의 세 프레임을 보여줌

18


그림 12.4(b)는 한 매크로블록의 움직임 벡터(MV)가 얻어지는 전형적인 블록 기반 부호화를 보여줌

<그림 12.4(b)> MPEG-1과 2의 블록 기반 부호화

록 기반 부호화를 보여줌

MPEG-1과 2 비주얼 부호화는 압축률만 중요하게 생각하고 비주얼 객체의존재는 개의치 않음

따라서 생성되는 움직임 벡터는 객체의 움직임과 일치되지 않을 수 있고 객체 기반 비디오 분석과 인덱싱에 유용하지 않을 수 있음

19


그림 12 2(c)는 두 가능한 매치가 작은 예측 오차를 야기시키는 한 예를 설

<그림 12.4(c)> MPEG-1과 2의 두 가능한 매치

그림 12.2(c)는 두 가능한 매치가 작은 예측 오차를 야기시키는 한 예를 설명

만약 가능한 매치 2가 매치 1보다 더 작은 예측 오차를 야기한다면, 비록 단지 MV1이 자동차의 움직이는 방향과 일치하더라도 MV2가 블록 기반 부호화접근 방법에서는 매크로블록을 위한 움직임 백터로 선택될 것

20


MPEG-4의 객체 지향 부호화는 압축을 개선하는 것 뿐만 아니라 블록 기반

<그림 12.4(d)> MPEG-4의 객체 기반 부호화

MPEG 4의 객체 지향 부호화는 압축을 개선하는 것 뿐만 아니라 블록 기반부호화를 해결하는 것을 목표로 함

그림 12.4(d)는 각각의 VOP가 임의의 형상이고, 이상적으로 객체의 움직임과 일치하는 유일한 움직임 벡터를 얻는 것을 보여줌

21


12.2.2 움직임 보상MPEG-4에서의 VOP 기반 움직임 보상 문제

내부 프레임 부호화 VOP는 I VOP라 불림내부 프레임 부호화 VOP는 I-VOP라 불림

MPEG-4에서의 움직임 보상 기반 VOP 부호화는 세 단계를 포함

움직임 예측움직임 예측

움직임 보상 기반 예측

예측 오차의 부호화

움직임 보상을 쉽게 하기 위해, 각각의 VOP는 이전 프레임 기반 방법에서처럼, 많은 매크로블록으로 나뉨

매크로블록은 휘도 영상 과 색도 영상 이 기본값 임의 형상의매크로블록은 휘도 영상 16 X 16과 색도 영상 8 X 8이 기본값, 임의 형상의VOP 경계에 걸쳐지면 특별히 처리

22


<그림 12.5> VOP의 경계 상자와 경계 매크로블록

23


MPEG-4는 각각의 VOP를 위한 직각 경계 상자를 정의

경계 상자의 수평과 수직 차원은 모두 휘도 영상에서 16배수 이어야 함경계 상자의 수평과 수직 차원은 모두 휘도 영상에서 16배수 이어야 함

완전히 VOP 내부에 있는 매크로블록은 내부 매크로블록(interiormacroblock))

VOP의 경계에 걸쳐 있는 매크로블록은 경계 매크로 블록 (boundarymacroblock)

경계 매크로블록은 VOP가 임의의(직각이 아닌) 형상을 갖고, 그 형상이비디오에서 한순간마다 변할 수 있기 때문에 움직임 예측에서 맞추기 어려움

해결 : 움직임 예측에 앞서 기준 VOP에 채워넣기(padding)란 전처리 단계를 적용

24

계를 적용


채워넣기(padding)기준 VOP에서 모든 경계 매크로블록을 위해, 수평 반복 채워넣기가 먼저 수행되고 수직 반복 채워넣기가 뒤따름행되고 수직 반복 채워넣기가 뒤따름

하나 또는 그 이상의 경계 매크로블록에 이웃한 모든 매크로블록에 대해 확장 채워넣기(extended padding)가 적용

<그림 12 6> MPEG 4에서 기준 VOP를 위한 채워넣기 순서<그림 12.6> MPEG-4에서 기준 VOP를 위한 채워넣기 순서

25


알고리즘 12.1 수평 반복 채워넣기

26


예제 12.1

<그림 12.7> 기준 VOP의 경계 매크로블록 내 반복 채워넣기의 예

(a) VOP 내의 원 화소

(b) 수평 반복 채워넣기 후(b) 수평 반복 채워넣기 후

(c) 뒤따르는 수직 반복 채워넣기

27


확장 채워넣기완전하게 VOP 밖에 있는 매크로블록은 외부 매크로블록

경계 매크로블록 바로 옆의 외부 매크로블록은 경계 매크로블록의 가장경계 매크로블록 바로 옆의 외부 매크로블록은 경계 매크로블록의 가장자리 화소의 값을 복제해서 채워짐

경계 매크로블록은 완전히 채워 넣어지고, 그들의 수직 및 수평 경계화소는 정의된 값을 가짐화소는 정의된 값을 가짐

외부 매크로블록이 이웃하는 하나 이상의 경계 매크로블록을 가진다면, 확장 채워넣기를 위해 이용할 경계 매크로블록은 우선순위 리스트를 따름

(왼쪽, 위쪽, 오른쪽, 아래쪽)

MPEG-4의 나중 버전은 이러한 매크로블록들의 평균값을 이용

확장 채워넣기 과정은 VOP의 직각 경계 상자 내 모든 외부 매크로블록을 채우기 위해 반복

28


움직임 벡터 부호화C(x + k; y +l)는 목표 VOP 내 매크로블록의 화소로, R(x+i+k; y+j+l)은 기준 VOP 내 매크로블록의 화소준 VOP 내 매크로블록의 화소

절대 차분의 합(SAD)의 정의

N = 매크로블록의 크기

C(p q)가 목표 VOP 내의 화소일 때 Map(p q)=1 아니면 Map(p q)=0C(p, q)가 목표 VOP 내의 화소일 때, Map(p, q)=1 아니면 Map(p, q)=0

최소 SAD를 주는 벡터(I, j)가 움직임 벡터 MV(u, v)로 채택

p는 u와 v를 위해 최대로 허용할 수 있는 크기

29


H.263에서 채택된 것들과 유사하게 개선된 움직임 보상 기법4개의 움직임 벡터(각각 8 x 8 블록으로부터)가 VOP의 휘도 성분 내의 각각의 매크로블록에 대해 생성의 매크로블록에 대해 생성

움직임 벡터는 부분-화소(subpixel) 정밀도를 가질 수 있음. 반-화소 정밀도에서, 움직임 벡터 범위는 [-2,048, 2,047]. MPEG-4는 VOP의 휘도 성분에서, 움직임 벡터 범위는 [ 2,048, 2,047]. MPEG 4는 VOP의 휘도 성분내에서 ¼-화소 정밀도를 허용

제한 없는 움직임 벡터가 허용 : MV는 기준 VOP의 경계를 넘어 지정할 수있음. VOP밖의 화소가 참조될 때, 채워넣기 때문에 그 값은 여전히 정의

30


12.2.3 질감 부호화질감은 VOP 내 회색도(또는 색도) 변화와 또는 패턴을 지칭

MPEG 4의 질감 부호화 기반MPEG-4의 질감 부호화 기반

DCT

형상 적응적인 DCT(SA-DCT)

DCT기반 질감 부호화I-VOP에서, VOP 내의 각각의 매크로블록에서 화소 회색도(색도)값은 DCT와 바로 뒷따르는 VLC를 이용해여 부호화와 바로 뒷따르는 VLC를 이용해여 부호화

정지 영상을 위한 JPEG에서 수행되는 것과 유사

P-VOP와 B-BOP는 움직임 보상 기반 부호화를 이용

따라서 예측 오차가 DCT와 VLC에 보내짐따라서 예측 오차가 DCT와 VLC에 보내짐

31


내부 매크로블록을 위한 부호화각 매크로블록의 6개 8 x 8 블록으로부터의 예측 오차는 전형적인 움직임 예측 단계 후에 얻어짐측 단계 후에 얻어짐

6개의 8 x 8블록 DCT 계수를 얻기 위해 DCT 루틴에 보내짐

경계 매크로블록을 위한 부호화경계 매크로블록을 위한 부호화기준 VOP에서 VOP 밖의 부분은 빈복 채워넣기를 이용해 채워짐

움직임 보상 후에, 목표 VOP 내의 질감 예측 오차를 얻음

VO 밖의 목표 VO 내 경계 매크로블록의 부분을 위해 0이 C 에 보내진VOP 밖의 목표 VOP 내 경계 매크로블록의 부분을 위해, 0이 DCT에 보내진블록에 채워짐

예측오차는 0에 가까움

반복 채워넣기와 확장 채워넣기가 움직임 보상에서 더 좋은 정합을 위한 것반복 채워넣기와 확장 채워넣기가 움직임 보상에서 더 좋은 정합을 위한 것이면, 0 채워넣기는 질감 부호화에서 더 좋은 DCT 결과를 위한 것

32


경계 매크로블록을 위한 SA-DCT 기반 부호화SA-DCT는 경계 매크로블록을 위한 또 다른 질감 부호화 방법

1D DCT N은 1D DCT의 변형 고장된 N=8 대신 N개의 성분이 변환에 사용1D-DCT-N은 1D DCT의 변형, 고장된 N=8 대신 N개의 성분이 변환에 사용

SA-DCT는 2차원 DCT이고 DCT-N의 두 번 반복을 통해서 분리 가능한 2차원 변환으로 계산

33


<그림 12.8> SA-DCT를 이용한 경계 매크로블록을 위한 질감 부호화

34

<그림 12.8> SA DCT를 이용한 경계 매크로블록을 위한 질감 부호화


12.2.4 형상 부호화형상은 비주얼 객체의 고유한 특징 중에 하나이기 때문에, MPEG-1과2와는 달리 MPEG-4는 VOP의 형상을 부호화2와는 달리, MPEG 4는 VOP의 형상을 부호화

MPEG-4는 두 가지 형태(이진과 회색도)의 형상 정보를 지원

이진 형상 정보는 VOP의 직각 바운딩 상자와 같은 크기의 이진 맵(또는 이진 알파맵) 형태를 가질 수 있음는 이진 알파맵) 형태를 가질 수 있음

비트맵에서 1(불투명) 또는 0(투명)의 값은 화소가 VOP의 안인지 밖인지를 나타냄

회색도 형상 정보는 실질적으로 0(투명)부터 255(불투명)까지 범위의회색값을 갖는 형상 투명도(shape’s transparency)로 참조

35


이진 형상 부호화이진 알파 블록(BAB) : 이진 알파맵을 더 효율적으로 부호화하기 위해 16 x 16블록으로 나누어짐16블록으로 나누어짐

만약 BAB가 완전하게 불투명하거나 투명하면 부호화하기 쉬움

경계 BAB는 윤곽선을 포함하고, VOP를 위한 형상 정보를 포함, 그것들이 이진 형상 부호화의 대상이 됨

개의 비 맵 기반 알 리두 개의 비트맵 기반 알고리즘

Modied Modied READ (MMR) .

내용 기반 산술 부호화 : Context-based Arithmetic Encoding (CAE).

36


Modied Modied READ (MMR) MMR은 기본적으로 READ(Relative Element Address Designate) 알고리즘의 단순화 부류의 단순화 부류

READ 알고리즘의 기본 개념은 이전 부호화된 라인 내 화소 위치와 연관된현재 라인을 부호화 하는 것

이전과 현재 라인 내에서 다섯 화소 위치를 확임함으로써 시작이전과 현재 라인 내에서 다섯 화소 위치를 확임함으로써 시작

a0 : 부호화기와 복호화기 모두에 알려진 마지막 화소값

a1 : a0 오른쪽으로의 전이 화소

a2 : a0 오른쪽으로의 두 번째 전이 화소

b1 : 이전 부호화된 라인에서 색이 a0에 반대인 첫 번째 전이 화소

b2 : 이전 부호화된 라인에서 b1의 오른쪽으로의 첫 번째 전이 화소

37


READ는 이 화소들의 상대적인 위치를 검사함으로써 동작

언제든지 부,복호화기가 모두 a0, b1, b2 의 위치를 아는 반면, a1 과 a2의 위치는 부호화기만 알 수 있음

세 가지 부호화 모드 이용

만약 이전의 현재 라인의 런-길이가 유사하다면, a01과 b1 사이의 거리는 a0

와 a1 사이의 거리보다 훨씬 더 작아야 함. 따라서 수직 모드는 a1 – b1 으로현재 런 길이를 부 화 함현재 런-길이를 부호화 함

만약 이전 라인이 유사한 런-길이를 갖지 않으면, 현재 런-길이는 1차원 런-길이 부호화를 이용해서 부호화 됨. 이것을 수평 모드라 부름

만약 a0 b1 < b2 < a1 이면 그것이 경로 모드에 있다는 것을 나타내는 부호만약 a0 b1 < b2 < a1 이면 그것이 경로 모드에 있다는 것을 나타내는 부호

어를 단순히 전송하고 a0 를 b2 아래의 위치로 나아가게 할 수 있음. 그리고부화화 과정을 계속 수행

38


실제 구현을 위해 READ 알고리즘을 약간 간략화할 수 있음

예를 들어 ||a1−b1|| < 3 이라면 수직 모드를 적용할 수 있음

오류 전달을 막기 위해 k개의 라인마다 일반적인 런-길이 부호화를 이용하여부호화된 라인이 적어도 하나는 포함되도록 k-인수가 정의

이러한 수정은 G3 표준에서 사용된 수정된 READ 알고리즘을 구성 MMR 알이러한 수정은 G3 표준에서 사용된 수정된 READ 알고리즘을 구성. MMR 알고리즘은 단순히 k-인수에 의해 부과된 제한 요소를 제거

<그림 12.9> MPEG-4에서 이진 형상 부호화를 위한 CAE의 내용 O는 현재 화소를 나타내고, 숫자는 이웃한 화소를 나타낸다: (a) 인트라-CAE (b) 인터-CAE

39


회색도 형상 부호화여기서 회색도는 형상의 질감이 아닌 투명도를 기술하기 위해 사용

RGB 프레임 버퍼를 위한 비트평면뿐만 아니라 래스터 그래픽은 그래픽 객RGB 프레임 버퍼를 위한 비트평면뿐만 아니라, 래스터 그래픽은 그래픽 객체의 투명도를 기술하기 위해 사용될 수 있는 알파맵을 위한 추가적인 비트평면을 이용

알파맵이 하나 이상의 비트평면을 가질 때, 다중 레벨의 투명도가 도입알파맵이 하나 이상의 비트평면을 가질 때, 다중 레벨의 투명도가 도입

예를 들면, 투명을 위해 0, 불투명을 위해 255, 중간 투명도를 위해 사이의여러 수로 나타낼수 있음

투명도 숫자가 0-255 범위에 잇기 때문에 회색도란 용어는 간단히 MPEG-4에서 투명도 부호화를 위해 이용

알파맵과 블록 기반 움직임 보상을 이용하고 DCT에 의해 예측 오차를 부호화

모든 화소가 VOP 내에 있지 않기 때문에 경계 매크로블록은 이전처럼 채워넣기가 필요

무손실인 이진 형상 정보화와 반대로 회색도 형상 정보화는 손실

40


12.2.5 정적 질감 부호화MPEG-4는 정적 객체의 질감을 위해 웨이블릿 부호화를 이용

질감이 3차원 표면위로의 사상을 위해 이용될 때 특히 적용 가능질감이 3차원 표면위로의 사상을 위해 이용될 때 특히 적용 가능

MPEG-4 정적 질감 부호화에서 서브밴드 부호화 실행

가장 낮은 주파수를 갖는 서브밴드는 DPCM을 이용하여 부호화. 각 계수의예측은 세 이웃을 기반으로 함예측은 세 이웃을 기반으로 함

다른 서브밴드의 부호화는 다중스케일 제로트리 웨이블릿 부호화 방법을 기반으로 함

다중 스케일 제로트리 : 가장 낮은 주파수 서브밴드내의 각각의 계수를 위한부모-자식 관계(PCR) 트리를 가짐. 모든 계수의 위치 정보는 더 잘 추적

41


12.2.6 스프라이트 부호화주 목적은 전경의 (움직이는) 객체를 탐지하고 검사하는 것

배경은 정적 영상으로 취급될 수 있음배경은 정적 영상으로 취급될 수 있음

새로운 VO형 스프라이트

더 큰 그래픽 영상 또는 영상의 집합 내에서 자유롭게 주위를 움직일 수 있는그래픽 영상 만듬그래픽 영상 만듬

배경으로부터 전경 객체를 분리하기 위해 스프라이트 파노라마(sprite panorama) - 한 비디오 프레임의 순서에 걸쳐 있는 정적 배경을 기술하는정지 영상 - 의 개념 도입

영상 “꿰메기(stitching)”와 “와핑(wariping)” 기술을 이용하여 생성

큰 스프라이트 파노라마 영상은 비디오 순서의 시작에서 오직 한번만 부호화되고 복호화기로 보내짐

복호화기가 개별적으로 부호화된 전경 객체와 지금까지의 카메라 움직임을복호화기가 개별적으로 부호화된 전경 객체와 지금까지의 카메라 움직임을기술하는 파라미터를 받았을 때, 장면을 효율적으로 복원

42


<그림 12.10> 스프라이트 부호화 :

(a) 배경의 스프라이트 파노라마 영상

(b) 블루스크린 영상에서 전경 객체(백파이프 부는 사람)(b) 블루스크린 영상에서 전경 객체(백파이프 부는 사람)

(c) 합성된 비디오 장면

43


12.2.7 전역 움직임 보상: GMC보통의 카메라 움직임(전역 움직임)은 종종 연속적인 비디오 프레임 사이의빠른 내용 변화를 일으킴빠른 내용 변화를 일으킴

전역 움직임 보상 (Global Motion Compensation) 설계의 주요 구성 요소

전역 움직임 예측전역 움직임 예측

와핑과 블렌딩

움직임 궤적 부호화

지역 움직임 보상(LMC) 또는 GMC의 선택지역 움직임 보상(LMC) 또는 GMC의 선택

44


전역 움직임 예측

스프라이트에 대하여 현재 영상의 움직임을 계산

“전역”은 카메라 변화(줌 인, 측면으로 패닝 등)에 따른 전체적인 변화를 의( , )미

스프라이트 S와 전역 움직임 보상된 영상 I` 사이의 차분의 제곱의 합을 최소화함으로써 계산

전체 영상에 걸쳐진 움직임은 아래에 정의된 8개의 파라미터를 사용한 원근전체 영상에 걸쳐진 움직임은 아래에 정의된 8개의 파라미터를 사용한 원근움직임 모델에 의해 파라미터화 됨

45


와핑과 블렌딩

한번 움직임 파라미터가 계산되면, 배경 영상은 스프라이트에 대하여 정렬하기 위해 와핑

와핑된 영상의 좌표는 식 12.5 를 사용하여 계산

그 후에 와핑된 영상은 새로운 스프라이트를 생성하기 위해 현재 스프라이트와 혼합

간단한 평균 또는 어떤 형태의 가중치 평균을 이용하여 구현간단한 평균 또는 어떤 형태의 가중치 평균을 이용하여 구현

움직임 궤적 부호화

직접적으로 움직임 파라미터를 전송하는 대신에 단지 기준점의 변위만을 부직접적으로 움직임 파라미터를 전송하는 대신에, 단지 기준점의 변위만을 부호화( = 궤적 부호화)

VOP 바운딩 상자의 모서리에 있는 점들은 기준점으로 사용

스프라이트 내의 그것들에 대응하는 점들은 계산스프라이트 내의 그것들에 대응하는 점들은 계산

이 두 실체 사이의 차이는 차분 움직임 벡터로서 부호화되고 전송

46


지역 움직임 보상(LMC) 또는 GMC의 선택

움직이는 배경에 GMC를, 전경에는 LMC를 적용

SADGMC < SADLMC라면, 에측된 참조 VOP를 생성하기 위해 GMC를 사용,

그렇지 않으면 LMC를 사용

47

12.3 MPEG-4의 합성 객체 부호화

12.3.1 2차원 메시 객체 부호화2차원 메시 : 다각형 조각을 이용한 2차원 평면 영역의 모자이크(또는 분활)

다각형의 정점들은 메시의 노드다각형의 정점들은 메시의 노드

가장 대표적인 메시는 모든 다각형이 삼각형인 삼각형 메시

MPEG-4 표준은 두 가지 형태의 2차원 메시를 사용

(균일 메시 & Delaunay 메시)(균일 메시 & Delaunay 메시)

2차원 메시 객체 부호화는 간결. 메시의 모든 좌표값은 반-화소 정밀도로 부호화

각각의 2차원 메시는 메시 객체 평면(Mesh Object Plane: MOP)으로 여겨짐

48


<그림 12.11> 2차원 메시 객체 평면(MOP) 부호화 과정

49


2차원 메시 기하학 부호화MPEG-4는 다른 3각 측량 구조를 가지는 네 가지 형태의 균일 메시를 허용

<그림 12.12> 균일 메시의 네 가지 형태

정의 : 만약 D 가 Delaunay 3각 측량이라면 그 삼각형들중 어떤 것

tn = (Pi; Pj; Pk) ∈D 는 tn 의 외접원이 그것의 내부에 어떤 다른 노드점 Pl 을 포함하지 않는다는 속성을 만족을 포함하지 않는다는 속성을 만족

50


비디오 객체를 위한 Delaunay 메시를 얻는 단계

메시의 경계 노드를 선택 :메시의 경계 노드를 선택 :

다각형은 객체의 경계를 근사화하는 데 이용

내부 노드를 선택 :내부 노드를 선택 :

가장자리점 또는 모서리와 같은 객체의 경계 내에 있는 특징 점은 메

시를 위한 내부 노드로 선택시를 위한 내부 노드로 선택

Delaunay 3각 측량을 실행 :

제한된 D l 3각 측량을 다각형 경계를 제한으로 사용하여 경제한된 Delaunay 3각 측량을 다각형 경계를 제한으로 사용하여 경

계와 내부 노드에서 실행

51


제한된 Delaunay 3각 측량

내부 가장 자리는 새로운 삼각형을 구성하기 위해 먼저 더함내부 가장 자리는 새로운 삼각형을 구성하기 위해 먼저 더함

그 알고리즘은 그것이 국부적으로 Delaunay인 rt을 확신하기 위해 각각의 내

부 가장자리를 검사

가장자리 jk 를 공유하는 두 삼각형 (Pi; Pj; Pk) 와 (Pj; Pk; Pl) 이 주어지고,

만약 그 외접원 내부에서 (Pi; Pj; Pk) 가 Pl 을 포함하거나 (Pj; Pk; Pl) 이 Pi

를 포함한다면, jk 는 국부적으로 Delaunay가 아니고 새로운 가장자리 il 에

의해 교체

만약 Pl 이 (P P P ) 정확하게 의 외접원에 있게 된다면 또는 이 네 노드 사만약 Pl 이 (Pi; Pj; Pk) 정확하게 의 외접원에 있게 된다면 또는 이 네 노드 사

이에 가장 큰 x좌표를 가질 때만, 는 국부적으로 Delaunay로 간주

52


<그림 12.13> Delaunay 메시 (a) 경계 노드 (P0 - P7)와 내부 노드(P8– P13); (b) 제한된 Delaunay 3각 측량애 의해 얻어진 삼각형 메시

처음 위치 ()를 제외하고, 모든 다음 좌표들은 차분화 부호된다. 즉 n≥1일때

가변 길이 부호화

53


2차원 메시 움직임 부호화

새로운 메시 구조는 오직 인트라-프레임에서만 생성될 수 있고, 그것의 삼각새로운 메시 구조는 오직 인트라 프레임에서만 생성될 수 있고, 그것의 삼각

위상 기하학은 다음의 인터-프레임에서는 변경하지 않을 것이다.

어떤 MOP 삼각형 (Pi; Pj; Pk)를 위해, 만약 Pi 와 Pj 를 위한 움직임 벡터 MVi

와 MVj라는 것이 알려지면, 예측 Predk는 반-화소 정밀도로 반올림되어 Pk

의 움직임 벡터를 위해 생성될 것

예측 오차 ek는 다음과 같이 부호화

54


<그림 12.14> 2차원 메시 움직임 부호화를 위한 MOP 삼각형의 폭-우선순위차 메시 직 부 화 위 각형의 폭 우 위

55


<그림 12.15> 2차원 객체 에니메이션을 위한 메시 기반 질감 매핑

56


12.3.2 3차원 모델 기반 부호화

MPEG-4는 얼굴 객체와 몸 객체를 위한 특별한 3차원 모델을 정의MPEG 4는 얼굴 객체와 몸 객체를 위한 특별한 3차원 모델을 정의

새로운 비디오 객체를 위한 잠재적인 몇 가지의 응용 분야는 원격 회의, 인간

과 컴퓨터의 인터페이스, 게임, 그리고 전자 상거래를 포함

얼굴 또는 몸 객체의 표면이 명암을 나타내거나 또는 질감 사상될 수 있도록,

MPEG-4는 와이어프레임의 범위를 뛰어 넘음

57


얼굴 객체 부호화와 애니메이션

MPEG-4는 VRML 컨소시엄에 의해 개발된 일반 기본 얼굴 모델을 채택MPEG 4는 VRML 컨소시엄에 의해 개발된 일반 기본 얼굴 모델을 채택

얼굴 애니메이션 파라미터(Face Animation Parameters , FAPs)

원하는 애니메이션-원본”무표정”얼굴로부터 유도-을 얼기 위해 기술

Face Denition Parameters (FDPs)는 각각의 얼굴을 더 잘 묘사하기 위해 기

술

그림 12.16은 애니메이션에 의해 영향을 받을 수 있는 특징 점(FAP)은 꽉 찬

원으로 보여지고; 영향을 받지 않는 다른 것들은 비어 있는 원으로 보여짐

58


<그림 12.16> 얼굴 정의 파라미터를 위한 특징 점(FDPs). (이와 혀를 위한 특징 점은 보이지 않는다)

59


몸 객체 부호화와 애니메이션

MPEG-4 버전 2는 얼굴 객체로의 자연스러운 확장인 몸 객체를 도입MPEG 4 버전 2는 얼굴 객체로의 자연스러운 확장인 몸 객체를 도입

VRML 컨소시엄 내의 휴머노이드 애니메이션(H-Anim) 그룹과 작업하여,

MPEG는 기본 자세를 가지는 일반적인 가상 인간 몸을 채택

기본 자세는 정면을 향하는 발, 손바닥이 안으로 향하고 옆쪽에 팔을 두고 서

있는 것

296가지의 몸 애니메이션 파라미터(BAPs). MPEG-4에 순응하는 어떤 일반

적인 몸에 적용될 때, 그것들은 같은 애니메이션을 생성

상당히 많은 BAP는 척추 어깨 쇄골 팔꿈치 손목 손가락 엉덩이 무릎상당히 많은 BAP는 척추, 어깨, 쇄골, 팔꿈치, 손목, 손가락, 엉덩이, 무릎,

발목, 발가락을 포함하는 몸의 다른 부분을 연결하는 관절 부분을 기술

몇몇 몸의 움직임은 세부적인 다중 등급 내에서 기술

60


특정한 몸을 위해, 몸 정의 파라미터(BDPs)는 몸 차원, 몸 표면 기하학, 그리

고 선택적으로, 질감을 위해 명시될 수 있음

몸 표면 기하학은 2차원 공간에서 다각형 평면 표면의 집합으로 구성된 3차

원 다각형 메시 표현을 이용

3차원 메시 표현은 질감 매핑과 결합되어 좋은(사실적인) 렌더링을 전달

BAP 부호화는 FAP의 그것과 유사 : 양자화와 예측 부호화가 이용되고, 예측

오차는 산술 부호화에 의해 더욱 압축오차는 산술 부호화에 의해 더욱 압축

61

12.4 MPEG-4 객체 타입, 프로파일,및 등급

MPEG-4에서 프로파일과 레벨의 표준 제정은 두 가지 주요 목적을 가짐

구현된 시스템 간의 상호 동작성을 보장

표준에 대한 순응시험을 허용하기 위함

MPEG-4는 비주얼 프로파일과 오디오 프로파일뿐만 아니라 그것의 시스템

부분에서 그래픽 프로파일, 장면 묘사 프로파일, 그리고 객체 묘사 프로파일

도 명시

객체 타입의 개념은 비디오 객체를 생성하고 장면에 결합되는 방법을 만들객체 타입의 개념은 비디오 객체를 생성하고, 장면에 결합되는 방법을 만들

기 위해 필요한 도구를 정의하기 위해 소개

62


<표 12.1> MPEG-4 자연 비주얼 객체 타입을 위한 도구

63


<표 12.2> MPEG-4 자연 비주얼 객체 타입과 프로파일

64


<표 12.3> Simple, Core, Main 비주얼 프로파일에서의 MPEG-4 레벨

65

12.5 MPEG-4 PART 10 / H.264

개 요

ISO/IEC MPEG와 ITU-T VCEG의 Joint Video Team(JVT)은 H.264 비디오ISO/IEC MPEG와 ITU T VCEG의 Joint Video Team(JVT)은 H.264 비디오

압축 표준을 개발. 그 전에는 “H.26L”로 알려져 있음

H.264가 MPEG-2보다 50% 더 나은, H.263과 MPEG-4의 개선된 Simple

프로파일보다 30% 더 나은 압축을 제공

실질적으로 두 동일한 표준 :

ISO MPEG-4 Part 10 & ITU-T H.264. MPEG-2

H.264는 현재 많은 잠재적 응용에서 HDTV 비디오 내용을 전달하는 유력한

방식 중의 하나방식 중의 하나

66

12.5 MPEG-4 PART 10 / H.264

12.5.1 핵심 특징

VLC 기반 엔트로피 복호화VLC 기반 엔트로피 복호화

두 가지 엔트로피 방법이 가변 길이 엔트로피 복호화기에서 이용

단일화된 VLC(UVLC)와 내용 적응적 VLC(CAVLC)

움직임 보상(P-예측)

H.264는 4 x4 블록 크기까지 트리 구조의 움직임 분활(16x16, 16x8, 8x16, 8x8,

8 4 4 8 4 4)을 이용 여섯 탭 싱크 필터는 고주파수 성분을 보존하기 위한 반8x4, 4x8, 4x4)을 이용. 여섯-탭 싱크 필터는 고주파수 성분을 보존하기 위한 반-

화소 보간에 이용. 간단한 평균은 더 정확한 움직임뿐만 아니라 반-화소보다 저역

통과 필터 역할을 하는 4/1-화소 보간을 위해 이용

67

12.5 MPEG-4 PART 10 / H.264

인트라-예측(I-예측)

H.264는 H.263+와 같은 이전 비디오 표준보다 더 많은 공간 예측을 이용

4x4 블록에 대해서는 9가지 예측 모드와 16x16 블록에 대해서는 네 가지 예측 모드

시간적 예측이 실패했을 때, 전송될 데이터의 양을 철저하게 줄이므로 강력

변환 주사 양자화변환, 주사, 양자화

간단한 정수 정밀도의 4x4 DCT는 에너지를 집중시키기에 충분

정수 산술은 모든 처리의 정확한 역변환을 허용, 이전 변환 기반 코덱의 부/복호화

기 미스매치 문제를 제거

H.264는 양자화 스케일의 높고, 낮은 끝쪽 모두에서 정확한 율제어를 얻기 위해

비선형 스텝 크기를 갖는 양자화 방식을 제공비선형 스텝_크기를 갖는 양자화 방식을 제공

68

12.5 MPEG-4 PART 10 / H.264

루프 내 디블록킹 필터

H.264는 정교한 신호 적응적인 디블록킹 필터를 명시하고, 일련의 필트 세트는 4x4 블록

지에 적용

필터 길이, 강도 및 타입은 매크로블록 부호화 파라미터와 공간 활용도에 따라 변하고,

따라서 블록깅 인조 잡상은 시각적 특징의 왜곡 없이 제거

H.264 디블록킹 필터는 표준의 주관적인 품질을 증가시키는 데 중요

69

12.5 MPEG-4 PART 10 / H.264

12.5.2 기준선 프로파일 특징

임의 슬라이스 순서(ASO)임의 슬라이스 순서(ASO)

영상 내의 슬라이스 복호 순서는 단순 증가하는 순서를 따르지 않음

융통성 있는 매크로블록 순서(FMO)

매크로블록은 래스터 주사 순서가 아닌 채커판 패턴과 같이 임의의 순서로 복호화

오류가 발생하기 쉬운 네트워크에서 유용

잉여 슬라이스잉여 슬라이스

슬라이스의 잉여 복사분은 더욱 오차 복원력을 개선시키기 위해 복호화

70

12.5 MPEG-4 PART 10 / H.264

12.5.3 메인 프로파일 특징

B 슬라이스B 슬라이스

H.264의 쌍예측 모드는 기존의 표준보다 훨씬 더 융통성 있음

쌍예측된 영상은 기준 프레임으로 이용

내용 적응적 이진 산술 부호화(CABAC)

다른 데이터 타입과 내용에 대해 다른 적응적 통계치 모델을 이용하는 이진 산술 부호화

VLC 기반 엔트로피 부호화를 대신 함VLC 기반 엔트로피 부호화를 대신 함

가중된 예측

조명의 변화나 페이딩과 같은 다른 전역 효과를 예측하기 위해 움직임 보상 예측 샘플의

수정을 위한 전역 가중치를 각 슬라이스에 대해 명시할 수 있음

71

12.5 MPEG-4 PART 10 / H.264

12.5.4 확장 프로파일 특징

B 슬라이스B 슬라이스

가중된 예측

슬라이스 데이터 분활

더 중요한 데이터가 더 신뢰성 있는 채널을 통해 전송될 수 있도록 슬라이스 데이터를 분

리된 시퀀스(헤더 정보, 잉여 정보)로 분활

SP와 SI 슬라이스 타입

비트스트림 스위칭, 고속 순방향/역방향, 랜덤한 접근을 허용하기 위해 특별한 시간적 예

측 모드가포함된 슬라이스

72

12.6 MPEG-7

개 요

주요 목표는 디지털 도서관과 같은 응용에서 오디오비주얼 내용 기반 검색주요 목표는 디지털 도서관과 같은 응용에서 오디오비주얼 내용 기반 검색

(또는 객체 검색)의 필요성을 충족시키는 것

멀티미디어 데이터의 생성(내용 창작)과 이용(내용 소비)을 포함하는 멀티미

디어 응용에 적합

2001년 9월 국제 표준 채택

멀티미디어 내용 서술 인터페이스

Multimedia Content De-scription Interface

73

12.6 MPEG-7

<그림 12.17>MPEG-7을 이용해 가능한 응용

74

12.6 MPEG-7

12.6.1 서술자(D)

색깔, 질감, 형상, 움직임과 같은 낮은 레벨 특징과 이벤트, 추상적인 개념과색깔, 질감, 형상, 움직임과 같은 낮은 레벨 특징과 이벤트, 추상적인 개념과

같은 구문 객체의 높은 레벨 특징 모두를 서술하기 위해 디자인

색

색 공간 : RGC, YCbCr, HSV(색상, 채도, 명암), HMMD

색 양자화 : 선형, 비선형, 참조표

우위색 : 각 영역 또는 영상에서 적은 수의 대표 색우위색 : 각 영역 또는 영상에서 적은 수의 대표 색

스케일러블 색 : HSV 색 공간의 색 히스토그램

색 레이아웃 : 색 레이아웃 기반 검색을 위한 색의 공간 분포

색 구조 : 색 구성 요소의 주파수

GoF/GoP 색 : 스케일러블 색과 유사

75

12.6 MPEG-7

질감

동질성의 질감 : 동질성의 질감 영역을 표현하기 위해 방향과 크기 조절된 Gabor 필터를

이용

질감 브라우징 : 동질성의 질감을 표현하고 탐색하기 위해 이용되는 에지의 규칙성, 조악

함, 방향성을 서술

에지 히스토그램 : 네 개의 방향성(0, 45, 90, 135°) 에지와 하나의 방향성 없는 에지의

공간적 분포를 나타냄

형상형상

영역 기반 형상 : ART 계수 집합이 객체의 형상을 서술하기 위해 이용

윤곽 기반 형상 : 스케일과 회전에 불변이고, 유연한 움직임과 형상의 부분 겹침에 강건

한 CSS 표현이 이용

3차원 형상 : 3차원 메시와 형상 인덱스를 기술

76

12.6 MPEG-7

움직임

카메라 움직임 : 고정, 팬, 틸트, 롤, 돌리, 트랙, 붐

객체 움직임 궤도 : 키 포인트(x, y, z, t)의 목록, 선택적인 보간 함수는 경로를 따라 가속

을 명시하는 데 사용

파라미터 객체 움직임 : 평면 투시도 모델과 정방형 모델은 투시도 왜곡과 좀 더 복잡한

움직임을 위해 사용

움직임 활동 : 비디오의 밝기, 페이스, 무드 등과 같은 서술을 제공

위치 측정위치 측정

영역 경계 설정자 : 박스 또는 다각형으로 영상 내에서 영역의 국부화를 명시

시공간 경계 설정자 : 비디오 순서 내 시공간 영역을 서술

기타

얼굴 인식 : 정규화된 얼굴 영상은 1차원 벡터로 표현

77

12.6 MPEG-7

<그림 12.18> 카메라 움직임 : 팬, 틸트, 롤, 돌리, 트랙, 붐(카메라는 유효 초점 길이 f를 가진다. 처음에는 z-축 방향을 가리키며 원점에 있다.)

78

음에는 z 축 방향을 가리키며 원점에 있다.)

12.6 MPEG-7

12.6.2 서술 체계(DS)

기본적인 요소기본적인 요소

데이터 타입과 수학적 구조 : 벡터, 행렬, 히스토그램 등

구성 : 미디어 파일과 국부화된 부분, 영역 등 링크

설계 도구 : 기본 요소, 최고 레벨 요소, 페키지 도구

내용 관리

미디어 서술 : 하나의 DS 미디어 정보 DS 미디어 검증 D 부호화 방법 트랜스코딩 힌미디어 서술 : 하나의 DS, 미디어 정보 DS, 미디어 검증 D, 부호화 방법, 트랜스코딩 힌

트, 저장 및 전송 포멧 등의 정보를 갖는 하나 또는 여러 개의 미디어 프로파일 D를 포함

창작과 생산 서술 : 창작, 분류 및 연계된 자료에 대한 정보를 포함

내용 사용 서술 : 사용 권리, 사용 기록, 유효성, 재정에 관한 정보를 제공하는 다양한 DS

들

79

12.6 MPEG-7

내용 설명

구조적 서술 : 세그먼트 DS는 내용의 구조적 측면은 서술. 세그먼트 DS는 클래스 객체

로 구성. 다섯 서브 클래스(오디오비주얼 세그먼트, 오디오 세그먼트, 정지 영역, 움직이

는 영역, 비디오 세그먼트) DS들

개념적 서술 : 이벤트 DS, 객체 DS, 상태 DS, rosua ds와 같은 더 높은 레벨의 내용 서술

을 포함. 트리 구조나 그래프로 구성

<그림 12 19> MPEG 7 비디오 세그먼트

80

<그림 12.19> MPEG-7 비디오 세그먼트

12.6 MPEG-7

항해와 접근

요약 : 일반적으로 키프레임만 보여줌으로써, 내용의 빠른 탐색과 항해를 위해 비디오 요

약을 제공

요약 DS, 계층적요약 DS, 하이라이트레벨 DS, 순차요약 DS

분활과 분해 : 보기 분활과 분해를 참조

보기 분활 : 공간적 보기, 시간적 보기, 주파수 보기, 해상도 보기와 같이 오디오비주얼

데이터의 다른 공간과 주파수 보기를 기술

내용의 변화 : 변화 DS는 영상 해상도 프레임률 컬러 감축 압축 등과 같은 원래 데이터내용의 변화 : 변화 DS는 영상 해상도, 프레임률, 컬러 감축, 압축 등과 같은 원래 데이터

로부터의 변화를 명시

내용 구성

수집물 : 수집구조 DS는 오디오비주얼 내용을 클러스터로 그룹화

모델 : 모델 DS는 수집물의 속성과 특징에 관한 모델과 통계치를 추출하는 확률 모델 DS,

분석 모델 DS 및 분류기 DS를 포함

81

분석 모델 DS 및 분류기 DS를 포함

12.6 MPEG-7

사용자 상호 작용

사용자 선호 : DS들은 내용 타입, 탐색 모드, 개인 특성, 그리고 사용자 행동을 분석하는

에이전트에 의해 선호도를 서술

<그림 12.20> 비디오 요약

82

<그림 12.20> 비디오 요약

12.6 MPEG-7

12.6.3 서술 정의 언어(DDL)

XML 스키마 구조 요소XML 스키마 구조 요소

스키마 : 정의와 선언을 둘러 감싸는 것

간단하고 복잡한 다입 정의, 속성과 요소 선언과 같은 기본적인 구조적 요소

속성 그룹 정의, 동일성 제한 정의, 그룹 정의 및 표시법 선언 등과 같은 이차적인 구조적

요소

주석, 접사, 와일드카드와 같은 “도우미” 요소

XML 스키마 데이터 타입 요소

근원 및 유도된 데이터 타입

새로운 데이터 타입을 유도하기 위한 사용자 메커니즘

XML 1.0보다 나은 타입 조회

83

12.6 MPEG-7

MPEG-7 확장

배열과 행렬 데이터 타입

오디오, 비디오, 오디오비주얼 발표를 포함하는 다중 미디어 타입

MimeType, CountryCode, RegionCode, CurrencyCode, CharacterSetCode를 위해 열

거된 데이터 타입

D와 DS를 위한 지적 재산권 관리 및 보호(IPMP)

84

12.7 MPEG-21

개 요

최신 표준의 개발, MPEG-21 : 멀티미디어 프레임워크. 2000. 6월에 시작최신 표준의 개발, MPEG 21 멀티미디어 프레임워크. 2000. 6월에 시작

“MPEG-21의 비전은 서로 다른 집단에 의해 이용되는 넓은 범위의 네트워크와장치를 교차하여 멀티미디어 자원의 손쉽고 증대된 사용을 가능하게 하는 멀티미디어 프레임워크를 정의하기 위함이다 ”

MPEG-21 7가지 주요 요소

디지털 항목 선언 : 일률적이고 신축성 있는 추상적 개념과 상호 사용 가능한 스키마를

미디어 프레임워크를 정의하기 위함이다.

디지털 항목 선언 : 일률적이고 신축성 있는 추상적 개념과 상호 사용 가능한 스키마를

수립

디지털 항목 확인과 기술 : 원본, 타입, 입자 모양 등에 관계없이 디지털 항목의 표준화된

확인과 기술을 위한 프레임워크를 수립

내용 관리와 사용 : 관리와 이용을 돕는 인터페이스와 프로토콜을 제공

지적 재산권 관리와 보호 (IPMP) : 내용이 신뢰성 있게 관리되고 보호되는 것을 가능

85

( )

12.7 MPEG-21

터미널과 네트워크 : 넓은 범위의 네트워크와 터미널을 교차해서 QoS를 갖는 내용에 상

호 사용 가능하고 손쉬운 접근을 제공하기 위함

내용 발표 : MPEG 21의 목표를 추구하기 위한 적절한 방법으로 내용을 표기하기 위함내용 발표 : MPEG-21의 목표를 추구하기 위한 적절한 방법으로 내용을 표기하기 위함

이벤트 보고 : 성능과 대안을 이해하기 위한 이벤트를 보고하기 위한 꼐량법과 인터페이

스를 수립

86

MPEG 비디오부호화II —MPEG-4, 7과그이후graphics.hallym.ac.kr/teach/2008/mm/src/chap12.pdf · 2009-03-24 · 3 12.1 MPEG-4 개요 MPEG-4 더새로운표준. 압축외에도,

Documents