MPEG-2 Video Codingmmlab.uos.ac.kr/MultimediaEng/archive/MPEG-2 Video Coding... · 2005. 4. 23. · • mpeg-2는대단히광범위한응용에대응할...

2005-04-24 1

Visual Communications Lab.

MPEG-2 Video Coding

Jung Kyu Chul

VisualCommunication Lab.

Department of Electrical &

Computer Engineering.

University of Seoul

2005-04-24 2

Contents

• What is MPEG.– What is MPEG.

– MPEG standard.

– MPEG-1 & MPEG-2.

• Background Information.– Progressive & Interlaced.

– Scanning.

– Frame & Field.

– Chrominance format.

• Image Compression.– Why we should compress image?

– Image Compression.

2005-04-24 3

What is MPEG.

2005-04-24 4

What is MPEG. (1)

• MPEG은 "Moving Pictures Experts Group"의 약어로국제 표준화 원회(ISO)와 국제 전기 학회(IEC)가 공동으로 추진한 비디오 및 오디오에 관한 국제 표준의압축 부호화 규격입니다. MPEG-1은 영화를 CD-ROM에 기록하는 것을 주목적으로 개발되었으며352*240 화소 (NTSC의 경우)의 화상을 1.5Mbps 이하의 비트 레이트로 압축하며, 1.5Mbps 중 비디오가1.152Mbps, 오디오가 나머지 부분(128~334kbps)을점유합니다. 비디오 CD로 상품화되었지만 압축률이너무 높아 재생화질이 VHS 수준에 못미치고 재생 시간도 짧아서 VTR을 대체하지는 못하고 게임이나 PC용 영상 재생기 등의 용도로 사용되고 있습니다. 이러한 단점을 극복하고자 탄생한 것이 바로 MPEG-2입니다.

2005-04-24 5

What is MPEG. (2)

• MPEG-2는 MPEG-1과는 다르게 통신, 방송, 그리고정보 축적 등 다양한 분야에서 응용이 가능하도록 연구되었습니다. 아울러 표준 TV 뿐만이 아니라 HDTV에서도 대응할 수 있도록 표준화가 진행되었으며 초기에는 720*480 화소의 영상 신호를 15Mbps 이하로압축하여 방송 통신에 활용하는 것이 당면 과제였지만 넓은 범위로 응용성을 확대하는 쪽으로 연구 목적이 변경되면서 당초 HDTV 수준으로의 디지털 압축을검토하던 MPEG-3 분야를 흡수하게 되었습니다.따라서 MPEG-2는 넓은 적용 영역과 고품질의 영상을 제공한다는 점 때문에 방송, 통신, 컴퓨터, 가전 등많은 분야에서 응용되고 있습니다.

2005-04-24 6

What is MPEG. (3)

2005-04-24 7

MPEG standard (1)

2005-04-24 8

MPEG standard (2)

• MPEG-시스템부(MPEG-Systems)

– 부호화된 소리와 동영상을 함께 묶어서 부호화하는 표준안을 개발한다.

• MPEG-비디오부(MPEG-Video)

– 동영상의 부호화 기술에 대한 표준안을 개발한다.

• MPEG-오디오부(MPEG-Audio)

– 소리 정보를 표현하기 위한 부호화 표준 방법들을 개발한다.

2005-04-24 9

MPEG-1 & MPEG-2

항목 MPEG-1 MPEG-2

영상포맷

색차포맷

순차주사(Progressive Scan) 4:2:0

순차주사(Progressive Scan), 비월주사(Interlaced Scan) 4:2:0, 4:2:2, 4:4:4

영상품질

1.5Mbps 4Mbps : TV 화질 10Mbps : 스튜디오 TV화질 30Mbps : HDTV 방송품질 70Mbps : HDTV의 스튜디오 품질

부호화 비트율의 유연성

CBR (Constant Bit Rate), VBR (Variable Bit Rate) 지원

CBR (Constant Bit Rate), VBR (Variable Bit Rate) 지원

부호화 . 복호지연 프레임구조 프레임구조, 필드구조

랜덤 액세스 채널 호핑

GOP구조 GOP 구조를 잘 활용함으로써 랜덤억세스와 채널호핑에 필요한 시간을 줄일 수 있다

비트열 스케일러빌리티

Spatial Scalability Temporal Scalability SNR Scalability

2005-04-24 10

Background Information.

2005-04-24 11

Progressive & Interlaced

• Progressive Scan : 순차적으로 주사.

• Interlaced Scan : 한 line씩 건너서 주사.

2005-04-24 12

Scanning

• 한장의 화면은 수많은 점들로 이루어져 있으며 이러한 하나의 점을 화소(Picture Element)또는 픽셀(Pixel)이라고 한다.

• 모든 화소들을 전기 신호로 변환, 케이블을 통해서 전송해야 하며 이때 그림의 화소들을 순차적으로 훑어 나가면서 전기적인 영상신호를만들어 내는 일련의 작업을 주사(Scanning)라고 한다.

2005-04-24 13

Frame & Field (1)

• A frame contains lines of spatial information of a video signal. For progressive video, these lines contain samples starting from one time instant and continuing through successive lines to the bottom of the frame. For interlaced video, a frame consists of two fields, a top field and a bottom field. One of these fields will commence one field period later than the other.

• MPEG-2에서는 원 영상이 interlaced scan일 경우에는 프레임을 부호화의 단위로 하는 프레임 구조와 필드를 부호화의 단위로 하는 필드 구조 두가지를 지원한다.

2005-04-24 14

Frame & Field (2)

2005-04-24 15

Chrominance format

• MPEG에서 사용하는 Y : Cb : Cr계의 일반적인 모양은 화소를 휘도 Y, 색차 Cb, Cr이라는세개의 8비트 정보로 표현하는 것이다.

2005-04-24 16

Image Compression.

2005-04-24 17

Why we should compress images?

• The data rate of digital images is too high to transmit them through communication channels or to store them in digital storage media.EX)

SDTV scene

one frame : 720 x 480 x 8 bits x 3 colors = 8.29 Mbits

sequence : 8.29 Mbits x 30 frames/sec = 248.83Mbps

HDTV scene

one frame : 1920 x 1080 x 8 bits x 3 colors = 49.77 Mbits

sequence : 49.97 Mbits x 60 frames/sec = 2.99Gbps

2005-04-24 18

Image Compression

• The objective of Image compression is that represent an image with as few bits as possible while preserving the level of quality required for the given application.

• Image compression remove redundancies that present at the image content.

2005-04-24 19

Contents

• MPEG compression of video.– MPEG compression of video.

– Temporal redundancy.

– I, P, B Picture.

– I, P, B Order.

– Motion estimation & compensation.

– Motion estimation.

– Motion compensation – P picture.

– Motion compensation – B picture.

– Spatial redundancy.

– DCT(Discrete Cosine Transform).

– Quantization.

– VLC(Variable length coding).

– Quantized coefficient scan.

2005-04-24 20

MPEG compression of video.

2005-04-24 21

MPEG compression of video

2005-04-24 22

Temporal redundancy (1)

2005-04-24 23

Temporal redundancy (2)

2005-04-24 24

I, P ,B Picture (1)

• I picture(Intra)

– 그 화면 자신의 정보만을 이용하여 부호화.

• P picture(prediction)

– 과거의 I picture 또는 P picture 로부터 예측을 수행하여 생기는 화면.

• B picture(bidirection)

– 과거와 미래의 I picture 또는 P picture 로부터 쌍방향 예측에 의해 생기는 화면.

2005-04-24 25

I, P ,B Picture (2)

2005-04-24 26

I, P, B Order

• At the encoder input.

– 1 2 3 4 5 6 7 8 9 10 11 12 13

– I B B P B B P B B I B B P

• At the encoder output, in the coded bitstream, and at the decoder input.

– 1 4 2 3 7 5 6 10 8 9 13 11 12

– I P B B P B B I B B P B B

• At the decoder output.

– 1 2 3 4 5 6 7 8 9 10 11 12 13

– I B B P B B P B B I B B P

2005-04-24 27

Motion estimation & compensation

• Motion estimation

– The process of estimating motion vectors during the encoding process.

• Motion compensation

– The use of motion vectors to improve the efficiency of the prediction.

• Motion vector

– A two-dimensional vector used for motion compensation that provides an offset from the coordinate position in the current picture or field to the coordinates in a reference frame or reference field.

2005-04-24 28

Motion estimation

2005-04-24 29

Motion compensation – P picture

2005-04-24 30

Motion compensation – B picture

2005-04-24 31

Spatial redundancy

DCT Quantization VLC

• 블록(8 X 8)단위로 DCT.

• 변환계수의 양자화.

• variable length coding via zig-zagscanning.

2005-04-24 32

DCT( Discrete Cosine Transform )

• From spatial domain to frequency domain.

2005-04-24 33

DCT( Discrete Cosine Transform )

• 영상 데이터는 변화가 적으므로 낮은 주파수, 특히 0 주파수(DC)성분이 큰 값을 가지게 되고 높은 주파수성분(AC)은 상대적으로 낮은 값을 갖게 되므로, 대부분의 정보가 낮은 주파수 쪽으로 몰리게 되므로 양자화 과정을 적절히 거치면 높은 압축비율로 우수한 화질을 얻을 수 있다.

2005-04-24 34

Quantization

• DCT로 구해진 계수들을 어떤 값으로 나누어서 작은 값의 수로 표현함으로써 부호량을 줄이는 방법이다.

• 영상 데이터의 손실이 있더라도 사람의 눈에서 이를 시각적으로 감지하기 힘들게 된다면어느 정도의 데이터에 손실을 가하여 압축율을 높이게 되는 것이다.

2005-04-24 35

VLC( Variable length coding )

• 예를 들어 일반 영상의 휘도 신호를 보면 커다란 편중을 볼 수는 없으나, DCT 변환후의 계수에는 그 발생 확률에 눈에 띄는 편중이 발생한다.

• 발생확률이 높은 값에 길이가 짧은 부호를 할당하고 발생확률이 낮은 값에 길이가 긴 부호를 할당하도록 부호기와 복호기 사이에 새로운 부호체계(가변장 부호화, VLC)를 적용하면평균부호길이를 줄일 수 있다.

2005-04-24 36

Quantized coefficient scan

2005-04-24 37

Content

• Scalability.– Spatial Scalability.

– SNR Scalability.

– Temporal Scalability.

• Profile & Level.

2005-04-24 38

Scalability.

2005-04-24 39

Scalability

• 어떤 bitstream이 scalable하다는 것은 인코딩된 결과가 여러 개의 layer로 되어 있고 그중 몇 개의 layer를 이용해서 디코딩하느냐에따라서 화상의 화질을 다르게 할 수 있는 방법이다.

• 일반적으로 연속된 두개의 layer가 있을 때 아래쪽의 layer를 lower layer, 위쪽의 layer를enhancement layer라 한다. 또한 가장 아래쪽에 있는 layer를 base layer라 한다.

2005-04-24 40

Spatial Scalability (1)

• 기본계층(Base Layer)

– 공간해상도가 낮은 계층.

• 고위계층(Enhancement Layer)

– 공간해상도가 높은 계층.

– 기본계층의 영상을 업샘플링해서 고위계층과 같은 크기의 영상을 만들어 예측에 사용.

• 통상의 TV방송과 HDTV방송을 동시에 보내어수신단말(디코더)의 성능에 따라 영상을 선택할 수 있다.

2005-04-24 41

Spatial Scalability (2)

예측기본계층간의 예측기본계층간의

예측고위계층간의 예측고위계층간의

예측 예측 예측

업샘플 업샘플 업샘플

고위계층정보

기본계층의확대영상정보

기본계층정보

2005-04-24 42

SNR Scalability

• 고정밀도 영상에 대해 양자화를 행할 때 양자화값의 정밀도에 따라 화소값에 노이즈가 발생한다. 이때 원신호/노이즈를 SNR이라고 한다. 따라서 SNR이 큰 값일수록 고화질이되어, SNR이 작고 화질이 낮은 계층을 기본 계층, SNR이 크고 화질이 높은 계층을 고위 계층이라고 한다.

• 4:2:0의 영상과 4:2:2의 영상을 동시방송(Simulcast)으로 보낼 수 있다.

2005-04-24 43

Temporal Scalability (1)

• 기본계층

– 시간해상도가 낮은 계층

• 고위계층

– 시간해상도가 높은 계층

– 고위 계층중의 I, P, B픽처를 사용할 뿐 아니라 기본계층의 영상을 써서 예측.

• 30Hz 순차주사영상과 60Hz 순차주사영상을동시에 보낼 수 있다.

2005-04-24 44

Temporal Scalability (2)

고위계층

시간해상도가 높다예:1/60초 주기

시간의 흐름

기본계층

시간해상도가 낮다예:1/30초 주기

예측정보고위계층간

예측정보고위계층에의

예측정보고위계층간

2005-04-24 45

Profile & Level.

2005-04-24 46

Profile & Level (1)

• MPEG-2는 대단히 광범위한 응용에 대응할수 있지만 하드웨어의 관점에서 바라본다면지원해야 할 사항이 너무 많아 모든 것을 실현하기는 대단히 어렵다.

• 예를 들어 A사의 부호기가 4:2:2를 부호화 할수 있다 해도 B사의 복호기가 4:2:0만을 복호할 수 있다면 A사의 부호기에 의해 생성된 영상 데이터의 실용성은 낮아지게 된다.

• 이와 같은 일을 피하기 위해, MPEG-2에서는프로파일과 레벨이라고 하는 개념을 도입하여MPEG-2 복호기의 특성을 나누고 있다.

2005-04-24 47

Profile & Level (2)

• Profile

– 기능의 분류(신택스의 차이)를 규정.

– 5 Profiles

• Level

– 최대 영상의 크기와 최대 bit-rate 등의 제한치를 규정.

– 4 Levels

2005-04-24 48

Profile & Level (3)

2005-04-24 49