Kompresi Citra dan Video - Share ITSshare.its.ac.id/.../content/1/bahan-ajar/Kompresi_Video_2.pdf · • Merupakan kompresi tambahan disamping kompresi image ... ( 7, 7) –Pencarian

Pengolahan Multimedia & Lab By : Muhtadin Pengolahan Multimedia & Lab By : Muhtadin

Kompresi Citra dan Video

Muhtadin, ST. MT.

Pengolahan Multimedia & Lab By : Muhtadin Pengolahan Multimedia & Lab By : Muhtadin

Temporal Processing

2

Pengolahan Multimedia & Lab By : Muhtadin

Temporal Processing

• Video : serangkaian frame (image) yang memiliki relasi antar frame

• Relasi tersebut ada sepanjang dimensi temporal

– Menyebabkan adanya temporal redundancy

• Merupakan kompresi tambahan disamping kompresi image

– Temporal redundancy

Video coder harus menangani permasalahan temporal redundancy ini

3


Kompresi Temporal

• Tujuan : Menangani temporal redundancy

• Memprediksi frame berdasarkan frame yang sudah dikodekan sebelumnya

• Tiga type frame :

– I-frame: Intra-coded frame, dikodekan secara independen tanpa mempertimbangkan frame yang lain

– P-frame: Predictively coded frame, dikodekan berdasarkan frame sebelumnya

– B-frame: Bi-directional predictive frame, dikodekan berdasarkan frame sebelumya dan frame setelahnya

– n

4


Proses Temporal : Frame Differencing

• Cara paling sederhana adalah dengan menggunakan Frame Differencing :

– Frame residu (berbeda) diperoleh dengan membandingkan frame dengan frame sebelumnya

– Energi yang hilang terdapat pada residual frame dan dikirim ke decoder untuk memprediksi sebuah frame

5


Proses Temporal : Motion Compensated Prediction

• Cara sederhana yaitu menggunakan frame differencing akan menemui kegagalan jika ada pergerakan

• Harus dapat menangani pergerakan

Motion-compensated prediction

• Motion-compensated prediction secara umum memberikan perbaikan yang signifikan

• Pertanyaan:

– Bagaimana melakukan estimasi pergerakan?

– Bagaimana melakukan Motion-compensated prediction ?

6


Proses Temporal: Motion Estimation

• Kondisi ideal:

– Melakukan partisi video terhadap obyek yang bergerak

– Mendeskripsikan pergerakan obyek

secara umum sangat sulit dilakukan

• Pendekatan praktis: Block-Matching Motion Estimation

– Melakukan partisi frame menjadi blok, misalnya 16x16 pixel

– Mendeskripsikan pergerakan masing-masing blok

Tidak memerlukan indentifikasi obyek

Memiliki performa yang bagus

7


Motion Estimation: Block-Matching

• Asumsi:

– Perpindahan pergerakan blok:

– Semua pixel dalam blok memiliki pergerakan (arah&besar) yang sama

• Algoritma ME:

1) frame dibagi kedalam blok N1xN2 non-overlaping

2) Untuk masing-masing blok, temukan blok yang paling cocok pada frame referensi

• Algoritma MC-Prediction:

– Menggunakan blok yang cocok pada frame referensi untuk memprediksi blok pada current frame

8

𝑓(𝑛1, 𝑛2, 𝑘𝑐𝑢𝑟𝑟) = 𝑓(𝑛1 −𝑚𝑣1, 𝑛2 −𝑚𝑣2, 𝑘𝑟𝑒𝑓)


Block Matching: Menentukan Best Matching Blok

• Untuk semua blok pada current frame, dilakukan pencarian terhadap blok yang cocok pada refference frame

– Kandidat blok: Semua blok disekitarnya, misalkan (32, 32) luasan pixel

– Strategi pencarian untuk menemukan blok yang cocok:

• Full search: menguji semua kandidat blok yanga ada

• Partial (fast) search: menguji subset tertentu

• Estimasi pergerakan dengan best matching blok: “Motion Vector”

9


Contoh partial searching

– Tujuan: mengurangi jumlam proses pencarian

– Contoh: area pencarian (7, 7)

– Pencarian dilakukan dengan 3 tahap(coarse-to-fine):

– Best match ditemukan tiap step

– Step berikutnya: melakukan pencarian disekitar best match sebelumnya

10


Motion Vector dan Motion Vector Field

• Motion vector

– Menunjukkan offset relatif secara horizontal dan vertikal, atau pergerakan dari sebuah blok pada sebuah frame terhadap frame yang lain

– Setiap blok memiliki motion vektornya masing-masing

• Motion vector field

– Sekumpulan dari motion vector untuk semua blok dalam frame

11


Contoh

12


Contoh

13


Contoh

14


Prediksi Motion Compensated Bi-Directional

• Prediksi MC secara Bi-Directional digunakan untuk memperkirakan blok pada current frame dengan blok pada:

1) Frame sebelumnya

2) Frame setelahnya

3) Rata-rata dari blok pada frame sebelumnya dan frame setelahnya

4) Tidak termasuk diatas, dikodekan tanpa adanya prediksi

15


P dan B frame

Contoh dari motion compensated berbasis blok adalah P-frame dan B-frame

16


Contoh I-,P-,B- frame: MPEG Group of Pictures (GOP)

Tanda panah menunjukkan keterkaitan prediksi antar frame

17


Arsitektur Dasar Kompresi Video

• Penanganan terhadap redundancy:

– Temporal: MC-prediction (P dan B frame)

– Spatial: Blok DCT

– Warna: Konversi Color space

• Kuantisasi skalar dari koefisien DCT

• Zigzag scanning, runlength dan Huffman coding pada koefisien DCT nonzero

18


Contoh Video Encoder

19


Contoh Video Decoder

20


Practical Assignment

• Implementasikan Kode Optimal Linear Prediction.

– “Still Image and Video Compression with Matlab”, hal 309-310

21


Scalabel Coding : Motivation

• Situasi yang umum dijumpai :

• Penerima yang beragam, melakukan request terhadap video yang sama

– Berbeda dalam hal bandwidth, resolusi spasial, frame rates, kemampuan komputasi

• Network yang heterogen, serta tidak adanya pengetahuan (a priori) terhadap kondisi network

– Wire, Wireless links

ketika coding dilakukan, anda tidak tahu kondisi client serta situasi dalam network yang digunakan serta kondisinya di waktu yang akan datang

Kemungkinan menemui berbagai situasi yang berbeda, memerlukan kompresi bitstream yang berbeda

• Solusi yang mungkin :

1. Kompres & simpan BANYAK versi untuk satu video

2. Real-time transcoding (misalkan: decode/ re-encode)

3. Scalabel Coding

22


Scalabel Video Coding

• Scalable Coding:

– Membuat video dalam beberapa layer prioritas

– Layer dikodekan dalam base bitstream dan enhancement bitstream

– Menggabungkan satu atau lebih bitstream untuk menghasilkan kualitas level video dalam tingkatan yang berbeda

• Contoh: Scalabel coding dengan dua enhancement layer:

1. Base layer

2. Base + Enh1 layer

3. Base + Enh1 + Enh2 layer

• Scalability berkorelasi terhadap : Spasial dan temporal resolution, bit rate computation, memory

23


Contoh Scalabel Coding

• Encode gambar / video kedalam tiga layer:

• Penerima dengan bandwidth yang kecil : Hanya mengirimkan Base Layer

• Penerima dengan bandwidth yang medium: Mengirimkan Base Layer dan Enh1 layer

• Penerima dengan bandwidth yang tinggi: Mengirimkan semua layer

24


Scalable Video Coding

• Meliputi 3 Dimensi yang berbeda:

– Temporal Scalability

– Spatial scalability

– SNR (quality) scalability

• Dapat dilakukan penggabungan untuk menghasilkan scalability multi dimensi

25


Scalabel Coding: Temporal Scalability

• Berbasis pada B-frame untuk memperhalis temporal resolution

– B-frame tergantung dengan frame yang lain

– Namun, tidak ada frame yang tergantung dengan B-frame

– Masing-masing B-frame dapat dihilangkan tanpa ada efek bagi frame yang lain

– .

26


Scalable Coding: Spatial Scalability

• Berbasis pada penghalusan spatial resolution

– Base layer merupakan resolusi paling rendah dari video

– Disebut juga: Pyramid Coding

27


Scalable Coding: SNR (Quality)

• Berbasis pada quantizer

28


Standar Kompresi yang umum digunakan

29


H.261 (1990)

• Goal: real-time, two-way video communication

• Ciri utama :

– Low delay (150 ms)

– Low bit rates (p x 64 kb/s)

• Detail Teknis:

– Uses I- and P-frames (no B-frames)

– Full-pixel motion estimation

– Search range +/- 15 pixels

30


H.263 (1995)

• Goal: komunikasi melalui jaringan telepon analog konvensional (< 33.6 kb/s)

• Enhancements to H.261

– Algorithmic enhancements

– Half-pixel motion estimation with larger motion search range

– PB-frame mode

31


MPEG-1 dan MPEG-2

• MPEG-1 (1991)

– Goal : kompresi vidio kedalam digital storage media, CD-ROM

– Menyamai kualitas VHS video dengan audio pada~1.5 Mb/sec ??

• MPEG-2 (1993)

– Perkembangan dari MPEG-1 untuk mendukung bit rate yang lebih tinggi, resolusi lebih tinggi, gambar interleaced

– Original goal: mendukung interlaced video pada TV konvensional. Pada akhirnya juga dikembangkan untuk mendukung HDTV

– Menyediakan field-based coding dan scalability tools

32


Practical Assignment

• Dengan menggunakan VLC, perhatikan performa masing-masing standar kompresi

33


-: TERIMA KASIH :-

34

Kompresi Citra dan Video - Share ITSshare.its.ac.id/.../content/1/bahan-ajar/Kompresi_Video_2.pdf · • Merupakan kompresi tambahan disamping kompresi image ... ( 7, 7) –Pencarian

Documents