Prof. dr Dragan Ivetić MULTIMEDIJALNI SISTEMI skripta “We made a big mistake 300 years ago when we separated technology and humanism... So there for the enlightenment, guys. IT'S TIME TO PUT THE TWO BACK TOGETHER.” Michael Dertouzos (Interviwed in Scientific American, July 1997) Novi Sad, 2007. godine
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Prof. dr Dragan Ivetić
MULTIMEDIJALNI
SISTEMI skripta
“We made a big mistake 300 years ago when we separated technology and humanism...
So there for the enlightenment, guys. IT'S TIME TO PUT THE TWO BACK TOGETHER.”
Michael Dertouzos
(Interviwed in Scientific American, July 1997)
Novi Sad, 2007. godine
•27
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
66
NivovskaNivovska osnovaosnova• ne svaki element, niti u drugi domen, već po nivoima (delovima).• SUB-SAMPLING – originalna grupa se zamenjuje prosečnom
vrednošću ili se samo uzme vrednost nekog elementa grupe, KVANTIZACIJA – skalarna ili vektorska.
• SUB-BAND CODING – ne grupiše po prostoru nego po frekvenciji, oslanja na prekrivanje frekvencijom veće energije.
• WAVELETS CODING – sukcesivno particionišesliku koristeći wavelet umesto kosinusne funkcije (vidljivi 8x8 blokovi). Deli na: 1 podslika niže rezolucije sa manje detalja i 3 podslike sa detaljima, koristi JPEG2000
•34
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
67
Joint Photographic Experts Group Joint Photographic Experts Group -- JPEGJPEGPokrenuo ISO WG8 maja 1988. g. a 1992. godine postao
standard za kompr./dekompr. nepokretne kolor i sive slike, postoji mogućnost sekvencionisanja u MOTION JPEG
ZAHTEVI postavljeni pred JPEG:• implementacija JPEG ne zavisi od veličine slike i rezolucije,• predstavljanje boja nezavisno od implementacije JPEG,• sadržaj slike može biti proizvoljno kompleksan,• implementacija JPEG softverom izvršivim na većini
hardvera, eventualna dodatna hardverska podrška mora unaprediti kvalitet slike,
• omogućiti korisniku izbor kvaliteta reprodukovane slike, vremena kompresovanja i veličine kompresovane slike.
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
68
TokTok JPEG JPEG kompresijekompresije
KVANTIZACIJA
KODIRANJE
Huffman
Runlength
Aritmet.
PRIPREMA
Pikseli
Blokovi
OBRAĐIVANJE
Prediktor
FDCT
ORIGINAL
SLIKA
KOMPR.SL.A
KOMPR.SL.B
put A
put B
zavisi od odabranog JPEG režima:SEQUENTIAL – lossy, L R & Top Bottom, osnovni mod,PROGRESSIVE – lossy, višestruki scan sa 2 rezolucijomLOSSLESS – dekompresijom se dobija originalna slika.HIERARCHICAL – lossy, komp. u par rezolucija i diff. code.
•35
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
70
JPEG JPEG fazafaza pripremepripreme ......kreiranje DataUnit koji se razlikuje od pristupaLOSSLES –DU je jedan piksel i ide na obradu, 2..16 bit/pixel
LOSSY – jedan DU je kvadrat od 8x8 bita, 2..12 bit/pixel1..255 ravni, obično samo tri: RGB ili YUVrazličite ravni mogu biti različitih rezolucija
•36
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
71
... JPEG faze pripreme... JPEG faze pripreme
po ugledu na TV i ljudskivid
dekompozicija na 3 ravniluminance (Y) –osvetljenost;i chrominance (U,V) –razlika boja
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
72
JPEG JPEG fazafaza obradeobradeObrađuju se DataUnits na način diktiran JPEG modomLOSSY – RGB ili YUV blokovi se transfomišu pomoću FDCT
LOSSLES – pikseli se obrađuju sledećom predikcijom
•37
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
73
Struktura JPEG strima i dekompresijaStruktura JPEG strima i dekompresija
LOSSY JPEG slika
LOSSLES JPEG slika
struktura JPEG strima
Entropijskidekoder
Dekvanti-zacija
IDCT
Entropijskidekoder
Depredik-tor
segmentrestart
segmentrestart
...
tabele... heder
scan
...
tabele...heder
scan
FrameStartOfImage
EndOfImage blok...
blokblok
Orig.slika
Orig.slika
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
74
JPEG primer u bojiJPEG primer u boji
26KBJPEG
Compression ratio=44.6
768×512 ×24 = 1.18MBoriginal
•38
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
75
OsnovneOsnovne mogumoguććnostinosti JPEG2000JPEG2000• odlične performanse sa malo bita – primer, netw. image transmiss.• lossless i lossy modovi kompresije,• region-of-interest kodiranje (ROI) – interesantni regioni se
kvalitetnije kodiraju,• slučajan pristup
i obrada kodiranog strima,
• robusnost,• otvorena
arhitektura,• deskripcioni
podaci,• zaštita
autorstva,• ...
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
76
JPEG JPEG vsvs. JPEG2000. JPEG2000
0,125 bpp
0,25 bpp
•39
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
77
ProcesProces JPEG2000JPEG2000 kodiranjkodiranjaa
• tiling – opciono, prostorno deljenje slike na podslike koje se dalje obrađuju, radi uštede operativne memorije,
• level offset – centriranje vrednosti piksela slike simetrično u odnosu na nulu, normalno zbog simetričnosti wavelet funkcije,
• ICT – transformacija originalnih ravni boje (RGB) slike u YUV model,
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
79
JPEG2000 JPEG2000 kvantizacijakvantizacija i blokovsko kodiranjei blokovsko kodiranjeUNIFORMNA KVANTIZACIJA SA MRTVOM ZONOM• wavelet koeficijenti se uniformno kvantizuju
tako da jednom opsegu koeficijenata odgovara jedan kvantizacioni indeks.
BLOKOVSKO KODIRANJE• podela na blokove (64x64, 32x32) iste veličine u većini podslika,• blokovi se kodiraju zasebno, sadržaj čita po 4bit podkolonama,• formiraju se ravni bitova od MSB do LSB,• ravni bitova se kodiraju u tri prolaza obezbeđujući različite nivoe
kvaliteta restaurisane slike.
Prof. dr Dragan Prof. dr Dragan IvetiIvetićć –– MULTIMEDIJALNI SISTEMIMULTIMEDIJALNI SISTEMI1. Osnova1. Osnova
80
PodePodeššavanje brzine i organizovanje JPEG2000 avanje brzine i organizovanje JPEG2000 strimastrima
PODEŠAVANJE BRZINE PRENOSA• prekrajanje strima kodova da bi se obezbedila brzina prenosa,• skrati one strimove blokova koji će minimalno iskriviti sliku.ORGANIZOVANJE STRIMA• kompresovani sadržaji ravni bitova
se dele u pakete,• paket obuhvata bite oblasti ravni,• oblast najviše polovi podoblast.