A kommunikáció

Kommunikációs Rendszerek

A kommunikációForrás kódolás

Feladat:-az információ tömörítése

Kommunikációs Rendszerek

Amit továbbítani akarunk

Adó

Adó

Vevő

Vevő

a látott képeta hallott hangot???

A két végpont:--- a valóságot leképező emberi érzékelés--- a megjelenítésre rendelkezésre álló eszköz

Kommunikációs Rendszerek

szempontok

Eltérő típusú, összefüggő információk (hang, kép ..)– Az „összecsomagolás” szükségszerű (közös

csatorna miatt) Időben kötött megjelenítés

– időosztás feloldási, szinkronizálási mechanizmus kell

Számos műsor és készülék előállító kompatibilitása– Szabványosított megoldások

H.261, H.263, H.264 MPEG-1, MPEG-2, MPEG-4, MPEG-7, MPEG-21

Kommunikációs Rendszerek

MPEG áttekintés MPEG-1: Video CD és MP3 MPEG-2: Digital TV, Set Top Box, DVD. MPEG-4: Internet multimédia, mobil, DivX MPEG-7: Multimedia Content Description

Interface MPEG-21: Multimedia Framework

Kommunikációs Rendszerek

MPEG modellek

Pixel alapú ábrázolás

Objektum alapúábrázolás

Szemantikáraalapozottábrázolás

MPEG-1MPEG-2

MPEG-4

MPEG-7

Objektum formálás és követés

Objektum tulajdonságok kinyerése

Kommunikációs Rendszerek

MPEG 1-2 <> MPEG 4

élő élő

kódolás kódolás kódolás

továbbítás továbbítás

Kommunikációs Rendszerek

MPEG-4 Video formátumok Bit ráták

– min. 5kbit/s– max. 10 Mbit/s

Formátumok– progressziv– Váltott soros

Felbontások– min. sub-QCIF (172 x 144 Pixel)– max. > HDTV (1440 x 1152 Pixel)

Kommunikációs Rendszerek

Ábrázolás videó objektumokkal

Kommunikációs Rendszerek

MPEG-4: tartalomfüggő működés

Kommunikációs Rendszerek

VOP alapú kódolás

VOKialakitás

VO1 decoding

VO2 decoding

VO3decoding

VO4 decoding

User Interaction User Interaction

MUX DMUX

VideoObjektumokösszeépítése

Bitstream

Kommunikációs Rendszerek

MPEG-4: tartalomfüggő működés

Az eredeti FRAME felbontása több VOP-re

Kommunikációs Rendszerek

videó objektumok osztályai

VOP (Video Object Plane) – Egy Video Objektumnak adott pillanatban érvényes formája. Tartalmazza a mozgásra, alakra és felületre vonatkozó információt.

VOL (Video Object Layer) – A VO kódolása egy vagy több módusban is történhet. A VOL réteg biztosítja a skálázhatóságot.

VO (Video Objektum) a video szcenarió egy meghatározott 2-D eleme. A legegyszerübb esetben négyszögletes, de lehet tetszőleges alakú.

(VS) Visual Object Sequence : ez a komplett MPEG-4 szcenarió, ami állhat tetsőleges 2-D vagy 3-D természetes vagy mesterséges objektumból.

Kommunikációs Rendszerek

MPEG-4: hierarchikus struktúra

Minden VOP tartalmazza a mozgásra, alakra és felületre(motion, shape, texture) vonatkozó adatokat

Kommunikációs Rendszerek

MPEG-4 struktúra az adatfolyamban

Hierarhia – magasabb struktúra alacsonyabb struktúrákat tartalmaz.

VO

VOL

VOP

Kommunikációs Rendszerek

MPEG-4 szcenárió példa

Kommunikációs Rendszerek

A szcenárió logikai struktúrája

Személy Háttér Videó

Alak Hang

Szcenárió

Szintetikus Objektumok

földgömb asztal

Kommunikációs Rendszerek

Szcenarió leírása

A különböző audio-vizuális objektumok térbeli és időbeni viszonyait leíró információk kódolása..

Kommunikációs Rendszerek

A szcenárió leírása.

A VRML-ből kindulva, az MPEG kifejlesztett egy bináris nyelvet, amelyet elnevezett:BInary Format for Scenes (BIFS).

A média objektumok adott koordináta rendszerben bárhova helyezhetők.

Transzformációk alkalmazhatók a média objektumok geometriai vagy akusztikai megjelenésének változtatására.

Primitive média objektumok csoportosításval összetett objektumok hozhatók létre.

Interactiv módon megváltoztathatóak a végfelhasználói nézési és hallgatási pozíciói.

Kommunikációs Rendszerek

az adattovábbítás

Kommunikációs Rendszerek

Az MPEG-4 objektum típusai

Primitiv Objektum

Video Objektum (VO) Audio Objektum (AO)

Természetes(kamera)

Szintetikus(számítógép)

Természetes(mikrofon)

Szintetikus(számítógép)

Kommunikációs Rendszerek

Audió kódolás

Természetes– Beszéd

Harmonic Vector eXcitation Code (HVXC) 2-6kBit/s bei 8kHz Code Excitat Linear Prediction (CELP) 6-24kBit/s bei 8 bis 16 kHz

– Zene MPEG 2 AAC TwinVQ

Szintetikus– Text to Speech– MIDI– Structured Audio Orchestra Language

Kommunikációs Rendszerek

Természetes Videó Objektumok

Videó Objektum (VO)

Forma(shape coding)

Textúra(texture coding)

Mozgás-Informaciók

(motion coding)

Háttér(sprite coding)

Kommunikációs Rendszerek

VOP

Kommunikációs Rendszerek

Macroblock Grid példa

Kommunikációs Rendszerek

Szintetikus videó kódolások

Arc- és testanimáció 2D-rácsháló VRML-Szabvány integrálva.

Kommunikációs Rendszerek

Facial and Body Animation

Kommunikációs Rendszerek

2D-Meshes

Kommunikációs Rendszerek

MPEG4 dekódolási séma

Kommunikációs Rendszerek

MPEG 4 <> MPEG 7, 21

MPEG-4: Audio-Visual Objetumok Kódolása

MPEG-1(VCD)

MPEG-2 -- (DVD) -- (HDTV)

MPEG-7 : Multimedia Tartalom Leíró Interface

Tartalom Megjelenítés Tartalom Leírás

MPEG-21: Multimedia Framework

Tartalom Azonosítás, Használat, IPMP

MPEG-7 data model

Dublin Core data model

RDFSMPTE

XML