MULTIMEDIA- ANALYSE-TECHNIKEN Seminar Dr. Harald Sack / Jörg Waitelonis Zalan Kramer / Johannes Hercher Hasso-Plattner-Institut für Softwaresystemtechnik Universität Potsdam Sommersemester 2010 Die nichtkommerzielle Vervielfältigung, Verbreitung und Bearbeitung dieser Folien ist zulässig (Lizenzbestimmungen CC-BY-NC ). Mittwoch, 12. Mai 2010
Einführungsvortrag zum Seminar 'Multimedia-Analysetechniken' mit Einführung in Bild-, Audio- und Videokodierung und -analyse.
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
MULTIMEDIA-ANALYSE-TECHNIKEN
SeminarDr. Harald Sack / Jörg Waitelonis
Zalan Kramer / Johannes HercherHasso-Plattner-Institut für Softwaresystemtechnik
Universität PotsdamSommersemester 2010
Die nichtkommerzielle Vervielfältigung, Verbreitung und Bearbeitung dieser Folien ist zulässig (Lizenzbestimmungen CC-BY-NC).
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
2
Multimedia-Analyse-Techniken
1. Multimedia und Kodierung
2. Bild- und Videokodierung
3. Audiokodierung
4. Aufgabenstellung
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
3
Multimedia-Analyse-Techniken1. Multimedia und Kodierung
Multimediale Daten im Computer
•Definition Multimedia
•Kommen bei der Darstellung von Information mehrere, verschiedenartige Medien zum Einsatz, wie z.B. Text, Bild und Ton, so spricht man von einer multimedialen Darstellung der Information.
•Multimediale Darstellung soll dem Betrachter die Wissensaufnahme von Inhalten erleichtern, da der Benutzer die Informationen mit verschiedenen Sinnesorganen aufnimmt
alphanumerischeInformation
graphischeInformation
Audio-information
Video-information
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
4
Multimedia-Analyse-Techniken1. Multimedia und Kodierung
Medientypen•zeitunabhängige Medien
•Zeitkomponente während der Aufzeichnung ohne Bedeutung
•z.B. Text, Grafik
•„diskrete Medien“
•zeitunabhängige Medien
•Information verändert sich mit der Zeit
•Gehalt einer Einzelinformation (zu einem diskreten Zeitpunkt) nicht signifikant
•Gesamtinformation erschließt sich erst aus dem zeitlichen Ablauf
•Zeitkomponente kritisch sowohl bei Aufzeichnung als auch bei Wiedergabe
•z.B. Audio, Video
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
5
Multimedia-Analyse-Techniken1. Multimedia und Kodierung
Multimediakodierung•Um Informationen zum Zweck der Archivierung oder Übertragung aufzuzeichnen,
müssen die Informationen entsprechend kodiert werden.
•alphanumerische Information (Text)
•Zur Kodierung alphanumerischer Nachrichten, also mittels Ziffern und Buchstaben verschiedener Alphabete dargestellter Informationen, existieren viele unterschiedliche Verfahren, angefangen von ASCII, dem 7-Bit Standard, der noch aus den Zeiten des Fernschreibers stammt, bis hin zum 32-Bit Unicode, mit dem es möglich ist, annähernd alle Alphabete der Erde zu kodieren.
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
6
Multimedia-Analyse-Techniken1. Multimedia und Kodierung
Multimediakodierung•graphische Information
•Graphische Information liegt analog vor und muss vor einer entsprechenden Kodierung zunächst digitalisiert werden.
•man unterscheidet verlustfreie und verlustbehaftete Kodierung graphischer Information
•verlustfreie Kodierung:
•RAW, TIFF, BMP, ...
•verlustbehaftete Kodierung:
•GIF, PNG, JPEG, JPEG2000, ...
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
7
Multimedia-Analyse-Techniken1. Multimedia und Kodierung
Multimediakodierung•Audio- /Videoinformation
•Audio-/Videoinformation liegt analog vor und muss vor einer entsprechenden Kodierung zunächst (zeitabhängig) digitalisiert werden.
•man unterscheidet verlustfreie und verlustbehaftete Kodierung von Audio-/Videoinformation
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
8
Multimedia-Analyse-Techniken
1. Multimedia und Kodierung
2. Bild- und Videokodierung
3. Audiokodierung
4. Aufgabenstellung
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
9
Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle
Farbe und Farbmodelle•Was ist Farbe?
•Farben sind die Grundbestandteile des weißen Lichts
•Prisma zerlegt weißes Licht in seine spektralen Bestandteile
•Lichtstrahlen besitzen keine Farbe sondern eine spektrale Energieverteilung
1648 Marcus Marci1672 Isaac Newton
λ=780 nm λ=380 nm
Infrarot UVsichtbares Licht
Elektromagnetisches Spektrum
PrismaIsaac Newton(1643-1727)
Marcus Marci(1595-1667)
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
10
Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle
Farbe und Farbmodelle•Thomas Young (1801) weist nach, dass das menschliche Auge nur in der Lage
ist, 3 Grundfarben wahrzunehmen (3-Farbtheorie)
•Alle übrigen wahrgenommenen Farben ergeben sich durch Mischung der 3 Grundfarben in unterschiedlicher Intensität
•Max Planck (1900) weist Zusammenhang zwischen Strahlungsfrequenz (Farbe des Lichts) und Temperatur nach (Schwarzkörperstrahlung und Farbtemperatur)
•„In einem geschlossenem Hohlraum stellt sich eine nach allen Richtungen gleiche elektromagnetische Strahlung bestimmter Gesamtenergie und bestimmter spektraler Verteilung ein, die nur von der Temperatur der Hohlraumwände abhängt.“
Thomas Young(1773-1829)
2200 K 5500 K Farbtemperatur(Kelvin)
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
10
Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle
Farbe und Farbmodelle•Thomas Young (1801) weist nach, dass das menschliche Auge nur in der Lage
ist, 3 Grundfarben wahrzunehmen (3-Farbtheorie)
•Alle übrigen wahrgenommenen Farben ergeben sich durch Mischung der 3 Grundfarben in unterschiedlicher Intensität
•Max Planck (1900) weist Zusammenhang zwischen Strahlungsfrequenz (Farbe des Lichts) und Temperatur nach (Schwarzkörperstrahlung und Farbtemperatur)
•„In einem geschlossenem Hohlraum stellt sich eine nach allen Richtungen gleiche elektromagnetische Strahlung bestimmter Gesamtenergie und bestimmter spektraler Verteilung ein, die nur von der Temperatur der Hohlraumwände abhängt.“
Thomas Young(1773-1829)
Max Planck(1858- 1947)
2200 K 5500 K Farbtemperatur(Kelvin)
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
11
Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle
Farbe und Farbmodelle•Um Farben korrekt (auf dem Computer) reproduzieren zu können dienen
mathematische Farbmodelle
•Diese basieren auf unterschiedlichen Arten der Mischung von Anteilen der jeweiligen Grundfarben, deren Helligkeit und anderer Farbeigenschaften
Isaac Newton (1704) verbindet die beidenEnden des optischen elektromagnetischen Spektrums zum Farbkreis
Isaac Newton(1643-1727)
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
12
Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle
Farbe und Farbmodelle•Auch Goethe beschäftigte
sich mit der Farbenlehre. Er entwickelte einen Farbkreis und ordneteden einzelnen Farben spezifische Eigenschaften zu.
•Goethe vertrat im Gegensatz zu Newton die Ansicht, dasssich das weisse Licht nicht aus monochromatischen Komponenten zusammensetzt(Spektrum), sondern Farbe erst imAuge entsteht
Johann Wolfgang v. Goethe
(1749-1832)
Farbenkreis zur Symbolisierung des menschlichen Geistes- und Seelenlebens, 1809
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
13
Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle
Farbe und Farbmodelle•1931 wurde als erstes Modell
zur objektiven Farbbestimmungdie Farbnormtafel von derinternationalen Beleuchtungs-kommision festgelegt(Commission Internationale d´Eclairage, CIE)
•Farben werden aus Farbanteilen derGrundfarben (Rot, Grün, Blau)gemischt und in ein 2-dimensionalesKoordinatensystem projiziert
CIE Farbnormtafel, 1931
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
14
Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle
Farbe und Farbmodelle•RGB-Farbmodell
•additive Farbmischung
•Mischung selbstleuchtender Grundfarben
•Rot (700nm)
•Grün (546,1nm)
•Blau (435,8nm)
•Farbe wird als Tripel (r,g,b) aus den jeweiligen Farbanteilen angegeben
•z.B. bei 8 Bit pro Farbkanal:gelb = (255,255,0)
additive Farbmischung
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
15
Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle
Farbe und Farbmodelle•RGB-Farbmodell
•Bsp.:
R
G
B
additive Farbmischung
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
16
Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle
Farbe und Farbmodelle•CMY(K)-Farbmodell
•subtraktive Farbmischung
•Farbe entsteht durch Reflektion/Absorbtion an unterschiedlichen Oberflächen
•Grundfarben Cyan / Magenta / Yellow
•Druckprinzip: Farbpigmente der Grundfarben werden auf weiße Oberfläche aufgetragen
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
17
Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle
Farbe und Farbmodelle•CMY(K) Farbmodell
•Bsp.:
C
YM
subtraktive Farbmischung
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
18
Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle
Farbe und Farbmodelle•YUV-Farbmodell
•Zerlegung der Farben in
•Helligkeitsanteil (Luminanz) – Y-Komponente
•Farbanteil (Chrominanz) – U und V Komponente
•Historisch in Verbindung mit dem Farbfernsehens entstanden
•Rückwärtskompatibilität mit Schwarzweiß-Empfängern
•daher separater Helligkeitskanal
•Ausnutzung der unterschiedlichen Empfindlichkeit des menschlichen Auges für Helligkeits- und Farbunterschiede
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
19
Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle
Farbe und Farbmodelle•YUV-Farbmodell
rot grün blau
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
20
Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle
Farbe und Farbmodelle•YUV-Farbmodell
Y U V
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
21
Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.2 Visuelle Wahrnehmung
Visuelle Wahrnehmung des Menschen•Das menschliche Auge
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
22 Visuelle Wahrnehmung des Menschen•Licht- / Farbempfindlichkeit
•Netzhaut enthält zwei Typen von Licht-rezeptoren im menschlichen Auge:
•ZapfenFarb- und Helligkeitsempfindlich,verantwortlich für Farbsehen,im zentralen Retinabereich,ca. 6 Millionen, man unterscheidet drei Typen von Zapfen, die jeweils über unterschiedliches Sehpigment verfügen
•StäbchenHelligkeitsempfindlichauch bei geringer Beleuchtungim peripheren Retinabereichca. 120 Millionen
Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.2 Visuelle Wahrnehmung
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
23 Verlustbehaftete JPEG Kodierung•JPEG, Joint Photographic Experts Group
•verlustbehaftete Komprimierung, sehr gut geeignet für natürliche Bildquellen
•Komprimierung bis 1:20 bei kaum nennenswerten Verlust der Darstellungsqualität
•Ausnutzung der Physiologie der menschlichen Wahrnehmung
•Das menschliche Auge reagiert auf Änderungen der Helligkeit empfindlicher als auf Farbänderungen
•Natürliche Bildquellen besitzen
•häufig Farb- / Helligkeitsverläufe
•häufig keine starken Kontrastschwankungen
Helligkeit benachbarte Bildpunkte unterscheidet sich kaum
Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.3 JPEG Kodierung
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
•Das Prinzip der Fouriertransformation:Jede periodische Funktion lässt sich als Summevon Sinus- und Cosinus-Funktionen darstellen.
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
33
Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.3 JPEG Kodierung
Jean-Babtiste Joseph Baron de Fourier
(1768-1830)
A
f
Frequenz-Spektrum
A
x
Ortsraum
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
34 Farbe und Farbmodelle(3) Diskrete Cosinus-Transformation (DCT)
Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.3 JPEG Kodierung
• Jede periodische Schwingung kann als eine Überlagerung von Sinusschwingungen unter- schiedlicher Amplituden und Frequenzen dargestellt werden • Trägt man die Amplituden der beteiligten Schwingungen in Abhängigkeit der Frequenz auf, erhält man das Frequenz- spektrum
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
35 Farbe und Farbmodelle(3) Diskrete Cosinus-Transformation (DCT)
Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.3 JPEG Kodierung
Ortsraum
xy
DCT
Frequenzraum
uv
f(x,y) F(u,v)
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
36 Farbe und Farbmodelle(3) Diskrete Cosinus-Transformation (DCT)
Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.3 JPEG Kodierung
Frequenzraum
uv
F(u,v)
• Jeder Punkt bezeichnet Anteil einer bestimmten Frequenz
Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.3 JPEG Kodierung
Quality : 90%Size: 21,868 bytes
Quality : 50%Size: 9,096 bytes
Quality : 10%Size: 3,519 bytes
Quality : 100%Size: 54,124 bytes
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
43 Videokodierung und Bewegungswahrnehmung•Grundlagen
•Video (Film):kontinuierliche Abfolge von aufeinander folgenden Einzelbildern, die aufgrund der Netzhautträgheit des Menschen als zusammen-hängende, bewegte Sequenz erscheint.
•Netzhautträgheit:das von der Netzhaut (Retina) wahrgenommene Bild bleibt für 1/16s auf dieser bestehen, ehe es verlischt
•Kodierung einer Video(Film)sequenz erfordert sehr viel Speicherplatz
•Bild und Ton müssen synchron ablaufen
•erfordert hohe Bandbreite
Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.4 Video Kodierung
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
44 Videokodierung und Bewegungswahrnehmung•Bewegungswahrnehmung
•komplexe Funktion der menschlichen Sensorik
•abhängig von
•Physiologischen Faktoren
•Beeinflussung benachbarter Lichtsinneszellen in der Retina
•Foveale Objektverfolgung (Nachführung des Auges)
•Vergenz und Akkomodation
•Psychologischen Faktoren
•Elimination gleichförmiger Bewegung durch das Gehirn
•Koppelung von Bewegung und Beschleunigungswahrnehmung (Gleichgewichtsorgan)
Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.4 Video Kodierung
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
45 Videokodierung und Bewegungswahrnehmung•Analoge Videotechnik
•Farbfernsehen – PAL
•PAL (Phase Alternation Line, Europa) sendet mit Bildwiederholfrequenz von 25 Hz und einer Bildauflösung von 720x576 Pixeln, wobei 2 gegenseitig verschränkte Halbbilder mit im Takt von jeweils 1/50s gesendet werden
Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.4 Video Kodierung
gerade Zeilen ungerade Zeilen
+
1/50s 1/50s
=
1/25s
PAL interlaced
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
46 Videokodierung und Bewegungswahrnehmung•PAL (SD576i)- notwendige Bandbreite
•Bildauflösung: 720 x 576 Pixel
•Bildwiederholfrequenz: 25 Hz
•Farbtiefe: 8 Bit
•Subsampling: 4:2:2
•Benötigte Bandbreite: 720 x 576 x 25 x 8 + 2 x (360 x 576 x 25 x 8) = 166 Mbps
Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.4 Video Kodierung
Luminanz Chrominanz
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
47 Videokodierung und Bewegungswahrnehmung•HDTV (HD1080p) - notwendige Bandbreite
Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.4 Video Kodierung
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
48 Prediktive Kodierung•Ausnutzung von inhärenten Redundanzen in Videosequenzen
•z.B. Hintergrund statisch, nur Objekt im Vordergrund bewegt
•Objekte und Objektbewegungen müssen erkannt werden
•Bewegung kann als Grauwertveränderungder Position von Bildpunkten definiert werden
•Bei fester Kameraeinstellung ändert sich derBildinhalt durch Bewegung der Objekte in der Szene
•Verfahren zur Bewegungsprädiktion:
• Vorhersage ohne semantischen Kontext
• Modellbasierte Verfahren, z.B. bei Videotelefonie, Nachrichtensprecher, etc.
• Objekt-/Regionenbasierte Verfahren, d.h. Bildsegmentierung und Extraktion von Objekten
Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.4 Video Kodierung
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
49 Prediktive Kodierung•Block-Matching
Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.4 Video Kodierung
Referenzbild RIn-k
• Annahme:
• benachbarte Bildpunkte führen die gleiche Bewegung aus.
• Vorgehen
• Unterteile das vorherzusagende Bild In in gleich große Blöcke (Segmente)
• Für jedes Segment bestimme im Referenzbild RIn-k einen Block mit möglichst gleichem Inhalt
Originalbild In
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
50 Prediktive Kodierung•Block-Matching
Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.4 Video Kodierung
Referenzbild RIn-k
• Vorgehen (Fortsetzung):
• Ist ein passendes Segment gefunden, bestimme den Verschiebevektor v=(vx,vy)
• Vollständige Prädiktion ist nur möglich, wenn für jedes Segment in In ein passender Block im Referenzbild gefunden wird.
• Das Prädiktionsbild PIn wird wie eine Collage aus den gefundenen Segmenten des Referenzbildes zusammengesetzt und sieht bei erfolgreicher Prädiktion dem Originalbild In sehr ähnlich.
Originalbild In
v
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
51 Prediktive Kodierung•Ursache für Bildveränderungen in Videosequenzen sind auch Bewegungen der
Kamera
•Geradlinige Bewegungen der Kamera (Translation)
•Kameraschwenk (Rotation)
•Einsatz von Zoomobjektiven (Skalierung)
Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.4 Video Kodierung
y
z
Bewegungskompensation gleichtBewegungen der Kamera aus
x
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
52 Video Codecs und Komprimierverfahren
Multimedia-Analyse-Techniken2. Bild- und Videokodierung / 2.4 Video Kodierung
•entwickelt vom Fraunhofer Institut für Integrierte Schaltkreise in Erlangen mit AT&T Bell Labs und Thompson (ab 1987)
•basiert auf Subband-Coding mit eigenem psycho-akustischen Modell
•ISO-Standard
•standardisiert lediglich Dekoder und Datenformat
•Kodierer nicht standardisiert
•MP3-Datei besitzt keinen expliziten Header, sondern ist eine Aneinanderreihung einzelner Datenblöcke mit jeweils eigenem Header + Audioinformationen (→ Streaming)
Multimedia-Analyse-Techniken3. Audiokodierung
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
75 MP3 Audiokodierung•Predictive Coding
•Wissen über bereits kodiertes Signal wird zur Vorhersage des Folgesignals benutzt (nur Differenz wird kodiert)
•Spektral-/Transform Coding
•Fourier-Transformation des Wellensignals (Überführung von Ortsraum in Frequenzraum)
•Sub-Band Coding
•psycho-akustisches Modell
•Audio-Spektrum wird in Frequenzbänder aufgeteilt(fast alle Bänder haben gegenüber dem lautesten Band weniger relevante Information)
Multimedia-Analyse-Techniken3. Audiokodierung
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
76 MP3 Audiokodierung•!"#$%
&$'()'(
*$+,-./)'0
1!')+23-4
5"//6'#-.
73289%)0"3,$389-3:;%#-++
**<=-.#-80"'(3>
389?-++-'
@-$3,"'(3>:"'#:=-.A-.."'(3>
3,-"-."'(3389+-$B-
50)+$-."'(:"'#
C")',$3$-."'(
D"BBE)'>
F%#$-."'(
G
HI
G
JKJ
F%-BB$A$-',-'
F%#$-."'(:#-.
L"3),A$'B%.E),$%'
;"+,$M+-N-.
O$($,)+-.:F)')+
HP>HQR:0/M3
O-E"+,$M+-N-.D"BBE)'>
O-0%#$-."'(
O-0%#$-."'(:#-.
L"3),A$'B%.E),$%'
O-30)+$-."'(:"'#
O-S")',$3$-."'(
T'U-.3-:;OV<:E$,
#2')E$389-.
*-'3,-.)'M)33"'(
*$+,-./)'0
152',9-3-4
!"#$%
!"3()'(
G
JKJ
F%-BB$A$-',-'5"//6'#-.
G
HI
HP>HQR:0/M3
;7H:F%#$-."'(
;7H:O-0%#$-."'(
;OV<:E$,
#2')E$389-.
*-'3,-.)'M)33"'(
Multimedia-Analyse-Techniken3. Audiokodierung
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
77
Multimedia-Analyse-Techniken
1. Multimedia und Kodierung
2. Bild- und Videokodierung
3. Audiokodierung
4. Aufgabenstellung
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
78
Multimedia-Analyse-Techniken4. Aufgabenstellung
Generelles Vorgehen•Ziel ist, die Aufgaben wissenschaftlich und prototypisch zu lösen.
•Aufgabenschritte:
(1) Literatur Recherche
(2) Anfertigen eines Testdatensatzes, der zur Evaluation verwendet wird
•manuelles Annotieren des Testdatensatzes mit den relevanten Informationen
(3) Implementieren des Analysealgorithmus
(4) Anwenden des Analysealgorithmus auf den Testdatensatz
(5) Evaluation der analytischen Ergebnisse
•Vergleich der Ergebnisse mit der manuell erstellten Annotation
•Anpassen des Analysealgorithmus und weiter mit (4)
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
79
Multimedia-Analyse-Techniken
1. Multimedia und Kodierung
2. Bild- und Videokodierung
3. Audiokodierung
4. Evaluation und Aufgabenstellung
Mittwoch, 12. Mai 2010
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam