This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
8. Zusammenfassung: Kompression und Schnitt9. Glossar10. Weitere Informationen11. Zusammenfassung: Animation und Multimedia 12. Aktuelle Forschungen bei GDV und Fraunhofer AGC
� Reduzierung der Datenraten notwendig:4:2:2 Video unkomprimiert: 216 MBit (brutto)� 1 Minute Video ca. 1,6 MByteRechneranwendungen: bearbeiten, speichern,
• ������������� ������������Kompression und Kodierung
��� � ���Berücksichtigung von Merkmalen, Eigenschaften, ggf. Semantik des Datenstromes
• ��������������� �� �������� ������������� ����������������� ��������� ������������ ���������Verändert das Original, aber ideal rekonstruierbar = Originalmöglichst wenig / nicht wahrnehmbar
• �������������� ��������� ��������������� ��������Annähernd gleiche Geschwindigkeit Die Kompression dauert für Kompression und Dekompression (i.a. wesentlich) länger (Realzeitkompression, Online-Kompression) als die Dekompression
• �������������Verhältnis der ursprünglichen Datenmenge zur komprimierten Datenmenge,bei Bildkompression häüfig als Bits/Pixel ausgedrückt
� Feststellung: Pixelwerte eines Bildes sind nicht gleichverteilt� Idee: häufiger vorkommende Datenwerte werden in kürzeren Bitfolgen kodiert
(je häufiger das Muster, je kürzer der Code)� Dazu: Identifizierung von Mustern und ihrer Häufigkeit Î Codebuch
statisch (z.B. Morsealphabet)dynamisch
� Musterersetzung� ersetzen häufiger Zeichenmuster (‘Multimedia’ Î ‘*M’)� primär für Textdaten genutzt
� Null- und Lückenunterdrückung� Annahme der Existenz eines häufig auftretenden Zeichens oder Oktetts (z.B. Blank in Text
oder 0 in Daten)� Kodierung: <flag>n
� /DXIOlQJHQNRGLHUXQJ� Ersetzung jeder Folge von wiederkehreneden Zeichen durch
‘c’<flag>n (effizient für n >= 4)� Verallgemeinerung der Null- und Lückenunterdrückung� effektiv z.B. für Bilder mit größeren Flächen gleicher Farbwerte
����: Kodierung des Unterschiedes zwischen dem tatsächlichen Wert eines Musters und einer Voraussage dieses Wertes
�������������������������� ��������
vorhergesagter Wert ist zuletzt abgetasteter WertDifferenz zu diesem Wert kann in weniger Bit kodiert werden
Amplitude
Zeit
6LJQDO
Amplitude
Zeit
FRGLHUWHV�6LJQDO
Variante (Delta Modulation): Die Kodierung der Differenzwerte erfolgtnur mit einem Bit � steile Flanken können nicht repräsentiert werden� !����� ����� � "
Die Ursprungsdaten werden transformiert vom räumlichen oder zeitlichen Bereich in einen abstrakten (häufig in den Frequenz-)Bereich, der sich für die Kompression besser eignet.
Nach der Umwandlung können *�����!� Koeffizienten genauer kodiert werden als weniger wichtige, bestimmte unwichtige Koeffizienten können auch ganz wegfallen
Transformation ist prinzipiell verlustlos (ggf. höhere Genauigkeit nötig!)
bei Kodierung von weniger wichtigen Koeffizienten mit weniger Bit und Weglassen unwichtiger Koeffizienten ��������������������
� optimiert für photographische Aufnahmen (Einzelbilder) mit „fließenden“ Farbübergängen oder Grauwertbilder, weniger geeignet für synthetische Bilder (niedrigere Kompressionsrate oder Artefakte)
� Der JPEG-Standard spezifiziert verschiedene Verfahren / Alternativen und Betriebsarten:� lossy mode (DCT + Lauflängen + Huffman)
baseline und extended� lossless mode (DPCM + Huffman)� Betriebsarten:
Verwandte der diskreten Fourrier-Transformation (beide sind Frequenzraumtransformationen)
Die cos-Terme hängen nur von x,u resp. y,v ab, insbesondere nicht von syx: � lassen sich in Tabelle als Konstante ablegen � vergleichsweise schnelle Berechnung möglich!
� Ist für nahezu beliebige Bildformate verwendbar (max 216 Zeilen/Spalten)� Unterstützt beliebiges Pixel-Seitenverhältnisse ������ ������ ���� � Typische Kompressionsraten (-faktor) für 3x8 Bit:
� 0,25 – 0,5 bit/Pixel (100-50): oft noch akzeptable Qualität� 0,5 – 0,75 bit/Pixel (50-30): sehr gute Qualität� 0,75 – 1,5 bit/Pixel (30-15): ausgezeichnete Qualität, fast immer ausreichend� 1,5 – 2,0 bit/Pixel (15-12): vom Original kaum zu unterscheiden
� Neben dem Baseline-Codec sind viele weitere Varianten möglich … aber doch (vergleichsweise selten genutzt)� Einige weitere Verfahren im extended Modus!� verlustfreie Kompression durch prädiktive Kodierung� Progressiver Bildaufbau (ein „unscharfes Bild“ detailliert sich)� Hierarchischer Modus: Bild in verschiedenen Auflösungen
� Hat auch zugehöriges Dateiformat: JFIF� Ist auch für Video verwendbar: MJPEG
APP0 L identifier version units Xdensity Ydensity Xthumbnail Ythumbnail RGBheader “JFIF”X’00’ X’0102’
SOI APP0 Frame EOI
L Länge des APP0 Feldesunits 0:keine; 1:dots per inch; 2:dots per cmXdensity: horizontale Bildauflösung (in units)Ydensity vertikale Bildauflösung (in units)Xthumbnail horizontale Pixelanzahl des PreviewsYthumbnail vertikale Pixelanzahl des PreviewsRGB gepackte 24-Bit RGB-Werte des Previews
� Kein standardisiertes Fileformat, aber� in den Containerformaten quicktime und avi verfügbar� Basiert auf JFIF: z.B. in quicktime mit und ohne Marker
Komprimiert nur intraframeÎ für Anwendungen, die wahlfreien Zugriff auf frames
oder fields brauchen (z.B. Schnittsysteme) gut geeignet und oft genutzt
Î Audio-Kodierung ���� standardisiert!Î Für die Distribution nicht optimal:
Sehr gute Qualität: max. 50-fache Kompression, d.h. für Digitales Video immer noch mehr als 4 Mbit Übertragungsrate: zu hoch für CD-ROMs, zu hoch fürs Internet, zu hoch für Videokonferenzen
Î Suche nach Alternativen: MPEG-Familie und H.320 Familie
MPEG Motion Picture Expert Group(ISO/IEC JTC1/SC29/WG11) Entwicklung seit 1988
03(*�� Coding of moving pictures and associated audio for digital storage media at up to about 1,5 Mbit/sIS 11172, 1993 ff.VHS-Qualität (352*240 Pixel, 25/30 fps), Bandbreiten bis 1,5 Mbps
03(*�� Generic coding of moving pictures and associated audio informationIS 13818, 1995 ffStudioqualität (720*576 Pixel, 30 fps; Audio in CD-Stereo-Qualität)Bandbreiten << 10 Mbps (1,5 .. 60 Mbps)variables Bildformat, bis 1920*1152 Pixel, 60 fps (HDTV)
MPEG 3 geplanter Standard für HDTVEntwicklung wurde aufgegebenHDTV wird durch MPEG2 mit unterstützt
aims at offering a comprehensive set of audiovisual description tools to createdescriptions, which will form the basis for applications enabling the needed TXDOLW\DFFHVV WR�FRQWHQW� which implies good storage solutions, high-performance contentidentification, proprietary assignation, and fast, ergonomic, accurate and personalized
filtering, searching and retrieval.
03(*��� Multimedia frameworkin Arbeit seit Juni 2000, geplant sind 7 Parts„Digital Item“
$"()$&*�+++,-Coding of motion pictures and associated audio (&''(): Ziel: Datenrate von max, 1,5 MBit (incl. Audio) für CD-ROM: mindestens VHS-Qualität � Distribution� Part 1: MPEG-System
Multiplexen von Audio- und Videoströmen auf einem Übertragungskanal
�"��� � ������ �&�& ��������Anfangsbild, Kodierung als Standbild, ohne zusätzliche
Informationen anderer Bilderkeine BewegungsprädiktionAnker für wahlfreien ZugriffBasis für die Kodierung von P- und B-Framesunabhängig dekodierbar(Sehr ähnlich zu JPEG-Bildern)
�+��� # �������� !���� �����$werden durch �������� �������� aus zeitlich zurückliegenden
Bildern vom Typ I oder P abgeleitet,erfordert für Dekodierung vorheriges I-Frame und dazwischen
������ .������ ���� %���� �/ *���%�� ���0werden entweder aus früheren oder späteren P- bzw. I-Framesabgeleitet oder auf Basis von Nachbarbildern interpoliertDifferenzbild zur Prädiktion aus einem vorherigen und einem
nachfolgenden I- oder P-Bilddienen niemals zur Berechnung von Motion-Vektoren,
nicht Referenzbild für andere Frames
��+���� #�!�!���� ������$� #��" 3&$intraframekodiert, für schnellen Vorlauf
� SNR: ’signal to noise‘ (SNR) ratio scalability‚ DCT Koeffizienten des ’base-layers‘ bitstreamswerden durch kodierte Quantisierungsfehler im 'enhancement-layer' bitstream verfeinertAnwendungsziel: terrestrische Übertragung vonDigitalem Fernsehen
� spatial: in einem Datenstrom werden mehrere örtlich skalierte Videodatenströme untergebracht: ���������������5�&��!
� high: unterstützt 4:2:2 Abtastung für die Studiotechnik
Qualitätsmäßig sehr gute Übertragungen von Digitalem Standard-Fernsehen (MP@ML) wurde mit 6 MBit demonstriert.Wichtige Erweiterung ist die Skalierbarkeit: aus einem Bitstrom kannVideo in verschiedenen örtlichen, zeitlichen und Quantisierungs-Auflösungenübertragen werden.
• Verbesserung der Kompressionsrate• parallele Kodierung mehrerer Datenströme
,QKDOWVEDVLHUWH�,QWHUDNWLYLWlW
• inhaltsbasierte Manipulation auf Bitstream-Level• Hybride Kodierung von natürlichen (Video) und synthetischen (Computergraphik) Szenen• Interaktion mit Objekten der AV-Szene• verbesserter zeitlicher Zugriff
• Standard für Videoconferencing (DTVC: Desktop Video Conferencing)• Rahmen + Menge von Einzelstandards• in digitalen Netzen (ISDN)• entwickelt durch ITU-T (Int.Telecomminications Union - Telecommunications
früher CCITT: Comité Consultatif International de Téléphonie et Télégraphie)
• Kodierung und Kompression von Video (H.261)• Kodierung und Kompression von Audio• Multiplexen von Datenströmen (Video + Audio (+ Steuerinformationen))• Verbindungsaufbau• Sicherheitsmechanismen• Multipoint Control Units
+���� Kodierung und Kompression von Bewegtbildern (Video)+���� Frame-Struktur
Strukturierung von Video- und Audiobitströmen in BlöckenMultiplexen von Video- und Audioströmen auf einem oder mehrern ISDN-Kanälen
+���� Frame-Protokoll (Erweiterung von H.221, Synchronisationssteuerung)Multiplexen von Video- und Audioströmen + Steuerinformationen (Application Sharing)auf einem oder mehreren ISDN-Kanälen
+���� Definition von 0XOWLSRLQW &RQWURO 8QLWV (MCU)+���� Definition von Encryption- und Authentification-Techniken+���� Protokoll zum Aufbau von Verbindungen
*���� Kodierung und Kompression von Audio (3.4 kHz; 64Kbps)*���� Kodierung und Kompression von Audio (7.0 kHz; 48, 56, 64 Kbps)*���� Kodierung und Kompression von Audio (3.4 kHz; 16Kbps)
H.230 Frame-SynchronisationssteuerungH.242 VerbindungsaufbauH.261 Kodierung und Kompression von Bewegtbildern (Video)H.320 Schmalband Bildtelefon (Systeme und Terminalausstattung)
0XOWLSRLQW 6WDQGDUGV
H.231 Definition von 0XOWLSRLQW &RQWURO 8QLWV (MCU)für 64Kbps .. 2Mbps
H.243 Definition von Basis MCU-Funktionalität für die Kommunikation zwischen 3 und mehr audiovisuellen Terminalsfür 64Kbps .. 2 Mbps(Konferenzsteuerung, Token Passing, Data Broadcasting)
• Ähnliche Konzepte wie JPEG und MPEG mit Einschränkungen• vorgegebenes Bildformat (QCIF, CIF)• Farbraum YUV; Subsampling 4:1:1• Nur I- und P-Frames (keine B-Frames)• fester Schwellwert für Ignorieren von Differenzbildern• einfache lineare Quantisierung der DC- und AC-Koeffizienten• feste Blockgruppenstruktur
• annähernd symmetrischKodierung und Dekodierung muß in Echtzeit erfolgen
56���� 7 %8���9A file extension is a generally a three letter suffix to a file name that follows a period. In the file sales.mov, sales is the file name and .mov isthe extension. The extension tells the operating system which program to use to interpret the file.
$GYDQFHG 6WUHDPLQJ )RUPDW��$6)�-Advanced Streaming Format is an MS Windows Media Player file format for audio and video on theInternet or other network. It is a highly flexible and compressed format that contains streaming audio, video, slide shows and synchronizedevents. ASF files are streaming and can therefore begin playing before downloading is complete.
$GYDQFHG 6WUHDP 5HGLUHFWRU �$6;�-Advanced Stream Redirector files are text files used for redirection to MS Windows Media Player ASF files. These files contain media and server information but no actual video or audio. ASX files can be distributed as attachments or links. When you open an ASX file, the file opens the referenced movie in your media player, making it appear as though the entire file has beendownloaded.
$XGLR�9LGHR�,QWHUOHDYHG �$9,�-Audio Video Interleaved is a bitmap-based format for the Windows platform defined by Microsoft. It is themost common format for audio/video data on PC and an example of a de facto (by fact) standard. Raw AVI from video capture is a greatplace to start for compression, but too large for effective use across the Internet.
'LJLWDO�9LGHR��'9�-To process and store video on a computer, it must first be converted to a binary format. Most digital video cameras arecapable of outputting video directly to a hard drive in this format via IEEE 1394 interface. DV is a good format for compression and editingapplication input, but file sizes are too large to deliver effectively over the Internet.
0DFURPHGLD )ODVK�0;�9LGHR��)/9�-This is a Macromedia Flash MX video file in which the video and audio are compressed. When an FLV clip is added to a Flash timeline, the video is not compressed a second time, so the import is considerably less time consuming. FLV filescan be created using Flash with Sorenson Spark or Sorenson Spark Professional (Pro). Spark Pro has the added advantage of being able to batch process entire directories of video to FLV or SWF format for later use at a higher quality and smaller file size than are possible usingthe standard version of Sorenson Spark.
4XLFN7LPH 0RYLH �029�-All QuickTime Movies are associated with the MOV file extension. This extension works on Win95/98/2000/NT/XP, Mac OS Classic and X. It also supports over 200 media types (Photoshop, GIF, JPEG, etc.) in addition to QuickTimemovies. One major advantage of working in the QuickTime environment is its free server.
Apple currently offers two streaming server options. The QuickTime Streaming Server for the Macintosh platform runs on Macintosh Server G4, Power Mac G4, Power Mac G4 Cube, iMac, Macintosh Server G3 or Power Macintosh G3. The open source Darwin Streaming Server, which is available on more platforms than any other server, including Mac OS X 10.1 or later, Red Hat Linux, Solaris 8 (SPARC) and Windows NT Server 4.0/Windows 2000 Server.
0RYLQJ 3LFWXUH�([SHUWV *URXS��/HYHO����03��-MPEG-4 was defined using the standards for encoding video in a digital compressedformat as specified by the Moving Picture Experts Group (MPEG). It supports video, audio, and system components that are compliant withthe International Organization for Standardization (ISO) MPEG-4 de facto standards. MPEG-4 open standards are a set of specificationsused to build products for production, encoding and delivery of audio/video content over many kinds of networks to a variety of clients such as personal computers, wireless devices, Web browsers and more.
Device manufacturers prefer using MPEG-4 because the open architecture and codec do not lock them into specific formats or players. Instead of having to develop for three or four separate formats, which is logistically difficult and costly, providers can build on the MPEG-4 single format. Remarks: Commercial products: SorensonÎ quicktime
DivX Îwindows media file
5HDO�1HWZRUNV )LOHV��5$��50��5$0�-Real Networks content is software developed by RealNetworks that streams live or pre-recordedaudio/video to a client, such as a Web browser, by decompressing it dynamically so it can be played back in real time. Delivering Real Networks content requires use of RealSystem Server Basic (free), Plus, intranet or Professional software. The RealSystem Server Basic allows for up to 25 concurrent viewers. As your requirement for simultaneous viewers increases, so does server price.
0DFURPHGLD )ODVK�0;��)/$�)LOH�3XEOLVKHG IRU WKH :HE��6:)�-When a Macromedia Flash MX .FLA file is published for the Web, it takeson the SWF extension. While normally associated with vector graphics and audio, Macromedia Flash MX now supports embedded video. An advantage of working with the Flash player is its widespread distribution and the ability to include powerful programming elements usingActionScript. SWF files can either be created individually in Macromedia Flash MX using Sorenson Spark or in bulk as an automatedprocess using the Spark Professional video codec in Sorenson Squeeze for Macromedia Flash MX.
06�:LQGRZV�0HGLD�$XGLR��:0$�-MS Windows Media Audio is an audio codec designed by Microsoft for use with streaming content at CD quality. It is designed to resist data loss that can cause signal degradation and can improve download times for audio.
06�:LQGRZV�0HGLD�)LOH��:09�-This an MS Windows Media file with audio and/or video. It is used to download and play files or streamcontent. The WMV format is similar to the ASF format. See ASF file documentation for more information about its capabilities.
� preload + play� File Transfer Protokolle, z.B. ftp auf TCP� Bereitstellung im virtuellen Speicher� Qualität unabhängig von Übertragungsrate� Große Bandbreite möglicher Qualitäten
� continous play (streaming)� Stream Protokolle, z.B. rtp auf UDP� Qualität abhängig von Übertragungsrate� Recovering von Blockverlust
Unkomprimiert als Computervideo viel zu groß � KompressionViele gebräuchliche Standards, u.a.:
MJPEG z.B. für ProduktionMPEG z.B. für CD-ROM DistributionMPEG 2 eigentlich Distributionsstandard, viele Varianten für
verschiedene Träger-Medien: DVD, terrestrische Ausstrahlung, Kabel, …; aber High-Profile auch für die Produktion
MPEG 4 Internet-Distributionalle Formate haben ihre kommerziellen „Flavors“: sorenson, divX, …aktuell: sehr dynamische Entwicklung
Wichtige Qualitätsklassen: Produktion (insb. schnittfähig � field/frame-Zugriff)Contribution (sendefähig nach Fernsehqualität)Distribution je nach Anwendung und