Lecture01_Introduction

MIT 628: Multimedia Technology

Dr. Kritsada Sriphaew

Master of Science in Information Technology Rangsit University

สปดาหท หวขอ/รายละเอยด

1 Multimedia Systems, Standards and Trends MPEG and Visual Display Unit

2 MPEG-4 standards

3 Image Technology, JPEG standards

4 Encoding and Compression

5 Video Indexing and Retrieval Content-Based Image Retrieval

6 Speech/Audio Processing for Multimedia Applications

7 Speech Recognition

8 สอบกลางภาค

สปดาหท หวขอ/รายละเอยด

9 Handwritten Recognition

10 Interactive Multimedia Systems

11 Multimedia Hardware, Software and Authoring Tools

12 Design, Development and Evaluation of Interactive Multimedia Systems

13 Open Topic 1 (tentative HTML5/CSS3 or Flash)

14 Open Topic 2 (tentative HTML5/CSS3 or Flash)

15 Mobile Multimedia Technology

16 สรป ทบทวน รวบรวมความรจากการเรยน

17 สอบปลายภาค

What is Multimedia?

• Multimedia: a working definition

– A combination of two or more categories of information having different transport signal characteristics

– Typically, one medium is a continuous medium while another is discrete

– Image, audio, video and graphics are examples of media

Videos

• Some issues

– How are the temporal relations between the media represented?

– What do I need to stream video across the network?

– Are the different media synchronized?

– How can I describe a video retrieval request like a query?

Background

• MPEG : Moving Picture Experts Group “Compactly representing digital video and audio

signal for consumer distribution”

ISO/IEC Standard

• ITU-T : International Telecom Union The ITU Telecommunication Standardization Sector

Some standards for MPEG and ITU-T are duplicate

MPEG Standards

• MPEG-1: (1993) Standard for VCD “Coding of moving pictures and associated audio for digital storage media at up to about 1.5 Mbit/s”

• MPEG-2: (1995) Standard for SVCD, DVD, digital

TV “Generic coding of moving pictures and associated

audio information”

• MPEG-3: intention for Standard of HDTV – Found Redundant and merge with MPEG-2, there is no MPEG-3 standard – It is not MP3, which is MPEG-1 Audio Layer III.

MPEG Standards • MPEG-4: (1998)

“Coding of audio-visual objects for 3D or more efficient video”

“closer to computer graphics applications” • MPEG-4 Part 2: visual objects และ format vdo

– DivX

– XviD

• MPEG-4 Part 3: audio

– AAC (Advance Audio Coding) Implemented by Apple Inc. AAC is referred to have

low bitrate at 96 kbps with the quality equal to MP3 at 128 kbps and applying in

iTunes Music Store with the file format as .aac, .mp4 and .m4a

• MPEG-4 Part 10: Advanced Video Coding (AVC)

– H.264 (ITU-T) or AVC (MPEG) Higher standard for vdo codec than MPEG-4 part 2.

Applying in QuickTime 7 และ MacOSX 10.4 Tiger, and broadcasting digital TV in

Japan and Europe and next generation of disk for Blu-ray and HD-DVD

MPEG Standards

• MPEG-7: (2002) Standard for Adding Contents (Semantic) to the Media “Multimedia content description interface”

• MPEG-21: (2001) Standard for Adding Contents to the Media in a more detail (Frame by Frame)

“Multimedia Framework”

MPEG-1 MPEG-2 MPEG-4 ออกมาตงแต 1993 1995 1998

ความละเอยดสงสดของวดโอทท าได 352 x 288 720 x 576 1920 x 1152

คาเรมตนของวดโอในระบบ (PAL) 352 x 288 720 x 576 720 x 576

คาเรมตนของวดโอในระบบ (NTSC) 352 x 288 640 x 480 640 x 480

ยานความถของเสยงสงสด 48 kHz 96 kHz 96 kHz แชลเนลของเสยงไดสงสด 2 8 8

การถายโอนขอมลสงสด 3 Mbit/sec 5 to 10 Mbit/sec 80 Mbit/sec .

อตราการถายโอนขอมลเรมตน 1380 kbit/s (352 x 288)

880 kbit/s (720 x 576)

6500 kbit/s (720 x 576)

จ านวนเฟรมตอวนาทในระบบ (PAL) 25 25 25

จ านวนเฟรมตอวนาทในระบบ (NTSC) 30 30 30

คณภาพของวดโอ satisfactory good to very good verygood

ความตองการดานฮารดแวรในการ Encoding

ต า สงมาก สง

ความตองการดานฮารดแวรในการ Decoding

ต ามาก สง ปานกลาง

Visual Display Unit

HDTV

• HDTV ( High Definition Television ) มชอเรยกอยางเปนทางการวา "โทรทศนความคมชดสง" หรอ "โทรทศนรายละเอยดสง" หรอเรยกสนๆ วา HDTV เปนค าสนๆ ทแสดงใหเหนถงการแสดงภาพวดโอ โดยเลข 1080 หมายถง จ านวนความละเอยดของเสนในแนวนอน 1,080 เสน และตวอกษร p ยอมาจาก Progressive Scan หรอ non-interlaced ในขณะท i ยอมาจาก interlaced ปจจบนทง 1080i และ 1080p เปนฟอรแมตความละเอยดสงสด ทใชกนทวไปในการแพรภาพโทรทศนและการเกบภาพวดโอ ดงนน 1080p จงเปนสญญาณภาพแบบ HDTV โดยมการรบสงสญญาณภาพในแบบจอกวางหรอไวดสกรน ( Widescreen ) อตราสวน 16:9 นนหมายความวา ความละเอยดของการแสดงจะผลอยท 1920 จดในแนวนอน และมความละเอยด 1080 จดในแนวตง รวมเทากบ 1920 x 1080 หรอเทากบ 2,073,600 พกเซล ( 2 Mpixel หรอ 2 ลานพกเซล )

Full HD and HD Ready

HD Ready ค านจะใชส าหรบจอภาพทมความละเอยดต ากวา Full HD ไมวาจะเปนขนาดภาพ 1366x768 หรอ 1024x768 หรอ 1280x720

• ส าหรบจอภาพโทรทศนทโฆษณาวาเปน HD Ready นนจะรองรบการน าเขา input HDMI รบสญญาณภาพจากเครองเลนทเปน Full HD ( 1080i หรอ 1080p )

• เชน..เครองเลน Blu-ray มขนาดภาพ Full HD 1920x1080 (pixels) สงตอสญญาณภาพใหโทรทศนทมขนาดจอภาพเปน HD เพยง 1280x720 (pixels) เครองรบโทรทศนจะท าการ Down Scale ใหเหลอแค Native Resolution ใหแสดงผลเทาทจอภาพของมนจะท าไดเทานน คอจากขนาดภาพ 1920x1080 pixels (1,080 เสน) เหลอเพยงขนาดภาพ 1280x720 (720 เสน) เหมอนวารองรบสญญาณภาพ Full HD 1920x1080 (1,080 เสน) แตจรงๆแลวแสดงผลบนจอภาพโทรทศนเพยง 1280x720 (720 เสน) เทานน

Interlace and Progressive

• i ยอมาจาก Interlace คอการสแกนภาพแบบฟนปลา หรอเรยกงายๆ วา เสนเวนเสน อธบายใหละเอยดคอ ทวทมความละเอยด 1080 เสนในแนวนอน จะสแกนเสนเลขคกอนกคอเสนท 1,3,5,7,9,.....,จนถงเสนสดทายของเลขคซงกคอเสนท 1079 (รวมเปน Field 1) แลวคอยกลบมาสแกนเสนเลขคกคอ 2,4,6,8,10,......,จนถงเสน1080 ครบ (รวมเปน Filed 2) ซงเปนการสงสญญาณภาพทวทวไป (PAL-576i, NTSC-480i)

• p ยอมาจาก Progressive คอการสแกนภาพแบบเรยงล าดบตงแต 1,2,3,....ไปจนถงเสน

สดทายจากบนลงลาง ภาพทไดจงเนยนกวา ซงจอ plasma และ LCD จะใชระบบนเปนหลก บางครงกเรยกระบบนวา Non-Interlaced Scan

TV and Monitor

• จอ CRT จะใชวธ Scanline ตวเลขทระบรายละเอยด เชน 480i (720 x 480) หมายถง จ านวนเสน scanline ตามแนวนอนจ านวน 480 เสน แตละเสนมความยาว 720 pixels ท างานแบบ interlace (ถาเปน 480p จะเปน Progressive)

• จอ LCD หรอ Plasma ถาเขยนวา 640 x 480 จะหมายถงจ านวน pixel ทงในแนวตงและแนวนอน และมการสแกนแบบ Progressive

Resolution of TV

• SDTV : Standard Definition Television เปนทวทสนบสนนความละเอยดภาพแบบปกต (โทรทศนระบบอนาลอก) เชน 480i, 576i – NTSC บนทกภาพท 525x858 และแสดงผลท 480x720 (2:3) (เทากบ 345,600 จด) – PAL/SECAM บนทกและแสดงผลท 576x720 (3:4) (เทากบ 414,720 จด)

• EDTV : Enhanced Definition Television เปนทวทสนบสนนความละเอยดภาพทมคณภาพมากขน เชน 480p, 576p, 720i

• HDTV : High Definition Television เปนทวทสนบสนนการแสดงภาพทมความละเอยดสง เชน 720p, 1080i, 1080p

Current Technology for TV

• การเพมความถในการสแกน โดยการรบสญญาณจาก field A,B 50Hz ไปท าการสแกนบนจอเพมสองเทาเปน 100Hz เชน Sony-DRC100, Philips 100Hz, 100Hz Digital Scan ภาพทไดจากวธการนจะนงมาก

• Progressive Scan (เทยม) ทวจะน าขอมล interlace จาก field A,B มาผสมรวมกนแลวท าการ deinterlace เพอแสดงบนจอแบบ progressive เชน Sony DRC Progressive ภาพจะคมชดมากกวาแบบ interlace ธรรมดา

• การเพมความละเอยดบนจอ เปนการน าสญญาณเดมมาเพมระดบความละเอยดทงแนวนอนและแนวตง เชน Sony-DRC1250 ภาพจะละเอยดยงขน

• Hybrid จะเปนการรวมเทคนคหลายๆ แบบเขาดวยกน เปนการเพมทงความถในการสแกนและความละเอยดของภาพ เชน Philips-Pixel Plus

• Progressive Scan (แท) ทวจะรบขอมลสญญาณแบบ Progressive scan จากพวกเครองเลน DVD, เครองเลนเกม น าไปแสดงบนจอแบบ Progressive ซงการใชงานแบบนจะไดคณภาพของภาพสงสด เพราะมนเปน Progressive มาตงแต Source ทสงสญญาณ digital แบบ Progressive ผานสายแบบ DVD component หรอ VGA, DVI, HDMI เทานน