報告 要約 1994年にMPEG(Moving Picture Experts Group)で標準化されたMPEG-2 TS(Transport Stream)(以下,TS)は,各国のデジタルテレビジョン放送に採用されるなど映像・音声メディ アの多重化方式として広く普及している。さらに,インターネットの普及や伝送路の高速化・低 コスト化が進むにつれて,IPTVサービスや放送用素材伝送において,TSをIP(Internet Protocol)で伝送するTS over IPの利用が広がっている。一方,2014年3月に国際標準化が完 了したMPEG-H MMT(MPEG Media Transport)は,放送と通信の複数伝送路を用いるハイ ブリッド配信における高精度な同期合成の仕組みを提供し,放送通信連携サービスの高度化を実 現する多重化方式である。本稿では,MMTを用いた放送通信連携サービスに,既存のデジタル 放送の多重化方式であるTS形式のコンテンツを包含させるためのTS over MMTの仕組みを提案 し,既存メディアを活用した次世代放送サービスの可能性を示す。 ABSTRACT In this paper, we propose“TS over MMT” , which is a multiplexing scheme for MPEG-2 TS (Transport Stream)content over MPEG-H MMT(MPEG Media Transport) , and demonstrate the potential for utilization of legacy media in next-generation broadcasting services. TS has been widely adopted in various applications including digital television broadcasting all over the world since it was internationally standardized in 1994. Furthermore, it is utilized as“TS over IP”with RTP(Real-time Transport Protocol)in IP applications such as IPTV and IP delivery of video materials for content production. On the other hand, MMT was internationally standardized in March 2014. MMT can realize hybrid delivery of content which is more suitable for heterogeneous environments. MMTを用いたMPEG-2 TSの IP伝送方式の検討 河村侑輝 青木秀一 大槻一博 土田健一 木村武史 A Study on Multiplexing Scheme for MPEG−2 TS Content over MMT Yuki KAWAMURA,Shuichi AOKI,Kazuhiro OTSUKI,Kenichi TSUCHIDA and Takeshi KIMURA NHK技研 R&D/No.150/2015.3 43
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
報告
要約 1994年にMPEG(Moving Picture Experts Group)で標準化されたMPEG-2 TS(TransportStream)(以下,TS)は,各国のデジタルテレビジョン放送に採用されるなど映像・音声メディアの多重化方式として広く普及している。さらに,インターネットの普及や伝送路の高速化・低コスト化が進むにつれて,IPTVサービスや放送用素材伝送において,TSをIP(InternetProtocol)で伝送するTS over IPの利用が広がっている。一方,2014年3月に国際標準化が完了したMPEG-H MMT(MPEG Media Transport)は,放送と通信の複数伝送路を用いるハイブリッド配信における高精度な同期合成の仕組みを提供し,放送通信連携サービスの高度化を実現する多重化方式である。本稿では,MMTを用いた放送通信連携サービスに,既存のデジタル放送の多重化方式であるTS形式のコンテンツを包含させるためのTS over MMTの仕組みを提案し,既存メディアを活用した次世代放送サービスの可能性を示す。
ABSTRACT In this paper, we propose“TS over MMT”, which is a multiplexing scheme for MPEG-2 TS(Transport Stream)content over MPEG-H MMT(MPEG Media Transport), and demonstrate thepotential for utilization of legacy media in next-generation broadcasting services. TS has beenwidely adopted in various applications including digital television broadcasting all over the worldsince it was internationally standardized in 1994. Furthermore, it is utilized as“TS over IP”withRTP(Real-time Transport Protocol)in IP applications such as IPTV and IP delivery of videomaterials for content production. On the other hand, MMT was internationally standardized inMarch 2014. MMT can realize hybrid delivery of content which is more suitable for heterogeneousenvironments.
MMTを用いたMPEG-2 TSのIP伝送方式の検討
河村侑輝 青木秀一 大槻一博 土田健一 木村武史
A Study on Multiplexing Scheme for MPEG−2 TSContent over MMT
Yuki KAWAMURA,Shuichi AOKI,Kazuhiro OTSUKI,Kenichi TSUCHIDA and Takeshi KIMURA
NHK技研 R&D/No.150/2015.3 43
1.はじめに1994年にMPEGで標準化されたMPEG-2 Systems1)に規定される多重化方式であるTS(Transport Stream)は,各国のデジタルテレビ放送共通の信号形式であり,符号化装置や記録メディアのインターフェースとして,放送・通信を問わず数多くのメディアに採用されている。近年,IP伝送路の普及,高速化,低コスト化とともに,IPTVサービスや放送用素材伝送において,RTP(Real-time Transport Protocol)*1を用いてTSをIP伝送するTS over IPの利用が広がっている。一方,8Kスーパーハイビジョン(以下,8K)放送をはじめとした次世代放送サービスでは,超高精細映像の伝送に加え,放送と通信が高度に連携したサービスの実現が期待されている。NHKは,複数伝送路を用いたハイブリッド配信を前提とした多重化方式であるMPEG-HMMT2)の国際標準化に取り組み,8K衛星放送方式への導入を提案している3)。MMTはTSと同等の多重化機能を有するとともに,IP伝送を前提に設計されているため,これまでTS over IPが適用されてきたメディアでMMTが新たに採用されることが見込まれる。しかし,TS形式で蓄積された過去の放送コンテンツや,TSを入出力インターフェースとする符号化装置などの信号処理装置が既に数多く普及し運用されている状況を考慮すると,既存メディアにおいてはTSとMMTとが共存して運用されていく可能性が高い。従って,MMTを用いた次世代放送サービスを導入する場合に,既存メディアにおけるコンテンツをどのように包含して配信するかが大きな課題の1つとなっている。本稿では,ハイブリッド配信などのMMTの特徴を活用することが可能なTS形式コンテンツの多重化方式である「TS over MMT」を提案し,既存メディアのコンテンツを次世代放送サービスの一部として多重・配信するサービスの可能性を示す。
2.TSとMMTの概要TSの標準化から約20年が経過し,当時の予想を上回る勢いで伝送路,コンテンツ,デバイスの多様化が進んだ結果,TSは標準化当時に想定された適用範囲を超えて利用されている。一方,MMTは,現在そして将来の伝送路環境やコンテンツにふさわしい多重化方式として標準化された。本章では,TS over IPおよびHTTP(HyperText Trans-fer Protocol)ストリーミングにおけるTSの配信について述べた後,MMTによって拡張されるハイブリッド配信の概要を述べる。
2.1 TS over IPによるTS伝送TSはATM(Asynchronous Transfer Mode)伝送路における配信を想定して設計された。しかし現在では,IP伝送路を用いてTSを配信するTS over IPの方がより一般的となった。TS over IPでは,アプリケーション層のプロトコルとしてRTPが標準的に用いられ,RTPパケットにTSパケットをカプセル化*2するための標準方式はIETF RFC( Internet Engineering Task Force ,Request for Comments)22504)に規定されている。さらに,それを参照する形で,素材伝送規格であるSMPTE(Society of Motion Picture and Television Engi-neers)2022-25),IPTV*3の規格であるDVB(DigitalVideo Broadcasting)-IPTV6)やIPTVFJ STD-00047)が標準化された。本節では,TS over IPにおけるTSパケットのカプセル化と誤り訂正の概要を示す。(1)TSパケットのカプセル化1図に示すように,IP伝送路のMTU(MaximumTransfer Unit)*4に収まるようにTSパケット列を単純に分割して,順次RTPパケットに格納する。物理層とのインターフェースにイーサネットが用いられる場合,MTUは1,500バイトが標準であり,最大7個のTSパケットを1個のRTPパケットに格納できる。RTPパケットのヘッダー部にはシーケンスナンバー(sequence_number:通し番号)が付与され,受信したパケットの順序の訂正や,パケット消失の検出に利用できる。さらに,RFC 2250には規定されていないが,伝送データの削減を目的に,有効なデータを持たないNullパケットを送信側で削除して送らない方法もある。この場合,個々のTSパケットの送出タイミング情報が失われるため,受信したTSパケット列を元通りのTSとして再生するために,全てのTSパケットに32ビットのタイムスタンプ(時刻情報)を付与したTTS(Timestamped TransportStream)が用いられる。(2)TSパケットの誤り訂正TS over IPでは,伝送路の性質とサービス品質の要求条件に基づき誤り訂正方式を実装することができる。伝送路上で消失したパケットの復元を可能とするAL-FEC(Application Layer - Forward Error Correction)としては,Pro-MPEG CoP3r28)*5に規定されている方式の採
※1 Program Association Table※2 Program Map Table※3 Video※4 Audio
※5 Program Clock Reference※6 Null Packet(空のパケット)※7 System Time Clock
用例が多い。Pro-MPEG FECでは,複数のRTPパケットの排他的論理和によって修復用のパケットを生成する。双方向伝送路の場合には,RTCP(RTP Control Proto-col)*6によるパケット消失通知を用いることにより,FECで復元できなかったパケットの再送を要求するARQ(Automatic Repeat reQuest)の実装が可能である。2.2 TS over IPの課題TS over IPは,IP伝送に適したメディア配信のための多重化方式が存在しない時期に,既存方式を組み合わせて実装と普及が進んだ経緯から,多重機能はTS,伝送機能はRTPが担う形で,役割が明確に分かれている。1図にも示した通り,TSを単純に分割してRTPパケットに格納するため,1個のRTPパケット内に複数のコンポーネント*7や制御情報のTSパケットが混在することとなる。このため,RTPの伝送機能は,符号化データの復号処理の単位であるアクセスユニット(Access Unit)や,映像復号処理の切れ目となるGOP(Group of Pictures)の境界を意識した処理ができない。これらの理由から,TS over IPは,伝送とコンテンツを分離したいアプリケーションにおいては有効な方式であるが,次世代放送サービスで求められるハイブリッド配信(2.4節参照)の実現においては機能的な限界がある。MMTを用いた次世代放送サービスにおいて既存メディアであるTSを活用するためには,TS over IPに代わる新たな伝送方式の実現が必要と言える。2.3 HTTPストリーミングによるTS配信近年,ブラウザーによるWebページ等の取得に用いられるHTTPを映像コンテンツ配信に用いるHTTPストリーミング技術が注目されている。HTTPストリーミングでは,数秒単位の映像・音声信号を符号化したストリーム
ファイルであるセグメントと,その一覧情報であるプレイリストをWebサーバー上に置き,受信機はプレイリストを参照してセグメントを連続的にダウンロードして再生する。MPEGでは,HTTPストリーミングに関する標準化を行うにあたり,Apple社のHLS(HTTP Live Streaming)やMicrosoft社のSmooth Streamingなどのデファクト規格が先行していた背景を考慮して,それらの技術を持ち寄る 形 でMPEG-DASH(Dynamic Adaptive Streamingover HTTP,以下DASH)9)を策定した。HLSではセグメント形式として映像・音声の符号化データを多重化したTSを採用しており,DASHでもTSを対象とするプロファイル*8を規定している。任意のセグメントからの再生開始を可能とするために,セグメントとして用いられるTSは,多重化された映像・音声信号の識別や,復号装置の状態の初期化に必要なTS制御情報(番組配列情報)と,映像であればGOP先頭のアクセスユニットを,先頭に持つ必要がある。HTTPストリーミング配信システムで利用される符号化装置は,これらの規則に従ったセグメントを連続的に出力する。2.4 MMTによるハイブリッド配信MMTの最大の特徴は,映像,音声,字幕,データなどの多様なアセット*9を複数の伝送路(例えば,デジタル放送とインターネット)を用いて伝送するハイブリッド配
形式で統一されたプレゼンテーションタイムスタンプ(Presentation Time Stamp)*11がアセットに付与されることで,異なる送信元から伝送されたアセット間や,異なる受信機間においても,高精度に同期したサービスの提示(メディアプレゼンテーション)が実現できる。
(4)アセットの提示レイアウト指定アセットごとに,提示するデバイス(例えば,テレビ,タブレット型端末,スマートフォン)と,その画面上での提示領域を指定することができ,これらのレイアウト指定情報が,MMT制御情報のレイアウト設定テーブルとMPU(Media Processing Unit)*12提示領域指定記述子によって伝送される。レイアウト設定テーブルによって,デバイス番号,その画面上の矩形領域の座標,領域番号を定義する。さらに,MPU提示領域指定記述子によって,アセットごとに提示先の領域番号を指定する。これにより,テレビやタブレット型端末などの複数の画面を組み合わせて視聴する多視点映像配信サービスを実現できる。(5)アセットの重要度に応じた誤り訂正TS over IPと同様に,MMTで規定されるAL-FECの仕組みにおいては,アセットの重要度や割り当てられた伝送路の性質に応じて,適用するFECアルゴリズムやそのパラメーターを設定することができる。本章で述べたTSとMMTの主要項目における比較を1表に示す。
3.TS over MMTの提案TS over MMTを用いた放送サービスの例を2図に示す。また,既存メディアであるTS形式のコンテンツを包含するMMTサービスのレイヤーモデルを3図に示す。TS over MMTでは,2図に示すように,8K映像や22.2ch音声などのMMTで直接多重化されるアセットに加
可能なシリアル(直列)信号として出力する。現在のデジタル放送との互換性を確保するために,TS復号装置は2K解像度映像(MPEG-2 VideoまたはH.264)復号装置,5.1ch AAC復号装置を有する。TS over MMTが規定するMMTPパケットへのTSパケットのカプセル化に関しては,詳細な方式を,次の2通りの選択肢から選択可能とする。(A)MPEG-2 Systemsの規定を満たすTSとしての再生を可能とし,このために必要なオーバーヘッド情報(コンテンツ本体の他に制御などのために付加される情報)をTSパケットに付加して伝送する。
(B)再生されるTSがMPEG-2 Systemsの規定を全て満たすことを保証しない代わりに,オーバーヘッド情報を削減して伝送する。MPEG-2 Systemsでは,バッファー管理の方法,PCRの送出周期,許容ジッターなどが規定されている。これらは標準化当時の技術において現実的だったハードウエアの性能や,品質保証されたATM伝送路の利用を想定した規定であり,品質が保証されないIP伝送路の利用は本来想定されていない。一方,現在TS over IPに対応している受信機に実装されているTS復号装置は,IP伝送路上で実際に発生し得る遅延変動やジッターに対する堅牢性を確保し,MPEG-2 Systemsの規定外の信号であっても問題なく処理できるものが多い。(A)の場合には,全てのTSパケットを正しいタイミングで再生するために,TTSを用いることが必須となる。
一方,(B)の場合には,個々のTSパケットの送出タイミング情報を送らないことでオーバーヘッドを削減する。受信・再生したTSを,堅牢性が確保されているか分からないTS復号装置に対して出力する場合には(A)を用い,堅牢性が確保されていることが分かっているTS復号装置に対して出力する場合であれば(B)を用いることができる。3.2 TSパケットのカプセル化の詳細TS over MMTにおいては,MMTで導入されたMPU,MFU(Media Fragment Unit)*16の概念に従ったTSパケットのカプセル化を行う。5図に示すように,アクセスユニット単位のTSパケットを分離した後に,MFUを構成してMMTPパケットにカプセル化する。つまり,TSでアクセスユニットをカプセル化するPES(Packetized Elementary Stream)の単位がMFUと1対1に対応する。映像の場合は,GOPを構成するアクセスユニットのMFUの集合をMPUとすることで,MMTの定義通りMPUは互いに独立して処理が可能な単位となる。また,音声の場合は,1個のアクセスユニットをMPUとしても良いが,オーバーヘッドの増加を考慮して,映像GOPと同等の周期でMPUを構成することもできる。MMTPパケットには,TSコンポーネントごとに異なるMMTパケットIDを付与し,MMT分離部で必要なTSコンポーネントを分離できるようにする。複数のMMTパ
*16 MPUより小さいデータの処理単位。1枚の映像フレームなどをMFUとすることができる。
5図 MMTPパケットに対するTSパケットのカプセル化の例
報告
NHK技研 R&D/No.150/2015.348
location_type(新規定義)
MMTPacket_ID
reserved(予備)
16 3
TSPacket_ID138
下の数字はフィールドのビット数
ケットIDを指定すれば,複数のTSコンポーネントを含むTSを出力することも可能である。受信したTSパケット列をシリアル信号として再生するためのタイミング情報として,TSパケットにSTCサンプル値のタイムスタンプを付与する。タイムスタンプの付与規則として,受信側で要求される再生精度に応じて以下の2つのモードを選択可能とする。① 全てのTSパケットにタイムスタンプを付与TS over IPに用いられるTTSと同様に,全てのTSパケットにタイムスタンプを付与して送出タイミング情報を伝送する。3.1節の(A)の場合には,こちらを選択する必要がある。② MFUの先頭に位置するTSパケットのみにタイムスタンプを付与このモードにおいては,MFUの先頭以外のTSパケットの送出タイミング情報が失われる。タイミング情報のないTSパケットを待ち時間なく送出した場合,アクセスユニット1個分のTSパケットが一度にまとめてTS復号装置に入力される場合が発生する。この場合は,復号装置の入力バッファーのオーバーフローを防ぐために,必要に応じてTSパケットの送出タイミングを分散させる。3.3 初期化情報の配置TS over MMTを受信する受信機において,任意のMPUからの復号を可能とするために,各MPUの先頭に,TS復号装置がTSコンポーネントを認識するためのTS制御情報(番組配列情報)を配置して伝送する必要がある。このため,PAT(Program Association Table)*17,PMT(Program Map Table)*18,PCR(Program ClockReference)*19などのTS制御情報を,MPUの先頭のMFUに配置する。初期化情報として配置するPAT,PMTは,MPUの先頭時点で最新のものを複製し,PCRは,入力されるTSのSTC(System Time Clock)*20を再生して,MPU先頭でのSTCのサンプル値を基に新たに生成する。PMTについては,対象のTSコンポーネントを含む番組のPMTのみでよい。この他,MPUの先頭から復号を始めるために,暗号化を用いている場合にはCAT(ConditionalAccess Table)*21,ECM(Entitlement ControlMessage)*22
mode)の対応リストを記述し,MMT制御情報として伝送する。stream_type*24にはMPEG-2 Systemsで規定される値を記述する。提案方式のカプセル化とシグナリングを行うことで,MMT多重装置においてTS over MMTによって多重化されるTSコンポーネントとMMTによって直接多重化されるアセットとを区別なく扱うことができ,ハイブリッド配信などMMTが実現する機能を最大限に活用することができる。
4.TS over MMTの受信TS over MMTで伝送されたTSパケットをTS復号装置へ入力する信号とするための処理について説明する。8図は,3.2節のモード②,3.3節のモード②を使用して伝送されたTSパケットの再生の例である。MFUの先頭に位置するTSパケットに付与されたタイムスタンプを参照してTS
5.まとめ本稿では,MMTを用いた放送通信連携サービスに,既存のデジタル放送の多重化方式であるTS形式のコンテンツを包含させるためのTS over MMTの仕組みを提案し,既存メディアを活用した次世代放送サービスの可能性を示した。既存メディアの活用に考慮した次世代放送サービスの可能性について,今後も検討を続けていく。
参考文献 1)ISO/IEC 13818-1:1995,“Information Technology - Generic Coding of Moving Pictures andAssociated Audio Information Part 1:Systems”
2)ISO/ IEC 23008-1:2014,“High Efficiency Coding and Media Delivery in HeterogeneousEnvironments - Part 1:MPEG Media Transport(MMT)”
3)S. Aoki,K. Otsuki and H. Hamada:“New Media Transport Technologies in Super Hi-VisionBroadcasting Systems,”International Broadcasting Convention(2013)
4)IETF RFC 2250,“RTP Payload Format for MPEG1 / MPEG2 Video User Performance Requirements”(1998)
5)SMPTE 2022-2,“Unidirectional Transport of Constant Bit Rate MPEG-2 Transport Streams on IPNetworks”(2007)
6)ETSI TS 102 034 v1.4.1,“Digital Video Broadcasting(DVB);Transport of MPEG-2 TS Based DVBServices over IP Based Networks”(2007)
7)IPTVフォーラム:“IP放送仕様,”STD-0004 1.3版(2012)
8)Pro-MPEG Forum,“Pro-MPEG Code of Practice #3 release 2”(2004)
9)ISO/IEC 23009-1:2012,“Dynamic Adaptive Streaming over HTTP(DASH)-Part 1:MediaPresentation Description and Segment Formats”