Top Banner
報告 要約 1994年にMPEG(Moving Picture Experts Group)で標準化されたMPEG-2 TS(Transport Stream)(以下,TS)は,各国のデジタルテレビジョン放送に採用されるなど映像・音声メディ アの多重化方式として広く普及している。さらに,インターネットの普及や伝送路の高速化・低 コスト化が進むにつれて,IPTVサービスや放送用素材伝送において,TSをIP(Internet Protocol)で伝送するTS over IPの利用が広がっている。一方,2014年3月に国際標準化が完 了したMPEG-H MMT(MPEG Media Transport)は,放送と通信の複数伝送路を用いるハイ ブリッド配信における高精度な同期合成の仕組みを提供し,放送通信連携サービスの高度化を実 現する多重化方式である。本稿では,MMTを用いた放送通信連携サービスに,既存のデジタル 放送の多重化方式であるTS形式のコンテンツを包含させるためのTS over MMTの仕組みを提案 し,既存メディアを活用した次世代放送サービスの可能性を示す。 ABSTRACT In this paper, we propose“TS over MMT” , which is a multiplexing scheme for MPEG-2 TS (Transport Stream)content over MPEG-H MMT(MPEG Media Transport) , and demonstrate the potential for utilization of legacy media in next-generation broadcasting services. TS has been widely adopted in various applications including digital television broadcasting all over the world since it was internationally standardized in 1994. Furthermore, it is utilized as“TS over IP”with RTP(Real-time Transport Protocol)in IP applications such as IPTV and IP delivery of video materials for content production. On the other hand, MMT was internationally standardized in March 2014. MMT can realize hybrid delivery of content which is more suitable for heterogeneous environments. MMTを用いたMPEG-2 TSの IP伝送方式の検討 河村侑輝 青木秀一 大槻一博 土田健一 木村武史 A Study on Multiplexing Scheme for MPEG−2 TS Content over MMT Yuki KAWAMURAShuichi AOKIKazuhiro OTSUKIKenichi TSUCHIDA and Takeshi KIMURA NHK技研 R&D/No.150/2015.3 43
10

MMTを用いたMPEG-2TSの IP伝送方式の検討 はじめに 1994年にMPEGで標準化されたMPEG-2Systems1)に 規定される多重化方式であるTS(TransportStream)

Mar 09, 2018

Download

Documents

danghuong
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Page 1: MMTを用いたMPEG-2TSの IP伝送方式の検討 はじめに 1994年にMPEGで標準化されたMPEG-2Systems1)に 規定される多重化方式であるTS(TransportStream)

報告

要約 1994年にMPEG(Moving Picture Experts Group)で標準化されたMPEG-2 TS(TransportStream)(以下,TS)は,各国のデジタルテレビジョン放送に採用されるなど映像・音声メディアの多重化方式として広く普及している。さらに,インターネットの普及や伝送路の高速化・低コスト化が進むにつれて,IPTVサービスや放送用素材伝送において,TSをIP(InternetProtocol)で伝送するTS over IPの利用が広がっている。一方,2014年3月に国際標準化が完了したMPEG-H MMT(MPEG Media Transport)は,放送と通信の複数伝送路を用いるハイブリッド配信における高精度な同期合成の仕組みを提供し,放送通信連携サービスの高度化を実現する多重化方式である。本稿では,MMTを用いた放送通信連携サービスに,既存のデジタル放送の多重化方式であるTS形式のコンテンツを包含させるためのTS over MMTの仕組みを提案し,既存メディアを活用した次世代放送サービスの可能性を示す。

ABSTRACT In this paper, we propose“TS over MMT”, which is a multiplexing scheme for MPEG-2 TS(Transport Stream)content over MPEG-H MMT(MPEG Media Transport), and demonstrate thepotential for utilization of legacy media in next-generation broadcasting services. TS has beenwidely adopted in various applications including digital television broadcasting all over the worldsince it was internationally standardized in 1994. Furthermore, it is utilized as“TS over IP”withRTP(Real-time Transport Protocol)in IP applications such as IPTV and IP delivery of videomaterials for content production. On the other hand, MMT was internationally standardized inMarch 2014. MMT can realize hybrid delivery of content which is more suitable for heterogeneousenvironments.

MMTを用いたMPEG-2 TSのIP伝送方式の検討

河村侑輝 青木秀一 大槻一博 土田健一 木村武史

A Study on Multiplexing Scheme for MPEG−2 TSContent over MMT

Yuki KAWAMURA,Shuichi AOKI,Kazuhiro OTSUKI,Kenichi TSUCHIDA and Takeshi KIMURA

NHK技研 R&D/No.150/2015.3 43

Page 2: MMTを用いたMPEG-2TSの IP伝送方式の検討 はじめに 1994年にMPEGで標準化されたMPEG-2Systems1)に 規定される多重化方式であるTS(TransportStream)

1.はじめに1994年にMPEGで標準化されたMPEG-2 Systems1)に規定される多重化方式であるTS(Transport Stream)は,各国のデジタルテレビ放送共通の信号形式であり,符号化装置や記録メディアのインターフェースとして,放送・通信を問わず数多くのメディアに採用されている。近年,IP伝送路の普及,高速化,低コスト化とともに,IPTVサービスや放送用素材伝送において,RTP(Real-time Transport Protocol)*1を用いてTSをIP伝送するTS over IPの利用が広がっている。一方,8Kスーパーハイビジョン(以下,8K)放送をはじめとした次世代放送サービスでは,超高精細映像の伝送に加え,放送と通信が高度に連携したサービスの実現が期待されている。NHKは,複数伝送路を用いたハイブリッド配信を前提とした多重化方式であるMPEG-HMMT2)の国際標準化に取り組み,8K衛星放送方式への導入を提案している3)。MMTはTSと同等の多重化機能を有するとともに,IP伝送を前提に設計されているため,これまでTS over IPが適用されてきたメディアでMMTが新たに採用されることが見込まれる。しかし,TS形式で蓄積された過去の放送コンテンツや,TSを入出力インターフェースとする符号化装置などの信号処理装置が既に数多く普及し運用されている状況を考慮すると,既存メディアにおいてはTSとMMTとが共存して運用されていく可能性が高い。従って,MMTを用いた次世代放送サービスを導入する場合に,既存メディアにおけるコンテンツをどのように包含して配信するかが大きな課題の1つとなっている。本稿では,ハイブリッド配信などのMMTの特徴を活用することが可能なTS形式コンテンツの多重化方式である「TS over MMT」を提案し,既存メディアのコンテンツを次世代放送サービスの一部として多重・配信するサービスの可能性を示す。

2.TSとMMTの概要TSの標準化から約20年が経過し,当時の予想を上回る勢いで伝送路,コンテンツ,デバイスの多様化が進んだ結果,TSは標準化当時に想定された適用範囲を超えて利用されている。一方,MMTは,現在そして将来の伝送路環境やコンテンツにふさわしい多重化方式として標準化された。本章では,TS over IPおよびHTTP(HyperText Trans-fer Protocol)ストリーミングにおけるTSの配信について述べた後,MMTによって拡張されるハイブリッド配信の概要を述べる。

2.1 TS over IPによるTS伝送TSはATM(Asynchronous Transfer Mode)伝送路における配信を想定して設計された。しかし現在では,IP伝送路を用いてTSを配信するTS over IPの方がより一般的となった。TS over IPでは,アプリケーション層のプロトコルとしてRTPが標準的に用いられ,RTPパケットにTSパケットをカプセル化*2するための標準方式はIETF RFC( Internet Engineering Task Force ,Request for Comments)22504)に規定されている。さらに,それを参照する形で,素材伝送規格であるSMPTE(Society of Motion Picture and Television Engi-neers)2022-25),IPTV*3の規格であるDVB(DigitalVideo Broadcasting)-IPTV6)やIPTVFJ STD-00047)が標準化された。本節では,TS over IPにおけるTSパケットのカプセル化と誤り訂正の概要を示す。(1)TSパケットのカプセル化1図に示すように,IP伝送路のMTU(MaximumTransfer Unit)*4に収まるようにTSパケット列を単純に分割して,順次RTPパケットに格納する。物理層とのインターフェースにイーサネットが用いられる場合,MTUは1,500バイトが標準であり,最大7個のTSパケットを1個のRTPパケットに格納できる。RTPパケットのヘッダー部にはシーケンスナンバー(sequence_number:通し番号)が付与され,受信したパケットの順序の訂正や,パケット消失の検出に利用できる。さらに,RFC 2250には規定されていないが,伝送データの削減を目的に,有効なデータを持たないNullパケットを送信側で削除して送らない方法もある。この場合,個々のTSパケットの送出タイミング情報が失われるため,受信したTSパケット列を元通りのTSとして再生するために,全てのTSパケットに32ビットのタイムスタンプ(時刻情報)を付与したTTS(Timestamped TransportStream)が用いられる。(2)TSパケットの誤り訂正TS over IPでは,伝送路の性質とサービス品質の要求条件に基づき誤り訂正方式を実装することができる。伝送路上で消失したパケットの復元を可能とするAL-FEC(Application Layer - Forward Error Correction)としては,Pro-MPEG CoP3r28)*5に規定されている方式の採

*1 映像・音声情報などのストリーミング配信(受信側でデータを受信しながら同時に再生を行う配信方式)を目的としたプロトコル。

*2 データを,その種類に応じて最適な形式に収めること。*3 IP(Internet Protocol)を利用して映像コンテンツを配信するサー

ビス。*4 伝送路上で扱うことのできる最大のデータパケットの大きさ。*5 Pro-MPEGフォーラムが開発し,SMPTEに提案した誤り訂正方式。

報告

NHK技研 R&D/No.150/2015.344

Page 3: MMTを用いたMPEG-2TSの IP伝送方式の検討 はじめに 1994年にMPEGで標準化されたMPEG-2Systems1)に 規定される多重化方式であるTS(TransportStream)

STC※7

PAT※1 PMT※2 V※3 V A※4 V PCR※5 A Null※6V V AV V

PAT PMT V V A VV

sequence_number = x sequence_number = x +1

PCR A V V A V

A

A

……

はTimestamp(STC)を表す。

TS

RTP

TSパケット

RTPパケット

※1 Program Association Table※2 Program Map Table※3 Video※4 Audio

※5 Program Clock Reference※6 Null Packet(空のパケット)※7 System Time Clock

用例が多い。Pro-MPEG FECでは,複数のRTPパケットの排他的論理和によって修復用のパケットを生成する。双方向伝送路の場合には,RTCP(RTP Control Proto-col)*6によるパケット消失通知を用いることにより,FECで復元できなかったパケットの再送を要求するARQ(Automatic Repeat reQuest)の実装が可能である。2.2 TS over IPの課題TS over IPは,IP伝送に適したメディア配信のための多重化方式が存在しない時期に,既存方式を組み合わせて実装と普及が進んだ経緯から,多重機能はTS,伝送機能はRTPが担う形で,役割が明確に分かれている。1図にも示した通り,TSを単純に分割してRTPパケットに格納するため,1個のRTPパケット内に複数のコンポーネント*7や制御情報のTSパケットが混在することとなる。このため,RTPの伝送機能は,符号化データの復号処理の単位であるアクセスユニット(Access Unit)や,映像復号処理の切れ目となるGOP(Group of Pictures)の境界を意識した処理ができない。これらの理由から,TS over IPは,伝送とコンテンツを分離したいアプリケーションにおいては有効な方式であるが,次世代放送サービスで求められるハイブリッド配信(2.4節参照)の実現においては機能的な限界がある。MMTを用いた次世代放送サービスにおいて既存メディアであるTSを活用するためには,TS over IPに代わる新たな伝送方式の実現が必要と言える。2.3 HTTPストリーミングによるTS配信近年,ブラウザーによるWebページ等の取得に用いられるHTTPを映像コンテンツ配信に用いるHTTPストリーミング技術が注目されている。HTTPストリーミングでは,数秒単位の映像・音声信号を符号化したストリーム

ファイルであるセグメントと,その一覧情報であるプレイリストをWebサーバー上に置き,受信機はプレイリストを参照してセグメントを連続的にダウンロードして再生する。MPEGでは,HTTPストリーミングに関する標準化を行うにあたり,Apple社のHLS(HTTP Live Streaming)やMicrosoft社のSmooth Streamingなどのデファクト規格が先行していた背景を考慮して,それらの技術を持ち寄る 形 でMPEG-DASH(Dynamic Adaptive Streamingover HTTP,以下DASH)9)を策定した。HLSではセグメント形式として映像・音声の符号化データを多重化したTSを採用しており,DASHでもTSを対象とするプロファイル*8を規定している。任意のセグメントからの再生開始を可能とするために,セグメントとして用いられるTSは,多重化された映像・音声信号の識別や,復号装置の状態の初期化に必要なTS制御情報(番組配列情報)と,映像であればGOP先頭のアクセスユニットを,先頭に持つ必要がある。HTTPストリーミング配信システムで利用される符号化装置は,これらの規則に従ったセグメントを連続的に出力する。2.4 MMTによるハイブリッド配信MMTの最大の特徴は,映像,音声,字幕,データなどの多様なアセット*9を複数の伝送路(例えば,デジタル放送とインターネット)を用いて伝送するハイブリッド配

*6 RTPを用いたストリーミング配信において,送信者と受信者の間で制御情報をやり取りするためのプロトコル。

*7 番組の構成要素である映像や音声など。*8 標準規格に定められる機能の中から,利用可能な機能を用途ごとに

限定した仕様。*9 番組の構成要素である映像や音声など。TSにおけるコンポーネント

と同義。

1図 RTPパケットに対するTSパケットのカプセル化の例

NHK技研 R&D/No.150/2015.3 45

Page 4: MMTを用いたMPEG-2TSの IP伝送方式の検討 はじめに 1994年にMPEGで標準化されたMPEG-2Systems1)に 規定される多重化方式であるTS(TransportStream)

信ができることである。ハイブリッド配信の主要な機能要素として,以下の5点が挙げられる。(1)アセット単位での伝送路の割り当てMMTパケットIDによってアセットや制御情報のフロー

(流れ)を分離でき,MMT多重装置においてMMTパケットIDに基づくルーティングが行われる。(2)シームレスな伝送路の切り替え伝送路の状態に応じた動的な伝送路切り替えの要求に対し,映像GOPの境界を考慮したシームレス(切り替えの継ぎ目がない,サービス上の違和感を生じない)な伝送路切り替えを実現できる。伝送路切り替えには,送信側による操作と受信側による操作の両方が考えられる。送信側による操作の例としては,メインカメラの映像を放送波で配信し,別カメラの補助的な映像を放送波またはインターネットで配信する多視点映像配信サービスが考えられる。MMTを用いることで,補助的な映像のうち需要の高いものは放送波で配信し,需要の低いものはインターネットで配信するといった伝送路の割り当てを,時間軸上でシームレスに切り替えることが可能となる。受信側による操作の例としては,放送波で配信される高解像度映像の受信状態が劣化した場合に,インターネットで配信される低解像度な映像に切り替えて継続視聴を可能とするサービスなどが考えられる。(3)UTC時刻に同期したメディアプレゼンテーション協定世界時UTC(Coordinated Universal Time)*10

形式で統一されたプレゼンテーションタイムスタンプ(Presentation Time Stamp)*11がアセットに付与されることで,異なる送信元から伝送されたアセット間や,異なる受信機間においても,高精度に同期したサービスの提示(メディアプレゼンテーション)が実現できる。

(4)アセットの提示レイアウト指定アセットごとに,提示するデバイス(例えば,テレビ,タブレット型端末,スマートフォン)と,その画面上での提示領域を指定することができ,これらのレイアウト指定情報が,MMT制御情報のレイアウト設定テーブルとMPU(Media Processing Unit)*12提示領域指定記述子によって伝送される。レイアウト設定テーブルによって,デバイス番号,その画面上の矩形領域の座標,領域番号を定義する。さらに,MPU提示領域指定記述子によって,アセットごとに提示先の領域番号を指定する。これにより,テレビやタブレット型端末などの複数の画面を組み合わせて視聴する多視点映像配信サービスを実現できる。(5)アセットの重要度に応じた誤り訂正TS over IPと同様に,MMTで規定されるAL-FECの仕組みにおいては,アセットの重要度や割り当てられた伝送路の性質に応じて,適用するFECアルゴリズムやそのパラメーターを設定することができる。本章で述べたTSとMMTの主要項目における比較を1表に示す。

3.TS over MMTの提案TS over MMTを用いた放送サービスの例を2図に示す。また,既存メディアであるTS形式のコンテンツを包含するMMTサービスのレイヤーモデルを3図に示す。TS over MMTでは,2図に示すように,8K映像や22.2ch音声などのMMTで直接多重化されるアセットに加

*10 世界中の時計の基準となる時刻。日本はUTC+9時間を標準時刻としている。

*11 情報を提示するタイミングを指定する時刻情報。*12 互いに依存せず独立して復号処理が可能な符号化データの単位。

TS MMT

パケットのサイズ ATM伝送路を想定して設計された188バイトの固定長パケット。

IP伝送路のデータリンク層のMTUに応じて分割される可変長パケット。

映像・音声などの符号化データの

扱い

符号化データを1枚の映像フレームなどの単位でPES(Packetized Elementary Stream)としてカプセル化した後,TSパケットに分割して多重化。

符号化データ内の映像GOP(Group of Pictures)など独立して復号処理可能な単位をMPU,1枚の映像フレームなどの単位をMFUと定義する。MFUをMMTP(MMT Protocol)パケットに格納して多重化。

制御情報(シグナリング)

多重化された番組を識別するPAT(Program AssociationTable),番組を構成する映像・音声・データなどを識別するPMT(Program Map Table)などの制御情報をTSパケットに格納して多重化。

番組を構成する映像・音声・データなどを識別するMPT(MMT Package Table)などの制御情報をMMTPパケットに格納して多重化。

時間同期符号化装置と復号装置が27MHzのSTC(System TimeClock)を持ち,そのサンプル値を制御情報として伝送することで復号装置が符号化装置に同期。

符号化装置,復号装置それぞれがUTC(Coordinated Univer-sal Time)に同期。

メディアプレゼンテーション

個々のアクセスユニットのプレゼンテーションタイムスタンプをSTCサンプル値で与え,PESのヘッダーに記述して符号化データとともに伝送。

MPU先頭のアクセスユニットのプレゼンテーションタイムスタンプをUTCで与え,制御情報のMPT内に記述して伝送。

1表 TSとMMTの主要項目における比較

報告

NHK技研 R&D/No.150/2015.346

Page 5: MMTを用いたMPEG-2TSの IP伝送方式の検討 はじめに 1994年にMPEGで標準化されたMPEG-2Systems1)に 規定される多重化方式であるTS(TransportStream)

通信

解説音声

22.2ch音声

8K映像

データ字幕

低階層映像

MMTで直接多重化されるアセット

放送

MMT

8K映像

8K受信機

2K映像

同期提示

8K放送

TS2K映像5.1ch音声字幕

TSコンポーネント

タブレット型端末など

2K映像変換装置

MMT多重装置

放送通信

IP

TLV※2

MMT ファイル伝送

IP-SI 映像

HEVC音声AAC

MMT-SI

データ

字幕

アプリ/EPG※3

コンテンツダウンロード

既存メディア(TS)

※1 Service Information※2 Type Length Value:可変長パケット方式※3 Electronic Program Guide

TLV-SI※1

MMT分離

8K HEVC復号装置

NAL

22.2ch AAC復号装置

LATM

TS復号装置

TS

8K放送

現行放送

MMT

TS

提示処理

映像

音声

映像

TS分離

2K MPEG-2復号装置

5.1ch AAC復号装置

PES

ADTS※

音声

制御情報復号装置の制御

2K H.264復号装置

NAL

通信 MMT

※ Audio Data Transport Stream

TS再生

え,TSに多重化して供給される映像や音声(以下,TSコンポーネントと呼ぶ)をアセットとしてMMTに多重化して伝送する。MMT標準規格では,TSをはじめとした既存メディアの伝送方法を規定していないため,TS overMMTにおいては,2図中の「変換装置」の機能として,TSパケットのMMTP(MMT Protocol)パケットへの格納形式(カプセル化の方法)とシグナリング(制御情報の形式と伝送方法)について新たに規定する。これにより,TSコンポーネントについても,MMTで直接多重化されるアセットと同様に,MMT多重装置でのルーティングや誤り訂正の適用といったMMTの機能を活用することができる。本章では,まずTS over MMTにおけるTSコンポーネントの復号処理の概要について述べた後,提案方式であるTSパケットのカプセル化とシグナリングについて説明する。3.1 TSコンポーネントの復号処理現在,タブレット端末やスマートフォンなどのモバイル機器向けのチップセット*13には,2K解像度用のハードウエア復号装置が実装されているものが多い。これらの復号装置は,TS分離機能と映像・音声の復号装置を1つのパッケージに集積し,TSを入力インターフェースとした集積回路(以下,TS復号装置と呼ぶ)として実装される場合が多く,既存メディアの復号に利用できる。また,将来の8K受信機においても,現在のデジタル放送を受信するために2K解像度用のTS復号装置が実装され,これを

既存メディアの再生に利用できる可能性がある。4図に,TS over MMTに対応する8K受信機に実装されるメディアプロセッサーの構成例を示す。この構成においては,MMT分離部の後段に,8K解像度HEVC(HighEfficiency Video Coding)復号装置,22.2ch AAC(Ad-vanced Audio Coding)復号装置,TS復号装置が並列に配置される。MMT分離部は,MMTによって多重化されたそれぞれのアセットを,多重化されていない符号化データであるエレメンタリーストリームに分離し,後段の復号装置に出力する。具体的には,8K HEVC復号装置へのNAL(Network Abstraction Layer)*14出力,22.2ch AAC復号装置へのLATM(Low Overhead MPEG-4 AudioTransport Multiplex)*15出力,TS復号装置へのTS出力を有する。MMT分離部のTS出力は,MMTPパケットに格納されて伝送されたTSパケットを,TS復号装置に入力

*13 ある機能を実現するために複数の集積回路を組み合わせたもの。*14 HEVC符号化データにおいて,データの区切りや種類の識別を提供

するデータ構造。*15 AAC符号化データにおいて,データの区切りや種類の識別を提供す

るデータ構造。

2図 TS over MMTを用いた放送サービスの例

3図 既存メディアの活用を考慮したMMTサービスのレイヤーモデル

4図 TS over MMT対応8K放送受信機におけるメディアプロセッサーの構成例

NHK技研 R&D/No.150/2015.3 47

Page 6: MMTを用いたMPEG-2TSの IP伝送方式の検討 はじめに 1994年にMPEGで標準化されたMPEG-2Systems1)に 規定される多重化方式であるTS(TransportStream)

STC

PAT PMT V V A V PCR A NullV V AV V

PAT PMT V V VPCR V V V

A ……

Timestamp (stc)

MMT

Null V A V A

V V

PAT PMT APCR A A A A A

Packet_ID = 100(映像コンポーネント) Packet_ID = 100 Packet_ID = 100

Packet_ID = 200(音声コンポーネント) Packet_ID = 200 Packet_ID = 200

MPU#1/MFU#1 MPU#1/MFU#2 MPU#1/MFU#3 MPU#1/MFU#4

MPU#1/MFU#1 MPU#1/MFU#2 MPU#1/MFU#3 MPU#1/MFU#4

映像コンポーネント(Packet_ID=100,MPU#1)の提示時刻および表示領域音声コンポーネント(Packet_ID=200,MPU#1)の提示時刻

Packet_ID = 0(MMT制御情報)

TS

可能なシリアル(直列)信号として出力する。現在のデジタル放送との互換性を確保するために,TS復号装置は2K解像度映像(MPEG-2 VideoまたはH.264)復号装置,5.1ch AAC復号装置を有する。TS over MMTが規定するMMTPパケットへのTSパケットのカプセル化に関しては,詳細な方式を,次の2通りの選択肢から選択可能とする。(A)MPEG-2 Systemsの規定を満たすTSとしての再生を可能とし,このために必要なオーバーヘッド情報(コンテンツ本体の他に制御などのために付加される情報)をTSパケットに付加して伝送する。

(B)再生されるTSがMPEG-2 Systemsの規定を全て満たすことを保証しない代わりに,オーバーヘッド情報を削減して伝送する。MPEG-2 Systemsでは,バッファー管理の方法,PCRの送出周期,許容ジッターなどが規定されている。これらは標準化当時の技術において現実的だったハードウエアの性能や,品質保証されたATM伝送路の利用を想定した規定であり,品質が保証されないIP伝送路の利用は本来想定されていない。一方,現在TS over IPに対応している受信機に実装されているTS復号装置は,IP伝送路上で実際に発生し得る遅延変動やジッターに対する堅牢性を確保し,MPEG-2 Systemsの規定外の信号であっても問題なく処理できるものが多い。(A)の場合には,全てのTSパケットを正しいタイミングで再生するために,TTSを用いることが必須となる。

一方,(B)の場合には,個々のTSパケットの送出タイミング情報を送らないことでオーバーヘッドを削減する。受信・再生したTSを,堅牢性が確保されているか分からないTS復号装置に対して出力する場合には(A)を用い,堅牢性が確保されていることが分かっているTS復号装置に対して出力する場合であれば(B)を用いることができる。3.2 TSパケットのカプセル化の詳細TS over MMTにおいては,MMTで導入されたMPU,MFU(Media Fragment Unit)*16の概念に従ったTSパケットのカプセル化を行う。5図に示すように,アクセスユニット単位のTSパケットを分離した後に,MFUを構成してMMTPパケットにカプセル化する。つまり,TSでアクセスユニットをカプセル化するPES(Packetized Elementary Stream)の単位がMFUと1対1に対応する。映像の場合は,GOPを構成するアクセスユニットのMFUの集合をMPUとすることで,MMTの定義通りMPUは互いに独立して処理が可能な単位となる。また,音声の場合は,1個のアクセスユニットをMPUとしても良いが,オーバーヘッドの増加を考慮して,映像GOPと同等の周期でMPUを構成することもできる。MMTPパケットには,TSコンポーネントごとに異なるMMTパケットIDを付与し,MMT分離部で必要なTSコンポーネントを分離できるようにする。複数のMMTパ

*16 MPUより小さいデータの処理単位。1枚の映像フレームなどをMFUとすることができる。

5図 MMTPパケットに対するTSパケットのカプセル化の例

報告

NHK技研 R&D/No.150/2015.348

Page 7: MMTを用いたMPEG-2TSの IP伝送方式の検討 はじめに 1994年にMPEGで標準化されたMPEG-2Systems1)に 規定される多重化方式であるTS(TransportStream)

location_type(新規定義)

MMTPacket_ID

reserved(予備)

16 3

TSPacket_ID138

下の数字はフィールドのビット数

ケットIDを指定すれば,複数のTSコンポーネントを含むTSを出力することも可能である。受信したTSパケット列をシリアル信号として再生するためのタイミング情報として,TSパケットにSTCサンプル値のタイムスタンプを付与する。タイムスタンプの付与規則として,受信側で要求される再生精度に応じて以下の2つのモードを選択可能とする。① 全てのTSパケットにタイムスタンプを付与TS over IPに用いられるTTSと同様に,全てのTSパケットにタイムスタンプを付与して送出タイミング情報を伝送する。3.1節の(A)の場合には,こちらを選択する必要がある。② MFUの先頭に位置するTSパケットのみにタイムスタンプを付与このモードにおいては,MFUの先頭以外のTSパケットの送出タイミング情報が失われる。タイミング情報のないTSパケットを待ち時間なく送出した場合,アクセスユニット1個分のTSパケットが一度にまとめてTS復号装置に入力される場合が発生する。この場合は,復号装置の入力バッファーのオーバーフローを防ぐために,必要に応じてTSパケットの送出タイミングを分散させる。3.3 初期化情報の配置TS over MMTを受信する受信機において,任意のMPUからの復号を可能とするために,各MPUの先頭に,TS復号装置がTSコンポーネントを認識するためのTS制御情報(番組配列情報)を配置して伝送する必要がある。このため,PAT(Program Association Table)*17,PMT(Program Map Table)*18,PCR(Program ClockReference)*19などのTS制御情報を,MPUの先頭のMFUに配置する。初期化情報として配置するPAT,PMTは,MPUの先頭時点で最新のものを複製し,PCRは,入力されるTSのSTC(System Time Clock)*20を再生して,MPU先頭でのSTCのサンプル値を基に新たに生成する。PMTについては,対象のTSコンポーネントを含む番組のPMTのみでよい。この他,MPUの先頭から復号を始めるために,暗号化を用いている場合にはCAT(ConditionalAccess Table)*21,ECM(Entitlement ControlMessage)*22

などの初期化情報を必要に応じて加える必要がある。初期化情報の伝送方法については,以下の2つのモードから選択可能とする。① MPUの先頭に配置するTS制御情報に加え,入力TS内のTS制御情報を全て伝送MPUの先頭に複製・生成されるTS制御情報に加え,入力TSに元から存在したTS制御情報を送信側で削除せ

ず,MPUに含めて伝送する。この場合,PCRの送出タイミングを維持するために,全てのTSパケットにタイムスタンプを付与するモードを同時に選択する必要がある。受信機は,MPUの先頭に配置される初期化情報を削除し,それ以降のTSパケットをタイムスタンプに従って再生することで,元通りのTSとして再生することができる。3.1節の(A)の場合には,こちらのモードを選択する必要がある。② MPUの先頭に配置する初期化情報のみを伝送本提案方式では,MPUの先頭に復号を開始するために必要なTS制御信号が配置されるため,入力TSに元から存在していたTS制御情報を送信側で削除しても支障がない。この場合,PCRもMPUの先頭のみに配置され,PCR送出周期がMPUの周期,つまり映像GOPの周期である0.5秒程度となるため,MPEG-2 Systemsに規定される0.1秒以下という条件は満たさない。実際に0.1秒以下の間隔でSTCの補正を行わなければTS復号装置が動作しない場合には,受信機側で,TSパケットの送出タイミングを制御するSTC再生部を参照してPCRを補間生成し,TS復号装置に入力する必要がある。上記の提案方式を用いれば,一つ一つのMPUが他のMPUの復号結果に依存せずに処理可能となる。この条件はHTTPストリーミングに用いられるセグメントと同様であるが,提案方式は,入力TSにおけるTS制御情報の配置条件(送出周期,順序など)には依存しないため,既存の符号化装置や,TS形式で蓄積されたコンテンツをそのまま利用できる。3.4 MMT制御情報の伝送MMTで伝送される番組のアセットとしてTSコンポーネントを参照するために,6図に示すように,アセットの取得先(ロケーション)を指定するMMT制御信号であるgeneral_location_infoに,TSコンポーネントを伝送す

*17 TSに多重化された番組を識別するためのリストを持つ制御情報。*18 番組を構成している映像・音声・データなどを識別するためのリス

トを持つ制御情報。*19 符号化装置のクロック情報を復号装置に伝送する制御情報。*20 符号化装置や復号装置を動作させる基準クロック。*21 番組のスクランブルに必要な制御情報。*22 番組のデスクランブルに必要な鍵を伝送する制御情報。

6図 TS over MMTで伝送されるTSコンポーネントを示すgeneral_location_infoの記述

NHK技研 R&D/No.150/2015.3 49

Page 8: MMTを用いたMPEG-2TSの IP伝送方式の検討 はじめに 1994年にMPEGで標準化されたMPEG-2Systems1)に 規定される多重化方式であるTS(TransportStream)

N TSID M TS

Packet_ID MMT

Packet_ID streamtype

N回繰り返し

M回繰り返し16 8 8 16 3 138

timestampmode

繰り返し回数

PAT PMT V V VPCR V V V V V

Packet_ID = 100(映像コンポーネント)  Packet_ID = 100 Packet_ID = 100

MPU#1/MFU#1 MPU#1/MFU#2 MPU#1/MFU#3 MPU#1/MFU#4

STC

PMT PCR V V V Null PCR Null NullPAT V VV PCR Null …… Null V V Null PCR

MMT

TS

MMT分離

所望のコンポーネントのMMTパケットIDを指定

MMT ペイロード解析

STC再生

PCRのみ

TS復号装置

TSパケットバッファー

TSパケット送出タイミング

PCR補間

るMMTパケットのIDと,内包されるTSパケットのIDを記述する。MMTの標準規格では,general_location_infoのデータのタイプとして複数のlocation_type*23を規定しているが,提案方式でロケーションを記述するためには新たなlocation_typeを定義する必要がある。また,他のアセットとの同期提示を可能とするために,UTC時刻でのMPUのプレゼンテーションタイムスタンプを生成し,MMTタイムスタンプ記述子を用いて伝送する。加えて,MPU提示領域指定記述子を伝送することで,映像の提示領域の指定が可能となる。これらのシグナリングは,MMTで直接多重化されるアセットの場合と同様である。さらに,MMTに多重化されたTSの識別や,TSパケットIDとMMTパケットIDの対応検索を可能とするために,7図に示すTSコンポーネントリストテーブルを定義する。TSコンポーネントリストテーブルには,TS識別子(TS ID),コンポーネントのTSパケットID,MMTパケットID,タイムスタンプの付与モード(timestamp_

mode)の対応リストを記述し,MMT制御情報として伝送する。stream_type*24にはMPEG-2 Systemsで規定される値を記述する。提案方式のカプセル化とシグナリングを行うことで,MMT多重装置においてTS over MMTによって多重化されるTSコンポーネントとMMTによって直接多重化されるアセットとを区別なく扱うことができ,ハイブリッド配信などMMTが実現する機能を最大限に活用することができる。

4.TS over MMTの受信TS over MMTで伝送されたTSパケットをTS復号装置へ入力する信号とするための処理について説明する。8図は,3.2節のモード②,3.3節のモード②を使用して伝送されたTSパケットの再生の例である。MFUの先頭に位置するTSパケットに付与されたタイムスタンプを参照してTS

*23 general_location_infoの2バイト目以降のデータのタイプを表す。*24 符号化データに用いられている符号化方式を識別するための識別子。

7図 TSコンポーネントリストテーブル

8図 MMTPパケットから取り出したTSパケットの再生の例

9図 TSパケットの再生処理の実装例

報告

NHK技研 R&D/No.150/2015.350

Page 9: MMTを用いたMPEG-2TSの IP伝送方式の検討 はじめに 1994年にMPEGで標準化されたMPEG-2Systems1)に 規定される多重化方式であるTS(TransportStream)

パケットをシリアル信号として再生し,伝送されていないPCRを補間して挿入している。TSパケットの再生処理の実装例を9図に示す。MMT分離部で,所望のTSコンポーネントを伝送するMMTPパケットのMMTパケットIDを指定し,必要なMMTPパケットを分離する。続いて,MMTPパケットのペイロードを解析してTSパケットを取り出し,TSパケットバッファーの末尾に追加する。TSパケットバッファーからTSパケットを出力するタイミングは,実際に伝送されたPCRを基に再生されるSTC再生部によって制御される。STC再生部の値とTSパケットに付与されたタイムスタンプを比較して,適切なタイミングでTSパケットバッファーの先頭からTSパケットを送出する。PCR補間部は,必要に応じてSTCを参照してPCRを補間生成して送出する。送出すべきTSパケットがない期間は,TS復号装置に

対してNullパケットを送出する。

5.まとめ本稿では,MMTを用いた放送通信連携サービスに,既存のデジタル放送の多重化方式であるTS形式のコンテンツを包含させるためのTS over MMTの仕組みを提案し,既存メディアを活用した次世代放送サービスの可能性を示した。既存メディアの活用に考慮した次世代放送サービスの可能性について,今後も検討を続けていく。

本稿は,情報処理学会研究報告に掲載された以下の報告を元に加筆・修正したものである。河村,青木,大槻,土田,木村:“MMTにおけるMPEG-2TSコンテンツ多重方式の検討,”情報処理学会研究報告,Vol.2014-AVM-84,No.1(2014)

NHK技研 R&D/No.150/2015.3 51

Page 10: MMTを用いたMPEG-2TSの IP伝送方式の検討 はじめに 1994年にMPEGで標準化されたMPEG-2Systems1)に 規定される多重化方式であるTS(TransportStream)

参考文献 1)ISO/IEC 13818-1:1995,“Information Technology - Generic Coding of Moving Pictures andAssociated Audio Information Part 1:Systems”

2)ISO/ IEC 23008-1:2014,“High Efficiency Coding and Media Delivery in HeterogeneousEnvironments - Part 1:MPEG Media Transport(MMT)”

3)S. Aoki,K. Otsuki and H. Hamada:“New Media Transport Technologies in Super Hi-VisionBroadcasting Systems,”International Broadcasting Convention(2013)

4)IETF RFC 2250,“RTP Payload Format for MPEG1 / MPEG2 Video User Performance Requirements”(1998)

5)SMPTE 2022-2,“Unidirectional Transport of Constant Bit Rate MPEG-2 Transport Streams on IPNetworks”(2007)

6)ETSI TS 102 034 v1.4.1,“Digital Video Broadcasting(DVB);Transport of MPEG-2 TS Based DVBServices over IP Based Networks”(2007)

7)IPTVフォーラム:“IP放送仕様,”STD-0004 1.3版(2012)

8)Pro-MPEG Forum,“Pro-MPEG Code of Practice #3 release 2”(2004)

9)ISO/IEC 23009-1:2012,“Dynamic Adaptive Streaming over HTTP(DASH)-Part 1:MediaPresentation Description and Segment Formats”

かわむらゆ う き

河村侑輝あ お きしゅういち

青木秀一

2010年入局。名古屋放送局を経て,2013年から放送技術研究所において,デジタル放送システムにおける多重化技術の研究・開発に従事。現在,放送技術研究所伝送システム研究部に所属。

2003年入局。同年から放送技術研究所において,IP技術を用いる放送システムの研究に従事。現在,放送技術研究所伝送システム研究部に所属。博士(情報理工学)。

おおつきかずひろ

大槻一博つ ち だけんいち

土田健一

1997年入局。同年から放送技術研究所において,多重方式,データ符号化方式,セキュリティー技術などデジタル放送システムの研究開発に従事。現在,放送技術研究所伝送システム研究部に所属。

1990年入局。静岡放送局,放送技術研究所,技術局を経て,2011年より,放送技術研究所に勤務。地上デジタル放送,高度広帯域衛星放送方式,次世代地上放送方式の研究・開発に従事。現在,放送技術研究所伝送システム研究部上級研究員。

きむ ら た け し

木村武史

1980年入局。大阪放送局を経て,1983年から放送技術研究所において,衛星有料放送,衛星デジタル放送,地上デジタル放送,高度広帯域衛星デジタル放送などの研究に従事。1997年から2000年まで(株)次世代情報放送システム研究所に出向。現在,放送技術研究所伝送システム研究部上級研究員。

報告

NHK技研 R&D/No.150/2015.352