オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
MPEG-7MDSチュートリアル
柴田 賀昭 ([email protected])
ソニー(株)インターネット研究所
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
あらまし
MDSとはMDSの概要
MPEG-7メタデータMPEG-7に基づくマルチメディア・コンテンツの記述例
まとめ
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
MDS: Multimedia Description Scheme映像・音声両方の特徴記述に関わるツール映像・音声の範疇には直接入らないツール
各種基本ツール
MPEG-7スキーマ・アーキテクチャ定義ツールその他
正式名称: ISO/IEC 15938-5700ページ以上!!
MDSとは
~MPEG-7の根幹をなすツールセット~
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
MDSの概要
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
MDS概観図
Navigation &Navigation &AccessAccess
Summaries
Variations
Content descriptionContent description
Content managementContent management
Creation &production
Media Usage
Semanticaspects
Structuralaspects
ModelContent organizationContent organization CollectionsUserUser
InteractionInteraction
User preferences
SchemaTools
Link & medialocalization
BasicTools
Basic elementsBasic elements
Basicdatatypes
Views
User History
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
基本要素(Basic elements)
SchemaTools
Link & medialocalization
BasicTools
Basic elementsBasic elements
Basicdatatypes
- <Mpeg7>ルート要素- 上位要素- Package DS
- <Mpeg7>ルート要素- 上位要素- Package DS
- 整数データ型- ベクトル型、行列型- MIME type- 国、地域、貨幣データ型
- 整数データ型- ベクトル型、行列型- MIME type- 国、地域、貨幣データ型
- 識別子(ID)- Time/MediaTime- ロケータ
- 識別子(ID)- Time/MediaTime- ロケータ
- テキスト注釈記述(自由書式、構造化文書)- 制限語彙記述- 人、グループ、組織記述- 場所記述- グラフ、要素間の関連、順序記述- 視聴者の感性記述
- テキスト注釈記述(自由書式、構造化文書)- 制限語彙記述- 人、グループ、組織記述- 場所記述- グラフ、要素間の関連、順序記述- 視聴者の感性記述
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
コンテンツ管理ツール(Content Management)
Content managementContent management
Creation &production
Media Usage
SchemaTools
Link & medialocalization
BasicTools
Basic elementsBasic elements
Basicdatatypes
- メディア形式記述- メディア変換記述- メディアの“質”記述
- メディア形式記述- メディア変換記述- メディアの“質”記述
- 制作関連情報記述- コンテンツの分類記述- 関連コンテンツ記述
- 制作関連情報記述- コンテンツの分類記述- 関連コンテンツ記述
- 権利情報参照- コンテンツ使用条件記述- コンテンツ使用記録記述
- 権利情報参照- コンテンツ使用条件記述- コンテンツ使用記録記述
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
Content descriptionContent description
Content managementContent management
Creation &production
Media Usage
Semanticaspects
Structuralaspects
SchemaTools
Link & medialocalization
BasicTools
Basic elementsBasic elements
Basicdatatypes
- コンテンツの構造記述- 視覚特長記述- 聴覚特徴記述- 手書き文字特徴記述- ビデオ編集工程記述
- コンテンツの構造記述- 視覚特長記述- 聴覚特徴記述- 手書き文字特徴記述- ビデオ編集工程記述
- オブジェクト記述- イベント記述- 概念記述
- オブジェクト記述- イベント記述- 概念記述
コンテンツ記述ツール(Content Description)
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
セグメント記述スキーム(Segment DS)
VIdeoSegment DS StillRegion DS
MovingRegion DS Audio segments
• 色• カメラ動作• 活動度• モザイク• その他
• 色• 形• 位置• テクスチャ• その他
• 色• 動作• 軌跡• その他
• パワー• スペクトラム• 音色• メロディ• 音声要素• その他
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
参考: ビデオの階層構造
プログラムプログラム
シーン1シーン1 シーン3シーン3 シーンnシーンnシーン2シーン2
シーン分割シーン分割
ショットショット
ショット分割ショット分割
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
事例: イメージの階層構造及び特徴記述
StillRegion(1) - 制作情報 - 記録書式 - 注釈
StillRegion(1) - 制作情報 - 記録書式 - 注釈 StillRegion(2)
- 支配色 - テクスチャ - 注釈
StillRegion(2) - 支配色 - テクスチャ - 注釈 StillRegion(3)
- 形 - 注釈
StillRegion(3) - 形 - 注釈
StillRegion(4) - 形 - 支配色 - テクスチャ - 注釈
StillRegion(4) - 形 - 支配色 - テクスチャ - 注釈
StillRegion(5) - 形 - 支配色 - 注釈
StillRegion(5) - 形 - 支配色 - 注釈
StillRegion(6) - 形 - 支配色 - 注釈
StillRegion(6) - 形 - 支配色 - 注釈
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
セグメント分割関連図
space/timespaceTime/media
space
time/media time/media
time/media
AudioVisualSegment
AudioSegment VideoSegmentMovingRegion
StillRegionAudioVisualRegion
mediamedia
space/time/spaceTime
space/timespaceTime/media
media media
spacespaceTime
space
StillRegion3Dspace
time/spaceTimetime/spaceTime
media
space: 空間分割time: 時間分割spaceTime: 時空間分割media: メディア分割
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
コンテンツ・ナビゲーションおよびアクセスツール(Navigation & Access)
Navigation &Navigation &AccessAccess
Summaries
Variations
Content descriptionContent description
Content managementContent management
Creation &production
Media Usage
Semanticaspects
Structuralaspects
SchemaTools
Link & medialocalization
BasicTools
Basic elementsBasic elements
Basicdatatypes
Views
- 要約コンテンツの階層化記述- 要約コンテンツの表現方法記述- 要約コンテンツの階層化記述- 要約コンテンツの表現方法記述
- 信号処理後の“見え方”記述- 信号処理後の“見え方”記述
- 派生コンテンツ記述- 派生コンテンツ記述
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
オリジナルプログラムオリジナルプログラム
事例: 要約コンテンツの階層化記述
HierarchicalSummary HighlightLevel(1) HighlightLevel(2)
HighlightSegment
HighlightSegment
HighlightSegment
HighlightSegment
HighlightSegment
HighlightSegment
HighlightSegment
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
コンテンツ組織化ツール(Content organization)
Navigation &Navigation &AccessAccess
Summaries
Variations
Content descriptionContent description
Content managementContent management
Creation &production
Media Usage
Semanticaspects
Structuralaspects
ModelContent organizationContent organization Collections
SchemaTools
Link & medialocalization
BasicTools
Basic elementsBasic elements
Basicdatatypes
Views
- コンテンツの集合体の記述- コンテンツ構造記述の集合体の記述- 単一特徴記述の集合体の記述- 概念の集合体の記述
- コンテンツの集合体の記述- コンテンツ構造記述の集合体の記述- 単一特徴記述の集合体の記述- 概念の集合体の記述
- 確率統計モデルに基づく特徴記述- 有限状態モデルに基づく特徴記述- モデルと意味内容との関連付けの記述
- 確率統計モデルに基づく特徴記述- 有限状態モデルに基づく特徴記述- モデルと意味内容との関連付けの記述
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
ユーザ関連ツール(User interaction)
Navigation &Navigation &AccessAccess
Summaries
Variations
Content descriptionContent description
Content managementContent management
Creation &production
Media Usage
Semanticaspects
Structuralaspects
ModelContent organizationContent organization CollectionsUserUser
InteractionInteraction
User preferences
SchemaTools
Link & medialocalization
BasicTools
Basic elementsBasic elements
Basicdatatypes
Views
User History
- 制作情報関連の嗜好記述- 分類情報関連の嗜好記述- 供給元情報関連の嗜好記述- ブラウジング関連の嗜好記述
- 制作情報関連の嗜好記述- 分類情報関連の嗜好記述- 供給元情報関連の嗜好記述- ブラウジング関連の嗜好記述
- ユーザの視聴履歴の記述- ユーザの動作履歴の記述- ユーザの視聴履歴の記述- ユーザの動作履歴の記述
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
MPEG-7メタデータ
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
MPEG-7に基づく“場所”の記述例
<Mpeg7 type="descriptionUnit" ... ><DescriptionUnit xsi:type="PlaceType">
<Name>Sony Corporation</Name><GeographicPosition><Point longitude="139" latitude="36"/>
</GeographicPosition><Country>jp</Country><AdministrativeUnit>tokyo</AdministrativeUnit><PostalAddress><AddressLine>
6-7-35 KitaShinagawa, Shinagawa-ku</AddressLine><PostingIdentifier>140-0001</PostingIdentifier>
</PostalAddress></DescriptionUnit>
</Mpeg7>
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
MPEG-7に基づく“場所”の記述例
<Mpeg7 type="descriptionUnit" ... ><DescriptionUnit xsi:type="PlaceType">
<Name>Sony Corporation</Name><GeographicPosition><Point longitude="139" latitude="36"/>
</GeographicPosition><Country>jp</Country><AdministrativeUnit>tokyo</AdministrativeUnit><PostalAddress><AddressLine>
6-7-35 KitaShinagawa, Shinagawa-ku</AddressLine><PostingIdentifier>140-0001</PostingIdentifier>
</PostalAddress></DescriptionUnit>
</Mpeg7>
開始・終了タグは<Mpeg7>
開始・終了タグは<Mpeg7>
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
MPEG-7に基づく“場所”の記述例
<Mpeg7 type="descriptionUnit" ... ><DescriptionUnit xsi:type="PlaceType">
<Name>Sony Corporation</Name><GeographicPosition><Point longitude="139" latitude="36"/>
</GeographicPosition><Country>jp</Country><AdministrativeUnit>tokyo</AdministrativeUnit><PostalAddress><AddressLine>
6-7-35 KitaShinagawa, Shinagawa-ku</AddressLine><PostingIdentifier>140-0001</PostingIdentifier>
</PostalAddress></DescriptionUnit>
</Mpeg7>
場所記述ツール(Place DS)
場所記述ツール(Place DS)
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
MPEG-7に基づく“場所”の記述例
<Mpeg7 type="descriptionUnit" ... ><DescriptionUnit xsi:type="PlaceType">
<Name>Sony Corporation</Name><GeographicPosition><Point longitude="139" latitude="36"/>
</GeographicPosition><Country>jp</Country><AdministrativeUnit>tokyo</AdministrativeUnit><PostalAddress><AddressLine>
6-7-35 KitaShinagawa, Shinagawa-ku</AddressLine><PostingIdentifier>140-0001</PostingIdentifier>
</PostalAddress></DescriptionUnit>
</Mpeg7>
場所の名称および位置(緯度、経度)
場所の名称および位置(緯度、経度)
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
MPEG-7に基づく“場所”の記述例
<Mpeg7 type="descriptionUnit" ... ><DescriptionUnit xsi:type="PlaceType">
<Name>Sony Corporation</Name><GeographicPosition><Point longitude="139" latitude="36"/>
</GeographicPosition><Country>jp</Country><AdministrativeUnit>tokyo</AdministrativeUnit><PostalAddress><AddressLine>
6-7-35 KitaShinagawa, Shinagawa-ku</AddressLine><PostingIdentifier>140-0001</PostingIdentifier>
</PostalAddress></DescriptionUnit>
</Mpeg7>
国、地域、住所など国、地域、住所など
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
MPEG-7メタデータの2つの形態
完全記述版メタデータ自己完結した記述データ
イメージ、ビデオ、オーディオ、要約、派生、モデル、ユーザ嗜好、etc.
記述単位版メタデータ記述子(D)、記述スキーム(DS)単位での生成
“場所”記述の例 (Place DS)
部品単位での情報交換
“場所”の記述è何の“場所”??
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
MPEG-7に基づくマルチメディアコンテンツの記述例
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
典型的なニュース番組の論理構造
News Structure
Introduction(0 -1 min)
TimeAxis
News item 1(1 -6 min)
News item 2(6 -10 min)
News item 3(10 - 14 min)
News item 4(14 – 17 min)
News item 5(17 – 20 min)
…
…
…
…
…
…
Anchor shot Reporting shots
- ひとつのニュース番組は複数のニュース項目から構成される- 各ニュース項目はアナウンサーショットから開始される
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
ニュース番組の構造記述例
<Mpeg7 type = "complete" ... ><ContentDescription xsi:type="ContentEntityType">
<MultimediaContent xsi:type="AudioVisualType"><AudioVisual id="news1">
<MediaLocator> ... </MediaLocator><MediaTime>
<MediaRelTimePoint>PT0S</MediaRelTimePoint><MediaDuration>PT20M</MediaDuration>
</MediaTime><!-- Decompose into news items --><TemporalDecomposition>
:</TemporalDecomposition>
</AudioVisual></MultimediaContent>
</ContentDescription></Mpeg7>
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
ニュース番組の構造記述例
<Mpeg7 type = "complete" ... ><ContentDescription xsi:type="ContentEntityType">
<MultimediaContent xsi:type="AudioVisualType"><AudioVisual id="news1">
<MediaLocator> ... </MediaLocator><MediaTime>
<MediaRelTimePoint>PT0S</MediaRelTimePoint><MediaDuration>PT20M</MediaDuration>
</MediaTime><!-- Decompose into news items --><TemporalDecomposition>
:</TemporalDecomposition>
</AudioVisual></MultimediaContent>
</ContentDescription></Mpeg7>
開始・終了タグは<Mpeg7>
開始・終了タグは<Mpeg7>
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
ニュース番組の構造記述例
<Mpeg7 type = "complete" ... ><ContentDescription xsi:type="ContentEntityType">
<MultimediaContent xsi:type="AudioVisualType"><AudioVisual id="news1">
<MediaLocator> ... </MediaLocator><MediaTime>
<MediaRelTimePoint>PT0S</MediaRelTimePoint><MediaDuration>PT20M</MediaDuration>
</MediaTime><!-- Decompose into news items --><TemporalDecomposition>
:</TemporalDecomposition>
</AudioVisual></MultimediaContent>
</ContentDescription></Mpeg7>
映像音声コンテンツ記述の完全記述版メタデータである
ことの宣言
映像音声コンテンツ記述の完全記述版メタデータである
ことの宣言
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
ニュース番組の構造記述例
<Mpeg7 type = "complete" ... ><ContentDescription xsi:type="ContentEntityType">
<MultimediaContent xsi:type="AudioVisualType"><AudioVisual id="news1">
<MediaLocator> ... </MediaLocator><MediaTime>
<MediaRelTimePoint>PT0S</MediaRelTimePoint><MediaDuration>PT20M</MediaDuration>
</MediaTime><!-- Decompose into news items --><TemporalDecomposition>
:</TemporalDecomposition>
</AudioVisual></MultimediaContent>
</ContentDescription></Mpeg7> ニュース番組の
トップレベル記述ニュース番組のトップレベル記述
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
ニュース番組の構造記述例
<Mpeg7 type = "complete" ... ><ContentDescription xsi:type="ContentEntityType">
<MultimediaContent xsi:type="AudioVisualType"><AudioVisual id="news1">
<MediaLocator> ... </MediaLocator><MediaTime>
<MediaRelTimePoint>PT0S</MediaRelTimePoint><MediaDuration>PT20M</MediaDuration>
</MediaTime><!-- Decompose into news items --><TemporalDecomposition>
:</TemporalDecomposition>
</AudioVisual></MultimediaContent>
</ContentDescription></Mpeg7>
対象ニュース番組の存在場所
対象ニュース番組の存在場所
ニュース番組のトップレベル記述ニュース番組のトップレベル記述
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
ニュース番組の構造記述例
<Mpeg7 type = "complete" ... ><ContentDescription xsi:type="ContentEntityType">
<MultimediaContent xsi:type="AudioVisualType"><AudioVisual id="news1">
<MediaLocator> ... </MediaLocator><MediaTime>
<MediaRelTimePoint>PT0S</MediaRelTimePoint><MediaDuration>PT20M</MediaDuration>
</MediaTime><!-- Decompose into news items --><TemporalDecomposition>
:</TemporalDecomposition>
</AudioVisual></MultimediaContent>
</ContentDescription></Mpeg7>
対象ニュース番組の所要時間 (20min)
対象ニュース番組の所要時間 (20min)
ニュース番組のトップレベル記述ニュース番組のトップレベル記述
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
ニュース番組の構造記述例
<Mpeg7 type = "complete" ... ><ContentDescription xsi:type="ContentEntityType">
<MultimediaContent xsi:type="AudioVisualType"><AudioVisual id="news1">
<MediaLocator> ... </MediaLocator><MediaTime>
<MediaRelTimePoint>PT0S</MediaRelTimePoint><MediaDuration>PT20M</MediaDuration>
</MediaTime><!-- Decompose into news items --><TemporalDecomposition>
:</TemporalDecomposition>
</AudioVisual></MultimediaContent>
</ContentDescription></Mpeg7>
対象ニュース番組のニュース項目分割記述対象ニュース番組の
ニュース項目分割記述
ニュース番組のトップレベル記述ニュース番組のトップレベル記述
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
ニュース番組の構造記述例
:<!-- Decompose into news items --><TemporalDecomposition><AudioVisualSegment id="introduction">
<MediaTime> ... </MediaTime></AudioVisualSegment><AudioVisualSegment id="newsItem1">
<MediaTime> ... </MediaTime><!-- Decompose into shots --><TemporalDecomposition>:
</TemporalDecomposition></AudioVisualSegment><AudioVisualSegment id="newsItem2">
:</AudioVisualSegment>
:</TemporalDecomposition>:
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
ニュース番組の構造記述例
:<!-- Decompose into news items --><TemporalDecomposition><AudioVisualSegment id="introduction">
<MediaTime> ... </MediaTime></AudioVisualSegment><AudioVisualSegment id="newsItem1">
<MediaTime> ... </MediaTime><!-- Decompose into shots --><TemporalDecomposition>:
</TemporalDecomposition></AudioVisualSegment><AudioVisualSegment id="newsItem2">
:</AudioVisualSegment>
:</TemporalDecomposition>:
導入部導入部
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
ニュース番組の構造記述例
:<!-- Decompose into news items --><TemporalDecomposition><AudioVisualSegment id="introduction">
<MediaTime> ... </MediaTime></AudioVisualSegment><AudioVisualSegment id="newsItem1">
<MediaTime> ... </MediaTime><!-- Decompose into shots --><TemporalDecomposition>:
</TemporalDecomposition></AudioVisualSegment><AudioVisualSegment id="newsItem2">
:</AudioVisualSegment>
:</TemporalDecomposition>:
導入部導入部
ニュース項目1ニュース項目1
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
ニュース番組の構造記述例
:<!-- Decompose into news items --><TemporalDecomposition><AudioVisualSegment id="introduction">
<MediaTime> ... </MediaTime></AudioVisualSegment><AudioVisualSegment id="newsItem1">
<MediaTime> ... </MediaTime><!-- Decompose into shots --><TemporalDecomposition>:
</TemporalDecomposition></AudioVisualSegment><AudioVisualSegment id="newsItem2">
:</AudioVisualSegment>
:</TemporalDecomposition>:
導入部導入部
ニュース項目1ニュース項目1
ニュース項目2ニュース項目2
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
ニュース番組の構造記述例
:<!-- Decompose into news items --><TemporalDecomposition><AudioVisualSegment id="introduction">
<MediaTime> ... </MediaTime></AudioVisualSegment><AudioVisualSegment id="newsItem1">
<MediaTime> ... </MediaTime><!-- Decompose into shots --><TemporalDecomposition>:
</TemporalDecomposition></AudioVisualSegment><AudioVisualSegment id="newsItem2">
:</AudioVisualSegment>
:</TemporalDecomposition>:
導入部導入部
ニュース項目1ニュース項目1
ニュース項目2ニュース項目2
対象ニュース項目のショット分割記述
対象ニュース項目のショット分割記述
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
ニュース番組の構造記述例
:<!-- Decompose into shots --><TemporalDecomposition><AudioVisualSegment id="anchor1">
<MediaTime> ... </MediaTime></AudioVisualSegment><AudioVisualSegment id="reporting1-1">
<MediaTime> ... </MediaTime></AudioVisualSegment><AudioVisualSegment id="reporting1-2">
<MediaTime> ... </MediaTime></AudioVisualSegment>
:</TemporalDecomposition>:
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
ニュース番組の構造記述例
:<!-- Decompose into shots --><TemporalDecomposition><AudioVisualSegment id="anchor1">
<MediaTime> ... </MediaTime></AudioVisualSegment><AudioVisualSegment id="reporting1-1">
<MediaTime> ... </MediaTime></AudioVisualSegment><AudioVisualSegment id="reporting1-2">
<MediaTime> ... </MediaTime></AudioVisualSegment>
:</TemporalDecomposition>:
アナウンサーショット
アナウンサーショット
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
ニュース番組の構造記述例
:<!-- Decompose into shots --><TemporalDecomposition><AudioVisualSegment id="anchor1">
<MediaTime> ... </MediaTime></AudioVisualSegment><AudioVisualSegment id="reporting1-1">
<MediaTime> ... </MediaTime></AudioVisualSegment><AudioVisualSegment id="reporting1-2">
<MediaTime> ... </MediaTime></AudioVisualSegment>
:</TemporalDecomposition>:
アナウンサーショット
アナウンサーショット
レポータショット(1)レポータショット(1)
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
ニュース番組の構造記述例
:<!-- Decompose into shots --><TemporalDecomposition><AudioVisualSegment id="anchor1">
<MediaTime> ... </MediaTime></AudioVisualSegment><AudioVisualSegment id="reporting1-1">
<MediaTime> ... </MediaTime></AudioVisualSegment><AudioVisualSegment id="reporting1-2">
<MediaTime> ... </MediaTime></AudioVisualSegment>
:</TemporalDecomposition>:
アナウンサーショット
アナウンサーショット
レポータショット(1)レポータショット(1)
レポータショット(2)レポータショット(2)
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
ニュース・ダイジェストの自動生成
News Structure
Introduction(0 -1 min)
TimeAxis
News item 1(1 -6 min)
News item 2(6 -10 min)
News item 3(10 - 14 min)
News item 4(14 – 17 min)
News item 5(17 – 20 min)
…
…
…
…
…
…
Anchor shot Reporting shots
- 各ニュース項目のアナウンサーショットでは、その項目の概要が示される。- id=“anchor?”なる値を持つセグメントのみを抽出
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
ニュース・ダイジェストの自動生成
Simple News Digest
Introduction(0 -1 min)
TimeAxis
News item 1(1 -6 min)
News item 2(6 -10 min)
News item 3(10 - 14 min)
News item 4(14 – 17 min)
News item 5(17 – 20 min)
Anchor shot
- 各ニュース項目のアナウンサーショットでは、その項目の概要が示される。- id=“anchor?”なる値を持つセグメントのみを抽出
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
ニュース番組ニュース番組
ニュース番組の構造記述データ
ニュース・ダイジェストの自動生成
id=“anchor?”なるセグメント記述の抽出
フィルタリング・ツール
ニュース・ダイジェストの記述データ
ダイジェストブラウジング
ビューア
- アプリケーション例
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
ニュース・ダイジェスト記述例
<Mpeg7 type="descriptionUnit" ... ><DescriptionUnit xsi:type="SummarizationType">
<Summary xsi:type="HierarchicalSummaryType" ... >:
<HighlightSummary><!-- Anchor shot from News item 1 --><HighlightSegment>
<Name>anchor1</Name><KeyAVClip>
<MediaTime> ... </MediaTime></KeyAVClip>
</HighlightSegment><!-- Anchor shot from News item 2 --><HighlightSegment>
<Name>anchor2</Name><KeyAVClip>
<MediaTime> ... </MediaTime></KeyAVClip>
</HighlightSegment>:
</HighlightSummary></Summary>
</DescriptionUnit></Mpeg7>
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
ニュース・ダイジェスト記述例
<Mpeg7 type="descriptionUnit" ... ><DescriptionUnit xsi:type="SummarizationType">
<Summary xsi:type="HierarchicalSummaryType" ... >:
<HighlightSummary><!-- Anchor shot from News item 1 --><HighlightSegment>
<Name>anchor1</Name><KeyAVClip>
<MediaTime> ... </MediaTime></KeyAVClip>
</HighlightSegment><!-- Anchor shot from News item 2 --><HighlightSegment>
<Name>anchor2</Name><KeyAVClip>
<MediaTime> ... </MediaTime></KeyAVClip>
</HighlightSegment>:
</HighlightSummary></Summary>
</DescriptionUnit></Mpeg7>
要約コンテンツ階層化記述の記述単位版メタデータである
ことの宣言
要約コンテンツ階層化記述の記述単位版メタデータである
ことの宣言
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
ニュース・ダイジェスト記述例
<Mpeg7 type="descriptionUnit" ... ><DescriptionUnit xsi:type="SummarizationType">
<Summary xsi:type="HierarchicalSummaryType" ... >:
<HighlightSummary><!-- Anchor shot from News item 1 --><HighlightSegment>
<Name>anchor1</Name><KeyAVClip>
<MediaTime> ... </MediaTime></KeyAVClip>
</HighlightSegment><!-- Anchor shot from News item 2 --><HighlightSegment>
<Name>anchor2</Name><KeyAVClip>
<MediaTime> ... </MediaTime></KeyAVClip>
</HighlightSegment>:
</HighlightSummary></Summary>
</DescriptionUnit></Mpeg7>
アナウンサーショット1アナウンサーショット1
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
ニュース・ダイジェスト記述例
<Mpeg7 type="descriptionUnit" ... ><DescriptionUnit xsi:type="SummarizationType">
<Summary xsi:type="HierarchicalSummaryType" ... >:
<HighlightSummary><!-- Anchor shot from News item 1 --><HighlightSegment>
<Name>anchor1</Name><KeyAVClip>
<MediaTime> ... </MediaTime></KeyAVClip>
</HighlightSegment><!-- Anchor shot from News item 2 --><HighlightSegment>
<Name>anchor2</Name><KeyAVClip>
<MediaTime> ... </MediaTime></KeyAVClip>
</HighlightSegment>:
</HighlightSummary></Summary>
</DescriptionUnit></Mpeg7>
アナウンサーショット1アナウンサーショット1
アナウンサーショット2アナウンサーショット2
オーディオビジュアル複合情報処理シンポジウム2001 ~MPEG-7最新動向と将来展望~(2001.9.14)
MPEG-7 MDSチュートリアル
まとめ
MDS (ISO/IEC 15938-5: Multimedia Description Scheme)基本要素コンテンツ管理ツールコンテンツ記述ツールコンテンツ・ナビゲーション及びアクセスツールコンテンツ組織化ツールユーザ関連ツール
MPEG-7メタデータ単位記述版MPEG-7メタデータ完全記述版MPEG-7メタデータ
記述例(デモ)ニュース番組の構造化記述に基づく、ニュース・ダイジェスト(記述)の自動生成