Music Visualization as User Interfaces

ユーザインタフェースとしての音楽情報可視化

伊藤貴之お茶の水女子大学

理学部情報科学科教授

2014年7月22日可視化情報シンポジウム

Itoh Laboratory, Ochanomizu University

講演内容

• 講演者の自己紹介

• お茶大伊藤研における音楽情報可視化の事例

– クラシック音楽のスコア情報の可視化

– ポータブル音楽プレイヤーのユーザインタフェース

– 対話型進化計算を用いた音楽推薦インタフェース

• 考察と展望

1


最近の研究：1ページで要約

3

情報可視化 3次元CG応用

マルチメディアUI


なぜ音楽情報可視化

• 可視化のチャレンジ性を説明しやすい課題一つ– 鑑賞に時間がかかるコンテンツの俯瞰・概観

– 主観（聴覚）から主観（視覚）への変換

– 多彩なアプリケーション

• 日本ではマイナーかもしれないが海外ではホットな話題– 例えば以下のチュートリアル

http://www.slideshare.net/plamere/using-visualizations-for-music-discovery

• 伊藤自身の学生時代からの趣味– 作曲、指揮、DTM、管楽器、その他の楽器

• 学科学生に人気の高い研究分野

4


講演内容






• 考察と展望

5


Colorscore:大きな1曲の構造を可視化する

• 何十段もあるクラシック音楽の楽譜（スコア）を色に置き換えて要約表示する

• メロディの種類で小節を色分けする

6

木管楽器

金管楽器

打楽器弦楽器

前半後半


事例：チャイコフスキー「花のワルツ」

77

主旋律伴奏（和音）伴奏（低音）その他（装飾）

青紫色の主旋律に着目


シンプルな圧縮表示で要点を読みやすく

• できるだけ重要な色を残しながら段数を減らす

8


講演内容






• 考察と展望

9


GRAPE: プレイリスト単位の音楽情報可視化

• 数十曲の楽曲群（プレイリスト）を1枚の抽象画像に

• 多数のプレイリストの印象・特徴を1画面に一覧表示

• 色で各楽曲の特徴を表現→プレイリストをグラデーション表現

10

※GRAPE = GRadation Arranged Playlist Environment


GRAPEにおける楽曲の色づけと配置

• 色づけ：

各曲の音響情報から得られる3つの特徴量をYCbCr色座標の3変数に割り当てる

• 配置：SOM (Self organizing map) によって各曲の2次元座標値を求める

11

Y: 高周波のエネルギー比

Cb: テンポ

Cr: 音量の平均


GRAPHによる可視化の例

12


ユーザ(A) のプレイリスト：• 音量の大きいポップス中心• バラード曲にて色彩の差が際立つ

ユーザ(B) のプレイリスト：• ポップスからBGM曲までバラエティ豊富

ユーザ(C) のプレイリスト：• 音量差の大きいクラシック中心• シンプルな編成の曲の色彩が暗い傾向

※曲調をあてさせるクイズ実験においてもおおむね良好な結果を得る

Lyricon: 複数のアイコンによる歌謡曲表現

• 歌詞からキーワード探し → アイコン候補選び

• 曲調の推測 → アイコンを決定

• プレイリストの一部として表示

13


Lyriconのアイコン選択結果 (1/2)

14

SUMMER TIME / NEWS

空・海・星 …夏全開！

春夏秋冬 / ヒルクライム

花・海・紅葉・雪だるま …四季折々


Lyriconのアイコン選択結果 (2/2)

15

SAKURA / いきものがかり

故郷を回想都会に花桜を中心とした情景描写の中のアクセント

Alive / Mr. Children

都会・仕事への怒り

夢・希望・未来

恋人・花

徐々に前向きに展開するストーリー性


講演内容






• 考察と展望

16


MusiCube: 音楽推薦結果の可視化

17


音楽特徴のうち2軸を選んで楽曲をプロット

自動生成したプレイリスト

音楽特徴の選択タブ

未評価

提示中反対

賛成

再生、停止、賛成、反対、などの各種ボタン

https://www.youtube.com/watch?v=ILqP4O3T0Yk

MusiCubeによる推薦結果パターン

• 被験者A・Bは嗜好がよく似ている– 音量平均が小 → 音量変化のあるアコースティック系？

– 高音/低音比が小 → キラキラ音の少ないシンプルな編成？

• 被験者Cは大きく異なる– 不協和音比が小 → オーソドックスな作曲技法？

18


音量平均

音量平均

音量平均

高音/低音比高音/低音比不協和音比

被験者A 被験者B 被験者C

講演内容






• 考察と展望

19


お茶大伊藤研における音楽情報可視化

• 原則として「合奏情報可視化」– 音楽的に完成した情報（楽譜 or 録音物）を対象

– 2種類の入力情報

• 楽譜情報（MIDI）からの音楽構造分析

• 音響情報（WAV,MP3）からの特徴量算出

• 可視化すること自体はゴールではない– 独習、選曲、推薦などのためのユーザインタフェース

– 「能動的音楽鑑賞」（産総研後藤先生の提唱）の一種

• 実用シナリオに基づく分類– 一般人か専門家か、曲数は多いか少ないか、

20


お茶大伊藤研における音楽情報可視化

21


曲数

一般人向け専門家向け

音楽群の傾向分析

スコアの俯瞰

音楽推薦

ポータブルインタフェース

写真と音楽のマッチング

今後の展望

• ユーザの感性へのアプローチを拡げる– 心理学的に客観性のある理論の導入

– Deep Learning などによる大局的な学習計算

• 音楽鑑賞定額化がもたらす展開– 本当の意味でのスケーラブルな手法の必要性

– 新たなアプリへの展開…例えば：推薦結果や可視化結果の友人間での共有

• 音楽生成との連動– ボーカロイド、n次創作…

• そのほか、現実的なこと– 誰もが納得するユーザ評価手法の確立

– 実用化（企業共同研究やダウンロードアプリ）への展開

22


参考文献

• 本発表で紹介した事例

– A. Hayashi, T. Itoh, M. Matsubara, Colorscore - Visualization and Condensation of Structure of Classical Music, Knowledge Visualization Currents: from Text to Art to Culture, Springer Edit Volume, ISBN-978-1-4471-4302-4, 2012.

– W. Machida, T. Itoh, Lyricon: A Visual Music Selection Interface Featuring Multiple Icons, International Conference on Information Visualization, pp. 145-150, 2011.

– T. Uota, T. Itoh, GRAPE: A Gradation Based Portable Visual Playlist, International Conference on Information Visualization, 2014.

– Y. Saito, T. Itoh, MusiCube: A Visual Music Recommendation System featuring Interactive Evolutionary Computing, International Symposium on Visual Information Communication & Interaction, 2011.

• 本発表で紹介していない事例

– K. Ohyama, T. Itoh, DIVA: An Automatic Music Arrangement Technique Based on Impressions of Images, Lecture Notes in Computer Science, Vol. 4569 (Smart Graphics 2007), pp. 178-181, 2007.

– K. Kusama, T. Itoh, Abstract Picture Generation and Zooming User Interface for Intuitive Music Browsing, Springer Multimedia Tools and Applications, DOI 10.1007/s11042-012-1108-y, 2012.

– A. Uno, T. Itoh, MALL: A Life Log Based Music Recommendation System and Portable Music Player, ACM Symposium on Applied Computing, Multimedia Visualization, 2014.

23


Music Visualization as User Interfaces

Technology