Mixed Reality 手法を用いた音響シミュレーションhappyoukai/2018/essay/古澤...Mixed Reality手法を用いた音響シミュレーション 及川靖広研究室 修士2年

Mixed Reality手法を用いた音響シミュレーション

及川靖広研究室 修士 2年 古澤 苑子

1. ま え が き

音響設計においては，室内の音の伝搬を調べるために

幾何音響シミュレーション，波動音響シミュレーション

など数値シミュレーションを行うのが一般的である．コ

ンサートホールなどの複雑な形状の空間を設計する際に

は，さらに模型実験を行い聴感的な評価をしながら詳細

を検討することが多い [1]．しかし模型実験における視覚

的な情報の提示はほとんど例がなく，音の伝搬を視覚的

に確認して検討することは設計初期のシミュレーション

にゆだねられている．

また，近年では施設や住宅を新たに建て直すのではな

く，既存の建築物の一部を改修・改築して再利用する事

例も多くなっており [2–5]，模型だけでなく実際の室空間

内で音環境を調査する需要も高まることが推定される．

このような実空間における音響性能評価の事例も，ほと

んどが模型実験と同様の聴感評価によるものである．

一方近年では，現実空間と仮想空間を混合しリアル

タイムで影響し合う Mixed Reality(MR) 技術の発展

が著しく，立体的な視覚情報に三次元コンピュータグ

ラフィクスを重畳可能なヘッドマウントディスプレイ

（HMD）の応用に注目が集まっている．シースルー型

HMD（STHMD）を使用した三次元音響インテンシティ

マップの可視化 [6–8]や，MR技術を用いた仮想音源分

布と指向性パターンの表示システムの開発 [9]も行われ

ている．

本研究では，MR技術を用いて模型や既存施設の実空

間内で，音の伝搬の様子を視覚的に提示する手法を提案

する．球面波を放射状に広がる多数の球状オブジェクト

によって模擬して音の伝搬を追跡し，その様子をMR技

術を用いて実空間に重ねて表示するシステムを構築した．

模型や施設の対象空間内を実際に見ながらリアルタイム

に音の伝搬や反射位置をシミュレーションすることが可

能となり，実空間でも視覚的な検討を導入することがで

きる．

2. 音 響 設 計

劇場・ホールなどの音響設計に使用する検討ツールと

しては，室内音場シミュレーションと縮尺模型実験があ

げられる [1]．室内の音の伝搬をシミュレーションを用い

て確認して基本的な室形状を決め，ホールなど，さらに

詳細な検討が必要な空間を設計する際には縮尺模型を用

いて模型実験を行う，という流れが主な手順である．

2. 1 室内音場シミュレーション

室内音場シミュレーション [10, 11] は，音線法，虚像

法といった幾何音響解析手法と，差分法，有限要素法，

境界要素法といった数値解析を用いる波動音響解析法の

2通りに大別される．幾何音響解析手法は音の波動性を

無視して音のエネルギーの伝搬を幾何学的に解析する手

法である．初期反射音構造や音響物理指標による性能評

価にはある程度有効な予測指標が見込まれており，計算

負荷が小さいこともあって設計実務の場で主に用いられ

ている手法である．一方波動音響解析手法は数値解析に

よって波動現象を解析する計算手法である．音の波動性

をふまえてシミュレーションが可能であるため，幾何音

響的解析に比べて高精度な音場予測が可能である．計算

負荷が大きいため，大規模空間で利用される事例は少な

いが，精密な解析が求められる部位音響性能シミュレー

ションなどにおいて積極的に利用されている．

このようなシミュレーションの基本目的は模型や実物

の室内における実測実験を代替して空間や部位の音響特

性を予測することにある [11]．しかし現状ではモデル化

された室形状のデータ上でシミュレーションの結果を確

認することになり，模型や部屋の実際の空間との対応が

直感的には把握しにくい面がある．

2. 2 模 型 実 験

模型を使った音響実験としては，断面模型に水を張り

波の伝搬を観測する Ripple Tank 法 [12] や，断面模型

内でスパークパルスを発生させ，その伝搬によって発生

する空気密度の変化を画像で観測 Spark Photography

法 [13]など，2次元断面の模型を用いて音の波動現象を

とらえる手法が，20世紀初頭に試みられている [1]．1934

年に Spandckによってはじめて三次元の 1/5縮尺模型内

で音波を使った実験が行われて以降，音響模型実験に関

する様々な研究，検討が盛んに行われることとなり，そ

れまでに類例のないデザインのホール設計に音響模型実

験が用いられるようになった．1980年代後半には模型内

でインパルス応答を測定し，ドライソースを畳み込んだ

音源を用いて聴感評価を行うハイブリッド・シミュレー

ション手法が開発された [14]．以降模型実験では聴感的

な評価が主な手法となり，視覚的な検討は初期に開発さ

れた手法以来ほとんど例がない．

2. 3 既存施設の改修・改築

最近では既存施設の改修・改築工事の事例も多くなっ

ている．特に，1990 年代以前に多数建設された多目的

ホールには，特定の使用用途を意図せずに設計されたた

めに音の響きが乏しいものも多く，性能改善を目的とし

図–1: 提案システム概略

たリニューアルが必要になる可能性は高いと推定されて

いる [2]．そのような改修・改築における設計の参考資料

として，既存施設において遮音性能，残響時間の測定，

空調設備音などの測定が行われることも多い [3–5]．

このような場合にも測定結果は聴感的な評価が主であ

り，実空間において視覚的な評価を行った例はほとんど

見られない．

2. 4 MR技術を用いたシミュレーション

室内音場シミュレーションには，モデル化された室形

状と実空間との対応が直感的にはわかりにくいことがあ

る．また実際に音響測定を行う評価手法に関しては，聴

感的な評価が主な評価手法であり，対象空間における視

覚的な情報提示の事例はほとんど見られない．

以上をふまえて，本研究では，実空間において音の伝

搬や反射を視覚的に提示するシステムを提案する．実空

間を見ながら，シミュレーションを行うのと同様に音の

挙動を視覚的に確認することができれば，より直感的な

室形状の検討が可能になることが期待される．また音響

測定のように専門的な音響測定機材の準備が必要ないシ

ステムであるため，室内音場シミュレーションと変わら

ない機動性を持ち，模型実験を行うほどの詳細な音響設

計を必要としない一般的な部屋でも比較的手軽に音響的

な検討に用いることができる．

3. 提案システム

作成したシステムについて説明する．本システムで

は，Microsoft社の HoloLensを用いて，模型内にリアル

タイムで音の伝搬を表示する．システムの開発環境は，

Unity Technology社のUnity2018.1.1f1とMicrosoft社

の Visual Studio2017である．Unityには物理エンジン

が搭載されており，物体同士の衝突による反射などの物

理現象における演算を自動的に実行可能である．

HoloLensは自己完結型のホログラフィックコンピュータ

で，Simultaneous Localization And Mapping（SLAM）

技術が備わっており，単体でMRを実現することができ

る．SLAMとは，自己位置推定や周囲の物体の形状の推

定などを深度カメラや画像処理技術などを用いて行う技

術である．空間情報や位置情報，形状情報を取得し，利

用者の両眼に実際に部屋に物体があるかのように CGモ

デルを表示することが可能となる．

本システムでは，図–1のように HoloLensによって取

得した空間の形状情報に基づいて球状オブジェクトの衝

突を検出し，物理演算によって反射させている．

初期状態では画面には 1つの球状オブジェクトが表示

されており，これを音源の位置に配置する．システムが

開始すると，HoloLens は室空間の形状を認識，取得し

て，そのマッピングデータをもとに室形状を表すメッシュ

を作成する．室形状の認識が完了すると音源位置から複

数個の球状オブジェクトが拡散する．球面波が広がる様

子は，図–2のように球状オブジェクトを放射状に拡散す

ることで模擬されている

システムにおいては音の伝搬を球オブジェクトの拡散

で模擬するため，音線法のように音の波面を離散的に

表現する必要がある．この点を考慮し，離散的な表現に

起因するシミュレーション結果の偏りを防ぐため，球オ

ブジェクトをランダムな方向に，複数回にわたって放射

する．

HoloLensによって測定された形状のデータに従って，

放射された球状オブジェクトが壁面や物体上での反射を

繰り返しながら空間を伝搬する軌道を，音の伝搬経路と

みなす．球状オブジェクトの反射が，同方向に放射され

た音の反射に対応しており，その挙動を通して音の伝搬

や反射の様子を確認する．また，壁面での反射に伴う音

の減衰を考慮し，粒子が壁に衝突するたびに少しずつサ

イズが小さくなり，一定の大きさを下回ると消滅するよ

う設定されている．

また，それぞれの球状オブジェクトの色は，音の放射

方向に対応している．HSV色空間の表現方法 [15]に基づ

き，それぞれの放射方向について，方位角を色相 (Hue)、

仰角を彩度 (Saturation)に対応づけて表現した (図–2)．

また，球状オブジェクトが衝突した位置にはその球状オ

ブジェクトと同じ色のマークが表示される．この色表示

によって，それぞれの球状オブジェクトがどの方向に放

射されたのか直感的に理解することができる．また各方

向に放射される音がどこで反射するのかなど，空間内の

音の反射の傾向を把握することにも役立つことが期待さ

れる．音源位置は初期状態から固定され，観察者の装着

した HoloLensのカメラに追従することなどはない．し

たがって球状オブジェクトや反射位置の情報は多方向か

つ空間内のあらゆる位置から観測可能である．

本システムでは室形状の認識，メッシュデータの構成，

球状オブジェクトの放射および反射の実行など，システ

ム実行に必要なすべての処理が HoloLens単体で完結し

ており，かつリアルタイムに計算可能である．そのため

あらかじめモデル化された室形状データが必要な室内音

図–2: 球状オブジェクトを用いた音伝搬の表現

場シミュレーションや，スピーカーやマイクロホンなど

測定のための機材の準備が必要な模型実験と比べて手軽

かつ簡単に空間内の音響的な情報を得ることができる．

専門的なスキルや機材を必要としないので，音響設計を

せずに建設した部屋の音環境を確認してみたい，という

ような音響性能評価の導入的な役割を果たしうる．

4. 室形状データの精度評価実験

上述の通り，本システムでは Hololens で認識した室

形状データに基づいて構成された室形状メッシュを実際

の空間形状とみなしてシミュレーションを行う．このと

き実際の部屋や模型の寸法と認識された空間の寸法が大

きく異なっていてはシミュレーション結果にずれが生じ

てしまう．また単位体積あたりのメッシュ数は任意の数

を指定することが可能なため，本システムを用いるにあ

たってどの程度のメッシュ数が適当であるのかを調べる

必要がある．そこで比較的単純な形状の部屋で取得した

メッシュデータと，実寸との差を比較する実験を行った．

早稲田大学西早稲田キャンパス 59 号館のプロジェク

ト学習室（04-15）において Hololensで取得した室形状

のメッシュデータについて，寸法がどの程度の精度で認

識されたのかを unityの平面推定機能を用いて解析する

(図–3)．HoloLensで読み込んだメッシュデータから平面

を推定することが可能で，Area(面積)、Bounds(平面の

中心から端までの距離)、N(法線)、D（原点から平面ま

での距離）の 4つのパラメータを取得できる．

メッシュデータを構成する三角形の数は，単位体積あ

たりの個数 (triangles per cubic meter)で表す．本実験

では 100,2000,5000,10000の 4通りの値で測定を行った．

また，部屋の寸法は図–4 に示す通りである．メッシュ

データとの比較には全部で 6面の壁を用いた．図–4に示

す番号は，それぞれの壁を表している．実験条件を表–1

に示す．

各メッシュ数での空間認識において算出された壁面の

寸法及び実寸との差を表–2に示す．部屋の寸法に関して

は数センチ程度の差異が見られるが，部屋の大きさに対

する誤差は１%前後であり，ある程度高い精度で認識さ

れている．また，メッシュ数を 2000から 5000程度に設

定するのが適当であると推定される．

表–1: 実験条件

場所早稲田大学西早稲田キャンパス

59 号館プロジェクト学習室（04-15）

メッシュ数 100,2000,5000,10000 個/m3

解析システム unity2018.1.1f1

図–3: 平面推定機能による解析

図–4: 実験に用いた室形状

5. シミュレーション実験

既存の部屋および音響模型の空間内で，提案システム

を用いてシミュレーション実験を行った．100個の球状

オブジェクトをランダムな方向に放射状に拡散し，その

伝搬や反射の様子を確認する．この球オブジェクトの放

射を 30分間繰り返した．

5. 1 既存の部屋の中でのシミュレーション

早稲田大学西早稲田キャンパス 59 号館のプロジェク

ト学習室（04-15）において，提案システムを用いて音

の伝搬のシミュレーションを行った．放射時の球状オブ

ジェクトは直径 3cmとする．反射に伴う音の減衰を想定

して壁面や物体に衝突するごとにサイズが 20%減少し，

表–2: 各壁面における，実寸と認識された値との差

壁番号 メッシュ数 実寸との差 [m] 平均 [m]

1

100 0.075

0.032000 0.005

5000 0.015

10000 0.02

2

100 0.005

0.01252000 0.015

5000 0.02

10000 0.005

3

100 0.09

0.0452000 0.03

5000 0.03

10000 0.03

4

100 0.06

0.052000 0.04

5000 0.04

10000 0.06

5

100 0.07

0.0452000 0.01

5000 0.03

10000 0.07

6

100 0.06

0.032000 0.02

5000 0.02

10000 0.02

3mm 以下になると消滅するよう設定した．また，室形

状を構成するメッシュ数は 2000個/m3 とした．

球状オブジェクトが放射される様子を図–5に示す．ま

た，30分間の放射終了後の室内の反射位置の様子を図–

7(a)に一部示す．放射方向に応じた色の球状オブジェク

トが拡散し，反射する様子が確認できた．また反射をし

た位置にはメッシュ上に球状オブジェクトと同色のマー

クが残っている．実大の部屋を用いると，音源から離れ

た位置に残るマークが疎らに感じられたが，マークの色

によって，ある程度の放射方向と反射の対応や傾向は見

て取れる．

5. 2 模型内でのシミュレーション

世田谷パブリックシアター [16]の音響設計で用いられ

た 1/20縮尺音響模型において，提案システムを用いて

音の伝搬のシミュレーションを行った．本劇場の設計時

に行われた音響模型実験と同様に舞台上に配置された音

源を想定する．放射時の球状オブジェクトは直径 3cmと

する．反射に伴う音の減衰を想定して壁面や物体に衝突

するごとにサイズが 10%減少し，1mm以下になると消

滅するよう設定した．また，室形状を構成するメッシュ

数は 2000個/m3 とした．

球状オブジェクトが放射される様子を図–6に示す．ま

た，30分間の放射終了後の室内の反射位置の様子を図–

7(b)に一部示す．模型のような小空間では，実大の空間

に比べて球状オブジェクトの反射が頻繁に発生し，反射

位置のマークも多く残った．放射方向と反射位置の対応

はより把握しやすい一方で，空間の小ささ故に形状認識

のずれが出ることもり，改善の必要が見られる．

6. む す び

Mixed Reality技術を用いて現実の空間に音の伝搬を

可視化するためのシステムを提案した．球状オブジェク

トの放射された経路を追跡することで，音の伝搬や反射

を実空間上でシミュレーションし，多方向から観察可能

である．実際に実大空間と模型空間でシミュレーション

実験を行い，空間内で反射位置を確認するなど，実空間

から視覚的な情報を得ることができた．

また，システム内で用いる空間認識機能の精度評価を

行い，単純な形状の部屋ではある程度高精度に室形状が

認識されていることを確認できた．

今後はシステムの処理速度の向上，対象の空間に応じ

たシミュレーション条件の設定などシステムの詳細な機

能向上を目指しつつ，空間認識機能に関しても，より複

雑な形状や曲面がどの程度認識できるのか検証を重ね

たい．

参 考 文 献

[ 1 ] 小口恵司，”ホール室内音響設計における模型実験,”日本音響学会誌, 63-9, pp.531–536, 2007.

[ 2 ] 渡辺隆行，岸永伸二，“性能改善を狙ったリニューアル事例(4)AFC(Active Field Control) を用いたホールの音響改善と用途拡大,” 騒音制御,vol.30, No.3, pp21–26, 2005.

[ 3 ] 石渡智秋，“音響コンサルタントにおける測定現状 -ホール施設の音響設計に関する測定について-,” 騒音制御,vol.30, No.3, pp168–171,

2006.

[ 4 ] 川口とし子, “総論：リフォーム&リニューアルの設計,” 音響技術,

vol.34, no.4, pp1–4, 2005.

[ 5 ] 松村秀一, “総論 -コンバージョンの意義と課題-,” 音響技術, vol.34,

no.4, 31–35, 2005.

[ 6 ] 井上敦登, 池田雄介, 矢田部浩平, 及川靖広, “シースルー型ヘッドマウントディスプレイを用いた三次元音場情報呈示システム,” 日本音響学会アコースティックイメージング研究会資料,vol.AI2016-3-03,

Oct., 2016.

[ 7 ] A. Inoue, Y. Ikeda, K. Yatabe and Y. Oikawa, “Three-

dimensionnal sound-field visualization system using head

mounted display and stereo camera,” Proc. Mtgs. Acoust.,

vol.29, no.1-025001, Dec., 2016.

[ 8 ] A. Inoue, K. Yatabe, Y. Oikawa and Y. Ikeda, “Visual-

ization of 3D Sound Field using See-Through Head Mounted

Display,” SIGGRAPH’17 Posters, Jul., 2017.

[ 9 ] 寺岡航, 井上敦登, 及川靖広, 池田雄介, “近接 4 点法データのMixed Reality 表示手法の提案,” 日本音響学会講演論文集 (2017. 秋季), Sept. 2017.

[10] 日本建築学会，はじめての音響数値シミュレーション　プログラミングガイド，コロナ社，東京，2012．

[11] 佐久間哲也，“室内音響設計におけるシミュレーション技術の活用,”

日本音響学会誌,57, pp463–469, 2001.

[12] A. H. Davis, “The analogy between ripples and acoustical

wave phenomena,” Proc. Phys. Soc. London, vol.38, pp234–

246, 1925.

[13] W. C. Sabine, “Theater Acoustics,” Amer. Architect,

vol.104, p257, 1913.

[14] Y. Hidaka, H. Yano, and H Tachibana, “Scale model ex-

periment on room acoustics by hybrid simulation technique,”

J. Acoust. Soc. Jpn., (E), vol.10, Issue 2, pp.111–117, 1989.

[15] A.R.Smith, “Color Gamut Transform Pairs,” ACM Sig-

graph Computer Graphics, vol.12, Issue 3, pp12–19, 1978

[16] 斉藤義, 山崎芳男, 永野桃子, 渡邉昇, 杉野潔, 羽染武則, “駅舎に隣接する複合ビル内の劇場施設「世田谷分化生活情報センター」の音響,” 音響技術, 26-3, pp37―46, Sept. 1997.

図–5: 室内での球状オブジェクトの伝搬と反射の様子

図–6: 模型内での球状オブジェクトの伝搬と反射の様子

図–7: シミュレーション後の様子