GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise
Post on 07-Jan-2017
1493 Views
Preview:
Transcript
プリレンダー VFX ・VR
シーンリニアワークフローによる合成
物理ベースアセットの構築
UE4 によるリアルタイム合成
プリレンダー VFX ・VR
Full HD で培った合成ノウハウを VR 映像制作に持ち込むことでハイエンドな VR 映像を実現する
撮影対象に合わせて最適な VR 撮影ソリューションの選択多数ある VR 撮影機材 VR やカメラリグから スティッチの難易度や被写体やストーリーによるパララックスの問題等を加味し コンテンツに合わせた最適な撮
影ソリューションを選択
BG は風景を基本としていることから解像度・シャープネスを重視
撮影対象に合わせて最適な VR 撮影ソリューションの選択
CA Rig / F360BroadcasterCA / GoPro HERO 4 × 6台特機 / ウルトラクレーン
80fps
収録フォーマットdata : mp ４1920*1440 color space : sRGB
60fps
変換後フォーマットdata : EXR 16bit ４ k ～８k color space : ACES
撮影対象に合わせて最適な VR 撮影ソリューションの選択
撮影素材
data : EXR 16bit
４ k ～８k
60fps
color space : ACES
独自のトラッキングフローによりカメラ・オブジェクトをマッチムーブVR の映像素材であるスティッチ画像は歪みが大きい為、複数のカメラの中からヒーロカメラを選
択。 ヒーローカメラに対してトラッキングを行いカメラ・オブジェクトのマッチームーブを実現。
独自のトラッキングフローによりカメラ・オブジェクトをマッチムーブ
スティッチ画像の一部ををクロップ。 アンチディストーションなどを組み合わせ行う カメラ・オブジェクトのマッチームーブ
最終素材
data : EXR 16bit
４ k ～８k
60fps
color space : ACES
HDR を用いたライティング
photo reference
ライティングを実環境から HDR を撮影することによって CG 環境に入力。 実環境のライティングを再現することによって 合成マッチングが高
いレンダリング結果を得ることができる。
HDR によるライティング収録・移行
VR に対応した CG カメラリグとレンダリング環境V-ray のレンダーカメラを VR に対応させ、シーンリニアのワークフローによ
る ライティング・レンダリングを行うことで精度の高い合成素材をレンダリング。
パイプライン
V-ray
MAYA
素材制作 レンダー
合成することを主体とした VR の撮影・ CG 制作のパイプラインは 通常の VFX と同様にシーンリニアのパイプラインを適応する
ため 撮影素材の情報を最大限に生かすことが必要となる。
NUKE
コンポジット 実装環境 出力環境撮影・スティッチ
Unity 5 DK2
プリレンダー VFX ・VR
シーンリニアワークフローによる合成
同一のライティング・ガンマ曲線・カラースペースを用い物理的に正しいレンダリングを行うことで
各表現環境の差を減らし合成のマッチングを向上する事が出来る。
ゴールイメージ
gamma curve A
gamma curve B
異なるガンマカーブによる合成撮影素材 CG レンダリング素材
gamma curve Agamma curve B
gamma curve A
gamma curve B背景素材と CG レンダリング素材のガンマカーブが異なる為 そのま
ま合成をするとコントラストや黒のレベルなどが合わずなじまない。
異なるガンマカーブによる合成
撮影素材 CG レンダリング素材gamma curve A
gamma curve B
gamma curve A
gamma curve B
その為、背景素材と CG レンダリング素材のガンマカーブを調整しお互いに 同一曲線になるようにそろえる必要があるが、これは極めて困難である。
異なるガンマカーブによる合成
gamma curve B実際には素材のガンマカーブは不確定なので定量的に設定する事は難しく 最終的に
は合成をしながら視覚的に合わせて行く事になる為、技術者の主観に頼る事になる。
gamma curve A
gamma curve B
異なるガンマカーブによる合成gamma curve A
撮影素材 CG レンダリング素材
gamma curve A
gamma curve B
リニアガンマによる合成
撮影素材 CG レンダリング素材
リニアガンマによる合成はガンマカーブがリニア（比例関係の直線）である為 必然的に同一曲線になり調整の必要はない
gamma curve A
gamma curve B
gamma curve A
gamma curve B
リニアガンマによる合成
背景素材と CG レンダリング素材が同一直線のガンマカーブとなりそのまま合成しても調整の必要がなくなじむ。
gamma curve A
gamma curve B
gamma curve Agamma curve B
リニアガンマによる合成
リニアガンマによる合成 異なるガンマカーブによる合成
gamma curve A
gamma curve B
gamma curve A
gamma curve B
合成結果の差異
物理ベースアセットの構築
ライティングを実環境から入力し、正しいレンダリング結果を得るためアセットを物理ベースで構築する
フィジカルテクスチャリングフラットライティングでアルベドを撮影。 素材をリニア
ライズ・シャドーキャンセルしアルベドテクスチャとする。
フィジカルテクスチャリング
メタリックな素材に関しては弊社ライブラリからプロシージャルのフィジカルマテリアルを流用。
同じくアセット制作の為の環境も撮影を行っている。 物理ベースの作業を円滑に行う為、複数のソフトにおいて統一のターンテーブル環境を構築。
統一ライティング環境におけるアセット制作
環境の異なる HDR イメージを使用し各ソフトのターンテーブル環境に入力、ライティングをする
レンダー結果
photo reference
統一ライティング環境におけるアセット制作
物理ベースにおける光のシミュレーションは同様のアルゴリズムで行われている。 同一ライティングに対して物理ベースアセットをレンダリングした場合 プリ
レンダー・リアルタイムに関わらず同様の結果が得られると想定される。
プリレンダー・リアルタイムアセットのハイブリット化
統一ライティング環境におけるアセット制作
統一ライティング環境におけるアセット制作
レンダー結果
photo reference
パイプライン
UE4Substance
V-ray
物理エンジン
素材制作環境
撮影
MAYA
マテリアル作成環境 レンダー環境
サブスタンスをマテリアル作成のハブにすることで 物理ベースのアセット制作であればアセットをハイブリット化することが可能である
（プリレンダーからリアルタイムレンダーへの移行を行える）
物理ベースアセットのハイブリット化
UE4 によるリアルタイム合成
物理ベースのレンダリング環境を基準とし撮影素材・アセット・ライティングなど各素材を正しく入力することで
マッチングが高い合成をリアルタイムに実現した。
リアルタイムでの合成
撮影素材CG レンダリング素材
シーンリニアワークフローで物理ベースアセットを合成することで リアルタイムでもプリレンダーと同じレンダリング結果を得ることができる
レンダー結果
パイプライン
素材制作環境
HMD ・モニターなどの出力デバイス
物理ベースというアルゴリズムで統一することで 定性的では無く定量的に合成をとらえリアルタイム化を実現
UE4 によるリアルタイム環境
シーンリニアによる合成
撮影・スティッチ
HDR による IBL 物理エンジンによる PBR物理ベースアセット
top related