Top Banner
43

GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

Jan 07, 2017

Download

Technology

Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Page 1: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise
Page 2: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

プリレンダー VFX ・VR

シーンリニアワークフローによる合成

物理ベースアセットの構築

UE4 によるリアルタイム合成

Page 3: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

プリレンダー VFX ・VR

Page 4: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

Full HD で培った合成ノウハウを VR 映像制作に持ち込むことでハイエンドな VR 映像を実現する

Page 5: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

撮影対象に合わせて最適な VR 撮影ソリューションの選択多数ある VR 撮影機材 VR やカメラリグから スティッチの難易度や被写体やストーリーによるパララックスの問題等を加味し コンテンツに合わせた最適な撮

影ソリューションを選択

Page 6: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

BG は風景を基本としていることから解像度・シャープネスを重視

撮影対象に合わせて最適な VR 撮影ソリューションの選択

Page 7: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

CA Rig / F360BroadcasterCA / GoPro HERO 4 × 6台特機 / ウルトラクレーン

80fps

収録フォーマットdata : mp 41920*1440 color space : sRGB

60fps

変換後フォーマットdata : EXR 16bit 4 k ~8k color space : ACES

撮影対象に合わせて最適な VR 撮影ソリューションの選択

Page 8: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

撮影素材

data : EXR 16bit

4 k ~8k

60fps

color space : ACES

Page 9: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

独自のトラッキングフローによりカメラ・オブジェクトをマッチムーブVR の映像素材であるスティッチ画像は歪みが大きい為、複数のカメラの中からヒーロカメラを選

択。 ヒーローカメラに対してトラッキングを行いカメラ・オブジェクトのマッチームーブを実現。

Page 10: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

独自のトラッキングフローによりカメラ・オブジェクトをマッチムーブ

スティッチ画像の一部ををクロップ。 アンチディストーションなどを組み合わせ行う カメラ・オブジェクトのマッチームーブ

Page 11: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

最終素材

data : EXR 16bit

4 k ~8k

60fps

color space : ACES

Page 12: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

HDR を用いたライティング

photo reference

ライティングを実環境から HDR を撮影することによって CG 環境に入力。 実環境のライティングを再現することによって 合成マッチングが高

いレンダリング結果を得ることができる。

HDR によるライティング収録・移行

Page 13: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

VR に対応した CG カメラリグとレンダリング環境V-ray のレンダーカメラを VR に対応させ、シーンリニアのワークフローによ

る ライティング・レンダリングを行うことで精度の高い合成素材をレンダリング。

Page 14: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

パイプライン

V-ray

MAYA

素材制作 レンダー

合成することを主体とした VR の撮影・ CG 制作のパイプラインは 通常の VFX と同様にシーンリニアのパイプラインを適応する

ため 撮影素材の情報を最大限に生かすことが必要となる。

NUKE

コンポジット 実装環境 出力環境撮影・スティッチ

Unity 5 DK2

Page 15: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

プリレンダー VFX ・VR

Page 16: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

シーンリニアワークフローによる合成

Page 17: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

同一のライティング・ガンマ曲線・カラースペースを用い物理的に正しいレンダリングを行うことで

各表現環境の差を減らし合成のマッチングを向上する事が出来る。

Page 18: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

ゴールイメージ

Page 19: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

gamma curve A

gamma curve B

異なるガンマカーブによる合成撮影素材 CG レンダリング素材

Page 20: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

gamma curve Agamma curve B

gamma curve A

gamma curve B背景素材と CG レンダリング素材のガンマカーブが異なる為 そのま

ま合成をするとコントラストや黒のレベルなどが合わずなじまない。

異なるガンマカーブによる合成

Page 21: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

撮影素材 CG レンダリング素材gamma curve A

gamma curve B

gamma curve A

gamma curve B

その為、背景素材と CG レンダリング素材のガンマカーブを調整しお互いに 同一曲線になるようにそろえる必要があるが、これは極めて困難である。

異なるガンマカーブによる合成

Page 22: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

gamma curve B実際には素材のガンマカーブは不確定なので定量的に設定する事は難しく 最終的に

は合成をしながら視覚的に合わせて行く事になる為、技術者の主観に頼る事になる。

gamma curve A

gamma curve B

異なるガンマカーブによる合成gamma curve A

Page 23: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

撮影素材 CG レンダリング素材

gamma curve A

gamma curve B

リニアガンマによる合成

Page 24: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

撮影素材 CG レンダリング素材

リニアガンマによる合成はガンマカーブがリニア(比例関係の直線)である為 必然的に同一曲線になり調整の必要はない

gamma curve A

gamma curve B

gamma curve A

gamma curve B

リニアガンマによる合成

Page 25: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

背景素材と CG レンダリング素材が同一直線のガンマカーブとなりそのまま合成しても調整の必要がなくなじむ。

gamma curve A

gamma curve B

gamma curve Agamma curve B

リニアガンマによる合成

Page 26: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

リニアガンマによる合成 異なるガンマカーブによる合成

gamma curve A

gamma curve B

gamma curve A

gamma curve B

合成結果の差異

Page 27: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

物理ベースアセットの構築

Page 28: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

ライティングを実環境から入力し、正しいレンダリング結果を得るためアセットを物理ベースで構築する

Page 29: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

フィジカルテクスチャリングフラットライティングでアルベドを撮影。 素材をリニア

ライズ・シャドーキャンセルしアルベドテクスチャとする。

Page 30: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

フィジカルテクスチャリング

メタリックな素材に関しては弊社ライブラリからプロシージャルのフィジカルマテリアルを流用。

Page 31: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

同じくアセット制作の為の環境も撮影を行っている。 物理ベースの作業を円滑に行う為、複数のソフトにおいて統一のターンテーブル環境を構築。

統一ライティング環境におけるアセット制作

環境の異なる HDR イメージを使用し各ソフトのターンテーブル環境に入力、ライティングをする

Page 32: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

レンダー結果

photo reference

Page 33: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

統一ライティング環境におけるアセット制作

物理ベースにおける光のシミュレーションは同様のアルゴリズムで行われている。 同一ライティングに対して物理ベースアセットをレンダリングした場合 プリ

レンダー・リアルタイムに関わらず同様の結果が得られると想定される。

プリレンダー・リアルタイムアセットのハイブリット化

Page 34: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

統一ライティング環境におけるアセット制作

Page 35: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

統一ライティング環境におけるアセット制作

Page 36: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

レンダー結果

photo reference

Page 37: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

パイプライン

UE4Substance

V-ray

物理エンジン

素材制作環境

撮影

MAYA

マテリアル作成環境 レンダー環境

サブスタンスをマテリアル作成のハブにすることで 物理ベースのアセット制作であればアセットをハイブリット化することが可能である

(プリレンダーからリアルタイムレンダーへの移行を行える)

Page 38: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

物理ベースアセットのハイブリット化

Page 39: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

UE4 によるリアルタイム合成

Page 40: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

物理ベースのレンダリング環境を基準とし撮影素材・アセット・ライティングなど各素材を正しく入力することで

マッチングが高い合成をリアルタイムに実現した。

Page 41: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

リアルタイムでの合成

撮影素材CG レンダリング素材

シーンリニアワークフローで物理ベースアセットを合成することで リアルタイムでもプリレンダーと同じレンダリング結果を得ることができる

Page 42: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

レンダー結果

Page 43: GTMF 2016:VRにおけるUE4のリアルタイムVFXワークフローについて 株式会社wise

パイプライン

素材制作環境

HMD ・モニターなどの出力デバイス

物理ベースというアルゴリズムで統一することで 定性的では無く定量的に合成をとらえリアルタイム化を実現

UE4 によるリアルタイム環境

シーンリニアによる合成

撮影・スティッチ

HDR による IBL 物理エンジンによる PBR物理ベースアセット