cial Performance Capture under Uncontrolled Light ing Siggraph Asia 2012 文文文文 文文
Lightweight Binocular Facial Performance Capture under Uncontrolled Lighting
Siggraph Asia 2012 文献紹介
石井
この文献でいいたいこと 映画など顔形状による CG 合成を利用 従来はシステムが大掛かり 単純なステレオカメラで細かい表情変
化まで取得することを目指す
従来手法 マーカーを装着型
精度が悪い マルチカメラ再構成 ライトコントロール型
装置が大掛かり
ステレオカメラで Uncontrollable なシーン(屋内、屋外)でも精細な顔形状復元を行う(ただし、カメラはキャリブレーション済み)
アプローチ概要 First Step
ステレオカメラ+トラッキングで粗い形状推定 誤差を減らすために、マッチング制約を提案
Second Step 照明が変化するシーンで反射率/照明推定を実施
し、 Shape refinement を行う
初期化 ステレオ画像に対し視差算出
Ed =データ項、 Eg =幾何項、 Es= 平滑化項 詳細は後ほど
PostProcessing 背景除去。三角メッシュ表現。点数揃える 平滑化処理し、メッシュの色は左右画像の合成色
Template Tracking
Scene Flow の計算 2 フレーム間で 4 フレームの情報を利用可
能 4 フレーム間の拘束条件から対応点推定
Template Tracking
Scene Flow の計算
Template Tracking
データ項:各画像間の座標誤差計算
コスト関数
外れ値にロバストにするためL1 ノルムで正則化
Template Tracking Geometry 項:ステレオ画像間のエピ
ポーラ拘束を利用
コスト関数
外れ値にロバストにするためL1 ノルムで正則化
Template Tracking Smoothness 項:異方性のエッジに基
づき滑らかさを評価・ r1,r2 は第一、第二固有値・形状変化するので、 Scene flow 推定中は再計算
平滑化項の比較
エネルギー最小化 多重解像度で各解像度で推定 3 D motion field を使って、形状変化
を表現
Mesh Tracking
Scene Flow がわかれば各頂点のTracking が可能
Noise や Drift があるので制約を設ける
Mesh Tracking Position Constraints
メッシュの滑らかさを保つために、頂点の部分集合 C に対して SceneFlow を揃える
条件 部分集合 C の全頂点は左右のカメラから見えて
いること 背景によるエラーを防ぐため、法線と照明方向
のなす角度が閾値( 70 度)以下であること
Mesh Tracking Position Update
3 D 復元点 Si の Flow
実際は Si が Noisy 3 D 復元結果に Flow を加算するのではな
く、 Flow を逐次加算していく
Mesh Tracking Laplacian Regurarization
表情( 3 次元的)形状の変化を考慮した制約
L:Laplacian matrix with cotangent weight of mesh メッシュ平面に対する法線の Laplacian matrix
第二項は頂点位置の誤差項
Motion Refinement 誤差の蓄積などに対して Refinement する 方法(時刻 t+1 のとき)
メッシュのトラッキング結果から左右画像を合成(f0r,r1r)
正解データ f0(t+1),f1(t+1) との再投影誤差算出 f0(t+1),f1(t+1) と (f0r,r1r) との間の SceneFlow から メッシュをアップデート
Shape Refinement
2 ステップからなる 1.各フレームで照明と反射率を推定 2.陰影情報に基づく幾何推定を実施
顔の反射率推定 表面の形状修正
Albedo( 反射率 ) Clustering K-means クラスタリング
・ ai : 頂点の反射率集合・ k :クラスタリング数・ Sk :クラスタ番号・ ui :クラスタ内の平均反射率
ai の初期値は、前フレームの幾何形状・照明条件から計算
反射率がもとまったら、照明方向・強度を推定(既存手法)
Surface Refinement
反射率・照明条件から頂点の法線を算出
顔は完全拡散面では無い Highlight はノイズになる→平滑化項導入
Surface Refinement
データ項 入力画像と合成画像との Shading の勾配差
i: メッシュ N(i): メッシュ i の近傍メッシュ C: カメラ番号 Q(I,j) :カメラ集合 r(i,j),s(i,j): 入力画像の勾配、合成画像の勾配
Surface Refinement
Similarity 項 時刻 t-1 の法線と時刻 t の法線の類似性
nit: 時刻 t-1 の法線 Xtu-Xtv: 三角メッシュの 2 点の差
時刻 t,t-1 のベクトル間の外積を算出nit
Xtu
Xtv
Surface Refinement
Smoothness 項 近傍の 2 頂点間の二乗誤差
エネルギー最小化の高速化 非線形最適化の繰り返し
処理速度遅い 複数メッシュを集めたパッチで処理するが、
パッチ内のメッシュ数が多いと遅く パッチ内のメッシュ数が少ないと推定が計算が
不安定 一次テイラー展開で近似
各頂点とその近傍点から計算する Sparse Linear Problem になり高速化
Results
カメラ EOS 550D と GoPro 3D で実験 良環境と難環境で比較 どちらも FullHD 頂点数 100000
Results: Canon
Results: Canon( 違う人で評価 )
Results(Go Pro)