Face Switcher03-133007 吉谷拓真
オードリー・ヘップバーン
石原さとみ
能面
実装について
• FaceTracker by Saragih
• 顔の特徴を検出
• モデルのあてはめ
• 自分で実装
• メッシュの変換
FaceTracker• J. Saragih, S. Lucey and J. Cohn,
"Deformable Model Fitting by Regularized Landmark Mean-Shift", IJCV 2011.
• Constrained Local Modelを採用
• 顔全体の特徴から追跡する方法(トップダウン)ではなく、顔のパーツごとにまずだいたいの位置を把握しその上で全体の顔追跡をする方法(ボトムアップ)
• なぜこれを使ったか
• メジャー(openFrameworks, Cinder)
• ちゃんと動いた
メッシュ変換• 2つのカメラから2つの顔画像
• それぞれにメッシュがフィッティングされている
• 顔画像+メッシュの点の座標
• Aさんの顔メッシュのある三角形に対応する三角形はBさんにもある
メッシュの変換
②アフィン変換
①マスク
③貼り付け
苦労したところ
• そもそもちゃんとコンパイルできる&動くFace Landmark検出ライブラリを探すのに時間がかかった
• OpenMPを有効にしてみたりして高速化
展望・課題• いかにも合成という感じをなくしたい
• Poisson Image Edittingを使うと非常に自然な合成が可能になる
• OpenCV 3.0の Seamless Cloningを試してみたが重い
• 自然な合成かつ高速に動作している顔交換実装も見つけたので調査の余地はあり
• “Face Substitution”
展望・課題• ポリゴン(?)の境界が出てしまっているのを直したい
• メッシュをOpenGLで3D的に処理するべきだった?
• 高速化したい
• 640x480の2枚の画像の顔それぞれにフィッティングする段階で12 fps
• アフィン変換に時間がかかってる様子