Face Switcher

Face Switcher03-133007 吉谷拓真

他人の顔で変顔したい

その他の例

オードリー・ヘップバーン

石原さとみ

能面

実装について

• FaceTracker by Saragih

• 顔の特徴を検出

• モデルのあてはめ

• 自分で実装

• メッシュの変換

FaceTracker• J. Saragih, S. Lucey and J. Cohn,

"Deformable Model Fitting by Regularized Landmark Mean-Shift", IJCV 2011.

• Constrained Local Modelを採用

• 顔全体の特徴から追跡する方法（トップダウン）ではなく、顔のパーツごとにまずだいたいの位置を把握しその上で全体の顔追跡をする方法（ボトムアップ）

• なぜこれを使ったか

• メジャー（openFrameworks, Cinder）

• ちゃんと動いた

メッシュ変換• 2つのカメラから2つの顔画像

• それぞれにメッシュがフィッティングされている

• 顔画像+メッシュの点の座標

• Aさんの顔メッシュのある三角形に対応する三角形はBさんにもある

メッシュの変換

②アフィン変換

①マスク

③貼り付け

苦労したところ

• そもそもちゃんとコンパイルできる&動くFace Landmark検出ライブラリを探すのに時間がかかった

• OpenMPを有効にしてみたりして高速化

展望・課題• いかにも合成という感じをなくしたい

• Poisson Image Edittingを使うと非常に自然な合成が可能になる

• OpenCV 3.0の Seamless Cloningを試してみたが重い

• 自然な合成かつ高速に動作している顔交換実装も見つけたので調査の余地はあり

• “Face Substitution”

展望・課題• ポリゴン(?)の境界が出てしまっているのを直したい

• メッシュをOpenGLで3D的に処理するべきだった？

• 高速化したい

• 640x480の2枚の画像の顔それぞれにフィッティングする段階で12 fps

• アフィン変換に時間がかかってる様子