使用 ARToolKit 搭配 MMD 模型與動畫

1

使用 ARToolKit搭配MMD模型與動畫600410027　劉書承

2

前言使用 ARToolKit 建置一個擴增實境 (AR) 的環境相當快速方便，因此在一般玩家中是相當風行的工具。這次的 Project 就利用該工具建置 AR 的環境，搭配一個pmd 格式模型並繪製用 MMD 編輯的 vmd 格式骨架動畫，作為這次 Project 的展示結果。

接下來會說明實作項目，並介紹上述所提到的工具。

3

實作項目 用 ARToolKit 建置程式 用 MMD 編輯一段數秒的骨架動畫 在程式中使用找到的程式碼並微調後，載入模型與動畫資料 在程式中使用找到的程式碼並微調後，處理物理演算的部分 用 OpenGL 繪出模型與動畫 設置簡易的 lighting

4

什麼是 ARToolKit？它是一個利用 marker 定位來達成擴增實境 (AR) 的程式庫，適合用 C/C++ 語言開發。

使用攝影機拍攝現實場景 將 marker置於畫面可見處， ARToolKit能幫助你偵測 marker、計算 modelview及projection轉換矩陣

將模型繪製在 3D座標中的原點上，搭配ARToolKit給予的轉換矩陣，就能將模型顯示在 marker上

5

關於MarkerARToolKit 的 marker 須符合以下特性： 正方形黑色粗框 內圖愈簡單愈好 內圖不可上下左右對稱、翻轉等價比如：

6

ARToolKit演算法概觀官網 [1] 中沒細講演算法，只有大致流程，如下： a. 二值化 (Binarization) b. 標籤化 (Labeling) c. 邊緣偵測 (Contour Detection) d. 幾何變換 (Geometric Transformations) e. 特徵匹配 (Feature Matching)

Original Image

b. c.a.

d.

?e.

7

什麼是MMD？ 它是一套由日本人開發的工具，用來編輯 PMD 格式模型的骨架動畫，近年在日本網路圈中相當流行。 支援物理演算 ( 使用 Bullet Physics Library)

MMD 載入這次使用的模型與動畫後的畫面 PMD 模型的物理資料( 紅 : 剛體 , 綠 : 碰撞測試盒 )

8

用MMD編輯骨架動畫 模型中有許多 node 位於關節處，可操作骨架位置。 隨時間給骨架設不同的位置，即為骨架動畫。

9

遇到的困難與缺點 試過開啟反鋸齒 (Anti-Aliasing) 但有問題，目前還不清楚如何正確開啟，因此繪製的模型邊緣會有鋸齒。 物理演算的結果比 MMD 展現的結果差，但時間上不夠去了解 Bullet 的用法及細節，很難進行修正。 原本想做出「影子」的效果，這樣模型看起來會更真實。但找過資料後發現方法有點複雜，最後還是來不及做出來，有點可惜。

10

影片展示

請開啟 demo_600410027.mp4 觀看影片( 該影片檔已與投影片放在一起 )

已測試過能用 Windows Media Player 播放若無法觀看，影片也已上傳至 youtube ，請連結以下網址http://www.youtube.com/watch?v=CkmoquFLWJE

11

Reference[1] ARToolKit (英文 )

http://www.hitl.washington.edu/artoolkit/

[2] MMD ( 日文 )

http://www.geocities.jp/higuchuu4/

[3] 使用的模型 ( 日文 )

http://loda.jp/mikumikudance/?id=250

[4] pmd 、 vmd 格式 ( 日文 )

http://meshio.sourceforge.jp/

[5] pmd loader參考 ( 日文 )

http://yun.cup.com/directx11018.html

[6] vmd loader參考 (英文 ) http://www.ks.uiuc.edu/Research/vmd/plugins/doxygen/molfileplugins.html