Marker Hiding Based on Image Inpainting Considering …yokoya.naist.jp/paper/datas/1254/genko.pdfる画像修復（Image Inpainting）法を応用することで，...

拡張現実感における画像修復に基づく陰影を考慮したマーカの除去

山﨑 将由† 河合 紀彦† 佐藤 智和† 横矢 直和†

†奈良先端科学技術大学院大学 〒630-0192 奈良県生駒市高山町 8916-5

E-mail: †{masayoshi-y, norihi-k, tomoka-s, yokoya}@is.naist.jp

あらまし 本稿では，拡張現実感において広く用いられているマーカを提示画像上から取り除き，その領域を違和感なく修

復することでマーカの視覚的な除去を実現する手法を提案する．本研究では，マーカ周辺が平面であることを前提とし，初期フ

レームにおいて，マーカを真正面から見た画像に変換し，透視投影効果による歪みのないテクスチャを用いて画像修復を行うこ

とで，マーカ領域に幾何学的に違和感のないテクスチャを生成する．また，マーカ周辺における陰影の変化を検出し，これを生

成されたテクスチャに反映し，マーカ領域上に合成することで，光学的にも違和感のないマーカの除去を実現する．実験では，

陰影が変化する入力動画像を用い提案手法の有効性を示す．

キーワード 拡張現実感，隠消現実感，画像修復，マーカ

Marker Hiding Based on Image Inpainting Considering Shade and Shadow

in Augmented Reality

Masayoshi YAMASAKI† Norihiko KAWAI† Tomokazu SATO† Naokazu YOKOYA†

†Nara Institute of Science and Technology 8916-5 Takayama, Ikoma, Nara, 630-0192 Japan

E-mail: †{masayoshi-y, norihi-k, tomoka-s, yokoya}@is.naist.jp

Abstract This report proposes a new method for diminished reality which removes a marker from image sequences and inpaints the

marker area in real time. In our approach, assuming that an area around the marker is planar, the marker area in the first frame image is filled

in using the texture whose appearance is compensated for by converting the input image as if the scene is observed from directly front of the

marker to realize natural marker hiding. In subsequent frames, the proposed method detects shade and shadow changes around the marker

and reflects the changes in the generated texture. That results in optically natural marker hiding. In experiments, the effectiveness of our

proposed method is demonstrated using sequences containing shade and shadow changes.

Keyword Augmented Reality，Diminished Reality，Image Inpainting，Marker Hiding

1. はじめに

現実環境を撮影した映像に CG を重畳し，ユーザに

様々な情報を付加する拡張現実感 (Augmented Reality;

AR)に関する研究が近年盛んに行われており，これら

のアプリケーションでは，カメラとマーカの相対的な

位置・姿勢を算出するために，人工的な正方形マーカ

が広く用いられてきた [1]．しかし，このようなマーカ

に基づく AR では，マーカが常に画像中に映る必要が

あるため，マーカの存在により，マーカ以外の現実環

境と CG のシームレスな融合が実現できず，ユーザに

違和感を与える．この問題に対して，画像中の不要な

物体を取り除き，物体の背景画像を実時間で違和感な

く合成する隠消現実感 (Diminished Reality; DR)の研究

が行われている [2]～ [12]．DR は，マーカの背面に存

在する実際のテクスチャを用いる手法 [2]～ [8]と用い

ない手法 [9]～ [12]に大別できる．

前者の手法の場合，実際のテクスチャを取得するた

めに，事前に現実環境をカメラで撮影する手法 [2],[3]，

時系列データを用いる手法 [4],[5]，複数台のカメラを

用いる手法 [6]～ [8]などが用いられる．事前にカメラで

撮影したテクスチャを用いる手法として，Cosco ら [2]

は，背景の大まかな形状が既知という前提条件のもと，

Imaged Based Rendering により対象物体を除去する手

法を提案している．しかし，この手法では合成時にお

いて背景テクスチャの光学的変化を許容しないため，

背景撮影時と現在の画像の画質が異なる場合には違和

感が生じる．この問題に対して，中島ら [3]は事前に取

得した画像に対して一様に色調補正とぼかしを付与し

たものを現在の画像とブレンド処理することで光学的

整合性を解決する手法を提案している．時系列データ

を利用する手法として，Lepetit ら [4],[5]は，各フレー

ム共通の特徴点を抽出し，ドロネー分割により領域分

割したうえで，背景が映る近接フレームのテクスチャ

を射影変換し合成することで除去領域を補完する手法

を提案している．複数台のカメラを用いる手法では，

他のカメラで撮影される同一時刻の画像を用いて補完

する．Zokai ら [6]は，固定された一台のユーザ視点の

カメラと離れた場所に置かれた二台の背景テクスチャ

取得用のカメラを用いることで対象物体を除去する手

法を提案している．この手法は，固定された二台の背

景取得カメラにより背景の三次元復元を行い，それに

基づき射影変換することで背景テクスチャを生成して

いる．このようなカメラの動きが固定された手法に対

して，マーカを用いて各カメラの相対的な位置姿勢を

求めることで，比較的自由なカメラの動きに対応する

手法 [7],[8]が提案されている．Enomoto ら [7]は，背景

を平面と仮定することで背景テクスチャを補間してい

る．これに対して，Jarusirisawad ら [8]は，Plane-Sweep

Algorithm を用いて背景テクスチャを奥行ごとにレイ

ヤー分けすることで，比較的複雑な背景にも対応して

いる．

一方，必ずしも真の背景画像が必要でない場合を対

象とし，入力画像内の情報から背景画像を生成し合成

することで，視覚的に物体を除去する手法が提案され

ている [9]～ [12]．Siltanen[9]，Korkalo ら [12]は，マー

カ領域内の各画素の値をマーカ周辺の特定の 8 点の平

均輝度値で置き換えることで，テクスチャを生成する

手法を提案している．これらの手法は高速にテクスチ

ャを生成できるが，周辺のテクスチャが複雑な場合に

は違和感のないテクスチャを生成することが難しい．

これに対して，修復対象となるマーカ領域周辺のパタ

ーンに類似したパターンを画像上の他の領域で探索し，

これを修復対象領域にコピーすることで欠損を修復す

る画像修復（ Image Inpainting）法を応用することで，

複雑なテクスチャを生成する手法 [10],[11]が提案され

ている．Shen ら [10]は，初期フレームにおいてテクス

チャの逐次的合成による画像修復 [14]によりテクスチ

ャを生成し，それ以降のフレームでは初期フレームで

生成されたテクスチャをコピーすることで除去する手

法を提案している．この手法では除去対象物体の平行

移動に対応しているが，カメラの位置が固定される．

これに対し，Herling ら [11]は自由に移動するカメラで

撮影された画像に対して画像修復手法 [16]と類似パタ

ーンの探索手法 [15]を組み合わせることで，フレーム

毎にテクスチャを生成する手法を提案している．しか

し，これらの手法が用いる一般的な画像修復手法

[14],[16]は，入力画像上での視点位置に依存したテク

スチャパターンのコピーによる修復を行うため，参照

されるテクスチャの透視投影歪みが大きい場合，適切

なテクスチャが修復の事例として選択されず，これを

用いた従来手法 [10],[11]において高品質な修復を行う

ことは難しい．また，フレーム間のテクスチャの輝度

変化を考慮していないため違和感が生じることがある．

本稿では，画像修復によって背景画像のテクスチャ

図 1. 処理の流れ

を生成するアプローチに着目し，環境に固定された正

方形マーカを自動で除去する手法を提案する．本研究

では，マーカ周辺が平面であると仮定し，初期フレー

ムにおいて，マーカとその周辺を真正面から見た画像

（以後，正対画像と呼ぶ）に変換する．次に，透視投

影歪みのないテクスチャを用いて画像修復を行うこと

で，マーカ領域に幾何学的に違和感のないテクスチャ

を生成する．また，マーカ周辺における陰影の変化を

検出し，これを生成されたテクスチャに反映した上で

マーカ領域上に合成することで，光学的にも違和感の

ないマーカの除去を実現する．

2. 画像修復に基づく陰影を考慮したマーカの

除去

図 1 に提案手法の処理の流れを示す．本研究では，

画像修復結果を用いたフレーム毎の陰影の反映とテク

スチャ合成処理 (A）と，マーカ領域のテクスチャ生成

処理（画像に対する修復処理）(B)，を並列に行う．陰

影の反映・合成処理 (A）では，まずマーカを含む環境

を撮影し (a-1)，マーカを正対画像に射影変換する (a-2)．

次に，マーカ周辺の陰影の変化を検出し (a-3)，修復処

理で生成される暫定修復結果に反映させる (a-4)．最後

に，陰影が反映されたテクスチャを入力画像の見え方

に射影変換し，マーカ上に重畳する (a-5)．これらの処

理をフレーム毎に繰り返す．修復処理 (B)では，まず 1

フレーム目の処理 (a-2)により射影変換された画像を

用いて，ARToolkit[1]よりマーカ領域を検出し，その領

域を欠損領域として指定する (b-1)．次に，類似パター

ンの探索 (b-2)と画素値の更新 (b-3)を行い，暫定的な修

復結果を出力する (b-4)．この処理をエネルギーが収束

するまで繰り返す．

以下，テクスチャの合成処理 (A)，テクスチャの修復

処理 (B)の順に詳しく述べる．

2.1. 正対画像の作成

図 2 に示すように，入力画像をマーカを真正面から

見た画像に射影変換することで，透視投影効果による

テクスチャの歪みを取り除いた正対画像を作成する

(a-2)．具体的には，画像中から正方形マーカの四隅の

点の座標を抽出し，これらの 4 点が各フレームで同一

の大きさの正方形に射影変換されるようなホモグラフ

ィ行列 H を求める．次に，ホモグラフィ行列 H を用い

て，画像全体を射影変換する．

2.2. 陰影推定に基づく生成テクスチャへの陰影

の反映

処理 (a-2)で得られる 1 フレーム目と n フレーム目の

正対画像からマーカ周辺の輝度値の変化率を算出する

(a-3)ことで，修復処理により生成されるマーカ内のテ

クスチャの輝度補正を行う (a-4)．ここでは，カメラの

自動的な色調補正や，環境光・人や物による影によっ

て生じる画像上での輝度変化を想定する．具体的には，

まず図 3 に示すように，マーカを含むマーカよりも少

し大きめの正方領域を設定し，それを格子状に分割す

る．次に，正方領域の一番外側にあるマーカを含まな

い各矩形領域 (図中の斜線部分 )の輝度変化率αを以下

のように算出する．

α = ∑ 𝐼𝑛(𝑿)

𝑿∈𝐴

∑𝐼1(𝑿)

𝑿∈𝐴

⁄ (1)

ただし， In(X)は n フレーム目における座標𝑋での輝度

値，A は矩形内の画素の集合である．

次に，算出したマーカ周辺領域の輝度変化率を固定

した上で，マーカ内の各矩形の輝度変化率を補間する．

ここでは隣接する矩形間の輝度変化率の差が小さいと

いう考えに基づき，以下のコスト関数 E を最小化する

α を求める．

ここで，u,v は矩形のインデックス，R は 8 近傍で隣接

する矩形 u と v の組全体からなる集合である．E は 2

図 3.輝度補正のための矩形分割

次関数であるため，E を最小化する輝度変化率は次式

を満たす．

𝜕𝐸

𝜕𝛼𝑖= 0 (3)

ただし，α i はマーカ内の矩形の変化率である．求めた

い矩形の変化率 α i の数だけ式 (3)が存在するため，連立

方程式を解くことで全ての変数 α iを一意に求めること

ができる．加えて，画素単位での変化率の差を滑らか

にするために，各矩形の変化率 α i を各画素に対応付け

た上で，各画素の変化率に対してガウシアンフィルタ

をかける．

最後に，求めた変化率を処理 (b-4)で出力されるテク

スチャに乗算することで輝度変化を反映する．

2.3. 射影変換に基づくテクスチャの合成

処理 (a-2)で求めたホモグラフィ行列 H の逆行列 H -1

を用いることで，輝度補正を行った修復結果を入力画

像上に射影変換し，マーカ上に重畳する．この時，入

力画像と重畳画像の境界部においてブレンディング処

理を行うことで，テクスチャの継ぎ目の違和感を軽減

する．

2.4. マーカ領域のテクスチャ生成

処理 (a-2)で透視投影歪みを取り除いた 1 フレーム目

の正対画像に対して画像修復手法 [17]と類似パターン

の探索手法 [15]を組み合わせた手法を適用することで，

高品質かつ高速に背景テクスチャを生成する (B)．具体

的には，ARToolkit[1]よりマーカ領域（修復対象領域）

を検出 (b-1)し，修復対象領域とそれ以外の領域間のテ

クスチャのパターン類似度に基づくエネルギー関数を

定義し，類似パターンの探索 (b-2)と画素値の更新 (b-3)

を繰り返すことでエネルギーを最小化し，最適なテク

スチャを生成する．ここでは，画素値更新が行われる

度に，陰影の反映処理のための暫定結果の出力 (b-4)を

行う．上記の処理 (b-1)～ (b-4)を処理 (A)と並列に行う

ことにより，ユーザは待ち時間なしに AR を体験でき

る．

𝐸 = ∑ (𝛼𝑢 − 𝛼𝑣)2

(𝑢,𝑣)∈𝑅

(2)

図 2. 入力画像の射影変換による正対画像の生成

図 4. 入力画像を直接用いた修復結果と提案手法による修復結果の比較

3. 実験

提案手法の有効性を示すために，実環境中にマーカ

を１つ配置し，マーカの除去実験を行った．本実験で

は，入力画像 (640×480 画素 )に対し PC(CPU: Intel

Core2Duo 3.0GHz, メモリ : RAM 2.0GB)を用いて処理

を行った．また，処理 (a-2)においては，正対画像上で

マーカが 80×80 画素の正方形となるよう射影変換を

行った．

図 4 に，様々なシーンに対して入力画像を直接用い

た修復結果と提案手法による修復結果の比較を示す．

同図中 (a)は入力画像，(b)は射影変換により作成した正

対画像，(c)は正対画像を用いずに (a)から直接修復を行

った結果，(d)は正対画像 (b)上で修復を行い，これを入

力画像上に合成した結果である．図 4(c)から，入力を

直接用いた場合には，投影歪みにより修復のための適

切な類似テクスチャが存在せず，本来つながるべき線

がつながらないため，幾何学的に不自然なテクスチャ

が生成されている．一方，提案手法による図 4(d)の結

果では，適切なテクスチャが選択され幾何学的に自然

なテクスチャが生成されている．この結果より，投影

歪みをとるための射影変換が有効であることを確認で

きる．なお，正対画像に対して修復が完了するまでに

要した時間は平均 12 秒であった．

図 5,6 に，輝度補正を行った場合と行わなかった場

合の比較を示す．図 5 は動画像上の連続したフレーム，

図 6 は連続していないフレームに対する結果を表す．

各図の上段は入力画像，中段は輝度補正をしなかった

合成結果，下段は輝度補正をした合成結果である．各

図の中段に示すように，カメラの自動的な色調補正や

人の影などが生じた場合，輝度補正をせず合成すると

周辺との光学的整合性が保たれず，違和感のある結果

となる．これに対して，図 5(a)の下段に示すように，

陰影を反映することで，光学的に違和感のないテクス

チャを生成できる．しかし，図 5(b)のように，人や物

によっておこるキャストシャドウに関しては，本手法

では空間的に急な輝度変化を考慮していないため，キ

ャストシャドウのエッジがぼけている．また，図 6 に

示す結果から，生成されたテクスチャをカメラの動き

に合わせて射影変換し合成することで，光学的だけで

なく幾何学的にも違和感なくマーカを除去できること

上段：入力画像，中段：出力画像（補正なし），下段：出力画像（補正あり）

(a) 環境光の変化が生じたシーン

上段：入力画像，中段：出力画像（補正なし），下段：出力画像（補正あり）

(b) キャストシャドウが生じたシーン

図 5. 輝度補正を行った場合と行わない場合の比較（連続したフレームに対する結果）

を確認した．なお，本実験における処理速度は平均

10.5fps であった．

4. まとめ

本稿では，除去対象が環境に固定された正方形マー

カを，その周辺が平面であることを前提とした上で，

実時間で除去する手法を提案した．実験より，マーカ

を真正面から見た正対画像に変換し，透視投影歪みの

ないテクスチャを用いて画像修復を行うことでマーカ

領域に幾何学的に違和感のないテクスチャを生成でき

ることを確認した．また，マーカ周辺における陰影の

変化を検出し，これを生成されたテクスチャに反映し

た上でマーカ領域上に合成することで，光学的にも違

上段：入力画像，中段：出力画像（補正なし），下段：出力画像（補正あり）

図 6. 輝度補正を行った場合と行わない場合の比較（連続していないフレームに対する結果）

和感のないマーカの除去を実現することが出来た．し

かし，図 5(b)に示したように，キャストシャドウのよ

うに空間的な輝度変化が急である場合には，違和感が

生じることを確認した．今後は，キャストシャドウを

検出し，その変化を反映したテクスチャの生成を行う

予定である．

謝辞

本研究の一部は科学研究費補助金 (基盤研究 A，No.

23240024)による．

文 献

[1] H. Kato, H. Billinghurst：“Marker Tracking and HMD Calibration for a Video-Based Augmented Reality Conferencing System”, Proc. IWAR, pp. 85-94 (Oct. 1999)

[2] F. I. Cosco, C. Garre, F. Bruno, M. Muzzupappa, and M. A. Otaduy：“Augmented Touch without Visual Obtrusion”, Proc. ISMAR, pp.99-102 (Nov. 2009)

[3] 中島武眞，一刈良介，柴田史久，木村朝子，田村秀行： “隠消現実感における隠背景面復元の画質的整合の実現 ”，信学技報，PRMU2010-195 (Jan. 2010)

[4] V. Lepetit，M-O. Berger： “An Intuitive Tool for Outlining Objects in Video Sequences: Applications to Augmented and Diminished Reality”, Proc. ISMAR, pp.159-160 (Mar. 2001)

[5] V. Lepetit，M-O. Berger：“A Semi-Automatic Method for Resolving Occlusion in Augmented Reality”, Proc. CVPR, pp.225-230 (June 2000)

[6] S. Zokai, J. Esteve, Y. Genc, and N. Navab ：“Multiview Paraperspective Projection Model for Diminished Reality”, Proc. ISMAR, pp.217-226 (Oct. 2003)

[7] A. Enomoto and H. Saito：“Diminished Reality Using Multiple Handheld Cameras”, Proc. ACCV,

pp.130-150 (Nov. 2007)

[8] S. Jarusirisawad, T. Hosokawa and H. Saito ：“Diminished Reality Using Plane -sweep Algorithm with Weakly-calibrated Cameras”, Progress in informatics, No.7, pp.11-20 (Mar. 2010)

[9] S. Siltanen：“Texture Generation over the Marker Area”, Proc. ISMAR, pp.253-254 (Oct. 2006)

[10] Y. Shen，F. Lu, X. Cao, and H. Foroosh：“Video Completion for Perspective Camera under Constrained Motion”, Proc. ICPR, pp.63-66 (Aug. 2006)

[11] J. Herling， W. Broll ： “Advanced Self-contained Object Removal for Realizing Real-time Diminished Reality in Unconstrained Environments”, Proc. ISMAR, pp.207-212 (Oct. 2010)

[12] O. Korkalo ， M. Aittala and S. Siltanen ：“Light-Weight Marker Hiding for Augmented Reality”, Proc. ISMAR, pp.247-248 (Oct. 2010)

[13] D. Comaniciu, V. Ramesh, and P. Meer：“Real-time Traking of Non-rigid Objects Using Mean Shift”, Proc. CVPR, pp.142-151 (June 2000)

[14] A. Criminisi, P. Perez and K. Toyama： “Region Filling and Object Removal by Exemplar -Based Image Inpainting”, IEEE Trans. on Image Processing, Vol.13, No.9, pp. 1200–1212 (Sept. 2004)

[15] C. Barnes, E. Shechtman, A. Finkelstein and D. B. Goldman ： “PatchMatch: a Randomized Correspondence Algorithm for Structural Image Editing”, ACM Trans. Graph, Vol.28, No.3, pp.1-11 (Aug. 2009)

[16] D. Simakov, Y. Caspi, E. Shechtman, and M. Irani, “Summarizing Visual Data Using Bidirectional Similarity”, Proc. CVPR, pp.1-8 (June 2008)

[17] N. Kawai, T. Sato and N. Yokoya：“Image Inpainting Considering Brightness Change and Spatial Locality of Textures and Its Evaluation”, Proc. PSIVT, pp.271-282 (Jan. 2009)