Top Banner
(MIRU2006) 2006 7 On-line AR Baseball Presentation System 223-8522 3-14-1 E-mail: †{yu-ko,saito}@ozawa.ics.keio.ac.jp あらまし Augmented Reality ブル AR プリ イル web メラ LCD メラ ライ AR イメ キーワード AR プリ イメ On-line AR Baseball Presentation System with Multiple Markers Yuko UEMATSU and Hideo SAITO Graduate School of Science and Technology, Keio University 3-14-1 Hiyoshi, Kohoku-ku, Yokohama, 223-8522, Japan E-mail: †{yu-ko,saito}@ozawa.ics.keio.ac.jp Abstract This paper presents a vision-based registration and presentation of a baseball game via Augmented Reality. A virtual baseball game scene is overlaid onto a tabletop field model in the real world via a web-camera attached to a LCD monitor, which is moving according to the view point of a user. The baseball game scene is gen- erated from a history data of baseball game. For overlaying the baseball game scene correctly onto the real world captured with the web-camera, the camera’s rotation and translation are estimated by multiple planar markers placed at arbitrary positions and poses in the real world. Since the markers can be placed any positions and poses, the user can freely place the markers and see the virtual baseball game from various view point moving in wide area. Various arrangements of the markers also make the registration of the virtual objects very stable. Moreover the proposed system can be performed at video-rate. This system can provide an interesting entertainment tool for AR presentation. Key words AR applications, geometrical registration, multiple planar markers, entertainment, baseball 1. はじめに Augmented Reality(AR)/Mixed Reality(MR) [1] AR イメ AR プリ [2] [5] “On-line AR Baseball Presentation System” 1 ブル AR イメ 「画像の認識・理解シンポジウム(MIRU2006)」 2006年 7月 235
6

複数平面マーカの統合による On-line AR Baseball Presentation …hvrl.ics.keio.ac.jp/paper/pdf/domestic_Conference/... · でKotake...

Nov 09, 2020

Download

Documents

dariahiddleston
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Page 1: 複数平面マーカの統合による On-line AR Baseball Presentation …hvrl.ics.keio.ac.jp/paper/pdf/domestic_Conference/... · でKotake らは,バンドルアジャストメント用いて複数の平面

「画像の認識・理解シンポジウム (MIRU2006)」 2006 年 7 月

複数平面マーカの統合によるOn-line AR Baseball Presentation System

植松 裕子† 斎藤 英雄†

† 慶應義塾大学大学院理工学研究科〒 223-8522 横浜市港北区日吉 3-14-1

E-mail: †{yu-ko,saito}@ozawa.ics.keio.ac.jp

あらまし 拡張現実感(Augmented Reality)を用いて,現実世界のテーブル上に置いた野球盤モデルの上に野球選

手を重畳表示し,実際に目の前で野球の試合を鑑賞できる ARアプリケーションを提案する.本システムは,複数の

平面マーカを野球盤上の任意の位置・姿勢に適当に配置するだけで,それらの幾何学的な配置をあらかじめ知ること

なく,現実世界と仮想物体との位置合わせを実現できる.また,野球の試合経過を記述したファイルを入力とし,そ

の試合経過に沿って試合が展開される.ユーザは,webカメラを装着した LCDモニタを通して野球盤を見ることで,

野球盤上で行われている野球の試合を鑑賞する.複数マーカ同士の幾何学的な位置関係をあらかじめ計測する必要が

ないので,ユーザは広い範囲に自由にマーカを配置できる.そのため,ユーザは広い範囲を好きなように動き回りな

がら試合を鑑賞することができる.また,様々な姿勢にマーカを配置することによって,様々なカメラの視点に対し

ても精度の高い位置合わせを実現できる.本システムは,オンラインかつビデオレートで実行可能であり,ARを用

いた新しいエンタテイメントツールとして活用できると考えられる.

キーワード ARアプリケーション,幾何学的位置合わせ,複数平面マーカ,エンタテイメント,野球

On-line AR Baseball Presentation System with Multiple Markers

Yuko UEMATSU† and Hideo SAITO†

† Graduate School of Science and Technology, Keio University3-14-1 Hiyoshi, Kohoku-ku, Yokohama, 223-8522, Japan

E-mail: †{yu-ko,saito}@ozawa.ics.keio.ac.jp

Abstract This paper presents a vision-based registration and presentation of a baseball game via Augmented

Reality. A virtual baseball game scene is overlaid onto a tabletop field model in the real world via a web-camera

attached to a LCD monitor, which is moving according to the view point of a user. The baseball game scene is gen-

erated from a history data of baseball game. For overlaying the baseball game scene correctly onto the real world

captured with the web-camera, the camera’s rotation and translation are estimated by multiple planar markers

placed at arbitrary positions and poses in the real world. Since the markers can be placed any positions and poses,

the user can freely place the markers and see the virtual baseball game from various view point moving in wide

area. Various arrangements of the markers also make the registration of the virtual objects very stable. Moreover

the proposed system can be performed at video-rate. This system can provide an interesting entertainment tool for

AR presentation.

Key words AR applications, geometrical registration, multiple planar markers, entertainment, baseball

1. は じ め に

Augmented Reality(AR)/Mixed Reality(MR)は,現実世界

に仮想世界(仮想物体)を融合するための技術であり,仮想物

体を現実世界に本当に存在しているように表示することにより

実現される [1].近年 ARの分野では,エンタテイメントとして

の様々な ARアプリケーションが研究されている [2]~[5].

本論文では,“On-line AR Baseball Presentation System”

を提案する.このシステムは図 1のように,テーブル上に置か

れた野球盤モデルの上で,実際に野球の試合が行われている様

子をユーザが観戦できる ARエンタテイメントツールである.

本システムでは,野球の試合経過を記述したスコアブックデー

「画像の認識・理解シンポジウム(MIRU2006)」 2006年 7月

235

Page 2: 複数平面マーカの統合による On-line AR Baseball Presentation …hvrl.ics.keio.ac.jp/paper/pdf/domestic_Conference/... · でKotake らは,バンドルアジャストメント用いて複数の平面

図 1 On-line AR Baseball Presentation System.

タファイルを入力として,そのデータに沿った試合を CGの野

球選手で再現し,再現された試合の様子をテーブル上に置いた

野球盤モデルの上に複合現実提示する.ユーザは webカメラを

装着した LCDモニタを手に持ち,それを通して野球盤モデル

を見ることで,目の前で野球の試合を観戦することができる.

このような ARアプリケーションを実現するためには,現実

世界と仮想世界の座標系を幾何学的に一致させるための “幾何

学的位置合わせ”が重要な課題であり,これまでに様々な位置

合わせ手法が提案されている.

ARにおける仮想物体の位置合わせ手法では,センサを用い

る手法や,画像ベースの手法が一般的である.画像ベースの手

法は,画像中に存在する特徴を認識し,それらの見え方によっ

て現在のカメラの位置・姿勢を算出する手法であり,カメラ以

外の特別な機器を必要としないので,カメラと計算機のみから

簡単にシステムを構築できる.一般的に利用される特徴として

は,マーカや 3次元モデル,自然特徴などがある.ここで我々

は,エンタテイメントツールとしての ARアプリケーションを

開発するためには,オンラインでリアルタイムに動作可能であ

ることが非常に重要であると考え,マーカを利用した手法に注

目する.

マーカは自然特徴と異なり,画像中から容易に抽出できるた

め,高い位置合わせ精度が期待でき,オンラインで動作可能な

計算時間も実現できる.特に,正方形の平面パターンマーカを

用いる “AR-Toolkit” [6]は非常に有名であり,簡単にオンライ

ンの ARシステムを構築できるツールとして多くの研究者の間

で用いられている [7]~[9].

マーカベースの手法において,1枚のマーカのみを用いる場

合,カメラの移動可能範囲は,そのマーカをカメラの視野内に

収めることのできる範囲に制限される.また,カメラの視点や

照明条件によっては,必ずしもそのマーカが正しく認識されな

いこともある.そこで当然ながら,広い範囲で安定に位置合わ

せを行うためには,複数のマーカを組み合わせる必要がある.

複数のマーカを用いると,常にいずれかのマーカが見えてい

れば位置合わせが可能なので,カメラの移動可能範囲が広が

り,前述のような問題は解決できる.この場合,ある 1 枚の

マーカを基準とした 3 次元座標系において仮想物体の 3 次元

座標をあらかじめ記述しておき,現在のフレームにおいてカメ

ラに写っているマーカと基準マーカとの幾何学的関係から現在

のカメラの動き(回転・並進)を求め,仮想物体の重畳位置を

算出する.つまり,カメラが動くと,それに従ってフレーム内

に写るマーカも移り変わっていくため,全てのフレームを通し

て常に同一の座標系で仮想物体を表現するためには,マーカ同

士の相対的な幾何学的位置関係を事前に計測しておく必要があ

る [10]~[14].例えば,Katoらの手法では,正方形のマーカの

位置・姿勢と,点マーカの位置をあらかじめ知っておく必要が

あった [10].また Gencらの手法は,学習プロセスを用意する

ことで,マーカレスの位置合わせを実現しているが,学習プロ

セスにおいてマーカを学習するためには,各マーカの幾何学的

位置関係が必要であった [11].

このように複数のマーカを用いるためには,それらの配置を

表す位置・姿勢の情報を必要としているが,これらはあらかじ

め手動で計測しておかなければならず,手間のかかる作業であ

る.特に,広い範囲に配置したい場合や,斜めなど複雑な配置

にする場合には,それらを手動で計測することは難しい.そこ

で Kotakeらは,バンドルアジャストメント用いて複数の平面

マーカの幾何学的関係を推定する手法を提案した [15].しかし

この手法では,マーカ同士の完全な位置関係は必要ないが,“同

一平面上に存在する”などといったマーカの相対的な配置に関

する情報をあらかじめ知っておく必要があった.

そこで本論文で提案する “On-line AR Baseball Presentation

System”では,任意の位置・姿勢に複数の平面マーカを配置で

きるオンラインARシステム [16]を応用する.このシステムは,

利用する複数平面の配置に関する幾何学的情報を事前に必要

とせず,射影空間を用いてそれらの関係を自動的に推定する位

置合わせ手法 [17]を採用している.そのため,マーカを好きな

位置に適当に配置するだけで簡単に準備ができる.また,マー

カを広範囲に配置することで,ユーザが広く動き回りながら,

様々な視点から試合を鑑賞することが可能なシステムとなる.

2. 本システムの概要

図 2に本システムの流れを示す.まず,複数の平面マーカを,

現実世界のテーブルに置いた野球盤モデルの上に配置する.こ

れらのマーカは,お互いの位置関係を計測することなく,任意

の位置・姿勢に配置することが可能である.その野球盤モデル

を,LCDモニタに装着した webカメラによって撮影し,その

映像を LCDモニタに表示することで,ユーザがモニタを通し

て野球盤モデル上で行われる試合を観戦する.

本システムは,オフライン処理とオンライン処理に分けられ

る.オフライン処理では,まず野球の試合経過を 1プレイごと

に記述したスコアブックデータを用意し,あらかじめ読み込ん

でおく.次に,webカメラを動かしながら,野球盤モデルを数

十フレーム撮影する.撮影された連続画像列は,任意に配置さ

れたマーカの位置関係を自動的に推定するために用いる.これ

らの処理は,あらかじめ一度だけ行っておく.

オンライン処理では,ユーザが自由に動かすカメラからの映

像が入力となり,次の 3つの処理を入力画像列に対して繰り返

し行う:(1)選手位置の決定,(2)現在フレームにおけるカメラ

の回転・並進の推定,(3)選手を野球盤モデル上へ重畳表示.ま

ず,入力スコアブックデータから,そのフレームにおいて各選

手・ボールなどが存在するフィールド上での位置を決定する.

次に,現在のフレームで撮影されているマーカを用いて,撮影

236

Page 3: 複数平面マーカの統合による On-line AR Baseball Presentation …hvrl.ics.keio.ac.jp/paper/pdf/domestic_Conference/... · でKotake らは,バンドルアジャストメント用いて複数の平面

web camera & LCD monitor

user

tabletop

field model

Rendering

current frame

overlaid image

off-line process

Calc camera’s

position and pose

Estimate Relationship of Markers

Select

reference images

candidates of reference images

Registration

with current frame

game history data

Load history data

of 1 baseball game

Calc players’ positions at the moment

図 2 Overview of our proposed system.

しているカメラの回転・並進を求める.そして,そのカメラの

動きに合わせて,選手・ボールなどによる野球の試合の場面を

CGによって再現し,野球盤モデル上に重畳表示する.

本システムを用いると,web カメラと LCD モニタにより,

仮想的に再現された野球の試合を好きな視点から楽しむことが

できる.配置した複数マーカの位置・姿勢を計測しておく必要

がないので,広い範囲に配置することが可能であり,カメラも

同様に広い範囲を動き回ることができる.

3. 複数平面マーカを統合した位置合わせ手法

本章では,任意の位置・姿勢に配置した複数の平面を利用し

てカメラの動き(回転・並進)を推定し,仮想物体を位置合わ

せする手法 [17]について説明する.

3. 1 本手法における座標系の定義

ある視点から見た現実環境に仮想物体を重畳表示するために

は,現実世界,仮想物体,撮影された画像などを表す座標系を

それぞれ定義し,各座標系間の関係を知る必要がある.本手法

では,図 3のように各座標系を定義する.

まず,現実世界を表す world座標系として,現実世界に存在

する複数の平面に対して,それぞれ独立に 3次元の X-Y -Z 座

標系を定義する.また,撮影された画像には 2次元の x-y 座標

系を定義する.次に,2枚の静止画像を参照画像とし,それら

の射影(エピポーラ)幾何を用いて,3次元の非ユークリッド

座標系である射影空間(P -Q-R座標系)を定義する.さらに,

仮想物体を表す 3次元座標を,射影空間座標系において記述す

る.つまり,本手法において仮想物体を現実世界に重畳するた

めには,仮想物体の座標系を示す射影空間座標系から画像座標

系への関係を求めればよい.これが図 3中の PPI に当たる.

3. 2 各座標系間の関係

平面 i に定義した world 座標系から射影空間への変換行列

TWPi ,および平面 iの world 座標系から画像座標系への射影

行列 PWIi が分かると,射影空間と画像座標系の間には,

x

y

1

' PWIi

(TWPi

)−1

P

Q

R

1

' PPIi

P

Q

R

1

(1)

PPIi = PWIi

(TWPi

)−1(2)

という関係が成り立つ.ここで PPIi は,平面 i に定義された

world座標系を基準として算出された,射影空間から画像座標

系への射影行列である.これを全ての平面に対して求めると,

各平面に定義された world座標系間の関係は未知であるが,こ

こで算出された PPIi は,全て射影空間から画像座標系へとい

う共通の座標系間の変換を表している.そこで,これら PPIi

を 1つに統合し PPI とすると,射影空間から画像座標系への

変換を一意に決定することができる.つまり,この PPI を毎

フレーム求め,仮想物体の 3次元座標を画像座標へ変換するこ

とで,仮想物体を画像上へ投影し,重畳表示できる.よって,

TWPi と PWIi を平面ごとに算出し,それらから PPI 求めるこ

とが,本手法における位置合わせの最終的なゴールとなる.

3. 3 複数平面による位置合わせ処理

図 4 に,本システムで用いる位置合わせ処理の流れを示す.

まず前処理であるオフライン処理において,複数マーカを配置

した対象シーンを,カメラを動かしながら数十フレーム撮影す

る.次に,撮影した連続画像列から 2枚の画像を自動的に選択

し,それらを参照画像とする.そして,参照画像間の射影(エ

ピポーラ)幾何によって,3次元の射影空間を定義する.射影

空間が定義されたら,各マーカにそれぞれ定義した world座標

Projective Space

input image

x

y

X

Z

YX

Z

Y X

Z

YX

Z

Y X

Z

YX

Z

Y X

Z

YX

Z

Y

marker 1

P

Q

R

PIPn

WPT1

WPT2

WPT )1( −n

WPTn

marker 2 marker (n-1) marker n

PIP

PIP )-1(n

PIP2

PIP1WI

P1

WIP2

WIP 1)-(n

WIPn

図 3 Definition and relationship of coordinate systems.

237

Page 4: 複数平面マーカの統合による On-line AR Baseball Presentation …hvrl.ics.keio.ac.jp/paper/pdf/domestic_Conference/... · でKotake らは,バンドルアジャストメント用いて複数の平面

Integrate to

Output Images

Input ImagesCandidates of Reference Images

Define projective space

Select Reference Images

Compute

ReferenceImages

......

Overlay virtual objects

Transform virtual objects

...

...

...

Transformed Imagesof Virtual objects

WP

iT

ComputeWI

iP

ComputePI

iP

PI

iP PI

P

図 4 Process flow of the registration method.

系と射影空間との間で,5 点以上の対応点をそれぞれ取得し,

両者を関係付ける変換行列 TWPi を求める.ここまでがオフラ

インで行う処理である.

オンライン処理では,ユーザがカメラを好きなように動かし

ながら撮影した画像が入力となる.入力画像の各フレームに

おいて,まず各マーカに定義した world 座標系を基準とした

カメラの外部パラメータをそれぞれ求める.本システムでは,

AR-Toolkit [6]のアルゴリズムを用いている.さらに,あらか

じめ求めておいた内部パラメータと掛け合わせ,射影行列PWIi

をそれぞれ得る.そして,式 (2) によって射影行列 PPIi を算

出し,それらを最小二乗法によって 1つの射影行列 PPI へと

統合する.最後に PPI を用いて仮想物体の 3次元座標を入力

画像へ投影し,重畳表示する.

4. On-line ARBaseball Presentation System

4. 1 入力スコアブックデータ

本システムでは,テーブル上に置かれた野球盤モデル上にお

いて,仮想的に生成された野球選手たちによって野球の試合が

行われる.この試合は,入力となるスコアブックデータに沿っ

て進行する.スコアブックデータには,それぞれの選手および

ボールの状況が 1プレイごとに記述されている.

攻撃側の選手に関しては,各選手の状態を図 5のような状態

遷移図によって表し,各選手がそのプレイによって遷移する先

の状態番号を記述しておく.例えば,ある選手が現在ファース

トランナーで,次のプレイでセカンドへと進塁する場合,その

選手の次の状態は “2”と記述される.また,もしその選手がア

ウトになる場合は,“-1”と記述される.なお本システムでは,

ランナーはリードなどをせず,各ベースに到着したときから次

のプレイまで,常にベースについていることとし,ベース上に

表示している.

一方,守備側の選手に関しては,基本的に自分のポジション

(守備位置)に存在していることとする.そして,ボールが自分

表 1 Position Number of fielders.

守備位置 投手 捕手 一塁 二塁 三塁 遊撃 左翼 中堅 右翼

番号 1 2 3 4 5 6 7 8 9

4 -1

23

0 1

Home Base Bench

2nd Base3rd Base

Batter’s Box 1st Base

図 5 State transition of offensive players.

のポジションに飛んできたとき,ボールを捕球するために動く.

そこでスコアブックデータには,各プレイにおいてボールが送

球されるポジションの番号が記述される.各ポジションの番号

を表 1に示す.例えば,バッターがセンター前ヒットを打った

とすると,ボールの状況が “8”と記述される.それに従って,

センターを守る選手が動き,ボールを取りにいく.バッターが

サードゴロを打ってアウトになる場合には,ボールはサードか

らファーストへ送られる.よって,ボールの状況は “5”,“3”と

記述される.そして,このときのバッター(攻撃側の選手)の

状態は,“-1”となる.

4. 2 実 験

本システムを用いて,実際に野球盤モデル上で野球の試合を

鑑賞する実験を行った.本システムでは,ユーザが LCDモニ

タに装着された webカメラ(ELECOM UCAM-E1D30MSV)

を通して,テーブル上の野球盤モデルで行われている野球の試

合を鑑賞することになる.撮影される映像の解像度は 640×480

[pixel]である.

まず,複数の平面マーカを野球盤モデルの内部・外部に適当

に配置した.このとき,マーカと野球盤との距離を決定するた

めに,複数マーカのうちの 1枚だけ,1つのベース上に置くこ

ととする.その他のマーカは自由な位置・姿勢に配置すること

ができる.本実験では図 6 のように,4 枚のマーカを使用し,

そのうちの 1枚をサードベース上に配置した.次に,4. 1章に

従って試合の経過を記述したスコアブックデータを用意し,あ

らかじめ PCへと読み込んだ.そして,選手やボールなどの仮

想物体の 3次元モデルを,ベース上に配置したマーカを基準と

する world座標系において作成した.

位置合わせのための準備としては,まず射影空間を定義する

238

Page 5: 複数平面マーカの統合による On-line AR Baseball Presentation …hvrl.ics.keio.ac.jp/paper/pdf/domestic_Conference/... · でKotake らは,バンドルアジャストメント用いて複数の平面

参照画像の候補として,webカメラを動かしながら,対象とす

る野球盤モデルを 60フレーム撮影し,その連続画像列から最

適な 2枚の参照画像の組を選択した.この処理にかかった時間

は,30~60秒であった.次に,選択された参照画像によって射

影空間を構築し,各マーカに定義した world座標系から射影空

間への変換行列である TWPi をそれぞれ算出した.さらに,仮

想物体の 3次元座標を,ベース上に配置したマーカを基準とし

て算出された TWPi によって,射影空間座標系へと変換した.

つまり,ここからは仮想物体の座標系は射影空間内で記述され

る.ここまでの処理を,オフライン処理として一度だけ行った.

各マーカに対する TWPi ,仮想物体の 3次元座標,および試合

を記述したスコアブックデータは,オンライン処理が終了する

まで保存される.

オンライン処理のための前処理が終わり,処理がオンライン

へ切り替わったら,試合がスタートする.オンライン処理の

間,カメラを自由に動かしながら,好きな視点から試合観戦を

行った.

4. 3 実 験 結 果

図 7に,試合中のある一場面を示す.この試合はチームRED

対チームWHITEの試合である.この場面では,チームWHITE

が守備についており,チーム RED の攻撃中である.満塁で,

チーム REDの 4番がバッターボックスに入っている.そして,

バッターがレフト前にヒットを打ち,走者が一斉に進塁して,

チーム REDに 1点が入ったところまでを示している.本実験

でこれらの複合現実提示を行った際の処理時間は,デスクトッ

プ PC(OS:Windows XP, CPU:Intel Pentium IV 3.6GHz)を

用いて約 10fpsであった.よってユーザは,試合をビデオレー

トで鑑賞することが可能であった.

図 8 には,図 7 に示したのと同じ場面を,異なる視点でよ

り接近して見たときの結果を示している.これらの画像には,

利用したマーカのうちの数枚しか含まれておらず,さらにそれ

ぞれの画像で異なるマーカが撮影されている.このように,同

一のマーカが全てのフレームに渡って連続して撮影されていな

くても,仮想物体はそれぞれ正しく野球盤モデルの上に位置合

わせできている.これは,本システムを用いることで,複数の

マーカの配置が未知であっても,カメラと仮想物体との幾何学

的整合性が正しく推定され,連続画像列に対しても正しく保た

れている結果であるといえる.

図 9には,テーブルの平面に対するカメラの角度が非常に小

さい場合における,マーカの検出結果および仮想物体の重畳表

示結果を示している.図 9(a) では,上に赤い立方体が描かれ

ているマーカが,そのフレームにおいて正しく検出され,外部

パラメータを求めることができたマーカであることを示してい

る.つまりこのフレームにおいては,3枚のマーカがフレーム

内に存在しているが,テーブルと同一平面に配置された 2枚の

マーカは検出されず,斜めを向いている 1枚しか正しく検出さ

れなかったということになる.このように平面形状のマーカを

使用すると,カメラとの角度によって検出されにくい場合が存

在する.もし全てのマーカが同一平面上に配置されていると,

図 9のような視点から撮影した場合に,全てのマーカが検出さ

図 6 Tabletop baseball field model.

れずに位置合わせが破綻してしまうことが考えられる.しかし

1枚でもマーカが見つかれば,図 9(b)のように,仮想物体を引

き続き位置合わせすることが可能である.つまり,本手法のよ

うに,様々な角度にマーカを配置することができれば,様々な

カメラの視点に対しても最低 1枚のマーカを正しく検出できる

可能性が高く,位置合わせを継続することができるのである.

これは,安定した ARアプリケーションを開発する上で,非常

に有効であると考えられる.

5. ま と め

現実世界に存在するテーブルに置いた野球盤モデル上に複数

の平面マーカを配置し,モデル上で実際に野球の試合観戦をで

きる On-line AR Baseball Systemを提案した.本システムは,

試合の経過を記述したスコアブックデータを入力として,その

データに従って再現された試合を,webカメラを装着した LCD

モニタを通して鑑賞する ARアプリケーションである.複数の

平面マーカの位置関係を計測することなく,任意の位置・姿勢

に配置できるため,ユーザが好きなように広い範囲を動き回っ

たり,様々な視点から鑑賞したりすることも可能である.また,

マーカを様々な方向へ向けることで,仮想物体の正しい位置合

わせを継続的に実現できている.さらに,オンラインかつビデ

オレートで動作可能であり,安定した ARアプリケーションと

して本システムを楽しむことができる.

最近のプロ野球のウェブサイトでは,その日の試合の詳細な

結果が公開されている.そこで将来的には,このようなウェブ

サイトからの情報を利用して,その日に行われた試合を 3次元

的に再現することを考えている.ウェブサイト上の情報では,

どのプレイでどの選手がアウトになったか,という選手の動き

を直感的に理解するのが難しい.そこで,本システムによって

仮想的に試合を見ることができれば,各選手の動きを簡単に理

解することが可能になり,野球をさらに楽しめるシステムにな

ると考えている.文 献

[1] R. T. Azuma, “A Survey of Augmented Reality,” Presence,

pp. 355–385, 1997.

[2] A. D. Cheok, et al., “Human Pacman:A Mobile Entertain-

ment System with Ubiquitous Computingand Tangible In-

teraction over a Wide Outdoor Area,” Personal and Ubiq-

uitous Computing, vol. 8, no. 2, pp. 71–81, 2004.

[3] K. Klein, et al., “Sensor Fusion and Occlusion Refinement

for Tablet-based AR,” Proc. of the ISMAR, pp. 38–47, 2004.

[4] A. Henrysson, M. Billinghurst, and M. Ollila, “VirtualOb-

ject Manipulation using a Mobile Phone,” Proc. of the

ICAT, pp. 164–171, 2005.

[5] M. Haller, et al., “Coeno-Enhancing face-to-face collabora-

tion,” Proc. of the ICAT, pp. 40–47, 2005.

239

Page 6: 複数平面マーカの統合による On-line AR Baseball Presentation …hvrl.ics.keio.ac.jp/paper/pdf/domestic_Conference/... · でKotake らは,バンドルアジャストメント用いて複数の平面

frame 0 frame 15 frame 20 frame 29

frame 35 frame 50 frame 65 frame 89

図 7 Example of play: 4th batter of team RED sends a hit to left with the bases loaded

and scores a goal.

frame 0 frame 29 frame 35 frame 89

図 8 Closeup views of the same scenes as fig. 7 from different view points.

(a) Marker detection. (b) Augmented view.

図 9 Most of the markers which face to the same directions as the tabletop cannot be

detected; The marker which faces to different direction is detected successfully.

[6] M. Billinghurst, and H. Kato, “Collaborative Mixed Real-

ity,” Proc. of ISMR, pp. 261–284, 1999.

[7] S. Prince, et al., “3D Live: Real Time Captured Content

for Mixed Reality,” Proc. of the ISMAR, pp. 7–13, 2002.

[8] E.J.Umlauf, H. Piringer, G. Reitmayr, and D. Schmalstieg,

“ARLib: The Augmented Library,” Proc. of the ART02,

pp. TR–188–2–2002–10, 2002.

[9] D. Claus, and A. W. Fizgibbon, “Reliable Automatic Cali-

bration of a Marker-based Position Tracking System,” Proc.

of the WACV, pp. 300–305, 2005.

[10] H. Kato, M. Billinghurst, I. Poupyrev, K. Imamoto, and

K. Tachibana, “Virtual object manipulation on a table-top

AR environment,” Proc. of the ISAR, pp. 111–119, 2000.

[11] Y. Genc, S. Riedel, F. Souvannavong, C. Akinlar, and

N. navab, “Marker-less Tracking for AR: A Learning-Based

Approach,” Proc. of the ISMAR, pp. 295–304, 2002.

[12] E. Foxlin, and L. Naimark, “Miniaturization, Calibration &

Accuracy Evaluation of a Hybrid Self-Tracker,” Proc. of the

ISMAR, pp. 151–160, 2003.

[13] E. Foxlin, and L. Naimark, “VIS-Traker: A Wearable

Vision-Inertial Self-Tracker,” Proc. of Virtual Reality, pp.

199–206, 2003.

[14] E. Foxlin, et al., “FlightTracker: A Novel Optical/Inertial

Tracker for Cockpit Enhanced Vision,” Proc. of the ISMAR,

pp. 212–221, 2004.

[15] D. Kotake, et al., “A Marker Calibration Method Utilizing

A Priori Knowledge on Marker Arrangement,” Proc. of the

ISMAR, pp. 89–98, 2004.

[16] Y. Uematsu, and H. Saito, “AR Registration by Merging

Multiple Planar Markers at Arbitrary Positions and Poses

via Projective Space,” Proc. of ICAT2005, pp. 48–55, 2005.

[17] Y. Uematsu, and H. Saito, “Vision-based Registration for

Augmented Reality with Integration of Arbitrary Multiple

Planes,” Proc. of ICIAP, LNCS 3617, pp. 155–162, 2005.

240