Moving object detection independent to lighting …...2007/07/30  · Moving object detection independent to lighting condition and system construction with network cameras Masafumi

「画像の認識・理解シンポジウム (MIRU2007)」 2007 年 7 月

照明条件に依存しない侵入物検出手法とネットワークカメラによるシステム構築の検討

奥田　正史† 安仲　啓輔† 篠村　祐司† 玉木　徹† 金田　和文†

† 広島大学工学研究科 〒 739-8527 広島県東広島市鏡山 1-4-1E-mail: †{okd,yasu,shino,tamaki,kin}@eml.hiroshima-u.ac.jp

あらまし 本研究は，照明条件に依存しない侵入物検出システムの開発を目的としている．本稿では，本システムで

採用したイメージベースドレンダリングを応用した侵入検出手法と現在までに構築したシステムの概要を示し，誤検

出を低減するためにキャリブレーションを応用したカメラ位置，方向の算出手法の説明とその検討，システムが実用

的であるか検討するために行ったカメラ間の撮影時刻差の測定，侵入物検出処理にかかる時間の測定について述べる．

キーワード 侵入物検出，ネットワークカメラ，イメージベースドレンダリング

Moving object detection independent to lighting condition

and system construction with network cameras

Masafumi OKUDA†, Keisuke YASUNAKA†, Yuji SHINOMURA†, Toru TAMAKI†, and

Kazufumi KANEDA†

† Graduate School of Engineering, Hiroshima UniversityKagamiyama 1-4-1, Higashihiroshima-shi, Hiroshima, 739-8527, Japan

E-mail: †{okd,yasu,shino,tamaki,kin}@eml.hiroshima-u.ac.jp

Abstract This research has aimed at the development of the background subtraction system that doesn’t depend

on the lighting condition. In this paper, the outline of the system that will construct it by the invasion detection

technique and present when Imagebasdorendaring adopted with this system was applied is shown.

Key words Background Subtraction, network camera, and Image Based Rendering

1. は じ め に

1. 1 研究の背景

危険区域や重要施設への侵入監視や，不審物検出を行う侵入

物検出システムは，犯罪や事故を未然に防止することに役立っ

ている．しかしほとんどの場合，監視カメラの映像をテレビモ

ニタに表示し，人の目視に頼っているため膨大な人的労力を要

している．大規模な監視システムでは，監視カメラとテレビモ

ニタの台数が増加するため，複数の映像を長時間にわたって目

視し続けることは困難であり，侵入の見落としが避けられない

問題となっている．一方，近年では，コンピュータの演算速度

の向上や記憶媒体の大容量化が急速に進み，これまで困難で

あった動画像処理も容易に行えるようになってきている．

1. 2 従来の侵入物検出手法の概要・問題点

目視による遠隔監視作業を画像処理技術を用いて自動化する

ことにより，侵入監視を自動的に行う手法のうち，1台のカメ

ラ画像を用いるものとして背景差分法 [1]とフレーム間差分法

[2] がある．背景差分法は，検出すべき物体が存在しない画像

(背景画像)を保持しておき，入力画像と背景画像との輝度差分

を算出し，輝度差分が大きい領域を侵入物として検出する手法

である (図 1).この手法は，理想的な背景画像が得られれば，単

純な処理で良い結果を得ることができる．しかし，実際には時

間の経過とともに環境の照明条件が変化し，背景も変化するた

め，理想的な背景画像を長時間にわたって保持しておくことが

困難であり，背景画像と入力画像間に差が生じてしまう．この

ため，監視空間の照明条件の変化には対応できないといった問

題がある．

　一方フレーム間差分法は，時間的に連続した 2枚の画像間の

輝度差分を算出することにより，移動物体を検出する手法であ

る (図 2)．しかし，基本的には移動物体の検出を行う手法であ

るため，放置された不審物の検出ができないといった問題があ

IS-1-22 MIRU2007 / Proceedings 598

る.

　そこで最近では，2台以上のカメラ画像を用いた手法が提案

されている．Ivanovら [3]は，複数のカメラの視差情報を用い

た手法を提案している．この手法は，あらかじめ１台の主カメ

ラ画像の１ピクセルに対応する補助カメラ画像の１ピクセルの

対応関係を記録した視差マップを作成し，主カメラ画像と補助

カメラ画像のピクセル同士を比較する事により侵入物検出を行

う．この手法は，照明条件の変化や移動物体の検出が可能であ

る．このとき，補助カメラが１台のみ場合，検出対象によりオ

クルージョンが発生し，誤検出が発生する場合があるが，2台

以上の複数の補助カメラを用いることにより，検出結果からオ

クルージョンを除去することができる．さらに Lim ら [4] は，

Ivanovら [3]の侵入物検出手法における誤検出の原因を考察し，

カメラを同一垂線上に配置することにより検出精度を向上させ

ている．

図 1 背景差分法　 (a) 背景画像，(b) 入力画像，(c) 検出結果

図 2 フレーム間差分法　 (a) 時刻 t− 1 フレーム，(b) 時刻 t フレー

ム，(c) 検出結果

1. 3 照明条件に依存しない侵入物検出手法とネットワーク

カメラによるシステムの構築

複数枚のカメラ画像を利用した侵入物検出手法として，我々

はイメージベースドレンダリングを応用した侵入物検出手法を

提案している [5, 6, 10, 11]．この手法は，あらかじめモデリン

グした監視空間の 3次元形状モデルに実空間におけるカメラ位

置・方向を入力し，複数のカメラ画像に共通して写りこんでい

る壁や床の面を抽出し，それぞれの面に対して正面から見た画

像に幾何学的変換を行い，変換した画像を比較することにより

侵入物検出を行うものである．処理の概要を図 3に示す．この

手法は，前述した視差情報を利用した手法と比較して，画像の

ピクセル 1つ 1つに対して対応付けを行う必要がないといった

特徴がある．この手法は，同時刻に撮影された複数のカメラ画

像を比較するため，通常の背景差分やフレーム間差分とは異な

り照明の変化に対しても頑健である．また，監視空間の 3次元

形状モデルを用いているため，外部から持ち込まれて放置され

た物体も検出できる．

　我々は，従来の侵入物検出システムよりも安価に構築・運用

が可能なシステムの実現を目的として，この侵入物検出手法に

基づいた侵入物検出システムを無線接続に対応したネットワー

クカメラを用いて構築する．本システムの構成図を図 4 に示

す．本システムは画像を入力画像を撮影する無線接続に対応し

たネットワークカメラ，ルータ，処理用の PCから構成される．

本システムの前提条件として，カメラは固定設置してあり，監

視領域の 3次元モデルの形状は不変である．

図 3 イメージベースドレンダリングを応用した侵入物検出手法

IS-1-22 MIRU2007 / Proceedings 599

図 4 システム構成図

1. 4 システム構築における問題点

本システムで用いている侵入物検出手法では，正確なカメラ

位置・方向を 3次元モデルに入力する必要がある．カメラ位置・

方向が不正確である場合，カメラ画像から壁や床の面の抽出を

正確に行うことができず，各カメラ画像から抽出した面の領域

が異なってしまうため，検出結果において誤検出が発生する．

　また，本システムで採用している侵入物検出手法の前提条件

より，カメラ間の撮影時刻差は前提条件では撮影時刻は同時で

ある必要があるが，実際は時刻差が生じる．時刻差が大きいと，

各カメラ画像に写る侵入物の位置がそれぞれのカメラ画像にお

いて異なってしまうため，比較を行う際に侵入物の形状を正し

く検出できない可能性がある．

　さらに，侵入物検出システムに必要とされる処理速度は監視

対象とする空間の大きさによって変化する．侵入物を検出する

ためには検出対象が監視空間を通り抜けるまでに最低限 1枚撮

影されなければならない．

　そこで，本稿では正確なカメラ位置・方向を算出するために

カメラキャリブレーションを用い，誤検出を低減することを試

みる．また，カメラ間の撮影時刻差の検討，侵入物を検出する

ために最低限必要な処理速度の検討を行う．

2. 侵入物検出処理 [5]

2. 1 歪曲収差補正

レンズを用いて撮影された画像には，歪曲収差が含まれるた

め歪曲収差補正 [7]を行う．歪曲収差を補正するために，同じ

設置位置でカメラの向きを変えた画像を 2枚撮影し，画像間の

同一の特徴点の座標から歪係数を算出する．

2. 2 平均面積の算出

3次元空間内の物体面ごとに，カメラ画像 1ピクセルあたり

に写っている物体面の平均面積 aを算出する．　

2. 3 テクスチャの画像解像度の算出

物体面の平均面積 aと 3次元空間での各物体面の横幅Ww お

よび高さHw を用いて，カメラ画像から切り出す各物体面のテ

クスチャの横幅Wt および，高さ Ht を算出する．

2. 4 テクスチャの切り出し

カメラ設置位置を視点として，監視領域の 3次元モデルを透

視投影し，投影された物体面ごとにカメラ画像からその領域を

抽出する．そして，その抽出された画像を各物体面の正面から

見たときのテクスチャに変換する．

　このとき，カメラ設置位置とカメラの画角を用いて，あらか

じめ 3次元クリッピング [8]を行う．これは実際のカメラの視

野内に写っている 3 次元物体面の領域を事前にそれぞれ求め，

求めた領域に対してのみカメラ画像から各物体面のテクスチャ

への変換を行う処理である．これにより，処理の効率化を図る．

以上の処理により，同一物体面に対して複数のテクスチャの組

を得る．

2. 5 縮 小 処 理

複数台のカメラ画像から切り出したテクスチャの比較を行う

とき，同一物体面であっても，テクスチャの画像解像度は異な

る．そのため，バイリニア法を用いて解像度の高いテクスチャ

を小さい方のテクスチャの画像解像度に縮小し，解像度を一致

させ，比較を行う．

2. 6 比 較 処 理

縮小処理により画像解像度が一致した同一物体面のテクス

チャ同士の対応する全てのピクセルについて RGB各成分の差

の絶対値を算出し，1成分でもしきい値以上の差のあるピクセ

ルを侵入物として検出する．ここで，比較するテクスチャの階

層のレベル差に応じてしきい値を変更することにより，誤検出

を低減する．

3. カメラ設置位置，方向の算出

本研究で構築しているシステムは, 監視領域の 3次元形状や

固定設置されたカメラのそれぞれの位置・方向をあらかじめ与

える必要があるが，現在はユーザが簡易的に計測した結果を用

いて行われており, 実空間とのカメラ位置・方向のずれによる

誤検出を発生させる原因となっている．誤検出を低減するため，

カメラキャリブレーション [9]を行い，測定したカメラの内部・

外部パラメータからカメラ位置・方向を算出し，実空間のカメ

ラ位置・方向と一致させる．

3. 1 カメラキャリブレーション

カメラキャリブレーションは 3次元空間上の点が，カメラで

撮影した画像にどのように射影されるか調べるものである．こ

のとき，3次元座標と画像座標間の回転行列 R と並進ベクトル

t を取り出すことができる．この取り出した R , t を利用する

ことによって，カメラ位置と方向を算出する．3次元空間上の

点の座標と画像に射影した点の座標の対応を多数与えることに

よって，それぞれ A,R,t を算出する．

これらを元に本システムに入力するカメラのパラメータを求

める (図 6参照). まず，カメラ位置は回転行列 R，並進ベクト

ルを用いて，次式で表せる．

c = −R−1t (1)

ここで，cはカメラ位置ベクトルを表す．

次に注視点位置はカメラ座標系で Z 軸上の点 vc =[0 0 1

]T

を回転行列 R，並進ベクトルを用いて，ワール

IS-1-22 MIRU2007 / Proceedings 600

ド座標系上に変換することにより，次式で表せる．

vw = R−1(vc − t) (2)

ここで，vc は注視点位置ベクトルを表す．

画像平面の縦横の長さ，カメラ位置から画像平面までの長さ

の比率は，αu, αv を軸の単位長，u0, v0 を画像中心の座標を用

いて次式で表せる．

D : Right : Up = 1 :2u0

αu:

2v0

αv(3)

ここで，D はカメラ位置から画像平面までの距離，Rightと

Upはそれぞれ画像平面の縦横の比率を示す．

最後に，水平方向の視野角は,Rightの値から次式で表せる．

θ = 2Tan−1(Right

2) (4)

ここで，θ は，水平方向の視野角を示す．　

3. 2 適 用 結 果

歪曲収差補正を行った画像に対してカメラキャリブレーショ

ンを行い，カメラ位置・方向を算出した画像を図 7に示す．カ

メラキャリブレーションで用いた特徴点の数は 52点である (図

6参照)．図 7(a)において，面 Aとと面 Dとの境界部分で画像

と 3次元モデルの境界がずれたため，図 8に誤検出としてずれ

の影響が現れている．これはカメラキャリブレーションで算出

した回転行列 R と並進ベクトル tの精度が低かったことが原

因であり．カメラキャリブレーションの精度を向上させること

が必要である．一方，現在は侵入物を完全に検出することがで

きておらず，腕など全く検出ができていない部分が存在するた

め，侵入物検出の精度を高めることも今後の課題である．

図 5 カメラキャリブレーションを用いて算出するカメラパラメータ

4. システムの検討

4. 1 システムのカメラ間の時刻差

　カメラ間の撮影時刻差が大きい場合，移動する侵入物を撮

影した際に侵入物の位置がそれぞれ異なるため，侵入物検出結

果において侵入物の形状を正しく検出できなくなる可能性があ

る．また，許容できる時刻差は物体の大きさ，移動速度によっ

て異なる．そこで今回は撮影時刻差が物体の大きさ分以上の距

離を移動する時間が短い場合，時刻差がないと仮定した．例と

して半径 10cm の物体が時速 4km で移動している場合，許容

できる時刻差の上限は 0.2秒となる．

図 6 特徴点の配置例（展開図）

図 7 キャリブレーション結果　 (a) カメラ 1，(b) カメラ 2

図 8 侵入物検出結果

　現在の侵入物検出システムのカメラ間の撮影時刻差を測定す

るために，2台のカメラの前にストップウォッチを置き，ストッ

プウォッチに表示される時刻を同時に撮影し，2枚の画像間の時

刻の差を測定した (図 9参照)．今回時刻差を測定するにあたっ

て，ストップウォッチを用いたのは，仮定条件の 0.2秒よりも

小さい単位 (1/100 秒) で測定することが可能であるからであ

る．もし同時刻に撮影できている場合，ストップウォッチに表

示されている時刻は同じはずである．

　実験結果として試行回数 100 回のカメラ間の撮影時刻差を

とった頻度分布を図 10に示す．頻度分布より，0.2秒未満の場

合が全体の 91パーセントであったが，0.2秒を超えた場合が 9

パーセントあった．侵入物検出システムの運用において，その

IS-1-22 MIRU2007 / Proceedings 601

図 9 撮影時刻差の測定

図 10 カメラ 1，2 間の撮影時刻差

利用目的から常に仮定条件を守ることが求められるため，カメ

ラ時刻差の短縮が必要であるという結果になった．

4. 2 一回の侵入物検出処理にかかる時間

　侵入物検出システムに必要とされる処理速度は，監視対象

とする空間の大きさによって変化する．侵入物を検出するため

には検出対象が監視空間を通り抜けるまでに最低 1枚の画像が

撮影されなければならない．たとえば，歩行している人間の侵

入物検出を想定し，右の図のような監視空間を考える．このと

き Y 軸方向に時速 4km で物体が移動していると仮定すると，

必要とされる 1回あたりの処理速度は 9秒程度になる（図 11）．

　今回，プログラム中にタイマーを組み込んで侵入物検出処理

1周の合計時間を測定した．実験結果としてこちらに試行回数

を 100回とした処理時間の頻度分布を図 12に示す．この結果

より 3秒以下の試行が 84パーセント，一番遅い場合でも 7秒

という結果となり，最低 1回は侵入物検出を行うことが可能と

いう結果となった．

5. お わ り に

　本稿では，照明条件に依存しない侵入物検出手法に基づい

たシステムをネットワークカメラを用いて構築し，その検討課

題として，カメラキャリブレーションを利用したカメラ位置・

方向の算出，カメラの撮影時刻差，一回の侵入物検出処理にか

かる時間の検討を行った．

　今後は侵入物検出結果の表示手法の改良，侵入物検出処理の

高速化に重点をおいて研究を進めていく予定である．

文 献[1] 南敏, 増田功, ”セキュリティ技術における画像処理”, 画像電子

学会誌第 22 巻 3 号, pp.268-278, 1993.

図 11 1 回の侵入物検出処理に必要な処理速度の例

図 12 1 回の侵入物検出処理にかかる時間

[2] 佐久間善郎, 伊藤潔, 増田功, ”フレーム間差分を用いた侵入物体検出法”, テレビジョン学会技術報告, IPCV ’90-27, AIPS

’90-50, pp.1-6, 1990.

[3] Yuri A. Ivanov, Aaron F. Robick, and John Liu, ”Fast

lighting independent backgrond subtraction,” International

Journal of Computer Vision, vol.37, no.2, pp.199-207,2000.

[4] Ser-Nam Lim, Anurag Mittal, Larry S. Davis, Nikos Para-

gios, ”Fast Illumination-invariant Background Subtraction

using Two Views: Error Analysis, Sensor Placement and

Applications”, Proceedings of the 2005 IEEE Computer So-

ciety on Computer Vison and Pattern Recognition, pp.1071-

1078, 2005.

[5] 河本裕史, 金田和文, 山下英生: ”Image based Rendering 手法を用いた監視システム”, 平成 14年度電気・情報関連学会中国支部第 53 回連合大会, p.437, 2002.

[6] 稲田勝, 金田和文,“複数台のカメラを用いた映像監視システムにおける検出物体の 3 次元情報復元とその表示法,”平成 16 年度電気・情報関連学会中国支部第 55 回連合大会, p. 326, 2004.

[7] 関海克, 青木伸, 江尻公一, ”画像処理による歪曲収差補正とパノラマ画像”, Ricoh Technical Report, No.23, pp.45-52, 1997.

[8] 中前栄八郎, 西田友是, 3 次元コンピュータグラフィックス,

pp.108-112, 昭晃堂, 1986.

[9] 徐剛, 写真から作る 3 次元 CG, 近代科学社, 2001.

[10] 奥田正史, 玉木徹, 金田和文 : ”ネットワークカメラを用いた侵入物検出システムの開発”, 平成 18年度電気・情報関連学会中国支部第 57 回連合大会講演論文集, p.145, 2006.

[11] 奥田正史, 玉木徹, 金田和文 : ”照明条件に依存しない手法に基づいた侵入物検出システムのネットワークカメラによる構築”,

2007 年電子情報通信学会総合大会情報・システムソサイエティ特別号特別企画 学生ポスターセッション, p.81, 2007.

IS-1-22 MIRU2007 / Proceedings 602