LiDAR点群とSfM点群との位置合わせ

LiDAR点群とSfM点群との位置合わせ

2017年6月26日 皆川卓也(@takmin)

自己紹介

2

テクニカル・ソリューション・アーキテクト

皆川 卓也（みながわ たくや）フリーエンジニア（ビジョン＆ITラボ）「コンピュータビジョン勉強会＠関東」主催博士（工学）

略歴：1999-2003年日本HP（後にアジレント・テクノロジーへ分社）にて、ITエンジニアとしてシステム構築、プリセールス、プロジェクトマネジメント、サポート等の業務に従事

2004-2009年コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事

2007-2010年慶應義塾大学大学院後期博士課程にて、コンピュータビジョンを専攻単位取得退学後、博士号取得（2014年）

2009年-現在フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事

http://visitlab.jp

調査の背景

本資料は単眼カメラからStructure-from-Motion (SfM)で取得した点群とLiDARで取得した点群間の位置合わせについて調査した結果をまとめたものです。

本資料の作成にあたり名古屋大学の櫻田健先生にご助言いただきました。

SfMの点群とLiDAR点群の位置合わせ

LiDARであらかじめ取得した三次元点群地図とStructure-

from-Motionで取得した点群をマッチングすることで車両の自己位置推定などに利用する

[Peng2014]より

SfMの点群とLiDAR点群の位置合わせ

課題

点群のスケールが異なる

SfMはスケールがわからない

点群の密度が異なる

LiDARの方が高密度

ノイズレベルが異なる

[Peng2014]より

紹介する論文 [Peng2014]Peng, F., Wu, Q., Fan, L., Zhang, J., You, Y., Lu, J., & Yang,

J.-Y. (2014). STREET VIEW CROSS-SOURCED POINT CLOUD MATCHING AND REGISTRATION. International Conference on Image Processing (ICIP).

[Huang2016]Huang, X., Zhang, J., Wu, Q., Fan, L., & Yuan, C. (2016). A coarse-to-fine algorithm for registration in 3D street-view cross-source point clouds. Digital Image Computing: Techniques and Applications (DICTA).

[Avidar2016]Avidar, D., Malah, D., & Barzohar, M. (2016). Point Cloud Registration Using A Viewpoint Dictionary. International Conference on the Science of Electrical Engineering.

[Caselitz2016] Caselitz, T., Steder, B., Ruhnke, M., & Burgard, W. (2016). Monocular Camera Localization in 3D LiDAR Maps. International Conference on Intelligent Robots and Systems (IROS).

[Peng2014] LiDARで取得した点群からStructure from Motionで取得した点群を最初はCoarseに候補を絞り込み、次にFineに位置合わせ

CoarseなマッチングではESFというグローバルな形状を表す特徴量を用いて、グリッド上/マルチスケールに探索

FineなマッチングはK個の候補に対し、ICPで行い、最もマッチしたものを選択

[Huang2016] [Peng2014]のFineのマッチングをICPからGaussian Mixture Modelベースの確率的手法に変更レジストレーション後の点群全体の分布をGMMでモデル化し、尤度が最大となるようにGMMのパラメータを調整しつつ位置合わせ

Evangelidis, G. D., Kounades-bastian, D., Horaud, R., & Psarakis, E. Z. (2014). A Generative Model for the Joint Registration of Multiple Point Sets. European Conference on Computer Vision.

[Avidar2016] あらかじめ生成したDenseでGlobalな点群とリアルタイムで取得するSparseでLocalな点群との位置合わせ

事前にGlobalな点群を分割して、似たようなViewをDictionaryとしてまとめておく。

Local Cloudから候補となるDictionaryを選択し、それぞれのViewに対してICPで位置合わせを行い、最も二乗誤差が低いものを選択

[Caselits2016] ORB-SLAMによって局所的な点群生成および自己位置推定を行い、LiDARで作成したグローバルな点群とのマッチングを行うことで、グローバルな自己位置を推定

Coarseなマッチングは最初のフレームのみ。以後はローカルな自己位置と点群を元にアップデート

点群同士のマッチングはICPベースの手法

まとめ

SfM点群とLiDAR点群間の位置合わせ

あらかじめ取得した点群地図に対しカメラを用いて自己位置推定を行う。

Coarse-to-Fineに位置合わせを行うのが一般的