Procedure d’orientamento d’immagini: Test e Valutazioni ...3dom.fbk.eu/repository/files/lc3d/DelPizzo_etal_lowcost3d-2012... · In Photomodeler Scaling del progetto INSPECTION

Procedure d’orientamento d’immagini: Test e Valutazioni Metriche

Silvio Del Pizzo, Fabio Remondino, Salvatore Troisi

Low Cost 3D – WORKSHOP – Trento 8-9 Marzo 2012

Introduzione alla problematica

Software open source e free per la modellazione image based: Image triangulation (bundle): Bundler, Photosynth, Apero, etc. Dense image matching: PMVS, MicMac, etc. Structure from motion & 3D reconstruction: Photofly, Insight3D, Arc3D, etc. Interactive 3D reconstruction: Sketchup, VideoTrace, etc.

La loro diffusione ha fatto nascere un’esigenza di inspection: o L’affidabilità o L’accuratezza e le precisioni in gioco

Sviluppo continuo Alcune soluzioni sono/vengono utilizzate come black-boxes Gratis

Software Low-cost Interactive 3D reconstruction: PhotoModeler, iWitness, 3D-PCCI, etc. Dense image matching: Photomodeler Scanner Structure from motion & 3D reconstruction: Photomodeler Smart, Photosculpt,

Photoscan, etc.

I software utilizzati

• Photoscan (Agisoft)

• Photosynth (Microsoft)

• Bundler (University of Washingthon, USA)

• Apero (MicMac IGN, FR)

Commerciale - Lowcost

Free – su Webserver

Open Source

How do they work …

o Tipico approccio e/o soluzioni utilizzate : Features extraction

SIFT / SURF algoritmi di blob detection Ricerca dei punti omologhi condotta per coppie d’immagini

mediante le librerie FLANN/ANN Outlier rejection

RANSAC e “figli” Costruzione del grafo delle immagini Least squares bundle adjustment per determinare i parametri delle

camere (esterni / interni) Tali algoritmi sono provvisti di metodi robusti di Outlier-rejection/Data Snooping

Bundle adjustment → per risolvere ai minimi quadrati un sistema di equazioni non lineari con metodi iterativi

Gauss-Markov / Gauss-Newton / Levenberg-Marquardt

Orientamento di dataset complessi: CERERE

Photosynth

Agisoft

Apero

Orientamento di dataset complessi: NAVONA

Bundler Photosynth

Agisoft-Photoscan Apero

Metodologia adottata per l’inspection

Orientamento automatico delle

immagini

Modellazione della forma

geometrica nota

Individuazione di punti caratteristici

Orientamento delle immagini

Con target circolari

Modellazione della forma

geometrica nota

Scaling Accurato

Individuazione di punti caratteristici

Scaling del progetto orientato

automaticamente

CONFRONTO RISULTATI STATISTICI

Metodologia adottata per l’inspection 2

Orientamento automatico delle

immagini

Importazione In Photomodeler

Scaling del progetto

INSPECTION sui target circolari

Esportazione degli orientamenti

(sia interni che esterni)

Problemi di sistema di riferimento…

o Per confrontare due modelli: Devono essere nello stesso sistema di riferimento Devono avere la stessa scala

o Soluzione adottata: Attraverso l’individuazione delle caratteristiche geometriche dell’oggetto

del rilievo Per il cubo gli 8 vertici

effettuando una rototraslazione con fattore di scala

Per la sfera il raggio e il centro effettuando una traslazione con fattore di scala

Sperimentazione Cubo Trentino

Camera: Nikon D3X (24 Mpixels) obiettivo da 50 mm (GDS = 0.07 mm)

Reference: photogrammetric bundle scaled on calibrated (reference) bar.

Parametri statistici del progetto Numero di immagini 27

Raggi per punti 3D (media) 12

Angolo d’intersezione (media) [deg] 82

Punti per foto (media) 32

RMSE sui punti [mm] 0.0213

GSD medio 0.0639

Sperimentazione Cubo Trentino: confronti

Software Obj. 3D points Agisoft 83 273 Apero 802 100

Photosynth 35 370 Bundler 19402

Sperimentazione Cubo Trentino: confronti

Software Differenza su barra calibrata

RMS (pixel)

Largest residual (pixel)

Tightness [max-min] (mm)

RMSE (mm)

Photomodeler 0 0,325 1,11 0,093-0,017 0,0575 Photosynth -0,547 7,149 25,03 2,40-0,24 0,611 Apero -0,379 3,440 9,78 0,78-0,23 0,141 Bundler 0,220 3,961 16,60 0,89-0,14 0,365

In Photomodeler bloccando gli orientamenti…

Sperimentazione Sfera

Parametri statistici del progetto Numero di immagini 67

Raggi per punti 3D (media) 17

Angoli d’intersezione (media) [deg] 88

Punti per foto (media) 30

RMSE sui punti [mm] 0,0185

GSD medio 0,179

Camera: Nikon D100 (6 Mpixels) obiettivo da 35 mm (GDS = 0.17 mm)

Reference: photogrammetric bundle scaled on calibrated (reference) bar.

Sperimentazione Sfera: confronti

Software Obj. 3D points Agisoft 38 551 Apero 134 089

Photosynth 21 042 Bundler 34 865

Sperimentazione Sfera: confronti

Software Differenza su barra calibrata

RMS (pixel)

Largest residual (pixel)

Tightness [max-min] (mm)

RMSE (mm)

Photomodeler 0 0,198 0,89 0,26 - 0,048 0,0185 Photosynth -0,967 7,235 28,93 8,3-1,23 0,6527 Apero -0,127 0,714 3,47 0,64-0,19 0,0695 Bundler -0,501 2,088 29,35 7,9 - 0,28 0,1723

In Photomodeler bloccando gli orientamenti…

Ci sono modelli e modelli

Software Modello

Photosynth Focale, K1,K2

Bundler Focale, K1,K2

Agisoft Brown Model

Apero Brown Model et al.

L’orientamento interno è fondamentale in un rilievo fotogrammetrico

Uno degli sviluppi futuri è fornire ai software immagini idealizzate (ricampionate in modo da essere fedele al classico modello della camera pinhole)

Awards

Il più veloce PHOTOSYNTH

Il più user-friendly

AGISOFT

Il più personalizzabile

APERO

??????? Il più preciso

BUNDLER

APERO

PHOTOSYNTH

PHOTOSYNTH Candidato: Apero

Considerazioni

I software di orientamento automatico hanno grande utilità nel processare enormi dataset di immagini, risparmiando all’utente il noiso compito dell’individuazione di tie-points. Ma… cautela sui risultati:

• Precisioni si avvicinano ai metodi classici

• La personalizzazione consente, a scapito dell’automatismo, di

ottenere risultati migliori

Sviluppi futuri • Testing con orientamento interno «controllato» • Testing con nuovi dataset • Testing su dataset reali

CP chi sono costoro?

Open strip (NO GCP) Open strip (with GCP)

RINGRAZIAMENTI