Modello della Telecamera, Calibrazione e Rettificazione - Camera_Model... · Rettificazione Samuele Salti, Luigi Di Stefano. Elaborazione dell'immagine M Samuele Salti, Luigi Di Stefano

A.A. 2010/2011Elaborazione dell'immagine M

Modello della Telecamera, Calibrazione e Rettificazione

Samuele Salti, Luigi Di Stefano

Samuele Salti, Luigi Di StefanoElaborazione dell'immagine M

Proiezione prospettica

• Consideriamo – un punto dello spazio 3D, M=[x,y,z]T, le

cui coordinate sono espresse nel sistema di riferimento (sdr) solidale con la telecamera (sdr “standard”).

– La sua proiezione sul piano immagine I, indicata con m=[u,v]T

• Le equazioni, non lineari, che esprimono le coordinate immagine in funzione delle coordinate 3D sono date da:

fu xzfv yz

⎧ =⎪⎪⎨⎪ =⎪⎩

C c

x

z

u

v

M=[x,y,z]T

m=[u,v]T

f

yI


Spazio Proiettivo

• Lo spazio fisico è uno spazio euclideo 3D (R3) in cui i punti, una volta fissato un sistema di riferimento, si possono rappresentare con vettori tridimensionali.

– In questo spazio si dice che le rette parallele non si intersecano, o si intersecano “all’infinito”– La rappresentazione di questi punti all’infinito non è possibile in questo spazio vettoriale.

• Immaginiamo di aggiungere una coordinata alle nostre terne, per es.diventa

e consideriamo entrambe le ennuple rappresentazioni valide dello stesso punto.• In aggiunta, non vincoliamo la quarta coordinata ad essere 1, ma definiamo

• In questa rappresentazione, un punto dello spazio è quindi identificato da una classe di equivalenza di quadruple, dove quadruple equivalenti differiscono solo per un fattore moltiplicativo.

• Questa è la cosiddetta rappresentazione in coordinate omogenee del punto (x, y, z). Lo spazio ottenuto rappresentando i punti in coordinate omogenee è detto spazio proiettivo, P3.

• È immediata l’estensione a spazi euclidei di qualunque dimensione (Rn Pn)

( ) ( ) ( )1 2 2 2 2 0x y z x y z kx ky kz k k≡ ≡ ∀ ≠

( )x y z ( )1x y z


Punti all’infinito

• Gli unici punti che non hanno un corrispondente nello spazio euclideo, sono i punti per cui la nuova coordinata vale 0, es (x, y, z, 0).

• L’ipotetico corrispondente (inesistente nello spazio euclideo) sarebbe rappresentato dalle coordinate (x/0, y/0, z/0), ovvero “coordinate infinite”.

• Usando le coordinate omogenee è quindi possibile rappresentare analiticamente i punti all’infinito come

tutti i punti la cui ultima coordinata vale 0.

• Il punto di coordinate (0, 0, 0, 0) non è definito. – Questo punto NON è l’origine del sistema di riferimento scelto per lo spazio

euclideo (0, 0, 0), il quale ha coordinate omogenee (0, 0, 0, k), k≠0.• Si può dimostrare che tutti i punti all’infinito di P3 giacciono su un piano, che

prende il nome di piano all’infinito.


Un esempio in R2

• Considerando il sistema che definisce l’intersezione di due rette

questo ha soluzioni (Teorema di Cramer)

• Se le rette sono parallele, il denominatore si annulla, e quindi non c’èsoluzione (o impropriamente, la soluzione è un punto “all’infinito”).

• Se le rette sono distinte, almeno uno dei tre valori presenti nella formula ècomunque non nullo.

c bc b

xa ba b

−′ ′−

= −

′ ′

a ca c

ya ba b

−′ ′−

= −

′ ′

00

ax by ca x b y c

+ + =⎧⎨ ′ ′ ′+ + =⎩


Un esempio in R2

• Mantenendo le tre coordinate separate, e usando la rappresentazione in coordinate omogenee, si passa nello spazio proiettivo P2.

• In questo spazio proiettivo il sistema precedente ha sempre una soluzione, quella indicata dalla formula in alto.

• Si può facilmente verificare che il punto all’infinito di un fascio di rette si rappresenta in coordinate omogenee aggiungendo uno zero ad un qualsiasi vettore euclideo diretto come il fascio:

, ,c b a c a bc b a c a b

⎛ − − ⎞⎜ ⎟′ ′ ′ ′ ′ ′− −⎝ ⎠

,

c b a cc b a c

x ya b a ba b a b

⎛ − − ⎞⎜ ⎟′ ′ ′ ′− −⎜ ⎟= =⎜ ⎟⎜ ⎟′ ′ ′ ′⎝ ⎠

≡

R2

P2

' ' ' '' ' ' '

0 0 0 0 0

bc b c b b b ba c ac a a a a

− − −⎡ ⎤ ⎡ ⎤ ⎡ ⎤ ⎡ ⎤ ⎡ ⎤⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥− ≈ ≈ − ≈ ≈ −⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎣ ⎦ ⎣ ⎦ ⎣ ⎦ ⎣ ⎦ ⎣ ⎦


Riassumendo

• Ogni spazio euclideo Rn può essere esteso in una nuova struttura geometrica, il cosiddetto spazio proiettivo Pn, rappresentandone i punti in coordinate omogenee.

• La rappresentazione in coordinate omogenee prevede l’aggiunta di una nuova coordinata k allo spazio vettoriale– k ≠ 0 rappresenta punti effettivi di Rn le cui coordinate sono xi/k, i = 1…n– k = 0 rappresenta punti ideali di Rn , i cosiddetti punti all’infinito.

• Questa nuova struttura permette quindi di rappresentare e trattare analiticamente in maniera omogenea (senza introdurre eccezioni o casi speciali) anche i punti all’infinito.


Proiezione prospettica in coord. omogenee (1)

• Abbiamo visto che sussiste una relazione non lineare tra le coordinate della scena e quelle del punto immagine:

• Torniamo al nostro punto M e alla sua proiezione prospettica m, le cui coordinate euclidee nel S.d.R. Standard e in quello immagine avevamo definito rispettivamente come M = [x,y,z ]T e m = [u,v ]T .

• Espresse in coordinate omogenee (che indicheremo sempre con una tilde sovrastante il vettore) le loro rappresentazioni diventano:

Elaborazione dell'immagine M

f fu x v yz z

= =

1

uv⎡ ⎤⎢ ⎥= ⎢ ⎥⎢ ⎥⎣ ⎦

m

1

xyz

⎡ ⎤⎢ ⎥⎢ ⎥=⎢ ⎥⎢ ⎥⎣ ⎦

M


• In coordinate omogenee (e quindi considerando la trasformazione come tra spazi proiettivi), la proiezione prospettica diviene una trasformazione lineare.

• Usando la notazione matriciale

o anche, dove ≈ indica “uguale a meno di un fattore di scala arbitrario”


1 1

xfzu fxyv f fyz

z

⎡ ⎤⎢ ⎥

⎡ ⎤ ⎡ ⎤⎢ ⎥⎢ ⎥ ⎢ ⎥⎢ ⎥= =⎢ ⎥ ⎢ ⎥⎢ ⎥⎢ ⎥ ⎢ ⎥⎢ ⎥⎣ ⎦ ⎣ ⎦

⎢ ⎥⎢ ⎥⎣ ⎦

k =m PM

≈m PM

0 0 00 0 00 0 1 0

1

xf

yf

z

⎡ ⎤⎡ ⎤ ⎢ ⎥⎢ ⎥ ⎢ ⎥= ⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥⎣ ⎦

⎣ ⎦

Proiezione prospettica in coord. omogene (2)

Esempi-VP fascio generico- VP fascio // asse z- VP fascio // piano immagine


La matrice di proiezione prospettica

• La matrice rappresenta il modello geometrico della telecamera, e viene detta matrice di proiezione prospettica (PPM).

• Nel caso in cui le distanze sono misurate in unità di distanze focali ( f = 1) la PPM diviene

• Questa forma “estrema” della PPM rappresenta l’essenza della proiezione prospettica. Ad essa si fa sovente riferimento come matrice di proiezione prospettica “standard” o “canonica”.


P

[ ]1 0 0 00 1 0 0 |0 0 1 0

⎡ ⎤⎢ ⎥= =⎢ ⎥⎢ ⎥⎣ ⎦

P I 0


Un modello più realistico

• Per rendere più realistico il nostro modello in un sistema di acquisizione reale è necessario tenere conto:– della digitalizzazione dell’immagine;– della trasformazione rigida tra la telecamera e la scena (roto-traslazione).


C

c=[uo, vo]T

x

zf

yI

v

u

XZ

YO

R,T


Digitalizzazione

La digitalizzazione viene considerata inserendo nelle formule di proiezione lo scaling lungo i due assi dovuto alla quantizzazione del piano immagine nonché la traslazione del piercing point (punto principale) dovuta alla scelta del sistema di riferimento dell’immagine (angolo in alto a sinistra).


fu xzfv yz

=

=

c

uΔ

vΔ

Δu=dimensione orizzontale del pixelΔv=dimensione verticale del pixel

1

1

fu xu z

fv yv z

→ =Δ

→ =Δ

(u0,,v0)0u+

0v+

u

v

fk xzfk yz

=

=


La matrice degli intrinseci

• Tenendo conto delle nuove relazioni, la PPM può essere riscritta come:

• La matrice A, che modella le caratteristiche del sensore, è detta matrice dei parametri intrinseci.

• I parametri intrinseci possono essere ridotti al minimo necessario ponendo αu=fku , αv=fkv : si tratta della lunghezza focale espressa in pixel orizzontali e verticali. I parametri intrinseci minimi sono quindi 4.

• Il modello più generale prevede un quinto parametro nella matrice degli intrinseci, detto skew, che rappresenta l’angolo tra gli assi del sistema di riferimento del sensore. La sua cotangente occuperebbe la posizione A[1,2], ma in pratica è sempre 0 ( = ctg(π/2) ).


0

0

0 00 00 0 1 0

u

v

fk ufk v

⎡ ⎤⎢ ⎥= ⎢ ⎥⎢ ⎥⎣ ⎦

P0

0

0 1 0 0 00 0 1 0 00 0 1 0 0 1 0

u

v

fk ufk v

⎡ ⎤ ⎡ ⎤⎢ ⎥ ⎢ ⎥= ⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥⎣ ⎦ ⎣ ⎦

[ ]|= A I 0


Trasformazione rigida fra i S.d.R. (1)

• Quanto visto finora si basava sull’assunzione di un S.d.R. per la scena molto particolare, coincidente con quello standard della telecamera.

• Più in generale il S.d.R. della scena sarà legato a quello standard da– una rotazione intorno al centro ottico (modellabile da una matrice ortogonale R)– uno spostamento (modellabile da un vettore di traslazione t)

• La relazione tra le coordinate di uno stesso punto nei due S.d.R. è dunque

che, passando in coordinate omogenee, può essere riscritta come:


, X xY yZ z

⎡ ⎤ ⎡ ⎤⎢ ⎥ ⎢ ⎥= = ⇒ = +⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥⎣ ⎦ ⎣ ⎦

W M M RW T

, 1

1 1

X xY yZ z

⎡ ⎤ ⎡ ⎤⎢ ⎥ ⎢ ⎥ ⎡ ⎤⎢ ⎥ ⎢ ⎥= = ⇒ = =⎢ ⎥⎢ ⎥ ⎢ ⎥ ⎣ ⎦⎢ ⎥ ⎢ ⎥⎣ ⎦ ⎣ ⎦

R TW M M W GW

0


Trasformazione rigida fra i S.d.R. (2)

Fino ad adesso abbiamo visto che

• Considerando anche la trasformazione fra i S.d.R. :


[ ]|k =m A I 0 M

• La forma generale di una PPM è quindi

[ ] [ ]| ovvero |= =P A I 0 G P A R T

[ ]| 1

k⎡ ⎤

= ⎢ ⎥⎣ ⎦

R Tm A I 0 W

0

=M GW [ ]| k =m A I 0 GW


Parametri estrinseci

• La matrice G, che modella la posizione della telecamera rispetto alla scena, èdetta matrice dei parametri estrinseci.

• Una generica matrice di rotazione (che ha 9 elementi) è definita da 3 parametri indipendenti, che corrispondono ai valori degli angoli di rotazione rispetto agli assi del S.d.R. I parametri estrinseci sono quindi 3+3 = 6.

• La PPM più generale tiene quindi conto degli effetti del sensore, tramite A, della posizione del S.d.R. mondo grazie a G e della proiezione prospettica incarnata da [ I|0 ].

• Esistono anche effetti dovuti alle distorsioni introdotta dalle lenti che possono essere modellati tramite un vettore di parametri, detti di distorsione radiale e tangenziale. Questo vettore comunque non modifica la forma della PPM, che si basa solo sul modello pin-hole puro.



• La forma così ottenuta della PPM si basa sul modello pin-hole puro.• In sistemi di acquisizione reali esistono anche effetti dovuti alle distorsioni

introdotte dalle lenti, specialmente per lenti a focale corta e basso costo. La deviazione più importante è dovuta a fenomeni di distorsione radiale (“curvatura” delle lenti). Effetti secondari sono introdotti da distorsioni tangenziali(“decentramento” dei componenti di un sistema di lenti e difetti di produzione).

• Questi fenomeni sono modellati tramite una relazione non lineare tra i punti effettivamente “osservati” sul piano immagine e i punti ideali (non distorti)

dipendente dalla distanza r dal centro di distorsione

Influenza della lenti


( )''

x x dxL r

y y dy⎛ ⎞ ⎛ ⎞ ⎛ ⎞

= +⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠ ⎝ ⎠

( ) ( )2 2c cr x x y y= − + −

Barrel

Pincushion( , )c cx y


Coefficienti di distorsione

• La funzione di distorsione radiale L(r) è definita solo per r positivi e L(0) = 1. Questa funzione non lineare viene tipicamente approssimata tramite il suo sviluppo di Taylor ( fino all’n-simo ordine, a seconda della precisione voluta )

• Il vettore di distorsione tangenziale viene invece approssimato con

• I coefficienti per la correzione della distorsione radiale k1, k2,…, kn insieme al centro di distorsione radiale e i due coefficienti di distorsione tangenziale p1e p2 ampliano e completano l’insieme dei parametri intrinseci del modello standard di una telecamera. Tipicamente si assume, per semplicità, che il centro di distorsione radiale coincida con il centro dell’immagine.


( ) 2 4 61 2 31 ...L r k r k r k r= + + + +

( )( )

2 21 2

2 21 2

2 2

2 2

p xy p r xdxdy p r y p xy

⎛ ⎞+ +⎛ ⎞ ⎜ ⎟=⎜ ⎟ ⎜ ⎟+ +⎝ ⎠ ⎝ ⎠

( , )c cx y


La distorsione ottica nel processo di formazione dell’immagine

• La distorsione ottica è di solito modellata come una trasformazione che avviene dopo la proiezione delle coordinate 3D sul piano immagine. Dopo di che, la matrice degli intrinseci applica una trasformazione affine all’immagine, traslando coordinate fisiche sul piano immagine in coordinate pixel.

• Il modello di formazione dell’immagine prevede quindi i seguenti passi:1. Passare dal sistema di riferimento 3D mondo a quello 3D standard della

telecamera, come indicato dagli estrinseci:

2. Proiettare prospetticamente, ovvero dividere per la terza coordinata:

3. Applicare le deformazioni dovute al modello delle lenti:

4. Passare dal sistema di riferimento 2D standard a quello in coordinate pixel, secondo la matrice dagli intrinseci:


= +M Rw T

/ , /x x z y y z= =

( )' ' Tx y=m A

( )''

x x dxL r

y y dy⎛ ⎞ ⎛ ⎞ ⎛ ⎞

= +⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠ ⎝ ⎠


Calibrazione (1)

• Abbiamo definito un modello analitico del processo di formazionedell’immagine.

• Questo modello è rappresentato dalla PPM, che a sua volta può essere decomposta in tre elementi indipendenti, i parametri intrinseci (la matrice A), la rotazione R e la traslazione T.

• La calibrazione di un sistema di visione consiste nella stima il più possibile accurata dei parametri che definiscono questo modello per ogni telecamera che compone il sistema. A seconda della applicazione è sufficiente stimare solo la PPM oppure è necessario stimare separatamente le matrici A, R e T.

• Idea alla base di ogni algoritmo di calibrazione: conoscendo la corrispondenza tra proiezioni 2D e punti 3D di coordinate note, è possibile riscrivere l’equazione della proiezione prospettica come un sistema lineare con i parametri come incognite e quindi risolverlo.

• Per ottenere queste corrispondenze, si usano oggetti di forma nota (scacchiere, pattern ripetitivi, …)



Calibrazione (2)• I metodi per la calibrazione possono

essere classificati in due categorie:– Quelli che usano un’immagine di molti

(almeno 2) piani contenenti un pattern noto.

– Quelli che usano molte (almeno 3)immagini diverse di uno stesso pattern piano.

• Nella pratica è molto più difficile procurarsi oggetti 3D adatti, con piani perfettamente ortogonali piuttosto che un pattern planare che può invece essere costruito con buona precisione.

• Sono disponibili tools standard per la calibrazione (OpenCV, Matlab Camera Calibration Toolbox..)



Metodo di Zhang (1)


Acquisire n immagini di un pattern con m corner interni

Per ogni immagine:stima di una guess iniziale di

omografia Hi

Raffinamento di ogni omografia Hi minimizzando

l’errore di riproiezione

Stima di una guess iniziale per A a partire dalle Hi

Dato A e Hi stima di una guess iniziale per Ri e Ti

Stima di una guess iniziale per i parametri di distorsione k

Raffinamento di A, Ri, Ti, kminimizzando l’errore di

riproiezione


Metodo di Zhang (2)

• Sono noti – il numero di corner interni della scacchiera piana, diversi lungo le due dimensioni.– la lunghezza del lato dei quadrati che la compongono

• Gli angoli interni della scacchiera possono essere facilmente rintracciati nell’immagine con algoritmi standard (es. Harris corner detector, eventuale raffinamento sub-pixel per maggior precisione).

• In ogni frame si fissa il sistema di riferimento 3D nell’angolo in alto a sinistra della scacchiera con il piano z=0 coincidente con il pattern e gli altri due assi orientati come la scacchiera, in modo che sia mantenuta sempre la stessa associazione tra assi e dimensioni della scacchiera (es x = righe, y = colonne).

– La terza coordinata sarà sempre 0.– La x e la y si ricavano grazie alla lunghezza del lato dei quadrati, che è noto.

• Due passi per derivare i parametri:– Guess iniziale ottenuta con ottimizzazione lineare (minimizza errore algebrico)– Raffinamento ottenuto con ottimizzazione non lineare (min errore geometrico)



Estrinseci ottenuti

• Notare che in ogni frame avremo una diversa stima dei parametri estrinseci.– Se non interessa un S.d.R. 3D particolare, si può prendere quello associato ad un

frame a caso, p. es. il primo.



P come omografia

• Con il S.d.R. scelto, in ogni frame si considerano solo punti 3D per cui z=0.L’equazione di proiezione prospettica diventa quindi:

• H è nota come omografia, e rappresenta la forma più generale di trasformazione lineare tra piani. Con w’ si è indicato il vettore (x; y; 1). Si può pensare H come una semplificazione di P nel caso di oggetti planari.

• Se abbiamo una scacchiera con m corner, possiamo impostare m sistemi di 3 equazioni lineari come quello appena illustrato, in cui le coordinate 3D e 2D dei punti sono note grazie alle corrispondenze individuate nell’immagine i-sima e le 9 incognite sono gli elementi di Hi. In realtà, Hi, così come Pi, ènota a meno di un fattore di scala, e quindi i parametro indipendenti sono soltanto 8.


1,1 1,2 1,3 1,4 1,1 1,2 1,4

2,1 2,2 2,3 2,4 2,1 2,2 2,4

3,1 3,2 3,3 3,4 3,1 3,2 3,4

01

1

xp p p p p p p x

yk p p p p p p p y

p p p p p p p

⎡ ⎤⎡ ⎤ ⎡ ⎤ ⎡ ⎤⎢ ⎥⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎢ ⎥ ′= = = =⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎢ ⎥⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎣ ⎦⎣ ⎦ ⎣ ⎦

⎣ ⎦

m Pw Hw


Stima di Hi (1)

• A partire dall’equazione dell’omografia, si ottiene

ovvero

• Di queste tre equazioni in 9 incognite solo due sono linearmente indipendenti e tipicamente si mantengono le prime due. Sfruttando tutte le corrispondenze trovate, si costruisce per ogni immagine un sistema di 2m equazioni in 9 incognite e si ottiene una prima stima di Hi minimizzando un “errore algebrico” dato dalla norma del vettore ed imponendo l’ulteriore vincolo che (Algoritmo DLT)

• La soluzione standard del problema precedente si ottiene mediante la decomposizione ai valori singolari (SVD) della matrice A.


3 2 1

1 3 2

2 1 3

,v

k uu v

′ ′⎡ ⎤− ⎡ ⎤⎢ ⎥ ⎢ ⎥′ ′ ′ ′= ⇒ × = ⇒ − = =⎢ ⎥ ⎢ ⎥⎢ ⎥′ ′− ⎢ ⎥⎣ ⎦⎣ ⎦

T T

T T

T T

h w h w hm Hw m Hw 0 h w h w 0 H h

h w h w h

1

2

3

vu

v u

′ ′⎡ ⎤ ⎡ ⎤−⎢ ⎥ ⎢ ⎥′ ′− = =⎢ ⎥ ⎢ ⎥⎢ ⎥ ⎢ ⎥′ ′−⎣ ⎦ ⎣ ⎦

T T T

T T T

T T T

0 w w hw 0 w h Ah 0w w 0 h

1

2

3

⎡ ⎤⎢ ⎥= ⎢ ⎥⎢ ⎥⎣ ⎦

T

T

T

hH h

h

Ah1=h


Stima di Hi (2)

• Usando questa stima iniziale, si raffina poi Hi risolvendo ai minimi quadrati mediante l’algoritmo di Levenberg-Marquardt il problema non-lineare

• Questo passo di ottimizzazione corrisponde alla minimizzazione dell’errore ottenuto confrontando, per ogni vertice della scacchiera, le coordinate pixel effettivamente misurate sull’immagine con la proiezione mediante l’omografia stimata delle coordinate 3D (con z=0) note. Questo tipo di errore è detto “errore geometrico”.


2min , 1.....

ij i jj

j m′− =∑Hm H w


Stima dei parametri intrinseci (1)

• Hi è nota a meno di un fattore di scala. La sua relazione con i parametri della PPM è dunque

• R è una matrice ortogonale, i suoi vettori sono ortonormali. Questo vincola i parametri intrinseci ad obbedire alle seguenti relazioni:

in cui le incognite sono i parametri di B=A-TA-1 . Poiché A è triangolare superiore, B è simmetrica e le incognite sono solo 6.

• Impilando queste due equazioni calcolate per ogni immagine, si ottiene un sistema lineare 2n x 6, risolvibile se sono disponibile almeno 3 immagini (vedi slide successiva per maggiori dettagli)

Elaborazione dell’immagine M

[ ] [ ] [ ]3 1 2λ= = =1 2 1 2 4H h h h p p p A r r T

11 2 1 2

1 11 1 2 2 1 1 2 2

0 0− −

− − − −

= ⇒ =

= ⇒ =

T T T

T T T T T T

r r h A A h

r r r r h A A h h A A h


Stima dei parametri intrinseci (2)

• Fatte le seguenti posizioni

si può osservare che


[ ]

[ ]

11 12 131

12 22 23 11 12 22 13 23 33

13 23 33

1 2 3 1 1 1 2 2 1 2 2 3 1 1 3 3 2 2 3 3 3

, , , , , ,

, , , , , , , ,

T

Ti i i i ij i j i j i j i j i j i j i j i j i j

B B BB B B b B B B B B BB B B

h h h h h h h h h h h h h h h h h h h h h

− −

⎛ ⎞⎜ ⎟= = =⎜ ⎟⎜ ⎟⎝ ⎠

⎡ ⎤= = + + +⎣ ⎦

TB A A

h v

i j ij=T Th B h v b ( )1 2 12

T1 1 2 2 11 22 11 22

0 0

0

= ⇒ =

= ⇒ = ⇒ − =

T T

T T T T

h Bh v b

h Bh h Bh v b v b v v b

• Quindi ogni immagine fornisce 2 equazioni nei 6 parametri indipendenti di B, e con n immagini di calibrazione si ottiene un sistema lineare omogeneorisolvibile ai minimi quadrati:

• Dai valori di b è possibile poi ricavare in forma chiusa gli intrinseci, cioè A.0=Vb


Stima dei parametri estrinseci

• Nota A, e avendo stimato Hi in ogni frame, è possibile derivare prima Ri e poi Ti per ogni frame.

• Poiché rk,i ha norma unitaria (è un versore), risulta

• r3 si può ricavare dal vincolo di ortonormalità con r1 ed r2 come

• Infine Ti


1, 2, 3, 1, 2,i i i i i i iλ⎡ ⎤ ⎡ ⎤= =⎣ ⎦ ⎣ ⎦H h h h A r r T1

, , , , , 1, 2k i k i k i k i kλ λ −= ⇒ = =h Ar r A h

3, , ,i i i= ×1 2r r r

13,

1i iλ

−=T A h

,k iλ λ= r


Stima dei coefficienti di distorsione (1)

• Data la stima delle omografie, abbiamo sia le coordinate reali (distorte) provenienti dall’immagine dei punti del pattern sia le coordinate ideali (non-distorte) date dalla proiezione dei punti 3D attraverso le omografie. Il metodo di Zhang prevede di sfruttare queste informazioni per stimare i coefficienti k1,k2 della distorsione radiale.

• Data la matrice degli intrinseci (già stimata), A, ed il modello della distorsione ottica:

va innanzitutto determinato il legame fra le coordinate pixel distorte (u’,v’) e quelle ideali :


00

00

''' ' 0 '' ' = 0 '

''1 1 0 0 1 1

uu

v

v

u uxu x u xv A y v y

v vy

αα

α

α

−⎧ =⎡ ⎤ ⎡ ⎤ ⎛ ⎞ ⎡ ⎤ ⎪⎪⎜ ⎟⎢ ⎥ ⎢ ⎥ ⎢ ⎥= → ⎨⎜ ⎟⎢ ⎥ ⎢ ⎥ ⎢ ⎥ −⎪⎜ ⎟ =⎢ ⎥ ⎢ ⎥ ⎢ ⎥⎣ ⎦ ⎣ ⎦ ⎝ ⎠ ⎣ ⎦ ⎪⎩

0

01 1

u

v

u uxu xv A y

v vy

α

α

−⎧ =⎡ ⎤ ⎡ ⎤ ⎪⎪⎢ ⎥ ⎢ ⎥= → ⎨⎢ ⎥ ⎢ ⎥ −⎪ =⎢ ⎥ ⎢ ⎥⎣ ⎦ ⎣ ⎦ ⎪⎩

( ) ( )2 41 2

'1

'x x x

L r k r k ry y y

⎛ ⎞ ⎛ ⎞ ⎛ ⎞= = + +⎜ ⎟ ⎜ ⎟ ⎜ ⎟

⎝ ⎠ ⎝ ⎠ ⎝ ⎠

( , )u v


Stima dei coefficienti di distorsione (2)


( )( )

( )

2 40 01 2

2 41 2

2 40 01 2

' 1'

= 1' ' 1

u u

v v

u u u uk r k rx x

k r k ry y v v v vk r k r

α α

α α

⎧ ⎛ ⎞− −= + +⎪ ⎜ ⎟

⎡ ⎤ ⎡ ⎤ ⎪ ⎝ ⎠+ + → ⎨⎢ ⎥ ⎢ ⎥⎛ ⎞− −⎣ ⎦ ⎣ ⎦ ⎪ = + + ⎜ ⎟⎪ ⎝ ⎠⎩

( )( )( )( )

2 41 2 0

2 41 2 0

'

'

u u k r k r u u

v v k r k r v v

⎧ = + + −⎪⎨

= + + −⎪⎩

• E’ possibile quindi impostare un sistema in cui le incognite sono i coefficienti di distorsione radiale:

• Disponendo di m punti in n immagini, si può impostare un sistema lineare di 2mn equazioni in 2 incognite, risolvibile ai minimi quadrati.

( ) ( )( ) ( )

2 410 0

2 420 0

''

k u uu u r u u rk v vv v r v v r

⎡ ⎤ −− − ⎡ ⎤ ⎡ ⎤=⎢ ⎥ ⎢ ⎥ ⎢ ⎥−− − ⎣ ⎦⎣ ⎦⎣ ⎦

2 22 0 0

u v

u u v vrα α

⎛ ⎞ ⎛ ⎞− −= +⎜ ⎟ ⎜ ⎟⎝ ⎠ ⎝ ⎠

( )= →-1+ T TDk d k = D d = D D D d


Ottimizzazione non-lineare

• La procedura seguita fino a qui minimizza un errore algebrico, senza alcun significato fisico.

• In presenza di rumore, risulta più robusto raffinare il risultato tramite una Maximum Likelihood Estimate (MLE) basata su un errore geometrico.

• Facendo l’ipotesi di rumore indipendente e identicamente distribuito, la MLE per il nostro modello risulta

• Questo problema è risolvibile ai minimi quadrati in modo non lineare grazie all’algoritmo di Levenberg-Marquardt.


( ) 2

1 1

ˆ , , , ,n m

ij i i ji j= =

−∑∑ m m A k R T w


Calibrazione camera stereo

• Fino a qui abbiamo visto come si possono calibrare 2 telecamere singolarmente, ovvero come ottenere

– Parametri intrinseci e coefficienti di distorsione– Parametri estrinseci, ovvero la trasformazione rigida dal S.d.R. standard della

camera ad un S.d.R. mondo arbitrario (p.es. relativo al pattern di calibrazione)• Calibrare un sistema di 2 telecamere contemporaneamente, implica conoscere

in aggiunta a queste informazioni la trasformazione rigida tra una telecamera e l’altra, R e T.

• In teoria, la conoscenza degli estrinseci rispetto ad uno stesso sistema di riferimento per tutte le telecamere (p.es. quelli relativi al primo frame per ogni camera), consentirebbe di ottenere questa informazione, componendo le trasformazioni Gi(Gj)-1

– N.B. Questo implica camere sincronizzate in HW o pattern fermo!• Questo metodo è però poco robusto nei confronti del rumore e può portare a

risultati molto lontani dalla struttura reale del sistema di acquisizione.



Calibrazione camera stereo

• Come prima si effettua la stima di una guess iniziale per R e T e poi si minimizza l’errore di riproiezione.

• Guess iniziale: mediana dei valori di Ri e Ti per ogni coppia di immagini, ricavati da Gi(Gj)-1.

– Ri convertito in un vettori di 3 elementi con la trasformata di Rodriguez.• Quindi ottimizzazione non lineare con l’algoritmo di Levenberg-Marquardt

minimizzando l’errore di riproiezione in entrambe le immagini


( ) 2

, 1 1

ˆ , , , ,n m

kij j

k L R i j= = =

−∑ ∑∑ m m A k R T w


SdR di un sistema stereo

• Ottenuta la calibrazione di un sistema stereo, si opera tipicamente una scelta standard per la definizione del sistema di riferimento mondo della coppia di camere.

• In particolare si sceglie il sistema di riferimento standard di una delle due camere, per esempio la sinistra. Gli estrinseci della camera destra sono cosìrappresentati dalle matrici di rotazione e traslazione appena calcolate. Le PPM corrispondenti sono quindi

L L R R⎡ ⎤ ⎡ ⎤= =⎣ ⎦ ⎣ ⎦P A I 0 P A R TzR

x = xL

xRfL fR

z = zL

cL cR

R,T


• Quando si lavora con sistemi stereo, ènormale fare l’assunzione di lavorare con un sistema stereo laterale.

• È impossibile ottenere questa confi-gurazione tramite allineamento meccanico.

• Se si è calibrata la coppia stereo è però possibile rettificare via software le immagini acquisite.

• L’idea che sta dietro la rettificazione `e quella di definire due nuove PPM, P1e P2, ottenute ruotando le matrici originali attorno ai loro centri ottici finché i piani focali non diventano co-planari (e quindi anche i piani immagine).

• Inoltre, per garantire che i punti coniugati abbiano le stesse coordinate verticali, si impone che le nuove PPM abbiano gli stessi parametri intrinseci.

• Tutto il processo si basa sul modello pin-hole puro: le trasformazioni calcolate devono essere applicate su immagini da cui siano state rimosse le distorsioni.

Rettificazione



Nuove PPM

• Noti Ai ,Ri e il centro ottico ci per entrambe le camere si procede come segue:– Si assume una nuova matrice degli intrinseci Anew arbitraria: p. es. la media

delle Ai– Si ricava la nuova matrice Rnew, che determina l’orientazione della telecamera,

anch’essa identica per entrambe le PPM. Tenendo presente che i vettori riga di Rnew rappresentano gli assi X, Y, e Z, del sistema di riferimento della telecamera, espressi in coordinate mondo, si può ottenere un sistema laterale imponendo

• nuovo asse X parallelo alla linea di base• nuovo asse Y perpendicolare a nuovo X e

versore arbitrario k• nuovo asse Z perpendicolare a X e Y

k è un versore arbitrario, tipicamente il vecchio asse Z di una delle due telecamere.• Le nuove PPM sono dunque


( )1 2 1 2 1/= − −r c c c c

2 1= ∧r k r

3 1 2= ∧r r r

[ ] [ ]1 2,new new new new new new− −A R R c A R R c


Il centro ottico

• Si può dimostrare che ogni PPM è definita da una matrice di rango massimo, pari a 3, e viceversa ogni matrice 3x4 di rango massimo definisce una proiezione prospettica.

– Intuitivamente : il rango massimo è necessario, altrimenti la proiezione di un punto non sarebbe un punto ma un sottospazio di dimensione maggiore (retta, piano, …)

• Ricordando che (0,0,0) non rappresenta alcun punto in coordinate omogenee, segue che un punto che appartiene al kernel (soluzioni del sistema omogeneo associato) della matrice è un punto per cui la proiezione non è definita.

• Dal rango massimo segue che il kernel di questa matrice ha dimensione uno nello spazio omogeneo, ovvero contiene un unico punto effettivo. Il centro ottico è infatti l’unico punto dello spazio per cui la proiezione non è definita, ed ha quindi equazione:


14 4ovvero con

1−⎡ ⎤

= = − = ⎡ ⎤⎢ ⎥ ⎣ ⎦⎣ ⎦

cP 0 c P p P P p


Scomposizione della PPM

• I metodi di calibrazione visti forniscono già A, R e T separatamente.• È comunque sempre possibile ricavare gli elementi che compongono la PPM.

Questo è possibile perché ogni matrice quadrata non singolare si può decomporre nel prodotto tra una matrice ortogonale e una triangolare superiore tramite la fattorizzazione QR.

• Sia dunque la fattorizzazione QR dell’inversa di P, con U ortogonale e L triangolare superiore.

• Poiché

• Infine, per ricavare T


1− =P UL

1 1 14

1 1,

− − −

− −

= ⎡ ⎤ = ⎡ ⎤ ⇒ = ⇒⎣ ⎦ ⎣ ⎦= =

P P p AR AT P R A

R U A L

14 4

−= =T A p Lp


Trasformazioni di rettificazione

• Per rettificare un’immagine dobbiamo calcolare la trasformazione che mappa il piano immagine della telecamera reale in quello della telecamera rettificata.

• Poiché la trasformazione che abbiamo imposto attraverso il calcolo delle nuove PPM rappresenta una rotazione intorno al centro ottico, possiamo scrivere le equazioni dei raggi ottici come

da cui si ricava poi l’omografia di rettificazione


[ ][ ]

11 1 1 1 1 1

11 1 1 1 1 1

,,

o o o o o o o

n n n n n n n

RR

λ λλ λ

−

−

⎧ = + ∈ =⎪⎨ = + ∈ =⎪⎩

w c P m P P pw c P m P P p

11 1 1 1n n o o Rλ λ−= ∈m P P m


Esempio



Principali Riferimenti Bibliografici


1) R. Hartley and A. Zisserman, “Multiple View Geometry in Computer Vision”, 2° Edition, Cambridge University Press, 2003.

2) Z. Zhang, “A flexible new technique for camera calibration”, IEEE Trans. On Pattern Analysis and Machine Intelligence, 22(11):1330-1334, November 2000.

3) A. Fusiello, “Visione Computazionale – Appunti delle lezioni”, http://profs.sci.univr.it/~fusiello

Modello della Telecamera, Calibrazione e Rettificazione - Camera_Model... · Rettificazione Samuele Salti, Luigi Di Stefano. Elaborazione dell'immagine M Samuele Salti, Luigi Di Stefano

Documents