Page 1
Dinamicka analiza 3D scenaprocjena parametara modela
Zoran Kalafatic i Siniša Šegvic
Zavod za elektroniku, mikroelektroniku,
racunalne i inteligentne sustave
Fakultet elektrotehnike i racunarstva
Sveucilište u Zagrebu
Dinamicka analiza scena: 1/35)
Page 2
UVOD
Procjena (estimacija) parametara modela : jedna od uspješnihparadigmi modernog racunalnog vida
Dinamicka analiza scena: Uvod 2/35)
Page 3
UVOD
Procjena (estimacija) parametara modela : jedna od uspješnihparadigmi modernog racunalnog vida
Vid : ekstrakcija informacije iz slika
2 transformacija 2D objekta: translacija, slicnost, homografija
2 položaj kamere: relativni (relative), apsolutni (absolute pose)
2 geometrija svijeta (scene reconstruction, structure from motion)
2 položaj objekata: pronalaženje (detection), pracenje (tracking)
2 identitet objekta: prepoznavanje (recognition)
Dinamicka analiza scena: Uvod 2/35)
Page 4
UVOD
Procjena (estimacija) parametara modela : jedna od uspješnihparadigmi modernog racunalnog vida
Vid : ekstrakcija informacije iz slika
2 transformacija 2D objekta: translacija, slicnost, homografija
2 položaj kamere: relativni (relative), apsolutni (absolute pose)
2 geometrija svijeta (scene reconstruction, structure from motion)
2 položaj objekata: pronalaženje (detection), pracenje (tracking)
2 identitet objekta: prepoznavanje (recognition)
Ideja :
2 informaciju predstaviti parametrima matematickog modela
2 estimirati iz velikog skupa opažanja statistickim metodama!Dinamicka analiza scena: Uvod 2/35)
Page 5
UVOD (2)
Što bi bio model?
Dinamicka analiza scena: Uvod (2) 3/35)
Page 6
UVOD (2)
Što bi bio model? — apriorno znanje o sceni ili efektu
Dinamicka analiza scena: Uvod (2) 3/35)
Page 7
UVOD (2)
Što bi bio model? — apriorno znanje o sceni ili efektu
Npr, afina trans. kao model prividnog kretanja planarne znacajke
In(x) = I0(A · x + d)
Dinamicka analiza scena: Uvod (2) 3/35)
Page 8
UVOD (2)
Što bi bio model? — apriorno znanje o sceni ili efektu
Npr, afina trans. kao model prividnog kretanja planarne znacajke
In(x) = I0(A · x + d)
Npr, Euklidska trans. kao model gibanja nepokretne scene
X2 = R · X1 + T
Dinamicka analiza scena: Uvod (2) 3/35)
Page 9
UVOD (2)
Što bi bio model? — apriorno znanje o sceni ili efektu
Npr, afina trans. kao model prividnog kretanja planarne znacajke
In(x) = I0(A · x + d)
Npr, Euklidska trans. kao model gibanja nepokretne scene
X2 = R · X1 + T
Npr, epipolarno ogranicenje kao model odnosa korespondentnihznacajki nepokretne scene
x2⊤ · F · x1 = 0
Dinamicka analiza scena: Uvod (2) 3/35)
Page 10
UVOD (3)Estimacijska teorija se bavi procjenjivanjem parametaramodela iz mnoštva podataka degradiranih šumom
Dinamicka analiza scena: Uvod (3) 4/35)
Page 11
UVOD (3)Estimacijska teorija se bavi procjenjivanjem parametaramodela iz mnoštva podataka degradiranih šumom
Šum obicno modelira odstupanja uslijed nesavršenog modela
2 2D transformacija ne može precizno objasniti deformacijeznacajki koje nisu planarne
2 pronalaženje korespondencija ne može biti tocno u piksel(transformacija izgleda ovisi o paralaksi i 3D strukturi)
2 vanjski utjecaji koji ne uzrokuju velika odstupanja:osvjetljenje, zamucenje, termalni šum :-), ...
Dinamicka analiza scena: Uvod (3) 4/35)
Page 12
UVOD (3)Estimacijska teorija se bavi procjenjivanjem parametaramodela iz mnoštva podataka degradiranih šumom
Šum obicno modelira odstupanja uslijed nesavršenog modela
2 2D transformacija ne može precizno objasniti deformacijeznacajki koje nisu planarne
2 pronalaženje korespondencija ne može biti tocno u piksel(transformacija izgleda ovisi o paralaksi i 3D strukturi)
2 vanjski utjecaji koji ne uzrokuju velika odstupanja:osvjetljenje, zamucenje, termalni šum :-), ...
Ideja : iz mnoštva djelomicno kontradiktornih podataka izvucinajvjerodostojniju ili najvjerojatniju interpretaciju!
Dinamicka analiza scena: Uvod (3) 4/35)
Page 13
UVOD (4)
Cesto pretpostavljamo normalni nepristrani šum(normalna razdioba obicno dobar model znanja o neznanju)
Dinamicka analiza scena: Uvod (4) 5/35)
Page 14
UVOD (4)
Cesto pretpostavljamo normalni nepristrani šum(normalna razdioba obicno dobar model znanja o neznanju)
Npr, kod stereo vida, položaj znacajke cesto oznacavamo:
qi = qi + ∆qi, uz qx, qy ∼ N (0, σ2)
Dinamicka analiza scena: Uvod (4) 5/35)
Page 15
UVOD (4)
Cesto pretpostavljamo normalni nepristrani šum(normalna razdioba obicno dobar model znanja o neznanju)
Npr, kod stereo vida, položaj znacajke cesto oznacavamo:
qi = qi + ∆qi, uz qx, qy ∼ N (0, σ2)
Ideja : dizajnirati metode koje ce rezultirati statisti cki boljimrezultatima uz pretpostavljeni model šuma!!
Dinamicka analiza scena: Uvod (4) 5/35)
Page 16
UVOD (5)Koncept šuma primjenljiv samo za umjerena odstupanja
Dinamicka analiza scena: Uvod (5) 6/35)
Page 17
UVOD (5)Koncept šuma primjenljiv samo za umjerena odstupanja
Za veca odstupanja potrebno uvesti koncept izvanpopulacijskihpodataka (outliera) koji se ne pokoravaju dominantnom modelu
Dinamicka analiza scena: Uvod (5) 6/35)
Page 18
UVOD (5)Koncept šuma primjenljiv samo za umjerena odstupanja
Za veca odstupanja potrebno uvesti koncept izvanpopulacijskihpodataka (outliera) koji se ne pokoravaju dominantnom modelu
Izvanpopulacijske korespondencije za model nepokretne scene:
2 korepondencija nastala asocijacijskom pogreškom(upareni su razliciti objekti slicnog izgleda)
2 ispravna korespondencija projekcije s pokretnog objekta
Dinamicka analiza scena: Uvod (5) 6/35)
Page 19
UVOD (5)Koncept šuma primjenljiv samo za umjerena odstupanja
Za veca odstupanja potrebno uvesti koncept izvanpopulacijskihpodataka (outliera) koji se ne pokoravaju dominantnom modelu
Izvanpopulacijske korespondencije za model nepokretne scene:
2 korepondencija nastala asocijacijskom pogreškom(upareni su razliciti objekti slicnog izgleda)
2 ispravna korespondencija projekcije s pokretnog objekta
Ideja : dizajnirati robustne metode koje mogu detektirati izanemariti izvanpopulacijska mjerenja!
Dinamicka analiza scena: Uvod (5) 6/35)
Page 20
UVOD (6)Motivacija za teoriju estimacije:
Dinamicka analiza scena: Uvod (6) 7/35)
Page 21
UVOD (6)Motivacija za teoriju estimacije:
Racunalni vid je disciplina u kojoj obicno obradujemoredundantne podatke, u prisustvu šuma i outliera(dobivamo sustav jednadžbi s viškom ogranicenja)
Dinamicka analiza scena: Uvod (6) 7/35)
Page 22
UVOD (6)Motivacija za teoriju estimacije:
Racunalni vid je disciplina u kojoj obicno obradujemoredundantne podatke, u prisustvu šuma i outliera(dobivamo sustav jednadžbi s viškom ogranicenja)
Želimo gledati (izlucivati parametre) na nacin da:
1. svi unutarpopulacijski podatci doprinose rješenju
2. rezultat u prisustvu plauzibilnog šuma bude statisti ckipovoljan
3. vanpopulacijski parametri ne ometaju tocan rezultat
Dinamicka analiza scena: Uvod (6) 7/35)
Page 23
UVOD (6)Motivacija za teoriju estimacije:
Racunalni vid je disciplina u kojoj obicno obradujemoredundantne podatke, u prisustvu šuma i outliera(dobivamo sustav jednadžbi s viškom ogranicenja)
Želimo gledati (izlucivati parametre) na nacin da:
1. svi unutarpopulacijski podatci doprinose rješenju
2. rezultat u prisustvu plauzibilnog šuma bude statisti ckipovoljan
3. vanpopulacijski parametri ne ometaju tocan rezultat
Okvir za postizanje tih svojstava daje teorija estimacije .
Dinamicka analiza scena: Uvod (6) 7/35)
Page 24
LINEARNI SUSTAVI
Primjer broj jedan: provuci pravac kroz zadani skup 2D tocaka
Dinamicka analiza scena: Linearni sustavi 8/35)
Page 25
LINEARNI SUSTAVI
Primjer broj jedan: provuci pravac kroz zadani skup 2D tocaka
Model podataka : pravac
Dinamicka analiza scena: Linearni sustavi 8/35)
Page 26
LINEARNI SUSTAVI
Primjer broj jedan: provuci pravac kroz zadani skup 2D tocaka
Model podataka : pravac
Model šuma : djeluje na koordinatu y, nezavisan, identicnodistribuiran prema N (0, σ)
[Wikipedia]Dinamicka analiza scena: Linearni sustavi 8/35)
Page 27
LINEARNI SUSTAVI (2)Obicno je ovakve probleme najlakše i najnepreciznije rješavati uprojekcijskoj domeni
Dinamicka analiza scena: Linearni sustavi (2) 9/35)
Page 28
LINEARNI SUSTAVI (2)Obicno je ovakve probleme najlakše i najnepreciznije rješavati uprojekcijskoj domeni
Ako i-ta tocka qi prolazi kroz traženi pravac p, vrijedi:
qHi⊤ · p = p1qx + p2qy + p3 = 0
Dinamicka analiza scena: Linearni sustavi (2) 9/35)
Page 29
LINEARNI SUSTAVI (2)Obicno je ovakve probleme najlakše i najnepreciznije rješavati uprojekcijskoj domeni
Ako i-ta tocka qi prolazi kroz traženi pravac p, vrijedi:
qHi⊤ · p = p1qx + p2qy + p3 = 0
Ako su sve tocke qi, i = 1, 2, ..., n elementi pravca p, vrijedi:
Am×3 · p = 0, gdje je Ai,: = qi⊤
Dinamicka analiza scena: Linearni sustavi (2) 9/35)
Page 30
LINEARNI SUSTAVI (2)Obicno je ovakve probleme najlakše i najnepreciznije rješavati uprojekcijskoj domeni
Ako i-ta tocka qi prolazi kroz traženi pravac p, vrijedi:
qHi⊤ · p = p1qx + p2qy + p3 = 0
Ako su sve tocke qi, i = 1, 2, ..., n elementi pravca p, vrijedi:
Am×3 · p = 0, gdje je Ai,: = qi⊤
U prisustvu šuma, gornja jednadžba nema rješenja.Ima stoga smisla tražiti rješenje koje minimizira rezidual:
p = arg minp
(‖Am×3 · p‖), uz uvjet ‖p‖ = 1
Dinamicka analiza scena: Linearni sustavi (2) 9/35)
Page 31
LINEARNI SUSTAVI (3)Dobili smo linearni homogeni sustav s viškom ogranicenja
2 homogeneous linear least squares
2 overconstrained homogeneous linear system
x = arg minx
(‖Am×n · xn×1‖), uz uvjet ‖x‖ = 1
Dinamicka analiza scena: Linearni sustavi (3) 10/35)
Page 32
LINEARNI SUSTAVI (3)Dobili smo linearni homogeni sustav s viškom ogranicenja
2 homogeneous linear least squares
2 overconstrained homogeneous linear system
x = arg minx
(‖Am×n · xn×1‖), uz uvjet ‖x‖ = 1
Rješenje odgovara desnom singularnom vektoru matrice A kojiodgovara najmanjoj singularnoj vrijednosti!
Dinamicka analiza scena: Linearni sustavi (3) 10/35)
Page 33
LINEARNI SUSTAVI (3)Dobili smo linearni homogeni sustav s viškom ogranicenja
2 homogeneous linear least squares
2 overconstrained homogeneous linear system
x = arg minx
(‖Am×n · xn×1‖), uz uvjet ‖x‖ = 1
Rješenje odgovara desnom singularnom vektoru matrice A kojiodgovara najmanjoj singularnoj vrijednosti!
Singularne vrijednosti i vektore dobivamo singularnomdekompozicijom.
Dinamicka analiza scena: Linearni sustavi (3) 10/35)
Page 34
LINEARNI SUSTAVI (3)Dobili smo linearni homogeni sustav s viškom ogranicenja
2 homogeneous linear least squares
2 overconstrained homogeneous linear system
x = arg minx
(‖Am×n · xn×1‖), uz uvjet ‖x‖ = 1
Rješenje odgovara desnom singularnom vektoru matrice A kojiodgovara najmanjoj singularnoj vrijednosti!
Singularne vrijednosti i vektore dobivamo singularnomdekompozicijom.
Ekvivalentan rezultat dobivamo svojstvenom dekompozicijomsimetricne matrice A⊤A
Dinamicka analiza scena: Linearni sustavi (3) 10/35)
Page 35
LINEARNI SUSTAVI (4)Linearni nehomogeni sustav s viškom ogranicenja:
x = arg minx
(‖Am×n · xn×1‖ − bn×1)
Dinamicka analiza scena: Linearni sustavi (4) 11/35)
Page 36
LINEARNI SUSTAVI (4)Linearni nehomogeni sustav s viškom ogranicenja:
x = arg minx
(‖Am×n · xn×1‖ − bn×1)
Rješenje je umnožak pseudoinverza matrice A i vektora b:
x = A+ · b
Dinamicka analiza scena: Linearni sustavi (4) 11/35)
Page 37
LINEARNI SUSTAVI (4)Linearni nehomogeni sustav s viškom ogranicenja:
x = arg minx
(‖Am×n · xn×1‖ − bn×1)
Rješenje je umnožak pseudoinverza matrice A i vektora b:
x = A+ · b
Moore-Penroseov inverz A+ dobivamo singularnomdekompozicijom, ili nekim drugim metodama koje su nešto brže inešto manje tocne
Dinamicka analiza scena: Linearni sustavi (4) 11/35)
Page 38
LINEARNA ALGEBRA
Svaka matrica Am×n ima singularnu dekompoziciju:
A = U · D · V⊤
2 Um×m (Um×n) ... ortogonalna matrica (ili ortogonalni stupci)
2 Dm×n (Dn×n) ... dijagonalna pozitivno semidefinitna matrica
2 Vn×n ... ortogonalna matrica
R
Dinamicka analiza scena: Linearna algebra 12/35)
Page 39
LINEARNA ALGEBRA
Svaka matrica Am×n ima singularnu dekompoziciju:
A = U · D · V⊤
2 Um×m (Um×n) ... ortogonalna matrica (ili ortogonalni stupci)
2 Dm×n (Dn×n) ... dijagonalna pozitivno semidefinitna matrica
2 Vn×n ... ortogonalna matrica
Vrijedi:
2 Di,i = di — i-ta singularna vrijednost (di ∈ R
+0 , di > di+1)
2 V:,i = vi — i-ti desni singularni vektor (v⊤
i vj = δij)
2 U:,i = ui — i-ti lijevi singularni vektor (u⊤
i uj = δij)2 ‖Ux‖ = (Ux)⊤(Ux) = x⊤U⊤Ux = x⊤(U⊤U)x = ‖x‖
Dinamicka analiza scena: Linearna algebra 12/35)
Page 40
LINEARNA ALGEBRA (2)
Malo intuicije: u kakvoj je vezi SVD A = U · D · V⊤ sasvojstvenom dekompozicijom simetricne matrice
M = V · Λ · V⊤?
Dinamicka analiza scena: Linearna algebra (2) 13/35)
Page 41
LINEARNA ALGEBRA (2)
Malo intuicije: u kakvoj je vezi SVD A = U · D · V⊤ sasvojstvenom dekompozicijom simetricne matrice
M = V · Λ · V⊤?
Za simetricne matrice, SVD odgovara svojstvenoj dekompoziciji:
A = A⊤ ⇔ U = V
Dinamicka analiza scena: Linearna algebra (2) 13/35)
Page 42
LINEARNA ALGEBRA (2)
Malo intuicije: u kakvoj je vezi SVD A = U · D · V⊤ sasvojstvenom dekompozicijom simetricne matrice
M = V · Λ · V⊤?
Za simetricne matrice, SVD odgovara svojstvenoj dekompoziciji:
A = A⊤ ⇔ U = V
Uvrštavanjem SVD dekompozicije matrice A dobivamo:
2 V figurira u svojstvenoj dekompoziciji A⊤A = V(D⊤D)V⊤
2 U figurira u svojstvenoj dekompoziciji AA⊤ = U(DD⊤)U⊤
2 d2i = λi(A
⊤A) = λi(AA⊤)
Dinamicka analiza scena: Linearna algebra (2) 13/35)
Page 43
LINEARNA ALGEBRA (3)Svojstva SVD:
A = U · D · V⊤ =∑
i
di · uiv⊤
i
Dinamicka analiza scena: Linearna algebra (3) 14/35)
Page 44
LINEARNA ALGEBRA (3)Svojstva SVD:
A = U · D · V⊤ =∑
i
di · uiv⊤
i
SVD pruža osnovne informacije o matrici:
2 neka je di > 0,∀i ≤ r, te di = 0,∀i > r
2 kodomena (slika) matrice: K(A)= span{ui, i = 1, 2, ..., r}2 nulprostor (jezgra) matrice: null(A)= span{vi, i = r + 1, ..., n}2 rang matrice: rang(A) = r
Dinamicka analiza scena: Linearna algebra (3) 14/35)
Page 45
LINEARNA ALGEBRA (3)Svojstva SVD:
A = U · D · V⊤ =∑
i
di · uiv⊤
i
SVD pruža osnovne informacije o matrici:
2 neka je di > 0,∀i ≤ r, te di = 0,∀i > r
2 kodomena (slika) matrice: K(A)= span{ui, i = 1, 2, ..., r}2 nulprostor (jezgra) matrice: null(A)= span{vi, i = r + 1, ..., n}2 rang matrice: rang(A) = r
2 uvjetovanost matrice (δ(x)/δ(b)): κ(A)=d1/dn
Dinamicka analiza scena: Linearna algebra (3) 14/35)
Page 46
LINEARNA ALGEBRA (4)
Svojstva SVD A = U · D · V⊤ =∑
i di · uiv⊤
i (2):
SVD predstavlja djelovanje matrice kao:
2 rotaciju u odredišnom prostoru (Um×m)
2 neravnomjerno skaliranje + pad ranga (Dm×n)
2 rotaciju u izvornom prostoru (Vn×n)
Dinamicka analiza scena: Linearna algebra (4) 15/35)
Page 47
LINEARNA ALGEBRA (4)
Svojstva SVD A = U · D · V⊤ =∑
i di · uiv⊤
i (2):
SVD predstavlja djelovanje matrice kao:
2 rotaciju u odredišnom prostoru (Um×m)
2 neravnomjerno skaliranje + pad ranga (Dm×n)
2 rotaciju u izvornom prostoru (Vn×n)
Optimalna ‖‖F aproksimacija najbližom matricom nižeg ranga ra
2 dovoljno je postaviti di = 0, i = ra, ..., max(m,n)!
Dinamicka analiza scena: Linearna algebra (4) 15/35)
Page 48
LINEARNA ALGEBRA (4)
Svojstva SVD A = U · D · V⊤ =∑
i di · uiv⊤
i (2):
SVD predstavlja djelovanje matrice kao:
2 rotaciju u odredišnom prostoru (Um×m)
2 neravnomjerno skaliranje + pad ranga (Dm×n)
2 rotaciju u izvornom prostoru (Vn×n)
Optimalna ‖‖F aproksimacija najbližom matricom nižeg ranga ra
2 dovoljno je postaviti di = 0, i = ra, ..., max(m,n)!
2 redci matrice U — sortirana verzija redaka A,
Dinamicka analiza scena: Linearna algebra (4) 15/35)
Page 49
LINEARNA ALGEBRA (4)
Svojstva SVD A = U · D · V⊤ =∑
i di · uiv⊤
i (2):
SVD predstavlja djelovanje matrice kao:
2 rotaciju u odredišnom prostoru (Um×m)
2 neravnomjerno skaliranje + pad ranga (Dm×n)
2 rotaciju u izvornom prostoru (Vn×n)
Optimalna ‖‖F aproksimacija najbližom matricom nižeg ranga ra
2 dovoljno je postaviti di = 0, i = ra, ..., max(m,n)!
2 redci matrice U — sortirana verzija redaka A,
2 redci matrice V — sortirane osi varijabilnosti redaka A
2 kriterij sortiranja: istaknutost, znacaj pri raspoznavanju
2 primjene: PCA, kompresija, analiza linearnih sustavaDinamicka analiza scena: Linearna algebra (4) 15/35)
Page 50
LINEARNA ALGEBRA (5)Zašto i kako SVD optimalno (L2) “rješava” homogene sustave?
Dinamicka analiza scena: Linearna algebra (5) 16/35)
Page 51
LINEARNA ALGEBRA (5)Zašto i kako SVD optimalno (L2) “rješava” homogene sustave?
Neka je A = UDV⊤; tada tražimo x koji zadovoljava:
minx
‖UDV⊤x‖ = minx
‖DV⊤x‖, uz ‖x‖ = 1
Dinamicka analiza scena: Linearna algebra (5) 16/35)
Page 52
LINEARNA ALGEBRA (5)Zašto i kako SVD optimalno (L2) “rješava” homogene sustave?
Neka je A = UDV⊤; tada tražimo x koji zadovoljava:
minx
‖UDV⊤x‖ = minx
‖DV⊤x‖, uz ‖x‖ = 1
Neka je q = V⊤x; tada vrijedi:
‖UDV⊤x‖ = ‖Dq‖, uz ‖q‖ = 1 (∗)
Dinamicka analiza scena: Linearna algebra (5) 16/35)
Page 53
LINEARNA ALGEBRA (5)Zašto i kako SVD optimalno (L2) “rješava” homogene sustave?
Neka je A = UDV⊤; tada tražimo x koji zadovoljava:
minx
‖UDV⊤x‖ = minx
‖DV⊤x‖, uz ‖x‖ = 1
Neka je q = V⊤x; tada vrijedi:
‖UDV⊤x‖ = ‖Dq‖, uz ‖q‖ = 1 (∗)
Elementi D su pozitivni i padajuci, pa q koji minimizira (*) iznosi
q =[
0 0 . . . 1]⊤
Dinamicka analiza scena: Linearna algebra (5) 16/35)
Page 54
LINEARNA ALGEBRA (5)Zašto i kako SVD optimalno (L2) “rješava” homogene sustave?
Neka je A = UDV⊤; tada tražimo x koji zadovoljava:
minx
‖UDV⊤x‖ = minx
‖DV⊤x‖, uz ‖x‖ = 1
Neka je q = V⊤x; tada vrijedi:
‖UDV⊤x‖ = ‖Dq‖, uz ‖q‖ = 1 (∗)
Elementi D su pozitivni i padajuci, pa q koji minimizira (*) iznosi
q =[
0 0 . . . 1]⊤
Odatle slijedi ono što je trebalo dokazati: x = Vq = V:,n 2
Dinamicka analiza scena: Linearna algebra (5) 16/35)
Page 55
LINEARNA ALGEBRA (6)Zašto i kako SVD optimalno (L2) “rješava” nehomogene sustave?
Dinamicka analiza scena: Linearna algebra (6) 17/35)
Page 56
LINEARNA ALGEBRA (6)Zašto i kako SVD optimalno (L2) “rješava” nehomogene sustave?
Promotrimo sustav Ax − b → min.
Neka je A = UDV⊤; tada tražimo x koji zadovoljava:
minx
‖UDV⊤x − b‖ = minx
‖Dq − U⊤b‖, uz q = V⊤x
Dinamicka analiza scena: Linearna algebra (6) 17/35)
Page 57
LINEARNA ALGEBRA (6)Zašto i kako SVD optimalno (L2) “rješava” nehomogene sustave?
Promotrimo sustav Ax − b → min.
Neka je A = UDV⊤; tada tražimo x koji zadovoljava:
minx
‖UDV⊤x − b‖ = minx
‖Dq − U⊤b‖, uz q = V⊤x
Izrazimo traženi rezidual zbrojem kvadrata komponenata (L2):
‖Dq−U⊤b‖ =∑
i
(diqi − u⊤
i b)2 =r
∑
i=1
(diqi − u⊤
i b)2 +n
∑
i=r+1
(u⊤
i b)2
Dinamicka analiza scena: Linearna algebra (6) 17/35)
Page 58
LINEARNA ALGEBRA (6)Zašto i kako SVD optimalno (L2) “rješava” nehomogene sustave?
Promotrimo sustav Ax − b → min.
Neka je A = UDV⊤; tada tražimo x koji zadovoljava:
minx
‖UDV⊤x − b‖ = minx
‖Dq − U⊤b‖, uz q = V⊤x
Izrazimo traženi rezidual zbrojem kvadrata komponenata (L2):
‖Dq−U⊤b‖ =∑
i
(diqi − u⊤
i b)2 =r
∑
i=1
(diqi − u⊤
i b)2 +n
∑
i=r+1
(u⊤
i b)2
Sad se vidi da za minimum mora biti qi = u⊤
i b/di, i = 1 : r
(za ostale i, proizvoljno odabiremo qi = 0)Dinamicka analiza scena: Linearna algebra (6) 17/35)
Page 59
LINEARNA ALGEBRA (7)Kako SVD optimalno (L2) “rješava” nehomogene sustave? (2)
Pronašli smo qi = u⊤
i b/di, i = 1 : r, koliki je x = Vq?
Dinamicka analiza scena: Linearna algebra (7) 18/35)
Page 60
LINEARNA ALGEBRA (7)Kako SVD optimalno (L2) “rješava” nehomogene sustave? (2)
Pronašli smo qi = u⊤
i b/di, i = 1 : r, koliki je x = Vq?
Uvrštavamo qi i žongliramo skalarnim produktom...
x =r
∑
i=1
qi · vi =r
∑
i=1
u⊤
i b
di· vi =
r∑
i=1
viui⊤
di· b
Dinamicka analiza scena: Linearna algebra (7) 18/35)
Page 61
LINEARNA ALGEBRA (7)Kako SVD optimalno (L2) “rješava” nehomogene sustave? (2)
Pronašli smo qi = u⊤
i b/di, i = 1 : r, koliki je x = Vq?
Uvrštavamo qi i žongliramo skalarnim produktom...
x =r
∑
i=1
qi · vi =r
∑
i=1
u⊤
i b
di· vi =
r∑
i=1
viui⊤
di· b
Konacno, rješenje sustava Ax − b → min je:
x = VD+U⊤ · b = A+b
Dinamicka analiza scena: Linearna algebra (7) 18/35)
Page 62
LINEARNA ALGEBRA (7)Kako SVD optimalno (L2) “rješava” nehomogene sustave? (2)
Pronašli smo qi = u⊤
i b/di, i = 1 : r, koliki je x = Vq?
Uvrštavamo qi i žongliramo skalarnim produktom...
x =r
∑
i=1
qi · vi =r
∑
i=1
u⊤
i b
di· vi =
r∑
i=1
viui⊤
di· b
Konacno, rješenje sustava Ax − b → min je:
x = VD+U⊤ · b = A+b
A+ ... pseudoinverz od A (Moore - Penrose)Dinamicka analiza scena: Linearna algebra (7) 18/35)
Page 63
LINEARNA ALGEBRA (8)Kako SVD “rješava” sustave s manjkom ogranicenja?
Dinamicka analiza scena: Linearna algebra (8) 19/35)
Page 64
LINEARNA ALGEBRA (8)Kako SVD “rješava” sustave s manjkom ogranicenja?
Npr: koje sve ravnine prolaze kroz zadane dvije tocke?
Dinamicka analiza scena: Linearna algebra (8) 19/35)
Page 65
LINEARNA ALGEBRA (8)Kako SVD “rješava” sustave s manjkom ogranicenja?
Npr: koje sve ravnine prolaze kroz zadane dvije tocke?
Homogeni sustav minx ‖Am×n · x‖, uz ‖x‖ = 1 može imati:
2 rješenje u smislu LS, ako rang(A) = n
2 tocno rješenje, ako rang(A) = n − 1
2 beskonacno rješenja, ako rang(A) < n − 1
Dinamicka analiza scena: Linearna algebra (8) 19/35)
Page 66
LINEARNA ALGEBRA (8)Kako SVD “rješava” sustave s manjkom ogranicenja?
Npr: koje sve ravnine prolaze kroz zadane dvije tocke?
Homogeni sustav minx ‖Am×n · x‖, uz ‖x‖ = 1 može imati:
2 rješenje u smislu LS, ako rang(A) = n
2 tocno rješenje, ako rang(A) = n − 1
2 beskonacno rješenja, ako rang(A) < n − 1
U posljednjem slucaju, potprostor rješenja je:null(A)= span{vi, i = r + 1, ..., n}
Dinamicka analiza scena: Linearna algebra (8) 19/35)
Page 67
LINEARNA ALGEBRA (8)Kako SVD “rješava” sustave s manjkom ogranicenja?
Npr: koje sve ravnine prolaze kroz zadane dvije tocke?
Homogeni sustav minx ‖Am×n · x‖, uz ‖x‖ = 1 može imati:
2 rješenje u smislu LS, ako rang(A) = n
2 tocno rješenje, ako rang(A) = n − 1
2 beskonacno rješenja, ako rang(A) < n − 1
U posljednjem slucaju, potprostor rješenja je:null(A)= span{vi, i = r + 1, ..., n}
Rješenja nehomogenog sustava dobivamo kao zbroj:
2 potprostora rješenja homogenog sustava, i
2 nekog partikularnog rješenja Dinamicka analiza scena: Linearna algebra (8) 19/35)
Page 68
KONDICIONIRANJE LINEARNOG SUSTAVA
Razmotrimo homogeni preograniceni sustav (koji minimiziraalgebarski kriterij):
x = arg minx
|A · x| , uz |x| = 1
Dinamicka analiza scena: Kondicioniranje linearnog sustava 20/35)
Page 69
KONDICIONIRANJE LINEARNOG SUSTAVA
Razmotrimo homogeni preograniceni sustav (koji minimiziraalgebarski kriterij):
x = arg minx
|A · x| , uz |x| = 1
x je rješenje sustava AF · x = 0, gdje je AF defektna matricanajbliža A (u smislu Frobeniusove norme)
Dinamicka analiza scena: Kondicioniranje linearnog sustava 20/35)
Page 70
KONDICIONIRANJE LINEARNOG SUSTAVA
Razmotrimo homogeni preograniceni sustav (koji minimiziraalgebarski kriterij):
x = arg minx
|A · x| , uz |x| = 1
x je rješenje sustava AF · x = 0, gdje je AF defektna matricanajbliža A (u smislu Frobeniusove norme)
Kljuc kvalitete rješenja je u razdiobi šuma D u matrici sustava A:
D = A − A
Dinamicka analiza scena: Kondicioniranje linearnog sustava 20/35)
Page 71
KONDICIONIRANJE LINEARNOG SUSTAVA
Razmotrimo homogeni preograniceni sustav (koji minimiziraalgebarski kriterij):
x = arg minx
|A · x| , uz |x| = 1
x je rješenje sustava AF · x = 0, gdje je AF defektna matricanajbliža A (u smislu Frobeniusove norme)
Kljuc kvalitete rješenja je u razdiobi šuma D u matrici sustava A:
D = A − A
Neravnomjerno rasporeden šum ⇒ pristrano rješenje!
Dinamicka analiza scena: Kondicioniranje linearnog sustava 20/35)
Page 72
KONDICIONIRANJE LINEARNOG SUSTAVA
Razmotrimo homogeni preograniceni sustav (koji minimiziraalgebarski kriterij):
x = arg minx
|A · x| , uz |x| = 1
x je rješenje sustava AF · x = 0, gdje je AF defektna matricanajbliža A (u smislu Frobeniusove norme)
Kljuc kvalitete rješenja je u razdiobi šuma D u matrici sustava A:
D = A − A
Neravnomjerno rasporeden šum ⇒ pristrano rješenje!
Obratiti pažnju na razdiobu šuma po stupcima i po redcimamatrice sustava! Dinamicka analiza scena: Kondicioniranje linearnog sustava 20/35)
Page 73
KONDICIONIRANJE LINEARNOG SUSTAVA (2)Razdioba šuma u matrici sustava pospješuje se kondicioniranjem
Dinamicka analiza scena: Kondicioniranje linearnog sustava (2) 21/35)
Page 74
KONDICIONIRANJE LINEARNOG SUSTAVA (2)Razdioba šuma u matrici sustava pospješuje se kondicioniranjem
Teorijski dobro utemeljen pristup je uravnoteživanje [Muehlich98]
Dinamicka analiza scena: Kondicioniranje linearnog sustava (2) 21/35)
Page 75
KONDICIONIRANJE LINEARNOG SUSTAVA (2)Razdioba šuma u matrici sustava pospješuje se kondicioniranjem
Teorijski dobro utemeljen pristup je uravnoteživanje [Muehlich98]
Matrica sustava se množi s lijeva i s desne prikladnim kvadratnimmatricama punog ranga:
x = arg minx
|Aeq · x′| , gdje su (7)
Aeq = WL · A · WR, (8)
x′ = WR−1 · x (9)
Dinamicka analiza scena: Kondicioniranje linearnog sustava (2) 21/35)
Page 76
KONDICIONIRANJE LINEARNOG SUSTAVA (2)Razdioba šuma u matrici sustava pospješuje se kondicioniranjem
Teorijski dobro utemeljen pristup je uravnoteživanje [Muehlich98]
Matrica sustava se množi s lijeva i s desne prikladnim kvadratnimmatricama punog ranga:
x = arg minx
|Aeq · x′| , gdje su (10)
Aeq = WL · A · WR, (11)
x′ = WR−1 · x (12)
Cilj je ravnomjerno rasporeden šum u Aeq:
E[Deq⊤Deq] = c · I, gdje je Deq = Aeq − Aeq
Dinamicka analiza scena: Kondicioniranje linearnog sustava (2) 21/35)
Page 77
KRITERIJI ESTIMACIJE
Vratimo se na problem provlacenja p(qi)
Dinamicka analiza scena: Kriteriji estimacije 22/35)
Page 78
KRITERIJI ESTIMACIJE
Vratimo se na problem provlacenja p(qi)
Što fali algebarskom projekcijskom kriteriju:
palg = arg minp
Am×3 · p, gdje je Ai,: = qi⊤
2 nema eksplicitnog modela šuma
2 ne minimizira smislenu funkciju cilja
Dinamicka analiza scena: Kriteriji estimacije 22/35)
Page 79
KRITERIJI ESTIMACIJE
Vratimo se na problem provlacenja p(qi)
Što fali algebarskom projekcijskom kriteriju:
palg = arg minp
Am×3 · p, gdje je Ai,: = qi⊤
2 nema eksplicitnog modela šuma
2 ne minimizira smislenu funkciju cilja
Kriterij optimizacije dobivamo uvrštanjem podataka s eksplicitnomodeliranim šumom (xi, yi + δyi):
p = arg minp
p2 ·∑
∆yi2, uz
√
p21 + p2
2 + p23 = 1
Dinamicka analiza scena: Kriteriji estimacije 22/35)
Page 80
KRITERIJI ESTIMACIJE
Vratimo se na problem provlacenja p(qi)
Što fali algebarskom projekcijskom kriteriju:
palg = arg minp
Am×3 · p, gdje je Ai,: = qi⊤
2 nema eksplicitnog modela šuma
2 ne minimizira smislenu funkciju cilja
Kriterij optimizacije dobivamo uvrštanjem podataka s eksplicitnomodeliranim šumom (xi, yi + δyi):
p = arg minp
p2 ·∑
∆yi2, uz
√
p21 + p2
2 + p23 = 1
Kriterij je pristran jer favorizira pravce s malim p2!Dinamicka analiza scena: Kriteriji estimacije 22/35)
Page 81
KRITERIJI ESTIMACIJE (2)Bolje rješenje dobivamo parametrizacijom p = (k, l), kojadozvoljava modeliranje geometrijskog kriterija:
pg1 = arg minp
∑
i
‖p1 · xi + p2 − yi‖ (13)
= Am×2 · p2 − ym, gdje je Ai,: =[
xi 1]
(14)
Dinamicka analiza scena: Kriteriji estimacije (2) 23/35)
Page 82
KRITERIJI ESTIMACIJE (2)Bolje rješenje dobivamo parametrizacijom p = (k, l), kojadozvoljava modeliranje geometrijskog kriterija:
pg1 = arg minp
∑
i
‖p1 · xi + p2 − yi‖ (15)
= Am×2 · p2 − ym, gdje je Ai,: =[
xi 1]
(16)
Kad uvrstimo degradirani podatak (xi, yi + δyi): vidimo da i-tirezidual ri iznosi upravo δyi
Dinamicka analiza scena: Kriteriji estimacije (2) 23/35)
Page 83
KRITERIJI ESTIMACIJE (2)Bolje rješenje dobivamo parametrizacijom p = (k, l), kojadozvoljava modeliranje geometrijskog kriterija:
pg1 = arg minp
∑
i
‖p1 · xi + p2 − yi‖ (17)
= Am×2 · p2 − ym, gdje je Ai,: =[
xi 1]
(18)
Kad uvrstimo degradirani podatak (xi, yi + δyi): vidimo da i-tirezidual ri iznosi upravo δyi
Stoga ce rješenjep = A+y
biti pravac s minimalnim ukupnim kvadratnim odstupanjem odzadanih tocaka (pravac s najvecom vjerodostojnošcu)
Dinamicka analiza scena: Kriteriji estimacije (2) 23/35)
Page 84
KRITERIJI ESTIMACIJE (3)
Idemo provjeriti teoriju za tocke sa slike:(1,6); (2,5); (3,7); (4,10)
Dinamicka analiza scena: Kriteriji estimacije (3) 24/35)
Page 85
KRITERIJI ESTIMACIJE (3)
Idemo provjeriti teoriju za tocke sa slike:(1,6); (2,5); (3,7); (4,10)
AA — matrica algebarske formulacije (4 × 3)AG — matrica geometrijske formulacije (4 × 2)
Dinamicka analiza scena: Kriteriji estimacije (3) 24/35)
Page 86
KRITERIJI ESTIMACIJE (3)
Idemo provjeriti teoriju za tocke sa slike:(1,6); (2,5); (3,7); (4,10)
AA — matrica algebarske formulacije (4 × 3)AG — matrica geometrijske formulacije (4 × 2)
Izvorni kod u octaveu:
Aa=[1 6 1; 2 5 1; 3 7 1; 4 10 1];[U,D,V]=svd(Aa); v3=V(:,3);kla=[-v3(1)/v3(2); -v3(3)/v3(2)];
Ag=[1 1; 2 1; 3 1; 4 1];y=[6;5;7;10];klg=pinv(Ag)*y;
Dinamicka analiza scena: Kriteriji estimacije (3) 24/35)
Page 87
KRITERIJI ESTIMACIJE (3)
Idemo provjeriti teoriju za tocke sa slike:(1,6); (2,5); (3,7); (4,10)
AA — matrica algebarske formulacije (4 × 3)AG — matrica geometrijske formulacije (4 × 2)
Izvorni kod u octaveu:
Aa=[1 6 1; 2 5 1; 3 7 1; 4 10 1];[U,D,V]=svd(Aa); v3=V(:,3);kla=[-v3(1)/v3(2); -v3(3)/v3(2)];
Ag=[1 1; 2 1; 3 1; 4 1];y=[6;5;7;10];klg=pinv(Ag)*y;
disp(kla) // [ 0.9; 5.0 ]
disp(klg) // [ 1.4; 3.5 ]
disp(norm(Ag*kla-y)) // 2.4
disp(norm(Ag*klg-y)) // 2.0
Dinamicka analiza scena: Kriteriji estimacije (3) 24/35)
Page 88
KRITERIJI ESTIMACIJE (4)
Ali što ako šum djeluje na obje koordinate (TLS)
δx, δy ∼ N (0, σ2)?
Dinamicka analiza scena: Kriteriji estimacije (4) 25/35)
Page 89
KRITERIJI ESTIMACIJE (4)
Ali što ako šum djeluje na obje koordinate (TLS)
δx, δy ∼ N (0, σ2)?
Onda nam prošli kriteriji (alg, g1) nece dati optimalno rješenje
pg2 = arg minp
∑
i
d2(p,qi)
= arg minp
∑
i
(p1qx + p2qy + p3)2
p21 + p2
2
Dinamicka analiza scena: Kriteriji estimacije (4) 25/35)
Page 90
KRITERIJI ESTIMACIJE (4)
Ali što ako šum djeluje na obje koordinate (TLS)
δx, δy ∼ N (0, σ2)?
Onda nam prošli kriteriji (alg, g1) nece dati optimalno rješenje
pg2 = arg minp
∑
i
d2(p,qi)
= arg minp
∑
i
(p1qx + p2qy + p3)2
p21 + p2
2
Novi kriterij (g2) je nelinearan pa ga ne možemo optimiratialgebarskom minimizacijom!
Dinamicka analiza scena: Kriteriji estimacije (4) 25/35)
Page 91
KRITERIJI ESTIMACIJE (5)Situacija da se geometrijski kriterij ne da izraziti u okvirulinearnog sustava je vrlo cesta!
Dinamicka analiza scena: Kriteriji estimacije (5) 26/35)
Page 92
KRITERIJI ESTIMACIJE (5)Situacija da se geometrijski kriterij ne da izraziti u okvirulinearnog sustava je vrlo cesta!
Namece se zakljucak da najbolje rezultate necemo moci dobitibez nelinearne optimizacije (npr, gradijentni spust)
Dinamicka analiza scena: Kriteriji estimacije (5) 26/35)
Page 93
KRITERIJI ESTIMACIJE (5)Situacija da se geometrijski kriterij ne da izraziti u okvirulinearnog sustava je vrlo cesta!
Namece se zakljucak da najbolje rezultate necemo moci dobitibez nelinearne optimizacije (npr, gradijentni spust)
Da li su linearne metode estimacije beskorisne?(Projective geometry considered harmful, IJCV99)
Dinamicka analiza scena: Kriteriji estimacije (5) 26/35)
Page 94
KRITERIJI ESTIMACIJE (5)Situacija da se geometrijski kriterij ne da izraziti u okvirulinearnog sustava je vrlo cesta!
Namece se zakljucak da najbolje rezultate necemo moci dobitibez nelinearne optimizacije (npr, gradijentni spust)
Da li su linearne metode estimacije beskorisne?(Projective geometry considered harmful, IJCV99)
Ipak, odgovor je po svoj prilici ne, jer:
2 linearna metoda je cesto jedini izbor kad nemamo pocetnuaproksimaciju
2 ovisno o problemu, linearni rezultat može biti gotovo jednakoupotrebljiv kao i geometrijski
2 linearne metode mogu se dramaticno poboljšatikondicioniranjem (In Defense of the Eight-Point Algorithm,PAMI1997)
Dinamicka analiza scena: Kriteriji estimacije (5) 26/35)
Page 95
KRITERIJI ESTIMACIJE (6)
Za radoznale, u slucaju pravca, kriterijg2 se da izraziti metodom PCA.
Program u Octave-u (dolje), te tri pro-vucena pravca (desno)
A_alg=[1 6 1; 2 5 1; 3 7 1; 4 10 1];A_g2=A_alg(:,1:2);mu_g2=mean(A_g2);A_g2_mu=A_g2 - [1;1;1;1]*mu_g2;[U_g2,D_g2,V_g2]=svd(A_g2_mu);k_g2=V_g2(2,1)/V_g2(1,1)l_g2=mu_g2(2)-k_g2*mu_g2(1)
1 2 3 44
5
6
7
8
9
10
11
alg g1 g2
k 0.9 1.4 1.8l 5.0 3.5 2.4
Dinamicka analiza scena: Kriteriji estimacije (6) 27/35)
Page 96
KRITERIJI ESTIMACIJE (7)Statisti cki kriteriji estimacije
Dinamicka analiza scena: Kriteriji estimacije (7) 28/35)
Page 97
KRITERIJI ESTIMACIJE (7)Statisti cki kriteriji estimacije
Pretpostavimo model M(p), npr, p = (k, l), te da na temeljumjerenja o (npr, o = y) želimo ocijeniti parametre modela p
Dinamicka analiza scena: Kriteriji estimacije (7) 28/35)
Page 98
KRITERIJI ESTIMACIJE (7)Statisti cki kriteriji estimacije
Pretpostavimo model M(p), npr, p = (k, l), te da na temeljumjerenja o (npr, o = y) želimo ocijeniti parametre modela p
Statisticki kriterij za vrednovanje p: maksimizirati vjerojatnostopažanja o pod pretpostavkom M(p)!
Dinamicka analiza scena: Kriteriji estimacije (7) 28/35)
Page 99
KRITERIJI ESTIMACIJE (7)Statisti cki kriteriji estimacije
Pretpostavimo model M(p), npr, p = (k, l), te da na temeljumjerenja o (npr, o = y) želimo ocijeniti parametre modela p
Statisticki kriterij za vrednovanje p: maksimizirati vjerojatnostopažanja o pod pretpostavkom M(p)!
Uvjetnu vjerojatnost opažanja s obzirom na model nazivamovjerodostojnošcu modela:
L(p) = p(o|M(p))
Dinamicka analiza scena: Kriteriji estimacije (7) 28/35)
Page 100
KRITERIJI ESTIMACIJE (7)Statisti cki kriteriji estimacije
Pretpostavimo model M(p), npr, p = (k, l), te da na temeljumjerenja o (npr, o = y) želimo ocijeniti parametre modela p
Statisticki kriterij za vrednovanje p: maksimizirati vjerojatnostopažanja o pod pretpostavkom M(p)!
Uvjetnu vjerojatnost opažanja s obzirom na model nazivamovjerodostojnošcu modela:
L(p) = p(o|M(p))
Kriterij maksimalne vjerodostojnosti (MLE) izražavamo:
pMLE = arg maxp
L(p)
Dinamicka analiza scena: Kriteriji estimacije (7) 28/35)
Page 101
KRITERIJI ESTIMACIJE (8)Izvedimo MLE kriterij za provlacenje pravca kroz skup tocaka
p = arg maxp
p(y|M(p))
Dinamicka analiza scena: Kriteriji estimacije (8) 29/35)
Page 102
KRITERIJI ESTIMACIJE (8)Izvedimo MLE kriterij za provlacenje pravca kroz skup tocaka
p = arg maxp
p(y|M(p))
Izrazimo gustocu vjerojatnosti pojedinacnog mjerenja yi;pretp. yi ∼ N (yi, σ)) (normalno distribuirani , nepristrani ):
p(yi|yi) ∼ e−(yi−yi)
2
2σ2
Dinamicka analiza scena: Kriteriji estimacije (8) 29/35)
Page 103
KRITERIJI ESTIMACIJE (8)Izvedimo MLE kriterij za provlacenje pravca kroz skup tocaka
p = arg maxp
p(y|M(p))
Izrazimo gustocu vjerojatnosti pojedinacnog mjerenja yi;pretp. yi ∼ N (yi, σ)) (normalno distribuirani , nepristrani ):
p(yi|yi) ∼ e−(yi−yi)
2
2σ2
Izrazimo sada gustocu vjerojatnosti cijelog skupa mjerenja, podpretpostavkama jednake disperzije i nezavisnosti :
p(y|p,x) ∼∏
i
e−(yi−p1·xi−p2)2
2σ2
Dinamicka analiza scena: Kriteriji estimacije (8) 29/35)
Page 104
KRITERIJI ESTIMACIJE (9)Logaritam vjerodostojnosti sada je:
logL(p) ∼ −(yi − p1 · xi − p2)2
Dinamicka analiza scena: Kriteriji estimacije (9) 30/35)
Page 105
KRITERIJI ESTIMACIJE (9)Logaritam vjerodostojnosti sada je:
logL(p) ∼ −(yi − p1 · xi − p2)2
Pravac koji maksimira vjerodostojnost sad je:
p = arg maxp
L(p) = arg minp
(− logL(p))
Dinamicka analiza scena: Kriteriji estimacije (9) 30/35)
Page 106
KRITERIJI ESTIMACIJE (9)Logaritam vjerodostojnosti sada je:
logL(p) ∼ −(yi − p1 · xi − p2)2
Pravac koji maksimira vjerodostojnost sad je:
p = arg maxp
L(p) = arg minp
(− logL(p))
Dolazimo do ekvivalencije geometrijskog i MLE kriterija!
p = arg maxp
L(p) = arg minp
∑
i
‖p1 · xi + p2 − yi‖
Dinamicka analiza scena: Kriteriji estimacije (9) 30/35)
Page 107
KRITERIJI ESTIMACIJE (9)Logaritam vjerodostojnosti sada je:
logL(p) ∼ −(yi − p1 · xi − p2)2
Pravac koji maksimira vjerodostojnost sad je:
p = arg maxp
L(p) = arg minp
(− logL(p))
Dolazimo do ekvivalencije geometrijskog i MLE kriterija!
p = arg maxp
L(p) = arg minp
∑
i
‖p1 · xi + p2 − yi‖
Geometrijski kriterij nije MLE, kad god se šum ne može opisatidekoreliranim i identicnim normalnim razdiobama!Dinamicka analiza scena: Kriteriji estimacije (9) 30/35)
Page 108
KRITERIJI ESTIMACIJE (10)Kriterij MLE — p maksimira uvjetnu vjerojatnost opažanja o,neovisno o apriornoj vjerojatnosti parametara:
L(p) = p(o|M(p))
Dinamicka analiza scena: Kriteriji estimacije (10) 31/35)
Page 109
KRITERIJI ESTIMACIJE (10)Kriterij MLE — p maksimira uvjetnu vjerojatnost opažanja o,neovisno o apriornoj vjerojatnosti parametara:
L(p) = p(o|M(p))
Ako se p(p) može modelirati, estimaciju možemo poboljšati!
Dinamicka analiza scena: Kriteriji estimacije (10) 31/35)
Page 110
KRITERIJI ESTIMACIJE (10)Kriterij MLE — p maksimira uvjetnu vjerojatnost opažanja o,neovisno o apriornoj vjerojatnosti parametara:
L(p) = p(o|M(p))
Ako se p(p) može modelirati, estimaciju možemo poboljšati!
Kriterij MAP — p maksimira svoju posteriornu distribuciju:
p = arg maxp
p(M(p)|o)
Dinamicka analiza scena: Kriteriji estimacije (10) 31/35)
Page 111
KRITERIJI ESTIMACIJE (10)Kriterij MLE — p maksimira uvjetnu vjerojatnost opažanja o,neovisno o apriornoj vjerojatnosti parametara:
L(p) = p(o|M(p))
Ako se p(p) može modelirati, estimaciju možemo poboljšati!
Kriterij MAP — p maksimira svoju posteriornu distribuciju:
p = arg maxp
p(M(p)|o)
Gustocu vjerojatnosti p(p|o) kriterija MAP (max. a posteriori)dobivamo primjenom Bayesovog teorema:
P (M |O) =P (O|M) P (M)
P (O) Dinamicka analiza scena: Kriteriji estimacije (10) 31/35)
Page 112
KRITERIJI ESTIMACIJE (11)U našem slucaju, u brojniku imamo vjerodostojnost i apriornuvjerojatnost , a u nazivniku normalizacijski faktor
p(p|o) =p(o|p) · p(p)
p(o)∼ L(p) · p(p)
Dinamicka analiza scena: Kriteriji estimacije (11) 32/35)
Page 113
KRITERIJI ESTIMACIJE (11)U našem slucaju, u brojniku imamo vjerodostojnost i apriornuvjerojatnost , a u nazivniku normalizacijski faktor
p(p|o) =p(o|p) · p(p)
p(o)∼ L(p) · p(p)
Konacan izraz za estimator MAP je:
pMAP = arg maxp
L(p) · p(p)
Dinamicka analiza scena: Kriteriji estimacije (11) 32/35)
Page 114
KRITERIJI ESTIMACIJE (11)U našem slucaju, u brojniku imamo vjerodostojnost i apriornuvjerojatnost , a u nazivniku normalizacijski faktor
p(p|o) =p(o|p) · p(p)
p(o)∼ L(p) · p(p)
Konacan izraz za estimator MAP je:
pMAP = arg maxp
L(p) · p(p)
MLE: model = max p(slika|model)MAP: model = max p(slika|model) · p(model)
Dinamicka analiza scena: Kriteriji estimacije (11) 32/35)
Page 115
KRITERIJI ESTIMACIJE (11)U našem slucaju, u brojniku imamo vjerodostojnost i apriornuvjerojatnost , a u nazivniku normalizacijski faktor
p(p|o) =p(o|p) · p(p)
p(o)∼ L(p) · p(p)
Konacan izraz za estimator MAP je:
pMAP = arg maxp
L(p) · p(p)
MLE: model = max p(slika|model)MAP: model = max p(slika|model) · p(model)
Vidjeli smo klokana. Jesmo li u Australiji?Vidjeli smo nešto što podsjeca na znak. Da li je pokraj ceste?
Dinamicka analiza scena: Kriteriji estimacije (11) 32/35)
Page 116
KRITERIJI ESTIMACIJE (12)
Dinamicka analiza scena: Kriteriji estimacije (12) 33/35)
Page 117
KRITERIJI ESTIMACIJE (12)
[Zisserman01]Dinamicka analiza scena: Kriteriji estimacije (12) 33/35)
Page 118
ROBUSTNA ESTIMACIJA
Prisjetimo se motivacije :
1. svi unutarpopulacijski podatci doprinose rješenju
Dinamicka analiza scena: robustna estimacija 34/35)
Page 119
ROBUSTNA ESTIMACIJA
Prisjetimo se motivacije :
1. svi unutarpopulacijski podatci doprinose rješenju√
Dinamicka analiza scena: robustna estimacija 34/35)
Page 120
ROBUSTNA ESTIMACIJA
Prisjetimo se motivacije :
1. svi unutarpopulacijski podatci doprinose rješenju√
2. rezultat u prisustvu plauzibilnog šuma statisti cki povoljan
Dinamicka analiza scena: robustna estimacija 34/35)
Page 121
ROBUSTNA ESTIMACIJA
Prisjetimo se motivacije :
1. svi unutarpopulacijski podatci doprinose rješenju√
2. rezultat u prisustvu plauzibilnog šuma statisti cki povoljan√
Dinamicka analiza scena: robustna estimacija 34/35)
Page 122
ROBUSTNA ESTIMACIJA
Prisjetimo se motivacije :
1. svi unutarpopulacijski podatci doprinose rješenju√
2. rezultat u prisustvu plauzibilnog šuma statisti cki povoljan√
3. vanpopulacijski parametri ne ometaju tocan rezultat
Dinamicka analiza scena: robustna estimacija 34/35)
Page 123
ROBUSTNA ESTIMACIJA
Prisjetimo se motivacije :
1. svi unutarpopulacijski podatci doprinose rješenju√
2. rezultat u prisustvu plauzibilnog šuma statisti cki povoljan√
3. vanpopulacijski parametri ne ometaju tocan rezultat(to bismo sada, nažalost vrlo ukratko)
Dinamicka analiza scena: robustna estimacija 34/35)
Page 124
ROBUSTNA ESTIMACIJA
Prisjetimo se motivacije :
1. svi unutarpopulacijski podatci doprinose rješenju√
2. rezultat u prisustvu plauzibilnog šuma statisti cki povoljan√
3. vanpopulacijski parametri ne ometaju tocan rezultat(to bismo sada, nažalost vrlo ukratko)
Zašto outlieri mogu biti problem [Stewart99]?
Dinamicka analiza scena: robustna estimacija 34/35)
Page 125
ROBUSTNA ESTIMACIJA (2)Robustni pristupi u racunalnom vidu:
1. Houghova transformacija
2. Evaluacija hipoteza dobivenih nad minimalnim slucajnimuzorkomMonte Carlo analiza, RANSAC, MLESAC, ***SAC, LMedSqr
3. Iterativno poboljšanje korištenjem robustnih normi:IRLS, M-estimacija
Dinamicka analiza scena: robustna estimacija (2) 35/35)
Page 126
ROBUSTNA ESTIMACIJA (2)Robustni pristupi u racunalnom vidu:
1. Houghova transformacija
2. Evaluacija hipoteza dobivenih nad minimalnim slucajnimuzorkomMonte Carlo analiza, RANSAC, MLESAC, ***SAC, LMedSqr
3. Iterativno poboljšanje korištenjem robustnih normi:IRLS, M-estimacija
(I to je sve...)
Dinamicka analiza scena: robustna estimacija (2) 35/35)