Rozpoznawanie obrazów - eletel.p.lodz.pl · Rozpoznawanie obrazów Ko ńcowym etapem analizy obrazów mo że by ć nie tylko identyfikacja obiektów analizy oraz ich ilo ściowa

Rozpoznawanie obrazów

Końcowym etapem analizy obrazów może być nie

tylko identyfikacja obiektów analizy oraz ich ilościowa

charakterystyka ale również klasyfikacja obiektów i ich

symboliczna interpretacja, te ostatnie często są

określane terminem rozpoznania obrazu.

Z powyższych względów, faza rozpoznawania

obrazów zwykle nie wykorzystuje gotowych procedur

analizy danych a wymaga raczej specjalizowanych,

bardziej zaawansowanych metod analizy, np.

bazujących na sztucznej inteligencji.

Rozpoznawanie obrazów

Cechy zachowania inteligentnego:

⇒ możliwość wnioskowania na podstawie zbioru różnych, nieskojarzonych ze sobą danych,

⇒ zdolność do uczenia się na przykładach i generalizacji nabytej wiedzy (oraz zastosowania jej w innych zadaniach analizy danych),

⇒ zdolność rozpoznawania obiektów (interpretacji informacji) na podstawie niekompletnych danych.

Przykład trudnego problemu rozpoznawania obrazu

Wyłanianie

Przykład trudnego zadania rozpoznawania

obrazu (wymagającego

znamion zachowania inteligentnego)

Niezmienność

Teoria Gestalt (niem. postać)

Reifikacja

(iluzoryczne obiekty)Wieloznaczność

System rozpoznawania obrazów

Elementy składowe kompletnego systemu rozpoznawania obrazów:

• przetwarzanie niskiego poziomu - obejmuje

akwizycje obrazu, przetwarzanie wstępne, poprawę jakości obrazu, np. eliminacja zakłóceń, poprawa

kontrastu, filtracja itd.,

• przetwarzanie średniego poziomu - dotyczy

segmentacji obrazu oraz wydzielania i opisu cech obiektów obrazu, np. detekcja brzegów i konturów,

przetwarzanie morfologiczne, itd.,

• przetwarzanie wysokiego poziomu - polega na klasyfikacji, rozpoznawaniu i interpretacji

analizowanej sceny.

Elementy systemu rozpoznawania obrazów

Przetwarzanie

wstępne

Akwizycja

obrazu

SegmentacjaReprezentacja

i opis cech

Wiedza dotyczącacelu analizy

Rozpo-

znawanie

i interpretacja

Wynik

analizy

Analizowana

scena

Wzorce i klasy wzorców

Wzorzec to zbiór cech, który tworzy ilościowy i jakościowy opis obiektu; ściślej, wzorzec to wektor cech

x=[x1, x2, …, xN].

Klasa wzorców to zbiór wzorców charakteryzujących się podobnymi wektorami cech. Klasy wzorców oznaczmy

ω1, ω2,… ωM gdzie indeks M jest numerem klasy.

Rozpoznawanie wzorców (nazywane też klasyfikacją)

jest zadaniem polegającym na przyporządkowaniu wzorców do ich klas:

x→ ω

tj. przekształceniem przestrzeni wektorów cech X na

przestrzeń klas wzorców Ω.

Klasyfikacja wzorców

x3

x2

x1

Przestrzeń cech Przestrzeń klas

ω1

ω2

ω3

ω4

ω5

ω6

przyporządkowaniewiele do jednego

Klasyfikacja wzorców

Przyporzadkowanie x→ ω powinno być bezbłędne dla jak największej liczby wzorców. Zagadnienie znalezienia

najlepszego takiego przyporządkowania jest zadaniem

optymalizacji statystycznej. Konkretne sformułowanie tego zadania zależy od stopnia posiadanej wiedzy (modelu) o

rozkładzie statystycznym zbioru cech, jak również granicach klas.

W przypadku, gdy rozkłady cech są trudne do zamodelo-wania lub wiedza o ich rozkładzie statystycznym jest

niedostepna, klasyfikator, tj. przyporządkowanie x→ ω, może być zbudowany przez zastosowanie algorytmów

uczących, samodzielnie wypracowujących reguły

klasyfikacji na podstawie reprezentatywnego zbioru wzorców (wektorów cech).

Selekcja cech i ich właściwości

• dyskryminacja - cechy powinny przyjmować znacząco różne wartości dla obiektów z różnych klas,

np.średnica owocu jest dobrą cechą dla rozróżnienie wiśni i grejfrutów,

• niezawodność - cechy powinny przyjmować podobne wartości dla wszystkich obiektów danej

klasy, np. kolor jest złą cechą dla jabłek,

• niezależność - cechy wykorzystywane w danym systemie klasyfikacji powinny być nieskorelowane ze

sobą, np. waga i wielkość owocu są cechami silnie skorelowanymi,

• mała liczba - złożoność systemu klasyfikacji rośnie

szybko wraz z liczba klasyfikowanych cech, np. należy eliminować cech skorelowane.

Selekcja cech i ich właściwości

W praktyce testuje się wybrany intuicyjnie zbiór cech (wzorzec), którego rozmiar zostaje zredukowany do

akceptowalnej wielkości.

Selekcja cech może polegać na eliminacji cech o

„najgorszych właściwościach”, przy zachowaniu wymaganej jakości systemu klasyfikacji.

Badanie jakości klasyfikacji dla wszystkich możliwych

kombinacji podzbioru n cech ze zbioru wszystkich N

cech jest w praktyce zbyt kosztowne obliczeniowo dla dużych N.

Selekcja cech i ich właściwości

Współczynnik korelacji cech x i y:

gdzie: P - liczna klasyfikowanych obiektów, µ, σ

oznaczają odpowiednio wartości średnie i odchylenie standardowe danego zbioru cech. Jeżeli wsp. Korelacji

jest bliski 1 (-1) cechy x i y uważa się za silnie

skorelowane (np. jedną z nich można odrzucić).

( )( )

yx

P

1i

yixi

xyˆˆ

yxP

1

ˆσσ

µµ

σ

∑=

−−

=

Selekcja cech i ich właściwości

Przykład miary separacji cechy x pomiędzy klasami j i k:

Duża wartość tej miary świadczy o dobrej separacji cechy x pomiędzy klasami j i k.

2xk

2xj

xkxj

xjk

ˆˆ

Dσσ

µµ

+

−=

zła dobra

Redukcja wymiarowości

Kierunek głównej składowej

θ

Należy tak dobrać θ aby separacja cech była jak najlepsza

Wstępne przetworzenie cech

Wyrównanie wariancji

dekorelacja

Usunięcie średniej

x2x2

x2x2

x1 x1

x1x1

Klasyfikatory statystyczne

Jednym z możliwych podejść do zadania klasyfikacji jest budowanie tzw. funkcji decyzyjnych. Liczba funkcji decyzyjnych jest równa liczbie klas wzorców.

Niech x=[x1, x2, …, xN] oznacza N-wymiarowy wektor cech.

Spośród M klas ω1,ω1,… ωM, poszukujemy M funkcji

decyzyjnych d1(x), d2(x),…, dM(x) posiadających taką

właściwość, że jeżeli wzorzec x należy do klasy ωi to

zachodzi:

( ) ( ) ij;M,,,jdd ji ≠=> K21xx

Funkcja decyzyjna di(x), “wygrywa współzawodnictwo” do

przyporządkowania wzorca x klasie ωi .

Funkcje decyzyjne

obszar kasy 2 obszar kasy 1 obszar kasy 1obszar kasy 3

Funkcje decyzyjne

Granicę decyzyjną pomiędzy dwiema dowolnymi

klasami i oraz j (i ≠ j) definiuje zależność:

dij(x) = di(x) - dj(x) = 0

Zatem dla wzorców należących do i-tej klasy :

dij(x)>0

oraz dla wzorców należących do j-tej klasy:

dij(x)<0.

Załóżmy, że każda klasa wzorów jest reprezentowana przez typowy wzorzec, zwany prototypem klasy:

gdzie Pj jest liczbą wzorców z klasy ωj.

Jednym z możliwych sposobów klasyfikacji nowego wzorca x jest

przydzielenie go do klasy, której prototyp znajduje się najbliżej

tego wzorca.

Klasyfikator minimalnoodległościowy

(ang. minimum distance classifier)

MjP

jx

jj

i ,,2,1,1

K== ∑∈ω

xm

?

Klasyfikator minimalnoodległościowy

MjD jj ,,2,1mx)x( K=−=

Dla Euklidesowej miary odległości:

gdzie . Wzorzec x jest przydzielony

do klasy ωj jeżeli D(xj) jest odległością

najmniejszą.

2/1)zz(z T=

Klasyfikator minimalnoodległościowy

Na podstawie poprzednich zależności, funkcja

decyzyjna jest postaci:

Wektor x jest przyporządkowywany do klasy ωj

jeżeli dj(x) jest największe.

M,,2,1j2

1)(d j

Tjj

Tj K=−= mmmxx

Granica decyzyjna pomiędzy klasami ωi i ωj dla

klasyfikatora minimalnoodległościowego:

Obszar wyznaczony przez miejsca geometryczne

spełniające to równanie dzieli na pół i jest prostopadły

do linii łączącej mi i mj. Dla N=2 obszar ten redukuje się

do linii prostej, dla N=3 jest płaszczyzną, oraz dla N>3

jest nazywany hiperpłaszczyzną.

Klasyfikator minimalnoodległościowy

0)mm()mm(2

1)mm(x

xxx

=−−−−= jiT

jijiT

jiij ) = () - d() = d(d

Klasyfikator minimalnoodległościowy

d12(x) = 2.8x1 + 1.0x2 - 8.9 = 0

Przykład 1: Rozpatrzmy dwie klasy ω1 i ω2, posiadające

wektory średnie cech m1 = (4.3, 1.3)T i m2 = (1.5, 0.3)T.

Funkcje decyzyjne dla tych klas są postaci:

d1(x) = xTm1 - 0.5 m1Tm1 = 4.3x1+1.3x2 - 10.1

d2(x) = xTm2 - 0.5 m2Tm2 = 1.5x1+0.3x2 - 1.17

Równanie granicy decyzyjnej:

d12(x) = d1(x) - d2(x) = 2.8x1 + 1.0x2 -8.9 = 0

Nowy wektor cech jest klasyfikowany zależnie od znaku

d12(x).

Klasyfikator minimalnoodległościowy

Przykład 2: Klasyfikacja znaków do numeracji

czeków

Do klasyfikacji tych znaków zastosowano klasyfikator minimalnoodległościowy.

Próbki sygnałów odpowiadające każdemu ze znaków, tworzą zbiór 14 wektorów prototypowych. Klasyfikacja znaków polega na znalezieniu prototypu klasy najbliższego wektorowi cech utworzonego z rozpoznawanego znaku.

Klasyfikator minimalnoodległościowy

Klasyfikator minimalnoodległościowy sprawdza się w zastosowaniach, w których odległość pomiędzy prototypami klas jest duża w porównaniu z

rozrzutem wzorców w klasie. Warunek ten jest jednak rzadko spełniany w praktyce chyba, że

projektant systemu klasyfikacji zapewni spełnienie tego warunku.

Zauważmy również, że klasyfikator minimalno-odległościowy wytwarza granice decyzyjne w postaci prostych i (hiper)-płaszczyzn, a nie wszystkie problemy klasyfikacji należą do

rozdzielnych liniowo.

Rodzaje klasyfikatorów

Parametryczne: warunkowe gęstości prawdopodo-

bieństwa cech są znane jako funkcje: nieznane są parametry tych funkcji (np. dla rozkładu Gaussowskiego

µ i σ), np. klasyfikator Bayesa jest klasyfikatorem parametrycznym

Nieparametryczne: warunkowe gęstości prawdopodo-bieństwa są nieznane i muszą być estymowane na

podstawie dużej liczby danych pomiarowych.

Uczenie klasyfikatorów

Uczenie (trening klasyfikatora): estymacja funkcji gęstości prawdopodobieństwa lub ich parametrów na

podstawie pomiarów.

Uczenie nadzorowane: wektory cech zostały uprzednio sklasyfikowane za pomocą niezależnej,

bezbłędnej metody.

Uczenie nienadzorowane: nieznane są klasy, do

których należą zmierzone wektory cech. Klasy oraz ich liczba są określane przez grupowanie wzorców w

przestrzeni cech (klasteryzacja).

Przykłady klasyfikatorów:

Klasyfikatory k-NN,Sztuczne sieci neuronowe

Segmentacja obrazu – przykład

Segmentacja na podstawie składowych koloru

R,G,B

Obraz trójwymiarowych

rozkładów (Gaussa) dla składowych koloru R,G,B

B

G R

Klasyfikator Bayesa dla rozkładów Gaussa

p(x)

prawdopodobieństwa a priori

c

c

x

c1 - klasa 1

c2 - klasa 2

Reguła Bayesa

Z podstaw rachunku prawdopodobieństwa wiadomo, że:

zatem:

)(

)/()()/(

bp

abpapbap =

( )( ) ( )

( )x

xx

p

c/pcP/cp ii

i =

prawdopodobieństwo

a priori

prawdopodobieństwo

a posteriori

reguła

Bayesa

Estymator największej wiarygodności

Punkt obrazu przydzielamy do tej i-tej klasy, dla

której zachodzi:

( ) ( ) ( )( )

N,,,i,p

c/pcP/cpmaxargL ii

ji

i K21=

==x

xx

N,,,i,ij,LL ji K21=≠>

tj.

Klasyfikator Bayesa dla rozkładów Gaussa

)/()/( 12 xpxp ωω >

p(x)

prawdopodobieństwa a priori

)/()/( 21 xcpxcp >)/()/( 12 xcpxcp >

c

c

c1 - klasa 1

c2 - klasa 2

Klasyfikator Bayesa - przykład

Losowo „w ciemno” wybieramy urnę a potem żeton w urnie.

Pytanie: Z której urny wybraliśmy żeton?

Urna A Urna B

20 – czerwone

20 – białe

30 – czerwone

10 – białe

Zanim stwierdzimy jaki kolor żetonu wylosowaliśmy

mamy podstawy twierdzić (wiedza a priori), że prawdopodobieństwo wybrania każdej z urn wynosi 0.5.

Klasyfikator Bayesa - przykład

20 – czerwone

20 – białe

30 – czerwone

10 – białe

Urna A Urna B

Przypuśćmy, że wylosowaliśmy czerwony żeton. Czy możemy teraz zweryfikować naszą hipotezę co do

wyboru urny na podstawie nowej wiedzy a posteriori? Tak, odpowiedź mamy na podstawie tw. Bayesa.

Klasyfikator Bayesa - przykład

20 – czerwone

20 – białe

30 – czerwone

10 – białe

Urna A Urna B

( )( ) ( )

( ) ( ) ( ) ( )

( )( ) ( )

( ) ( ) ( ) ( )60

750505050

75050

40750505050

5050

.....

..

B/pBPA/pAP

B/pBP/Bp

.....

..

B/pBPA/pAP

A/pAP/Ap

=×+×

×=

+=

=×+×

×=

+=

redred

redred

redred

redred

To ta

urna!

20 – czerwone

20 – białe

30 – czerwone

10 – białe

najprawdopodobniej

Klasyfikator Bayesa - przykład

Urna A Urna B

Klasyfikator Bayesa dla rozkładów Gaussa

( ) 2,12

)(exp

2

1/

2

2

=

−−= i

mxcxp

i

i

ii

σσπ

Dla rozkładu jednowymiarowego Gaussaprawdopodobieństwo a priori:

( ) ( ) 2,1)(2

)(exp

2

1)(//

2

2

=

−−== icP

mxcPcxpxcp i

i

i

iiii

σσπ

Prawdopodobieństwo a posteriori:

Rozkłady wielowymiarowe Gaussa

Dla rozkładu 2-wymiarowego xT=[x1 x2] Gaussa

prawdopodobieństwo a priori:

Gdzie i jest numerem klas a N jest ich liczbą.

oraz macierz kowariancji:

( )( )

Nicp i iT

i

i

i ,,2,12

)()(exp

2

1/

1

2/12/1

K=

−−−=

∑

∑

−mxmx

x

π

ixxx

xxxi

=Σ

2212

2121

σσσ

σσσ

Rozkład dwuwymiarowy Gaussa - przykład

Niech dla m1=m2=0:

=Σ

42

23

-6 -4 -2 0 2 4 6-6

-4

-2

0

2

4

6

−

−=Σ−

8

3

4

14

1

2

1

1

( )( )

)exp(2

1exp

2

1 1

2/12/1

BApT =

−= ∑

∑

−xxx

π

( ) ππ 4

1

82

1

2/12/1==A

+−−= 2

22121

8

3

2

1

2

1

2

1xxxxB

8=Σ

x1

x2

Segmentacja na podstawie składowych koloru

R,G,B

Obraz trójwymiarowych

rozkładów dla składowych

koloru R,G,B; można je

opisać wielowymiarowymi

rozkładami Gaussa

B

G R

Wektor cech:

vuBGRyx ,,,,,,=θ

współrzędnekolor

ruch

Wybór cech obrazu

dt

dyv

dt

dxu

=

=

Segmentacja na podstawie ruchu

Pole wektorowe

przepływu optycznego

(ang. optical flow)

Segmentacja na podstawie składowych ruchu

u,v

Algorytm k-najbliższych sąsiadów

Dla każdego punktu przestrzeni cech jest badanych

k-najbliższych sąsiadów. Punkt jest przydzielany do tej

klasy do której należy największa liczba wzorców spośród

k-sąsiadów (funkcja decyzyjna?).

1 2

3

11

11

11

1 11

1 11

111

11

1 11

1 11

111

11

1 11

1

11

111

11

1 11

1

22

2

22

2 2

2

22

2 22 2

2

2

22

2

2

2

222

2

2

2

22

22

2

22

222

22

33

3

33

3

33

33

33

3

33

33 3

3

33

33

33

33 3

33

33

33

33

3 3

3

x1

x23∈x

Wyniki segmentacji - przykłady

1

23 4

56

Wyniki segmentacji - przykłady

Przykłady zadań rozpoznawania obrazów: Odciski palców

Baza obrazów z

odciskami palców

FBI 1992

Przykłady zadań rozpoznawania obrazów:Diagnostyka obrazowa

Mamografia

Przykłady zadań rozpoznawania obrazów:rozpoznawanie tęczówki oka (biometria)

Patentowany algorytm Daugmana

Przykłady zadań rozpoznawania obrazów: Bazy obrazów

C.E. Jacobs, A. Finkelstein, D.H. Salesis,„Fast multiresolution image quering”, 1999

„Idea” obrazu

poszukiwanego

kopia obrazu

poszukiwanego

Obraz

odszukanylub

DWT

Analiza obrazów RTG ziaren pszenicy

P. Strumillo, J. Niewczas, P. Szczypiński, P. Makowski, W. Wozniak, “Computer system for analysis of X–ray images of wheat grains”, International Agrophysics, 1999, vol. 13, No. 1, pp. 133–140.

Automatyczna detekcja tekstu w scenie