The Wiener Theory of Nonlinear Systems and Algoritms for Construction of Invariants Image Features

7/28/2019 The Wiener Theory of Nonlinear Systems and Algoritms for Construction of Invariants Image Features

1/13

I n t e r n a l R e p o r t 1 / 9 7 , A l b e r t - L u d w i g s - U n i v e r s i t

a t F r e i b u r g , I I F - L M B , G e r m a n y , N o v e m b e r 1 9 9 7

T h e W i e n e r T h e o r y o f N o n l i n e a r S y s t e m s a n d

A l g o r i t h m s f o r t h e C o n s t r u c t i o n o f I n v a r i a n t I m a g e

F e a t u r e s

S . S i g g e l k o w

A l b e r t - L u d w i g s - U n i v e r s i t

a t F r e i b u r g

I n s t i t u t f

u r I n f o r m a t i k

7 9 0 8 5 F r e i b u r g i . B r . , G e r m a n y

s v e n . s i g g e l k o w @ i n f o r m a t i k . u n i - f r e i b u r g . d e

A b s t r a c t . T h e V o l t e r r a t h e o r y g i v e s a c h a r a c t e r i z a t i o n o f n o n l i n e a r s y s t e m s i n

t e r m s o f p o l y n o m i a l f u n c t i o n a l s . T h i s t h e o r y w a s a n a l y s e d i n c o m p a r i s o n t o a l g o -

r i t h m s f o r t h e c o n s t r u c t i o n o f i n v a r i a n t i m a g e f e a t u r e s i n 1 ] a n d c o n d i t i o n s w e r e

d e r i v e d s o t h a t t h e s e f e a t u r e s r e m a i n c o n s t a n t i f t h e i m a g e s a r e t r a n s f o r m e d a c c o r d -

i n g t o t h e a c t i o n o f a t r a n s f o r m a t i o n g r o u p . H o w e v e r i n g e n e r a l o n e c a n o b s e r v e

a h i g h c o r r e l a t i o n b e t w e e n d i e r e n t i m a g e f e a t u r e s , t h a t a r e c o n s t r u c t e d t h a t w a y .

T h e r e f o r e t h i s p a p e r e x a m i n e s t h e u s e o f W i e n e r t h e o r y f o r o r t h o g o n a l i z i n g t h e s e

f e a t u r e s .

1 I n t r o d u c t i o n

I n v a r i a n t f e a t u r e s a r e d a t a c h a r a c t e r i s t i c s w h i c h r e m a i n c o n s t a n t w h e n t h e d a t a a r e t r a n s -

f o r m e d a c c o r d i n g t o t h e a c t i o n o f s p e c i c t r a n s f o r m a t i o n s . W e w i l l m a i n l y f o c u s o n i m a g e

p r o c e s s i n g a p p l i c a t i o n s o f s u c h i n v a r i a n t f e a t u r e s .

I n 1 ] t h e V o l t e r r a t h e o r y o f n o n l i n e a r s y s t e m s w a s a p p l i e d t o c o n s t r u c t i n v a r i a n t i m a g e

f e a t u r e s . T h e V o l t e r r a t h e o r y g i v e s a s y s t e m c h a r a c t e r i z a t i o n i n t e r m s o f p o l y n o m i a l

f u n c t i o n a l s . I n p a r t i c u l a r i t p r o v i d e s s t a b i l i t y c r i t e r i a a n d m e t h o d s f o r t h e s y n t h e s i s o f

o p t i m a l ( i n t h e s e n s e o f m i n i m a l m e a n s q u a r e a p p r o x i m a t i o n e r r o r ) s y s t e m s o f a g i v e n

o r d e r .

T h e V o l t e r r a t e c h n i q u e c o u l d n o t b e a p p l i e d d i r e c t l y f o r t h e c o n s t r u c t i o n o f i n v a r i a n t

f e a t u r e s d u e t o s e v e r a l r e a s o n s : T h e r s t p o i n t i s t h a t i n t h e V o l t e r r a t h e o r y t h e s y s t e m

i n p u t a n d o u t p u t a r e e l e m e n t s o f t h e s a m e s i g n a l s p a c e . B u t f o r i n v a r i a n t f e a t u r e e x t r a c -

t i o n o n e m a i n g o a l i s d a t a r e d u c t i o n . T h e s e c o n d p o i n t c o n c e r n s t h e s p e c i a l r o l e o f s i g n a l

t r a n s l a t i o n s . O n t h e o n e h a n d t h e s y s t e m o u t p u t i n V o l t e r r a t h e o r y i s s u p p o s e d t o h a v e

a s p e c i c t r a n s f o r m a t i o n l a w w i t h r e s p e c t t o i n p u t s i g n a l t r a n s l a t i o n s a n d o n t h e o t h e r

T h e r e p o r t e d w o r k w a s s u p p o r t e d b y t h e E u r o p e a n E S P R I T / I T P r o j e c t 2 0 2 2 9 N O B L E S S E - N o n -

l i n e a r M o d e l - B a s e d A n a l y s i s a n d D e s c r i p t i o n o f I m a g e s f o r M u l t i m e d i a A p p l i c a t i o n s

1


2/13

h a n d t h e r e a r e t r a n s f o r m a t i o n g r o u p s w h i c h r e q u i r e t r a n s l a t i o n i n v a r i a n c e o f t h e s y s t e m

o u t p u t .

A s a s o l u t i o n w e c o n c e n t r a t e d o n t h e f u n c t i o n a l a s p e c t o f t h e V o l t e r r a s e r i e s 1 ] . T h e

e s s e n c e o f t h e V o l t e r r a r e p r e s e n t a t i o n i s t h a t w e h a v e t o p i c k a t e v e r y l o c a t i o n o f t h e

s i g n a l a n a p p r o p r i a t e s u b s e t o f t h e s i g n a l , t h a t w e e v a l u a t e a f u n c t i o n u s i n g t h i s s u b s e t ( i n

t h e V o l t e r r a t h e o r y t h e s e f u n c t i o n s a r e m o n o m i a l s o f t h e s i g n a l v a l u e s ) a n d t h a t w e h a v e

t o m u l t i p l y t h i s v a l u e w i t h t h e v a l u e o f a f u n c t i o n w h i c h o n l y d e p e n d s o n t h e c o o r d i n a t e s

o f t h e s u b s e t , a n d t h a t w e h a v e t o a d d t h e r e s u l t s o f t h e s e c o m p u t a t i o n s . T h a t i s t h e

i n t e r p r e t a t i o n o f t h e V o l t e r r y a a p p r o a c h w h i c h w a s m o s t u s e f u l i n t h e c o n t e x t o f f e a t u r e

e x t r a c t i o n . F o r t h e V o l t e r r a k e r n e l s c o n d i t i o n s w e r e d e r i v e d , s o t h a t t h e r e s u l t i n g f e a t u r e s

b e c a m e i n v a r i a n t .

I n t h e n e x t s e c t i o n w e r s t w a n t t o i n t r o d u c e t h e b a s i c n o t a t i o n , t h a t w i l l b e u s e d t h r o u g h -

o u t t h i s p a p e r . W e t h e n s u m m a r i z e t h e k e y r e s u l t s o f 1 ] a g a i n , w h i c h g i v e s a n i n s t r u c t i o n

h o w t o c o n s t r u c t i n v a r i a n t i m a g e f e a t u r e s . I n s e c t i o n 3 w e w i l l s u m m a r i z e t h e b a s i c i d e a

o f t h e W i e n e r t h e o r y o f n o n l i n e a r s y s t e m s a n d s e e i n s e c t i o n 4 h o w i t c a n b e u s e d t o

c o n s t r u c t i n v a r i a n t f e a t u r e s , t h a t a r e o r t h o g o n a l . S e c t i o n 5 w i l l i l l u s t r a t e t h e m e t h o d b y

g i v i n g t w o e x a m p l e s a n d t h e l a s t s e c t i o n s u m m a r i z e s t h e k e y f e a t u r e s o f o u r t e c h n i q u e .

2 B a s i c C o n c e p t s

T h e p u r p o s e o f t h i s s e c t i o n i s t o i n t r o d u c e o u r t e r m i n o l o g y a n d t o e x p l a i n s o m e e s s e n t i a l s

c o n c e r n i n g t h e a c t i o n o f t r a n s f o r m a t i o n g r o u p s o n t h e d a t a u n d e r c o n s i d e r a t i o n . S i g n a l s

( a l s o c a l l e d i m a g e s o r p a t t e r n s ) a r e d e n o t e d b y u p p e r c a s e b o l d f a c e l e t t e r s , e . g . M a n d

a r e d e n e d a s c o m p l e x v a l u e d m a p s M : S ! C ; u ! M u ] o n t h e s u p p o r t s p a c e S . T h e

s u p p o r t s p a c e S m a y b e t h e w h o l e o f I R

n

; n

2

f 1 ; 2 ; 3 g o r o n l y a s u b s e t l i k e I N

n

o r Z Z

n

. T h e

v e c t o r s u

2

S a r e c a l l e d c o o r d i n a t e s . T h e n u m b e r M u ] i s c a l l e d g r a y v a l u e a t t h e p i x e l

c o o r d i n a t e u . W e d e n o t e b y S

S

t h e s e t o f a l l s i g n a l s w i t h s u p p o r t s p a c e S . F o r n = 1 o n e

o f t e n s p e a k s a b o u t t i m e s i g n a l s , f o r n = 2 a b o u t g r a y s c a l e i m a g e s a n d f o r n = 3 a b o u t

3 D i m a g e s .

O n S

S

w e h a v e t h e a c t i o n o f t w o d i e r e n t t r a n s f o r m a t i o n t y p e s . T h e r s t t y p e a r e s i g n a l

t r a n s l a t i o n s d e s c r i b e d b y o p e r a t o r s T ( t ) : S

S

! S

S

:

( T ( t ) M ) u ] = M u ? t ] ; t

2

S : ( 1 )

T h e s e c o n d t y p e o f s i g n a l t r a n s f o r m a t i o n s i s d e n e d b y a g r o u p G a n d l i n e a r o p e r a t o r s

T ( g ) : S

S

! S

S

; g

2

G . T r a n s f o r m e d s i g n a l s T ( g ) M a r e s o m e t i m e s a l s o d e n o t e d b y

f

M .

T h e t r a n s f o r m a t i o n s t h a t w e c o n s i d e r i n t h i s p a p e r c a n b e d e s c r i b e d i n t e r m s o f t h e a c t i o n

o f t h e g r o u p G o n t h e p i x e l c o o r d i n a t e s :

f

M u ] = M

e

u ] ;

e

u = g u ; g

2

G : ( 2 )

T h e g r o u p e l e m e n t s g

2

G c a n i n g e n e r a l b e d e s c r i b e d b y s q u a r e m a t r i c e s . I t i s a s s u m e d

t h r o u g h o u t t h e r e s t o f t h e p a p e r t h a t t h e s e m a t r i c e s a r e n o n s i n g u l a r , i . e . i n v e r t i b l e . W e

w a n t t o m e n t i o n t w o e x a m p l e s o f g r o u p t r a n s f o r m a t i o n s f o r t h e c a s e n = 2 , w h i c h a r e o f

p a r t i c u l a r i n t e r e s t f o r c o m p u t e r v i s i o n a p p l i c a t i o n s :

2


3/13

t h e g r o u p o f i m a g e r o t a t i o n s a n d t r a n s l a t i o n s

e

u =

e

u

1

e

u

2

!

=

c o s ' ? s i n '

s i n ' c o s '

!

u

1

u

2

!

+

t

1

t

2

!

: ( 3 )

t h e g r o u p o f a n e i m a g e t r a n s f o r m a t i o n s

e

u =

e

u

1

e

u

2

!

=

a

1 ; 1

a

1 ; 2

a

2 ; 1

a

2 ; 2

!

u

1

u

2

!

+

t

1

t

2

!

: ( 4 )

I n v a r i a n t i m a g e f e a t u r e s a r e c o m p l e x v a l u e d f u n c t i o n a l s F : S

S

! C d e n e d o n t h e s i g n a l

s p a c e S

S

, w h i c h a r e i n v a r i a n t w i t h r e s p e c t t o t h e a c t i o n o f t h e t r a n s f o r m a t i o n g r o u p G

o n t h e s i g n a l s , i . e .

F ( T ( g ) M ) = F ( M ) 8 g

2

G ; M

2

S

S

( 5 )

W i t h u p p e r c a s e l e t t e r s ( e . g . F ) w e d e n o t e i n v a r i a n t f e a t u r e s w h i l e l o w e r c a s e l e t t e r s ( e . g .

f ) d e n o t e i n g e n e r a l f u n c t i o n a l s , w h i c h a r e n o t n e c e s s a r i l y i n v a r i a n t . I n 1 ] t h e V o l t e r r a

t h e o r y o f n o n l i n e a r s y s t e m s w a s a p p l i e d f o r t h e c o n s t r u c t i o n o f i n v a r i a n t i m a g e f e a t u r e s .

T h e m a i n a s p e c t s o f t h e V o l t e r r a t h e o r y o f n o n l i n e a r s y s t e m s , t h a t w e n e e d f o r o u r

c o n s i d e r a t i o n s , w i l l b e s u m m a r i z e d h e r e b r i e y , a c o m p r e h e n s i v e t r e a t m e n t o f t h i s t o p i c

c a n b e f o u n d i n 2 ] .

A s y s t e m i s v i e w e d a s a b l a c k b o x w h i c h m a p s a n i n p u t f u n c t i o n x ( u ) t o a n o u t p u t

f u n c t i o n y ( u ) . W e d e n o t e t h e s y s t e m o p e r a t o r b y T . T h e n t h e s y s t e m i s d e s c r i b e d b y

y = T x ] ( 6 )

N o t e t h a t b o t h x a n d y a r e f u n c t i o n s d e n e d o n t h e s u p p o r t s p a c e S h e r e . T h e s y s t e m i s

c a l l e d s h i f t i n v a r i a n t i f t h e t r a n s l a t i o n o p e r a t o r s T ( t ) c o m m u t e w i t h t h e s y s t e m o p e r a t o r

T , i . e .

T T ( t ) x ] = T ( t ) T x ] 8 t : ( 7 )

N o t e t h a t t h i s d e n i t i o n o f s h i f t i n v a r i a n c e i s s o m e w h a t m i s l e a d i n g c o m p a r e d t o t h e

d e n i t i o n o f i n v a r i a n c e u s e d e l s e w h e r e i n t h i s p a p e r . H e r e i t m e a n s t h a t a s h i f t i n t h e

i n p u t c a u s e s a s h i f t i n t h e o u t p u t , w h e r e a s w e w a n t t o d e n o t e b y i n v a r i a n c e , t h a t t h e

o u t p u t i s e x a c t l y t h e s a m e f o r a t r a n s f o r m e d i n p u t .

T h e f u n d a m e n t a l t h e o r e m i n V o l t e r r a t h e o r y s t a t e s t h a t f o r a s h i f t i n v a r i a n t s y s t e m T

w h i c h f u l l l s s o m e a d d i t i o n a l r e s t r i c i t i o n s t h e r e l a t i o n b e t w e e n t h e i n p u t a n d t h e o u t p u t

c a n b e e x p r e s s e d b y t h e V o l t e r r a s e r i e s :

y = T x ] =

1

X

n = 1

H

n

x ] ( 8 )

w i t h t h e n ' t h o r d e r V o l t e r r a o p e r a t o r

H

n

x ] ( u ) =

1

Z

? 1

: : :

1

Z

? 1

h

n

( u

1

; : : : ; u

n

) x ( u ? u

1

) : : : x ( u ? u

n

) d u

n

: : : d u

1

: ( 9 )

3


4/13

T h e f u n c t i o n s h

n

( u

1

; : : : ; u

n

) a r e c a l l e d t h e V o l t e r r a k e r n e l s .

F o r a x e d u t h e e q u a t i o n ( 9 ) b e c o m e s

y ( u ) = T x ] =

1

X

n = 1

H

n

x ] ( u ) : ( 1 0 )

T h e e s s e n c e o f t h i s f o r m u l a i s t h a t w e h a v e t o p i c k a t e v e r y l o c a t i o n a n a p p r o p r i a t e s u b s e t

o f t h e s i g n a l , w e e v a l u a t e a f u n c t i o n u s i n g t h i s s u b s e t ( i n t h e V o l t e r r a t h e o r y t h e s e a r e

m o n o m i a l s o f t h e s i g n a l v a l u e s ) a n d m u l t i p l y t h i s v a l u e w i t h t h e v a l u e o f a f u n c t i o n w h i c h

o n l y d e p e n d s o n t h e c o o r d i n a t e s o f t h e s u b s e t , a n d t h a t w e h a v e t o a d d t h e r e s u l t s o f

t h e s e c o m p u t a t i o n s .

F r o m t h i s s t r a t e g y i n v a r i a n t i m a g e f e a t u r e s a r e d e r i v e d . I n s t e a d o f j u s t u s i n g m o n o n i a l s

o f t h e s i g n a l v a l u e s , w e d e n o t e b y f ( M u

1

] ; : : : ; M u

n

] ) a r e a l y v a l u e d f u n c t i o n o f t h e n

g r a y v a l u e s M u

1

] ; : : : ; M u

n

] a n d b y I ( u

1

; : : : ; u

n

) a r e a l v a l u e d f u n c t i o n o f t h e n p i x e l

c o o r d i n a t e s u

1

; : : : ; u

n

.

F o r a g i v e n g r a y s c a l e i m a g e M w e d e n o t e b y A

n

( M ) t h e f o l l o w i n g i n t e g r a l :

A

n

( M ) =

Z

u

1

: : :

Z

u

n

I ( u

1

; : : : ; u

n

) f ( M u

1

] ; : : : ; M u

n

] ) d u

n

: : : d u

1

( 1 1 )

w i t h t h e g r a y s c a l e k e r n e l f ( M u

1

] ; : : : ; M u

n

] ) a n d t h e g e o m e t r i c k e r n e l I ( u

1

; : : : ; u

n

) .

T h e f e a t u r e A

n

( M ) i s c a l l e d a n n - t h o r d e r g r a y s c a l e f e a t u r e .

F o r t h e s e f e a t u r e s a p p r o p r i a t e g r a y s c a l e a n d g e o m e t r i c k e r n e l s w e r e d e r i v e d s o t h a t t h e

f e a t u r e s c o n s t r u c t e d a c c o r d i n g t o e q u a t i o n ( 1 1 ) a r e i n v a r i a n t w i t h r e s p e c t t o t h e a c t i o n

o f t h e t r a n s f o r m a t i o n g r o u p G .

F o r e n s u r i n g t h e c o n v e r g e n c e o f t h e i n t e g r a l s t h e r e h a d t o b e d o n e s o m e r e s t r i c t i o n s :

t h e r e i s o n l y o n e o b j e c t i n t h e s c e n e

i n t h e t r a n s f o r m e d i m a g e t h e e n t i r e o b j e c t i s v i s i b l e

t h e o b j e c t c a n b e s e g m e n t e d f r o m t h e b a c k g r o u n d , w h o s e i n t e n s i t y i s s e t t o z e r o

t h e g r a y s c a l e k e r n e l f ( M u

1

] ; : : : ; M u

n

] ) e q u a l s z e r o i f o n e o f t h e g r a y v a l u e s

M u

1

] ; : : : ; M u

n

] e q u a l s z e r o .

T h e s e c o n d i t i o n s g u a r a n t e e t h a t o n l y g r a y v a l u e s c o m i n g f r o m t h e o b j e c t i n t h e i m a g e

c o n t r i b u t e t o t h e f e a t u r e A

n

( M ) i n e q u a t i o n ( 1 1 ) .

I t w a s s h o w n t h e n 1 ] , t h a t t h e g e o m e t r i c k e r n e l I ( u

1

; : : : ; u

n

) h a s t o f u l l l t h e c o n d i t i o n

I ( u

1

; : : : ; u

n

) = J

e

U

( U ) I (

e

u

1

; : : : ;

e

u

n

) ; ( 1 2 )

i . e . t h e n - t h o r d e r g e o m e t r i c k e r n e l I ( u

1

; : : : ; u

n

) h a s t o b e a r e l a t i v e i n v a r i a n t w i t h w e i g h t

J

e

U

( U ) , w h i c h i s t h e J a k o b i a n o f t h e t r a n s f o r m a t i o n

f

U : = (

e

u

1

; : : : ;

e

u

n

)

T

! U : = ( u

1

; : : : ; u

n

)

T

: ( 1 3 )

E . g . f o r t h e g r o u p o f i m a g e r o t a t i o n s a n d t r a n s l a t i o n s w e o b t a i n J

e

U

( U ) = 1 , a n d f o r t h e

g r o u p o f a n e i m a g e t r a n s f o r m a t i o n s J

e

U

( U ) = j d e t A j

n

w i t h A b e i n g t h e t r a n s f o r m a t i o n

m a t r i x i n t h e t r a n s f o r m a t i o n l a w ( 4 ) 3 ] .

4


5/13

3 T h e W i e n e r G - f u n c t i o n a l s

U s i n g t h e V o l t e r r a s e r i e s f o r s y s t e m a n a l y s i s l e a d s t o t w o m a i n p r o b l e m s . T h e r s t

d i c u l t y c o n c e r n s t h e m e a s u r e m e n t o f t h e V o l t e r r a k e r n e l s o f a g i v e n s y s t e m . T h i s i s

o n l y p o s s i b l e , i f t h e c o n t r i b u t i o n s o f e a c h o f t h e s y s t e m ' s V o l t e r r a o p e r a t o r s c a n b e b e

s e p e r a t e d f r o m t h e t o t a l s y s t e m r e s p o n s e . T h e s e c o n d p r o b l e m i s t h e c o n v e r g e n c e o f t h e

V o l t e r r a s e r i e s . I t m a y c o n v e r g e f o r o n l y a l i m i t e d r a n g e o f t h e s y s t e m i n p u t a m p l i t u d e .

W i e n e r c i r c u m v e n t e d t h e s e p r o b l e m s b y f o r m i n g a n o r t h o g o n a l s e t o f f u n c t i o n a l s f r o m t h e

V o l t e r r a f u n c t i o n a l s . H e c a l l e d t h e o r t h o g o n a l f u n c t i o n a l s G - f u n c t i o n a l s , s i n c e t h e y a r e

o r t h o g o n a l w h e n t h e i n p u t i s a w h i t e G a u s s i a n t i m e f u n c t i o n . N o t e t h a t b y d o i n g s o h e

s p e c i e d t h e i n p u t x ( u ) o f t h e s y s t e m . S o i f w e f o r m a s e t o f f u n c t i o n a l s f r o m t h e V o l t e r r a

f u n c t i o n a l s w h o s e m e m b e r s a r e o r t h o g o n a l f o r o n e i n p u t , t h e y m a y n o t b e o r t h o g o n a l f o r

a n o t h e r i n p u t s i n c e t h e t i m e f u n c t i o n s H

n

x ( u ) ] w i l l b e d i e r e n t . W i e n e r c o n s i d e r e d a

w h i t e G a u s s i a n i n p u t a s i t r e s u l t s i n a p h y s i c a l m e a n i n g f u l c h a r a c t e r i z a t i o n o f a n u n k n o w n

n o n l i n e a r s y s t e m a n d i s p r a c t i c a l f r o m a m a t h e m a t i c a l a n d a l s o a n e x p e r i m e n t a l v i e w p o i n t .

S t a r t i n g f r o m n o n h o m o g e n o u s V o l t e r r a f u n c t i o n a l s

g

p

h

p

; h

p ? 1 ( p )

; : : : ; h

0 ( p )

; x ( u ) ] =

p

X

n = 0

H

n ( p )

x ( u ) ] ( 1 4 )

= h

0 ( p )

+

p

X

n = 1

1

Z

? 1

: : :

1

Z

? 1

h

n ( p )

( u

1

; : : : ; u

n

) x ( u ? u

1

) : : : x ( u ? u

n

) d u

n

: : : d u

1

( 1 5 )

w i t h h

i ( i )

= : h

i

, t h e W i e n e r G - f u n c t i o n a l s a r e c o n s t r u c t e d a s a s p e c i a l s e t o f n o n h o m o g e -

n o u s V o l t e r r a f u n c t i o n a l s , f o r w h i c h

H

m

x ( u ) ] g

n

h

n

; h

n ? 1 ( n )

; : : : ; h

0 ( n )

; x ( u ) ] = 0 f o r m < n ( 1 6 )

w h e n x ( u ) i s a w h i t e G a u s s i a n t i m e f u n c t i o n . T h a t i s , f o r t h e w h i t e G a u s s i a n i n p u t

x ( u ) , t h e n o n h o m o g e n o u s f u n c t i o n a l g

n

h

n

; h

n ? 1 ( n )

; : : : ; h

0 ( n )

; x ( u ) ] i s o r t h o g o n a l t o a n y

h o m o g e n o u s V o l t e r r a f u n c t i o n a l o f d e g r e e l e s s t h a n n .

4 U t i l i z i n g W i e n e r t e c h n i q u e s f o r c o n s t r u c t i n g a n o r -

t h o g o n a l s e t o f i n v a r i a n t f e a t u r e s

W e n o w w a n t t o a p p l y t h e b a s i c i d e a o f t h e W i e n e r t h e o r y t o t h e i n v a r i a n t f e a t u r e s

e x p l a i n e d b e f o r e . H o w e v e r w e h a v e t w o m a i n p r o b l e m s t h e r e :

T h e i n v a r i a n t f e a t u r e s d o n o t d e p e n d o n u , s o w e c a n n o t d o t h e a v e r a g i n g o v e r u

a s d o n e f o r t h e W i e n e r f u n c t i o n a l s .

I n V o l t e r r a a n d W i e n e r t h e o r y t h e f u n c t i o n s o f t h e s i g n a l v a l u e s a r e m o n o m i a l s . F o r

t h e c o n s t r u c t i o n o f i n v a r i a n t i m a g e f e a t u r e s w e d o n o t h a v e t h i s r e s t r i c t i o n . T h e r e -

f o r e w e c a n n o t g i v e a n a n a l y t i c s o l u t i o n f o r a r b i t r a r y f u n c t i o n s f ( M u

1

] ; : : : ; M u

n

] ) .

W e w i l l p r e s e n t a n a l g o r i t h m f o r t h e c o n s t r u c t i o n o f o r t h o g o n a l f e a t u r e s f o r g i v e n

f u n c t i o n s i n s t e a d .

5


6/13

I n p r i n c i p l e t h e r e a r e t w o d i e r e n t k i n d s o f c o r r e l a t i o n b e t w e e n t h e i n v a r i a n t f e a t u r e s :

c o r r e l a t i o n s , t h a t a r e i n d e p e n d e n t f r o m t h e i m a g e c o n t e n t , a n d

c o r r e l a t i o n s , t h a t d e p e n d o n t h e i m a g e c o n t e n t .

T h e r s t c a s e d e s c r i b e s t h e p r i n c i p l e c o r r e l a t i o n b e t w e e n t w o i n v a r i a n t f e a t u r e s A

i

( M )

a n d A

j

( M ) . T h e e x a m i n a t i o n o f t h i s c a s e i s i n p r o g r e s s a n d w i l l b e r e p o r t e d l a t e r . T h e

b a s i c i d e a i s t o e x a m i n e t h e c o r r e l a t i o n f o r w h i t e G a u s s i a n i n p u t , w h i c h h a s n o i n t r i n s i c

c o r r e l a t i o n .

H e r e w e w a n t t o t r e a t t h e s e c o n d c a s e o f c o r r e l a t i o n , d e p e n d e n t o n t h e i m a g e c o n t e n t ,

w h i c h o f t e n h a s t h e d o m i n a n t e e c t c o m p a r e d t o t h e i m a g e i n d e p e n d e n t c o r r e l a t i o n .

H a v i n g a s e t o f i m a g e s w e w a n t t o m a k e t h e i n v a r i a n t f e a t u r e s o r t h o g o n a l i n m e a n w i t h

r e s p e c t t o t h i s s e t o f i m a g e s . T h e r e f o r e w e p e r f o r m t h e a v e r a g i n g o v e r t h i s s e t o f i m a g e s .

C o n s i d e r t h e f o l l o w i n g p r a c t i c a l b a c k g r o u n d : W e h a v e s o m e i n d u s t r i a l p r o c e s s a n d w a n t

t o d i s t i n g u i s h b e t w e e n d i e r e n t d i s t i n c t o b j e c t s . T h e n w e w o u l d h a v e t o m a k e o u r f e a t u r e s

o r t h o g o n a l w i t h r e s p e c t t o t h e s e o b j e c t s . A s t h e f e a t u r e s a r e i n v a r i a n t w i t h r e s p e c t t o a

g e o m e t r i c a l t r a n s f o r m a t i o n w e n e e d n o t p e r f o r m t h e a v e r a g i n g o v e r a l l p o s s i b l e i m a g e s ,

b u t o n l y o v e r o n e i m a g e o f e a c h o b j e c t . A s a r e s u l t w e h o p e t o o b t a i n f e a t u r e s t h a t

d o n ' t h a v e s u c h a h i g h c o r r e l a t i o n a s b e f o r e . E . g . p r a c t i c a l f e a t u r e s f o r t h e c a s e o f i m a g e

r o t a t i o n a n d t r a n s l a t i o n a r e g i v e n b y

A

1

( M ) =

Z

u

1

M u

1

] d u

1

( 1 7 )

a n d

A

2

( M ) =

Z

u

1

Z

u

2

( k u

1

? u

2

k ? 1 ) M u

1

] M u

2

] d u

2

d u

1

( 1 8 )

w i t h t h e D i r a c d i s t r i b u t i o n

( ) =

(

1 ; i f = 0 ;

0 ; e l s e .

( 1 9 )

O b v i o u s l y t h i s g e o m e t r i c k e r n e l f u l l l s I ( u

1

; : : : ; u

n

) = I (

e

u

1

; : : : ;

e

u

n

) , a s E u c l i d e a n m o t i o n

d o e s n o t a l t e r t h e d i s t a n c e o f t w o p o i n t s . T h e a d v a n t a g e o f t h e s e f e a t u r e s i s t h a t b y

c h o o s i n g t h e g e o m e t r i c k e r n e l l i k e i n ( 1 8 ) t h e c o m p u t a t i o n a l c o m p l e x i t y i s c o n s i d e r a b l y

r e d u c e d ( f o r d e t a i l s s e e s e c t i o n 5 . 2 ) . H o w e v e r i t i s o b v i o u s t h a t , i f M u

1

] h a s a h i g h

v a l u e , w e c a n e x p e c t d u e t o t h e h i g h c o r r e l a t i o n o f n e i g h b o u r i n g p i x e l s i n i m a g e s , t h a t

M u

1

] M u

2

] f o r k u

1

? u

2

k = 1 w i l l b e o f h i g h v a l u e t o o , s o t h a t t h e r e i s a c e r t a i n

c o r r e l a t i o n b e t w e e n A

1

( M ) a n d A

2

( M ) . B u t w e k n e w b e f o r e h a n d , t h a t t h i s c o r r e l a t i o n

i s g i v e n , a n d a r e p r i m a r i l y i n t e r e s t e d i n t h e i n f o r m a t i o n b e y o n d t h i s . T h e r e f o r e i t m a k e s

s e n s e , t o t r y t o r e m o v e t h i s c o r r e l a t i o n , t h a t o v e r l a y s t h e i n f o r m a t i o n t h a t w e a r e l o o k i n g

f o r .

F u r t h e r m o r e w e w a n t t o d o s o m e s i m p l i c a t i o n c o m p a r e d t o t h e W i e n e r - G - f u n c t i o n a l s .

T h e r e t h e h

m ( n )

( u

1

; : : : ; u

m

) a r e a s s u m e d a s a n y f u n c t i o n a n d o n l y r e s t r i c t e d b y t h e c o n -

d i t i o n ( 1 6 ) . A s i t i s g e n e r a l l y d i c u l t i n p r a c t i c e t o c o n s t r u c t g e o m e t r i c k e r n e l s t h a t f u l l l

t h e i n v a r i a n c e c o n d i t i o n ( 1 2 ) w e a s s u m e t h a t a n y I

m ( n )

c a n b e w r i t t e n a s

I

m ( n )

( u

1

; : : : ; u

m

) = b

m ( n )

I

m

( u

1

; : : : ; u

m

) ( 2 0 )

6


7/13

w i t h b

m ( n )

b e i n g a s c a l a r .

T h u s w e f o r m i n a n o l o g y t o t h e n o n h o m o g e n o u s V o l t e r r a f u n c t i o n a l s n o n h o m o g e n o u s

i n v a r i a n t s :

B

n

( M ) = b

0 ( n )

+

n

X

p = 1

b

p ( n )

Z

u

1

: : :

Z

u

p

I

p

( u

1

; : : : ; u

p

) f

p

( M u

1

] ; : : : ; M u

p

] ) d u

p

: : : d u

1

( 2 1 )

N o t e t h a t t h e s e a r e a l i n e a r c o m b i n a t i o n o f h o m o g e n o u s i n v a r i a n t s . T h u s w e c a n e n s u r e

t h a t , i f w e u s e i n v a r i a n t h o m o g e n o u s f e a t u r e s a s b a s i s , w e w i l l o b t a i n i n v a r i a n t f e a t u r e s

a g a i n . I n o t h e r w o r d s : W e d o n o t n e e d t o w o r r y , i f t h e s o c o n s t r u c t e d f e a t u r e s a r e s t i l l

i n v a r i a n t { t h e y a r e .

W e c a n a s s u m e b

i

: = b

i ( i )

= 1 a s t h i s w i l l o n l y r e s u l t i n a s c a l a r f a c t o r f o r t h e o t h e r b

m ( n )

.

W e n o w h a v e t o f u l l l t h e c o n d i t i o n :

A

m

( M ) B

n

( M ) = 0 f o r m < n ( 2 2 )

a v e r a g i n g o v e r o n e r e p r e s e n t a t i v e M o f e a c h p a t t e r n c l a s s .

T h e h o m o g e n o u s i n v a r i a n t s A

m

( M ) t h e r e i n l o o k l i k e t h i s :

A

m

( M ) = a

m

Z

u

1

: : :

Z

u

m

I

m

( u

1

; : : : ; u

m

) f

m

( M u

1

] ; : : : ; M u

m

] ) d u

m

: : : d u

1

; ( 2 3 )

w i t h A

0

( M ) = a

0

.

L e t u s h a v e a l o o k a t t h e r s t t h r e e i n v a r i a n t s :

O b v i o u s l y B

0

( M ) = b

0

: = 0 i s i n v a r i a n t .

B

1

( M ) h a s t o f u l l l t h e c o n d i t i o n A

0

( M ) B

1

( M ) = 0 T h u s w e h a v e

0 = a

0

0

@

b

0 ( 1 )

+

Z

u

1

I

1

( u

1

) f

1

( M u

1

] ) d u

1

1

A

0 = b

0 ( 1 )

+

Z

u

1

I

1

( u

1

) f

1

( M u

1

] ) d u

1

| { z }

= : c

1

b

0 ( 1 )

= ? c

1

W e o b t a i n

B

1

( M ) =

Z

u

1

I

1

( u

1

) f

1

( M u

1

] ) d u

1

?

Z

u

1

I

1

( u

1

) f

1

( M u

1

] ) d u

1

( 2 4 )

B

2

( M ) h a s t o f u l l l t h e c o n d i t i o n s A

0

( M ) B

2

( M ) = 0 a n d A

1

( M ) B

2

( M ) = 0 .

0 = a

0

b

0 ( 2 )

+ a

0

b

1 ( 2 )

Z

u

1

I

1

( u

1

) f

1

( M u

1

] ) d u

1

+ a

0

Z

u

1

Z

u

2

I

2

( u

1

; u

2

) f

2

( M u

1

] ; M u

2

] ) d u

2

d u

1

0 = b

0 ( 2 )

+ b

1 ( 2 )

Z

u

1

I

1

( u

1

) f

1

( M u

1

] ) d u

1

| { z }

c

1

+

Z

u

1

Z

u

2

I

2

( u

1

; u

2

) f

2

( M u

1

] ; M u

2

] ) d u

2

d u

1

| { z }

= : c

2

7


8/13

a n d

0 = a

1

Z

u

1

I

1

( u

1

) f

1

( M u

1

] ) d u

1

b

0 ( 2 )

+ a

1

Z

u

1

I

1

( u

1

) f

1

( M u

1

] ) d u

1

b

1 ( 2 )

Z

u

1

I

1

( u

1

) f

1

( M u

1

] ) d u

1

+ a

1

Z

u

1

I

1

( u

1

) f

1

( M u

1

] ) d u

1

Z

u

1

Z

u

2

I

2

( u

1

; u

2

) f

2

( M u

1

] ; M u

2

] ) d u

2

d u

1

0 = b

0 ( 2 )

Z

u

1

I

1

( u

1

) f

1

( M u

1

] ) d u

1

| { z }

c

1

+ b

1 ( 2 )

0

@

Z

u

1

I

1

( u

1

) f

1

( M u

1

] ) d u

1

1

A

2

| { z }

= : c

1 ; 1

+

Z

u

1

I

1

( u

1

) f

1

( M u

1

] ) d u

1

Z

u

1

Z

u

2

I

2

( u

1

; u

2

) f

2

( M u

1

] ; M u

2

] ) d u

2

d u

1

| { z }

= : c

1 ; 2

W i t h t h e c

1

, c

2

, c

1 ; 1

, a n d c

1 ; 2

i n t r o d u c e d w e o b t a i n t h e f o l l o w i n g e q u a t i o n

1 c

1

c

1

c

1 ; 1

!

b

0 ( 2 )

b

1 ( 2 )

!

+

c

2

c

1 ; 2

!

=

0

0

!

( 2 5 )

w h i c h h a s t h e s o l u t i o n ( i f t h e d e t e r m i n a n t d o e s n o t e q u a l z e r o )

b

0 ( 2 )

b

1 ( 2 )

!

=

0

@

c

1

c

1 ; 2

? c

2

c

1 ; 1

c

1 ; 1

? c

2

1

c

1

c

2

? c

1 ; 2

c

1 ; 1

? c

2

1

1

A

: ( 2 6 )

T h u s w e o b t a i n :

B

2

( M ) =

Z

u

1

Z

u

2

I

2

( u

1

; u

2

) f

2

( M u

1

] ; M u

2

] ) d u

2

d u

1

+

c

1

c

2

? c

1 ; 2

c

1 ; 1

? c

2

1

Z

u

1

I

1

( u

1

) f

1

( M u

1

] ) d u

1

( 2 7 )

+

c

1

c

1 ; 2

? c

2

c

1 ; 1

c

1 ; 1

? c

2

1

W e h a v e t o p a y a t t e n t i o n t o t h e c a s e , t h a t t h e d e n o m i n a t o r b e c o m e s z e r o . O b v i o u s l y t h i s

i s j u s t t h e c a s e t h a t t h e d e t e r m i n a n t e q u a l s z e r o . F o r i n d e p e n d e n t v a r i a b l e s a ; b , w e h a v e

a b = a b . T h i s c a s e i s n o t o c c u r r i n g h e r e , a s w e h a v e t h e s a m e i n t e g r a l b o t h t i m e s a n d

s o w e d o n o t h a v e i n d e p e n d e n c e . B u t w e c a n n o t f o l l o w f r o m a b = a b t h a t a ; b m u s t b e

i n d e p e n d e n t ( i m a g i n e t h e s i m p l e c a s e t h a t a

i

= b

i

= 1 ) . T h i s m e a n s , i t m a y h a p p e n , t h a t

t h e d e t e r m i n a n t e q u a l s z e r o , a l t h o u g h w e h a v e n o i n d e p e n d e n c e . B u t t h i s j u s t c a u s e s

e q u a t i o n ( 2 5 ) t o b e c o m e u n d e r d e t e r m i n e d , w h i c h g i v e s u s a n e x t r a f r e e d o m , e . g . w e c a n

f r e e l y c h o o s e b

1 ( 2 )

= 0 a n d c a l c u l a t e b

0 ( 2 )

f o r t h i s c a s e .

I n g e n e r a l w i t h

c

n

=

Z

u

1

: : :

Z

u

n

I

n

( u

1

; : : : ; u

n

) f

n

( M u

1

] ; : : : ; M u

n

] ) d u

n

: : : d u

1

( 2 8 )

8


9/13

a n d

c

m ; n

= c

n ; m

=

Z

u

1

: : :

Z

u

m

I

n

( u

1

; : : : ; u

m

) f

m

( M u

1

] ; : : : ; M u

m

] ) d u

m

: : : d u

1

Z

u

1

: : :

Z

u

n

I

n

( u

1

; : : : ; u

n

) f

n

( M u

1

] ; : : : ; M u

n

] ) d u

n

: : : d u

1

( 2 9 )

( t h e a v e r a g i n g i s o v e r t h e w h o l e t e r m ! ) w e o b t a i n t h e f o l o w i n g e q u a t i o n f o r s o l v i n g

c o n d i t i o n ( 2 2 ) :

0

B

B

B

B

@

1 c

1

c

n ? 1

c

1

c

1 ; 1

c

1 ; n ? 1

.

.

.

.

.

.

.

.

.

c

n ? 1

c

n ? 1 ; 1

c

n ? 1 ; n ? 1

1

C

C

C

C

A

0

B

B

B

B

@

b

0 ( n )

b

1 ( n )

.

.

.

b

n ? 1 ( n )

1

C

C

C

C

A

+

0

B

B

B

B

@

c

n

c

1 ; n

.

.

.

c

n ? 1 ; n

1

C

C

C

C

A

=

0

B

B

B

B

@

0

0

.

.

.

0

1

C

C

C

C

A

( 3 0 )

T h u s w e c a n d o t h e f o l l o w i n g s t e p s f o r f o r m i n g a n o r t h o g o n a l s e t o f i n v a r i a n t i m a g e

f e a t u r e s :

S t a r t i n g w i t h A

1

( M ) ( w e n e g l e c t B

0

= b

0

a s i t h a s n o p r a c t i c a l u s e ) w e c a l c u l a t e i t f o r a l l

i m a g e s t h a t w e w a n t t o f o r m t h e s e t o f i n v a r i a n t s f o r ( w e o n l y h a v e t o t a k e o n e i n s t a n c e o f

e a c h i m a g e , n o t i t ' s t r a n s f o r m e d i n s t a n c e s ) . F r o m t h i s w e f o r m B

1

( M ) a s A

1

( M ) m i n u s

t h e a v e r a g e o v e r a l l A

1

( M ) .

N o w l e t u s a s s u m e , t h a t w e a l r e a d y h a v e t h e A

m

( M ) ; m

2

f 0 ; 1 ; : : : ; n ? 1 g u n d t h u s a l s o

t h e c

m

a n d c

k ; m

; k m . W e c a n t h e n c a l c u l a t e A

n

( M ) a n d f r o m t h a t t h e r e m a i n i n g c

n

a n d c

l ; n

; l n a n d w i t h t h e s e s o l v e e q u a t i o n ( 3 0 ) . W i t h t h e b

j ( n )

t h a t w e o b t a i n , w e d e n e

t h e n e w i n v a r i a n t f e a t u r e B

n

( M ) t h a t i s o r t h o g o n a l t o a n y p r e v i o u s h o m o g e n o u s f e a t u r e

a n d t h e r e f o r e a l s o o r t h o g o n a l t o t h e p r e v i o u s l y c a l c u l a t e d i n h o m o g e n o u s f e a t u r e s .

5 E x a m p l e s

W e w a n t t o g i v e t w o e x a m p l e s . I n t h e r s t e x a m p l e w e w a n t t o s h o w t h e c o n s t r u c t i o n

f o r a s i m p l e 1 - D c a s e f o r g e t t i n g a n i m p r e s s i o n o f t h e p r o c e d u r e . T h e r e w e a s s u m e ,

t h a t w e h a v e g i v e n a l l i m a g e s c l a s s e s , s o t h a t t h e a v e r a g i n g o v e r t h e s e c a n b e d o n e i n

p r a c t i c e . H o w e v e r , i n a n o t h e r a p p l i c a t i o n i t m i g h t n o t b e p o s s i b l e t o d e n e a l l e x i s t e n t

i m a g e c l a s s e s , e . g . i n i m a g e d a t a b a s e s o n e d o e s n o t k n o w b e f o r e h a n d , w h i c h i m a g e s w i l l

b e i n s e r t e d . S o t h e o r t h o g o n a l i z a t i o n t h e r e c a n b e d o n e f o r a s u b s e t o f t h e i m a g e s o n l y .

H o w e v e r w e w i l l s e e , t h a t t h e o r t h o g o n a l i z a t i o n s t i l l r e s u l t s i n a n i m p r o v e m e n t , i f o n e

c h o o s e s a p p r o p r i a t e g e o m e t r i c a l k e r n e l s .

N o w l e t u s c o m e t o t h e r s t , s i m p l e 1 - D e x a m p l e .

5 . 1 E x a m p l e 1

W e a s s u m e b i n a r y v e c t o r s o f s i z e 4 . A l l p o s s i b l e p a t t e r n s t h a t a r e n o t e q u i v a l e n t w i t h

r e s p e c t t o a c y c l i c t r a n s l a t i o n a r e g i v e n b y :

M

1

= ( 0 ; 0 ; 0 ; 0 )

T

M

2

= ( 0 ; 0 ; 0 ; 1 )

T

9


10/13

M

3

= ( 0 ; 0 ; 1 ; 1 )

M

4

= ( 0 ; 1 ; 1 ; 1 )

T

M

5

= ( 0 ; 1 ; 0 ; 1 )

T

M

6

= ( 1 ; 1 ; 1 ; 1 )

T

F o r a s h o r t e r n o t a t i o n w e w a n t t o p u t t h e s e a s c o l u m n s i n a m a t r i x

M = ( M

1

; : : : ; M

6

) ; ( 3 1 )

s o t h a t w e c a n w r i t e t h e r e s u l t s a l s o p a c k e d t o g e t h e r .

W e n o w w a n t t o c o n s t r u c t o r t h o g o n a l t r a n s l a t i o n i n v a r i a n t f e a t u r e s f o r t h e s e i n p u t v e c t o r s .

A s B

0

( M ) d o e s n o t d e p e n d o n M a n d t h e r e f o r e h a s n o p r a c t i c a l u s e , w e w i l l n e g l e c t i t

h e r e .

S o w e r s t c a l c u l a t e A

1

f o r e a c h c o l u m n i o f M ( s o t h e n o t a t i o n M ( x ) i n t h e f o l l o w i n g

e q u a t i o n s i s t o b e u n d e r s t o o d a s M ( x ; i ) ) .

A

1

=

Z

x

1

M ( x

1

) d x

1

= ( 0 ; 1 ; 2 ; 3 ; 2 ; 4 ) ( 3 2 )

F r o m t h a t w e g e t A

1

= c

1

= 2 ; A

2

1

= c

1 ; 1

=

1 7

3

, r e s u l t i n g i n

B

1

( M ) =

Z

x

1

M ( x

1

) ? 2 ( 3 3 )

F o r t h e n e x t i n v a r i a n t w e w a n t t o u s e a s p e c i a l g e o m e t r i c k e r n e l . F r o m 3 ] w e k n o w , t h a t

t h e g e o m e t r i c k e r n e l h a s t o f u l l l

I

2

(

e

x

1

;

e

x

2

) = I

2

( x

1

; x

2

) : ( 3 4 )

L e t u s c o n s i d e r

I

2

( x

1

; x

2

) = ( d

m o d 4

( x

1

; x

2

) ? 1 ) ; ( 3 5 )

w i t h ( ) a s d e n e d i n ( 1 9 ) a n d

d

m o d 4

( x

1

; x

2

) =

(

j x

1

? x

2

j ; i f j x

1

? x

2

j 2

1 ; e l s e .

( 3 6 )

T h i s k e r n e l i s o n e f o r i n d i c e s x

1

a n d x

2

w i t h d i s t a n c e o n e ( t a k i n g i n t o a c c o u n t , t h a t w e

h a v e c y c l i c t r a n s l a t i o n , s o t h a t t h e l a s t p o s i t i o n i n t h e v e c t o r h a s d i s t a n c e o n e t o t h e

r s t p o s i t i o n ) . A s a c y c l i c t r a n s l a t i o n d o e s n o t c h a n g e t h e d i s t a n c e , o u r k e r n e l o b v i o u s l y

f u l l l s c o n d i t i o n ( 3 4 ) .

S o w e c a l c u l a t e

A

2

=

Z

x

1

Z

x

2

( d

m o d 4

( x

1

; x

2

) ? 1 ) M ( x

1

) M ( x

2

) d x

2

d x

1

= ( 0 ; 0 ; 2 ; 4 ; 0 ; 8 ) ( 3 7 )

1 0


11/13

a n d f r o m t h i s A

2

= c

2

=

3

a n d A

1

A

2

= c

1 ; 2

= ( 0 ; 0 ; 4 ; 1 2 ; 0 ; 3 2 ) = 8 .

W i t h t h e s e v a l u e s w e s o l v e e q u a t i o n ( 2 6 ) t o b

0 ( 2 )

=

5

3

a n d b

1 ( 2 )

= ? 2 , r e s u l t i n g i n

B

2

( M ) =

Z

x

1

Z

x

2

( d

m o d 4

( x

1

; x

2

) ? 1 ) M ( x

1

) M ( x

2

) d x

2

d x

1

? 2

Z

x

1

M ( x

1

) d x

1

+

5

3

( 3 8 )

E v a l u a t i n g t h e s e f o r t h e a b o v e m e n t i o n e d b i n a r y v e c t o r s , t h a t w e w a n t t o d i s t i n g u i s h , w e

o b t a i n B

1

( M ) = ( ? 2 ; ? 1 ; 0 ; 1 ; 0 ; 2 ) a n d B

2

( M ) = (

5

3

; ?

1

3

; ?

1

3

; ?

1

3

; ?

7

3

;

5

3

) .

N o w l e t u s h a v e a l o o k a t t h e c o r r e l a t i o n m a t r i c e s o f b o t h t h e o r i g i n a l f e a t u r e s a n d t h e

o r t h o g o n a l i z e d f e a t u r e s :

c o r r ( A

1

( M ) ; A

2

( M ) ) =

1 0 : 8 8 2 7

0 : 8 8 2 7 1

!

; c o r r ( B

1

( M ) ; B

2

( M ) ) =

1 0

0 1

!

( 3 9 )

B

1

( M ) a n d B

2

( M ) h a v e b e c o m e l i n e a r l y i n d e p e n d e n t f o r t h e g i v e n s e t o f i m a g e s w h e r e a s

A

1

( M ) a n d A

2

( M ) h a d b e e n h i g h l y c o r r e l a t e d .

5 . 2 E x a m p l e 2

I n t h e s e c o n d e x a m p l e w e c o n s i d e r a d a t a b a s e o f a v a r i e t y o f 4 3 8 p h o t o g r a p h i m a g e s . W e

w a n t t o c a l c u l a t e r o t a t i o n a n d t r a n s l a t i o n i n v a r i a n t f e a t u r e s f o r t h e s e i m a g e s . O f c o u r s e

w e c o u l d c o n s t r u c t o r t h o g o n a l i n v a r i a n t f e a t u r e s f o r t h i s i m a g e s e t a s d o n e f o r t h e r s t

e x a m p l e a l r e a d y . B u t w e c o n s c i o u s l y w a n t t o a s s u m e , t h a t w e o n l y h a v e a s u b s e t o f t h e s e

i m a g e s f o r c o n s t r u c t i n g t h e o r t h o g o n a l i n v a r i a n t f e a t u r e s . A s h o m o g e n o u s f e a t u r e s w e

c o n s i d e r a g a i n m o n o m i a l s . N e g l e c t i n g b o u n d a r y e e c t s ( t h a t m e a n s , w e d o n o t c a l c u l a t e

t h e f e a t u r e s f o r c y c l i c r e p e a t e d i m a g e s , b u t f o r i m a g e s s u r r o u n d e d w i t h z e r o ) w e c o n s t r u c t

i n v a r i a n t f e a t u r e s l i k e

A

1

=

Z

u

1

M u

1

] d u

1

; ( 4 0 )

A

2

=

Z

u

1

Z

u

2

( k u

1

? u

2

k ? 1 )

q

M u

1

] M u

2

] d u

2

d u

1

( 4 1 )

=

Z

u

1

2

Z

' = 0

v

u

u

t

M u

1

] M

"

u

1

+

c o s '

s i n '

! #

d ' d u

1

; a n d

A

3

=

Z

u

1

Z

u

2

Z

u

3

( k u

1

? u

2

k ? 1 ) ( k u

1

? u

3

k ? 2 )

3

q

M u

1

] M u

2

] M u

3

] d u

3

d u

2

d u

1

( 4 2 )

=

Z

u

1

2

Z

' = 0

3

v

u

u

t

M u

1

] M

"

u

1

+

c o s '

s i n '

! #

M

"

u

1

+ 2

c o s '

s i n '

! #

d ' d u

1

;

t h a t f u l l l c o n d i t i o n ( 1 2 ) f o r t h e g r o u p o f i m a g e r o t a t i o n s a n d t r a n s l a t i o n s . G e o m e t r i c

k e r n e l s o f t h a t k i n d a r e o f s p e c i a l i n t e r e s t , a s t h e c o m p u t a t i o n a l c o m p l e x i t y i s c o n s i d e r a b l e

r e d u c e d . I n g e n e r a l w e h a v e t o i n t e g r a t e o v e r a l l i n t e g r a t i o n v a r i a b l e s , w h i c h l e a d s t o a

c o m p l e x i t y o f O ( N

p

) w i t h N d e n o t i n g t h e n u m b e r o f p i x e l s i n t h e i m a g e a n d p d e n o t i n g

t h e o r d e r o f t h e i n v a r i a n t , i . e . t h e n u m b e r o f i n t e g r a t i o n v a r i a b l e s . W h e r e a s w i t h t h e

1 1


12/13

c h o s e n g e o m e t r i c k e r n e l w e o b t a i n a c o m p l e x i t y o f O ( N ) , w h i c h i s l i n e a r i n t h e n u m b e r

o f p i x e l s .

B a s e d o n t h e r s t h a l f o f t h e i m a g e s e t w e c o n s t r u c t t h e o r t h o g o n a l i n v a r i a n t f e a t u r e s e t

w i t h t h e m e t h o d g i v e n i n s e c t i o n 4 t o

B

1

= A

1

? 1 0 4 : 5 2 7 1 ( 4 3 )

B

2

= A

2

? 0 : 9 9 8 9 A

1

+ 3 : 4 3 1 7 ( 4 4 )

B

3

= A

3

? 1 : 3 6 5 8 A

2

+ 0 : 3 7 1 5 A

1

+ 0 : 2 2 8 8 : ( 4 5 )

T h i s f o r m h a s a n i l l u s t r a t i v e m e a n i n g . W e a l r e a d y m e n t i o n e d , t h a t w e n o r m a l l y h a v e a

h i g h c o r r e l a t i o n i n i m a g e s b e t w e e n n e i g h b o u r i n g p i x e l s . T h i s a l s o w a s t h e c a s e f o r t h e 4 3 8

p h o t o g r a p h i m a g e s . A s w e e x p l i c i t l y r e s t r i c t t h e c a l c u l a t i o n t o s u c h l o c a l n e i g h b o u r h o o d s

c o n s i d e r i n g t h e h o m o g e n o u s i n v a r i a n t f e a t u r e s i n ( 4 0 ) { ( 4 2 ) , w e c o u l d a l r e a d y g u e s s , t h a t

b

( 1 ) 2

? 1 a n d b

2 ( 3 )

+ b

1 ( 3 )

? 1 .

T h i s t i m e w e a r e n o t i n t e r e s t e d i n t h e c o r r e l a t i o n m a t r i x o f B

1

; B

2

; a n d B

3

f o r t h e t e s t

i m a g e s , a s t h i s a g a i n i s t h e i d e n t i t y m a t r i x . W e r a t h e r w a n t t o t e s t t h e c o r r e l a t i o n m a t r i x

f o r t h e r e m a i n i n g h a l f o f t h e i m a g e s . T h e r e s u l t i s

c o r r ( B

1

; B

2

; B

3

) =

0

B

@

1 0 : 1 0 2 3 0 : 0 2 2 8

0 : 1 0 2 3 1 ? 0 : 2 6 0 6

0 : 0 2 2 8 ? 0 : 2 6 0 6 1

1

C

A

: ( 4 6 )

A s t o b e e x p e c t e d t h e r e i s s t i l l a c o r r e l a t i o n b e t w e e n t h e ' o r t h o g o n a l ' i n v a r i a n t f e a t u r e s ,

a s t h e f e a t u r e s w e r e o r t h o g o n a l i z e d f o r a n o t h e r s e t o f i m a g e s . H o w e v e r t h e c o r r e l a t i o n

i s c o n s i d e r a b l y r e d u c e d c o m p a r e d t o t h e h o m o g e n o u s i n v a r i a n t f e a t u r e s , w h i c h h a v e t h e

c o r r e l a t i o n m a t r i x

c o r r ( A

1

; A

2

; A

3

) =

0

B

@

1 0 : 9 9 7 9 0 : 9 9 6 4

0 : 9 9 7 9 1 0 : 9 9 9 7

0 : 9 9 6 4 0 : 9 9 9 7 1

1

C

A

: ( 4 7 )

S o b y c h o o s i n g a p p r o p r i a t e l o c a l k e r n e l s l i k e d o n e i n ( 4 0 ) { ( 4 2 ) w e c a n e x p l o i t t h e f a c t ,

t h a t n e i g h b o u r i n g p i x e l s i n i m a g e s h a v e a h i g h c o r r e l a t i o n , r e s u l t i n g i n i n v a r i a n t f e a t u r e s

t h a t a r e f a r l e s s c o r r e l a t e d a l s o i f t h e o r t h o g o n a l i z a t i o n h a s b e e n p e r f o r m e d f o r a t r a i n i n g

s e t o f i m a g e s o n l y .

F o r b i g s i z e d k e r n e l s w e w i l l n o t h a v e t h a t h i g h c o r r e l a t i o n b e t w e e n t h e p i x e l s a n y m o r e a n d

s o g e n e r a l l y w i l l n o t b e a b l e a n y m o r e t o c o n s t r u c t ' o r t h o g o n a l ' f e a t u r e s f r o m a t r a i n i n g

s e t o f i m a g e s , t h a t w i l l b e n e a r l y o r t h o g o n a l f o r o t h e r i m a g e s t o o .

6 S u m m a r y a n d C o n c l u s i o n

I n 1 ] a n e w t e c h n i q u e f o r t h e c o n s t r u c t i o n o f i n v a r i a n t g r a y s c a l e f e a t u r e s w a s g i v e n t h a t

w a s m o t i v a t e d b y a n a l o g i e s w i t h t h e V o l t e r r a t h e o r y o f n o n l i n e a r s y s t e m s . T h e b a s i c

i d e a w a s t o i n t e g r a t e t h e p r o d u c t o f a g r a y s c a l e k e r n e l a n d a g e o m e t r i c k e r n e l o v e r a

g i v e n i m a g e , w i t h t h e g r a y s c a l e k e r n e l d e p e n d i n g o n t h e g r a y v a l u e s o f t h e i m a g e a n d

t h e g e o m e t r i c k e r n e l d e p e n d i n g o n l y o n t h e c o r r e s p o n d i n g p i x e l c o o r d i n a t e s . T h r o u g h

t h e p r o d u c t o f b o t h a c o u p l i n g b e t w e e n t h e g r a y v a l u e s a n d t h e p i x e l c o o r d i n a t e s w a s

1 2


13/13

a c h i e v e d . T h e d e s i r e d i n v a r i a n c e o f t h e r e s u l t i n g f e a t u r e s i m p o s e d s p e c i c r e s t r i c t i o n s o n

t h e g e o m e t r i c k e r n e l s , w h i c h h a d t o b e r e l a t i v e i n v a r i a n t s w i t h r e s p e c t t o t h e t r a n s f o r m a -

t i o n g r o u p . T h e w e i g h t w a s g i v e n b y t h e J a c o b i a n o f t h e c o o r d i n a t e t r a n s f o r m a t i o n a n d

t h e o r d e r o f t h e k e r n e l s . T h e g r a y s c a l e k e r n e l f c o u l d b e f r e e l y c h o s e n .

M o t i v a t e d b y t h e W i e n e r t h e o r y o f n o n l i n e a r s y s t e m s w e p e r f o r m e d a n o r t h o g o n a l i z a t i o n

o f t h e s o c o n s t r u c t e d f e a t u r e s i n t h i s p a p e r . A s s u m i n g t h e n - t h o r d e r i n v a r i a n t a s a l i n e a r

c o m b i n a t i o n o f h o m o g e n o u s i n v a r i a n t s o f o r d e r u p t o n , w e h a v e t o c h o o s e t h e w e i g h t s

i n t h a t w a y , t h a t i t b e c o m e s o r t h o g o n a l t o a n y h o m o g e n o u s i n v a r i a n t o f l o w e r o r d e r a n d

t h u s a l s o t o t h e b e f o r e c a l c u l a t e d o r t h o g o n a l i n v a r i a n t s o f l o w e r o r d e r . A d d i t i o n a l l y b y

c h o s i n g l i n e a r c o m b i n a t i o n s o f h o m o g e n o u s i n v a r i a n t f e a t u r e s w e w e r e a b l e t o e n s u r e t h a t

t h e r e s u l t i n g f e a t u r e a l s o i s i n v a r i a n t .

T h e c o n s t r u c t i o n o f t h e h o m o g e n o u s i n v a r i a n t f e a t u r e s o e r e d a c o n s i d e r a b l e a m o u n t o f

e x i b i l i t y . T h e g r a y s c a l e k e r n e l f c o u l d b e c h o s e n f r e e l y . A n d t h e r e w a s a l s o a h i g h d e g r e e

o f f r e e d o m i n t h e s e l e c t i o n o f g e o m e t r i c k e r n e l s : T h e y j u s t h a d t o b e r e l a t i v e i n v a r i a n t s

w i t h t h e J a k o b i a n o f t h e c o o r d i n a t e t r a n s f o r m a t i o n a s w e i g h t . A s s u m i n g t h e o r t h o g o n a l

i n v a r i a n t f e a t u r e s a s a l i n e a r c o m b i n a t i o n o f t h e s e h o m o g e n o u s i n v a r i a n t f e a t u r e s w e

p r e s e r v e d t h e s e h i g h d e g r e e s o f f r e e d o m . T h u s t h e p r o p o s e d t e c h n i q u e c a n b e u s e d a n d

a d a p t e d t o m a n y s p e c i c a p p l i c a t i o n s .

R e f e r e n c e s

1 ] H . S c h u l z - M i r b a c h . T h e v o l t e r r a t h e o r y o f n o n l i n e a r s y s t e m s a n d a l g o r i t h m s f o r t h e

c o n s t r u c t i o n o f i n v a r i a n t i m a g e f e a t u r e s . T e c h n i c a l r e p o r t , T e c h n i s c h e U n i v e r s i t

a t

H a m b u r g - H a r b u r g , T e c h n i s c h e I n f o r m a t i k I , O c t o b e r 1 9 9 6 .

2 ] M . S c h e t z e n . T h e V o l t e r r a & W i e n e r t h e o r i e s o f n o n l i n e a r s y s t e m s . J o h n W i l e y a n d

S o n s , 1 9 8 0 .

3 ] H . S c h u l z - M i r b a c h : . I n v a r i a n t g r a y s c a l e f e a t u r e s . T e c h n i c a l r e p o r t , T e c h n i s c h e U n i -

v e r s i t

a t H a m b u r g - H a r b u r g , T e c h n i s c h e I n f o r m a t i k I , O c t o b e r 1 9 9 6 .

1 3

The Wiener Theory of Nonlinear Systems and Algoritms for Construction of Invariants Image Features

Documents