Jim Davis - Determining 3D Hand Motion

8/8/2019 Jim Davis - Determining 3D Hand Motion

http://slidepdf.com/reader/full/jim-davis-determining-3d-hand-motion 1/5

D e t e r m i n i n g 3 - D H a n d M o t i o n

J a m e s D a v i s

y

M u b a r a k S h a h

M e d i a L a b C o m p u t e r V i s i o n L a b

M a s s a c h u s e t t s I n s t i t u t e o f T e c h n o l o g y U n i v e r s i t y o f C e n t r a l F l o r i d a

C a m b r i d g e , M A 0 2 1 3 9 O r l a n d o , F L 3 2 8 2 6

A b s t r a c t

T h i s p a p e r p r e s e n t s a g l o v e - f r e e m e t h o d f o r t r a c k i n g

h a n d m o v e m e n t s u s i n g a s e t o f 3 - D m o d e l s . I n t h i s

a p p r o a c h , t h e h a n d i s r e p r e s e n t e d b y v e c y l i n d r i c a l

m o d e l s w h i c h a r e t t o t h e t h i r d p h a l a n g e a l s e g m e n t s

o f t h e n g e r s . S i x 3 - D m o t i o n p a r a m e t e r s f o r e a c h

m o d e l a r e c a l c u l a t e d t h a t c o r r e s p o n d t o t h e m o v e m e n t

o f t h e n g e r t i p s i n t h e i m a g e p l a n e . T r a j e c t o r i e s o f

t h e m o v i n g m o d e l s a r e t h e n e s t a b l i s h e d t o s h o w t h e 3 -

D n a t u r e o f h a n d m o t i o n .

1 I n t r o d u c t i o n

T h e i m p o r t a n c e o f h u m a n g e s t u r e s h a s b e e n g r e a t l y

u n d e r e s t i m a t e d . W e u s e h u n d r e d s o f e x p r e s s i v e m o v e -

m e n t s e v e r y d a y 2 , 9 ] , w i t h m a n y o f t h e s e m o v e m e n t s

p e r t a i n i n g t o h a n d g e s t u r e s . T h e s e m o v e m e n t s m a y

h a v e r a d i c a l l y d i e r e n t i n t e r p r e t a t i o n s f r o m c o u n t r y t o

c o u n t r y { o n e h a n d g e s t u r e m a y r e p r e s e n t a m e a n i n g

o f \ g o o d " i n o n e c o u n t r y , w h e r e a s i n a n o t h e r c o u n t r y

i t m a y b e v i e w e d a s o e n s i v e 9 ] . F i n g e r - s p e l l i n g , a

s u b s e t o f s i g n l a n g u a g e , p e r m i t s a n y l e t t e r o f t h e E n -

g l i s h a l p h a b e t t o b e p r e s e n t e d u s i n g a d i s t i n c t h a n d

g e s t u r e . U s i n g t h e n g e r - s p e l l i n g g e s t u r e s e t , p e o -

p l e c a n c o m m u n i c a t e w o r d s t o o n e a n o t h e r u s i n g o n l y

h a n d m o v e m e n t s 4 ] . T h e m e d i a h a s r e a l i z e d t h e s i g -

n i c a n c e o f g e s t u r e s a n d w a s e x p e r i e n c e d i n t h e -

n a l s c e n e o f t h e m o v i e , C l o s e E n c o u n t e r s o f t h e T h i r d

K i n d ( C o l u m b i a P i c t u r e s , 1 9 7 7 ) , w h e r e a h u m a n

a n d a l i e n c o m m u n i c a t e d t o e a c h a n o t h e r u s i n g h a n d

m o v e m e n t s . M c D o n a l d ' s d e m o n s t r a t e d t h e u t i l i z a -

t i o n o f g e s t u r e s i n a 1 9 9 4 t e l e v i s i o n c o m m e r c i a l s h o w -

c a s i n g p a t r o n s o r d e r i n g a n y o n e o f f o u r d i e r e n t m e a l s

T h e r e s e a r c h r e p o r t e d h e r e w a s s u p p o r t e d b y t h e N a t i o n a l

S c i e n c e F o u n d a t i o n g r a n t s C D A - 9 2 0 0 3 6 9 , I R I 9 1 2 2 0 0 6 , a n d I R I

9 2 2 0 7 6 8 .

y

T h e a u t h o r w a s a m e m b e r o f t h e C o m p u t e r V i s i o n L a b a t

t h e U n i v e r s i t y o f C e n t r a l F l o r i d a d u r i n g t h i s r e s e a r c h .

u s i n g t h e a p p r o p r i a t e h a n d g e s t u r e . I f w e a r e t o e n -

h a n c e a n d e x t e n d t h e m a n - m a c h i n e i n t e r f a c e , i t i s i m -

p e r a t i v e t o e n a b l e c o m p u t e r s t o i n t e r p r e t h a n d m o v e -

m e n t s a n d t o a c t i n t e l l i g e n t l y a c c o r d i n g t o t h e i r m e a n -

i n g s .

T r a c k i n g h a n d m o t i o n b e c o m e s m o r e r e a l i s t i c w i t h

a 3 - D , r a t h e r t h a n a 2 - D , a p p r o a c h . W i t h 3 - D i n f o r -

m a t i o n , w e k n o w t h e r e a l - w o r l d l o c a t i o n o f t h e n -

g e r s a t a n y t i m e , a n d c a n e x p l o i t t h i s k n o w l e d g e t o

s u i t a p p l i c a t i o n s w i t h o u t h a v i n g t o c o n c e r n o u r s e l v e s

w i t h t h e w e a k e r a n d p o s s i b l y a m b i g u o u s 2 - D i n f o r m a -

t i o n . T w o - d i m e n s i o n a l a m b i g u i t i e s w h i c h m a y a r i s e

a r e t h e 3 - D t r a j e c t o r i e s w h i c h , a f t e r u n d e r g o i n g p e r -

s p e c t i v e p r o j e c t i o n , h a v e t h e s a m e c o r r e s p o n d i n g 2 - D

t r a j e c t o r y . A l s o , u s i n g 3 - D m o d e l s a n d m o t i o n p a -

r a m e t e r s a v o i d s t h e n e e d f o r m o t i o n c o r r e s p o n d e n c e

f o r m a p p i n g f e a t u r e p o i n t s t o t h e i r c o r r e c t 2 - D t r a j e c -

t o r y 1 0 , 6 ] , f o r e a c h f e a t u r e p o i n t i s a m e m b e r o f a

d i s t i n c t m o d e l f o r a p a r t i c u l a r n g e r a n d t h u s h a s n o

a m b i g u i t y i n w h i c h t r a j e c t o r y i t b e l o n g s . T h e r e f o r e

t o r e m o v e t h e s e u n c e r t a i n t i e s w h i c h m a y a r i s e i n 2 - D ,

w e c a n u s e 3 - D i n f o r m a t i o n .

I n t h i s p a p e r , w e d i s c u s s o u r m e t h o d f o r d e v e l o p -

i n g a c o m p u t e r v i s i o n s y s t e m w h i c h h a s t h e a b i l i t y t o

m o d e l a n d t r a c k r i g i d 3 - D n g e r m o v e m e n t o f a g l o v e -

f r e e h a n d . I n t h e r e s t o f t h i s p a p e r w e r s t i d e n t i f y

t h e n g e r s i n t h e i m a g e ( S e c t i o n 3 . 1 ) a n d t a 3 - D

g e n e r a l i z e d c y l i n d e r t o t h e t h i r d p h a l a n g e a l s e g m e n t

o f e a c h n g e r ( S e c t i o n 3 . 2 ) . T h e n s i x 3 - D m o t i o n p a -

r a m e t e r s a r e c a l c u l a t e d f o r e a c h m o d e l c o r r e s p o n d i n g

t o t h e 2 - D m o v e m e n t o f t h e n g e r s i n t h e i m a g e p l a n e

( S e c t i o n 4 ) . E x p e r i m e n t s a r e s h o w n w i t h 3 - D h a n d

m o v e m e n t s ( S e c t i o n 5 ) .

2 R e l a t e d W o r k

R e g h a n d K a n a d e 1 1 ] d e s c r i b e a m o d e l - b a s e d h a n d

t r a c k i n g s y s t e m c a l l e d D i g i t E y e s . T h i s s y s t e m u s e s

s t e r e o c a m e r a s a n d s p e c i a l r e a l - t i m e i m a g e p r o c e s s i n g



h a r d w a r e t o r e c o v e r t h e s t a t e o f a h a n d m o d e l w i t h 2 7

s p a t i a l d e g r e e s o f f r e e d o m . I n o r d e r f o r D i g i t E y e s t o

b e u s e d i n s p e c i c h a n d a p p l i c a t i o n s , t h e k i n e m a t i c s ,

g e o m e t r y , a n d i n i t i a l c o n g u r a t i o n o f t h e h a n d m u s t

b e k n o w n i n a d v a n c e . H a n d f e a t u r e s a r e m e a s u r e d

u s i n g l o c a l i m a g e - b a s e d t r a c k e r s w i t h i n m a n u a l l y s e -

l e c t e d s e a r c h w i n d o w s . R e n d e r e d m o d e l s a n d s t a t e

t r a j e c t o r i e s a r e g i v e n d e m o n s t r a t i n g t h e 3 - D n a t u r e

o f t h e i r r e s u l t s .

D a r r e l l a n d P e n t l a n d 5 ] h a v e p r o p o s e d a n a p p r o a c h

f o r g e s t u r e r e c o g n i t i o n u s i n g s e t s o f 2 - D v i e w m o d e l s o f

a h a n d ( o n e o r m o r e e x a m p l e v i e w s o f a h a n d ) . T h e s e

m o d e l s a r e m a t c h e d t o s t o r e d g e s t u r e p a t t e r n s u s i n g

d y n a m i c t i m e - w a r p i n g , w h e r e e a c h g e s t u r e i s w a r p e d

t o m a k e i t o f t h e s a m e l e n g t h a s t h e l o n g e s t m o d e l .

M a t c h i n g i s b a s e d u p o n t h e n o r m a l i z e d c o r r e l a t i o n b e -

t w e e n t h e i m a g e a n d t h e s e t o f 2 - D v i e w m o d e l s . T h i s

m e t h o d r e q u i r e s t h e u s e o f s p e c i a l - p u r p o s e h a r d w a r e

t o a c h i e v e r e a l - t i m e p e r f o r m a n c e , a n d u s e s g r a y - l e v e l

c o r r e l a t i o n w h i c h c a n b e h i g h l y s e n s i t i v e t o n o i s e .

C i p o l l a , O k a m o t o , a n d K u n o 3 ] p r e s e n t a s t r u c t u r e

f r o m m o t i o n ( S F M ) m e t h o d i n w h i c h t h e 3 - D v i s u a l

i n t e r p r e t a t i o n o f h a n d m o v e m e n t s i s u s e d i n a m a n -

m a c h i n e i n t e r f a c e . A g l o v e w i t h c o l o r e d m a r k e r s i s

u s e d a s i n p u t t o t h e v i s i o n s y s t e m a n d m o v e m e n t o f

t h e h a n d r e s u l t s i n m o t i o n b e t w e e n t h e m a r k e r s i n t h e

i m a g e s . T h e a u t h o r s u s e t h e a n e t r a n s f o r m a t i o n o f

a n a r b i t r a r y t r i a n g l e f o r m e d b y t h e m a r k e r s t o d e t e r -

m i n e t h e p r o j e c t i o n o f t h e a x i s o f r o t a t i o n , c h a n g e i n

s c a l e , a n d c y c l o t o r s i o n . T h i s i n f o r m a t i o n i s u s e d t o a l -

t e r t h e p o s i t i o n a n d o r i e n t a t i o n o f a n o b j e c t d i s p l a y e d

o n a c o m p u t e r g r a p h i c s s y s t e m .

S e g a n ' s 1 2 ] G e s t i s a c o m p u t e r v i s i o n s y s t e m t h a t

l e a r n s t o i d e n t i f y n o n - r i g i d 2 - D h a n d s h a p e s a n d c o m -

p u t e s t h e i r p o s e . T h e s y s t e m d i s p l a y s a h a n d i n a x e d

p o s i t i o n o n t h e s c r e e n a n d t h e u s e r r e s p o n d s b y p r e -

s e n t i n g t h a t s a m e g e s t u r e t o t h e c a m e r a . T h e h a n d ' s

p o s e i s c a l c u l a t e d a n d c l a s s i e d . R e c o g n i t i o n i n v o l v e s

g r a p h m a t c h i n g a n d e m p l o y s a p r e c l a s s i e r t o o s e t

t h e m a t c h i n g c o s t . E a c h g e s t u r e i s d e t e r m i n e d f r o m

t h e h a n d ' s 2 - D p o s i t i o n , a n d d o e s n o t u s e a n y m o t i o n

c h a r a c t e r i s t i c s o r 3 - D f e a t u r e l o c a t i o n s . G e s t w a s u s e d

t o c o n t r o l g r a p h i c s a p p l i c a t i o n s , s u c h a s a g r a p h i c s e d -

i t o r a n d i g h t s i m u l a t o r .

K a n g a n d I k e u c h i 8 ] d e s c r i b e a f r a m e w o r k f o r d e -

t e r m i n i n g 3 - D h a n d g r a s p s . A n i n t e n s i t y i m a g e i s u s e d

f o r t h e i d e n t i c a t i o n a n d l o c a l i z a t i o n o f t h e n g e r s u s -

i n g c u r v a t u r e a n a l y s i s , a n d a r a n g e i m a g e i s u s e d f o r

3 - D c y l i n d r i c a l t t i n g o f t h e n g e r s . A c o n t a c t w e b i s

u s e d t o m a p a l o w - l e v e l h a n d c o n g u r a t i o n t o a m o r e

a b s t r a c t g r a s p d e s c r i p t i o n . T h e g r a s p i s t h e n i d e n t i -

e d u s i n g a g r a s p c o h e s i v e i n d e x . T h o u g h t h i s m e t h o d

u s e s 3 - D n g e r i n f o r m a t i o n , i t r e q u i r e s b o t h i n t e n s i t y

a n d c o s t l y r a n g e i m a g e r y t o p r o d u c e t h e n g e r m o d -

e l s .

I n a n e a r l i e r p a p e r 6 ] , w e p r e s e n t e d a m e t h o d f o r

r e c o g n i z i n g h a n d g e s t u r e s u s i n g a 2 - D a p p r o a c h . A

n i t e s t a t e m a c h i n e i s u s e d t o m o d e l f o u r q u a l i t a t i e l y

d i s t i n c t p h a s e s o f a g e n e r i c g e s t u r e . I f t h e h a n d i s

f o u n d t o b e i n m o t i o n t o t h e g e s t u r e p o s i t i o n , n g e r t i p

t r a j e c t o r i e s a r e c r e a t e d u s i n g m o t i o n c o r r e s p o n d e n c e

o f t h e n g e r t i p p o i n t s i n t h e i m a g e p l a n e . V e c t o r s a r e

t h e n u s e d t o a p p r o x i m a t e t h e t r a j e c t o r i e s , a n d t h e u n -

k n o w n g e s t u r e i s m a t c h e d t o a l i b r a r y g e s t u r e u s i n g

t h e s e v e c t o r s . R e s u l t s s h o w r e c o g n i t i o n o f s e v e n g e s -

t u r e s ( r e p r e s e n t a t i v e s f o r a c t i o n s o f L e f t R i g h t U p

D o w n G r a b R o t a t e , a n d S t o p ) w i t h o u t t h e u s e o f a n y

s p e c i a l h a r d w a r e .

3 F i n g e r M o d e l l i n g

T o g e n e r a t e a n a p p r o p r i a t e 3 - D m o d e l f o r t h e h a n d ,

w e r e q u i r e o n l y o n e i n t e n s i t y i m a g e o f t h e u s e r ' s h a n d

i n a p r e d e n e d s t a r t p o s i t i o n . T o b e g i n , w e r s t i d e n -

t i f y t h e n g e r s w i t h i n t h e i m a g e a n d d e t e r m i n e e a c h

n g e r ' s a x i s o f o r i e n t a t i o n . T h e n g e n e r a l i z e d c y l i n d e r s

a r e t t o s p e c i c n g e r s e g m e n t s . A n a t o m i c a l k n o w l -

e d g e o f t h e h u m a n h a n d i s e x p l o i t e d t o e n h a n c e t h e

m o d e l l i n g p r o c e s s .

3 . 1 I d e n t i c a t i o n o f F i n g e r R e g i o n s

I n i t i a l l y , w e c o n s t r a i n t h e u s e r t o b e g i n w i t h t h e

h a n d i n a k n o w n s t a r t p o s i t i o n ( S e e F i g . 1 . a ) . U s -

i n g h i s t o g r a m t h r e s h o l d i n g , t h e o r i g i n a l i m a g e i s c o n -

v e r t e d i n t o a b i n a r y i m a g e i n w h i c h s m a l l r e g i o n s a r e

r e m o v e d ( S e e F i g . 1 . b ) . W e t h e n n d a s e t o f p o i n t s

w h i c h c a n b e u s e d t o d i e r e n t i a t e t h e n g e r s f r o m

t h e r e s t o f t h e i m a g e . P r e v i o u s a p p r o a c h e s f o r n d -

i n g f e a t u r e p o i n t s i n v o l v e b o u n d a r y c u r v a t u r e e x t r e m a

8 ] , i n t e r e s t o p e r a t o r s t o d e t e c t s p e c i a l l y c o l o r e d r e -

g i o n s 3 ] , a n d m a n u a l s e l e c t i o n 1 1 ] . O u r a p p r o a c h

u s e s t h e k n o w l e d g e o f t h e s t a r t p o s i t i o n a n d n a t u r a l

d e s i g n o f t h e h a n d t o a u t o m a t i c a l l y d e t e r m i n e v e n -

g e r t i p p o i n t s f T

n

g

4

n = 0

a n d s e v e n b a s e p o i n t s f B

m

g

6

m = 0

w h i c h a r e u s e d t o s e g m e n t t h e n g e r s . E a c h n g e r r e -

g i o n i s f o u n d b y a p p l y i n g a c o n n e c t e d c o m p o n e n t a l -

g o r i t h m u s i n g t h e r e s p e c t i v e n g e r t i p a n d b a s e p o i n t s

a s b o u n d s i n t h e s e g m e n t a t i o n ( S e e F i g . 1 . c ) . O n c e

t h e n g e r s h a v e b e e n i d e n t i e d , t h e a x i s o f o r i e n t a -

t i o n f o r e a c h n g e r c a n b e c a l c u l a t e d ( S e e F i g . 1 . d ) .

T h e o r i e n t a t i o n a x i s i s e s t a b l i s h e d b y n d i n g t h e l i n e

i n w h i c h t h e i n t e g r a l o f t h e s q u a r e o f t h e d i s t a n c e t o



( a ) ( b )

B0

T0

B1

B2

T1T2

T3

T4

B6 B5

B4 B3

x

y

( c ) ( d )

F i g u r e 1 : D e t e r m i n i n g F i n g e r O r i e n t a t i o n . ( a ) S t a r t

p o s i t i o n o f t h e h a n d . ( b ) B i n a r y i m a g e r e s u l t i n g

f r o m h i s t o g r a m t h r e s h o l d i n g a n d r e m o v a l o f s m a l l r e -

g i o n s . ( c ) F i n g e r r e g i o n s f o u n d u s i n g n g e r t i p p o i n t s

f T

n

g

4

n = 0

a n d b a s e p o i n t s f B

m

g

6

m = 0

. ( d ) S t a r t p o s i t i o n

s h o w i n g e a c h n g e r ' s o r i e n t a t i o n a x i s .

p o i n t s i n t h e n g e r i s a m i n i m u m . T h e i n t e g r a l t o b e

m i n i m i z e d o v e r n g e r F i s

E =

Z Z

F

r

2

d x d y ; ( 1 )

w h e r e r i s t h e p e r p e n d i c u l a r d i s t a n c e f r o m p o i n t ( x y )

t o t h e a x i s s o u g h t a f t e r 7 ] . T h e n g e r s a n d a x e s w i l l

b e u s e d i n g e n e r a t i n g c y l i n d r i c a l r e p r e s e n t a t i o n s o f n -

g e r s e g m e n t s .

3 . 2 C y l i n d r i c a l F i t t i n g

C y l i n d r i c a l m o d e l s c a n b e e m p l o y e d t o r e p r e s e n t

t h e n g e r s d u e t o t h e i n h e r e n t c y l i n d r i c a l n a t u r e o f

n g e r s . A n g e r a s a w h o l e i s a n o n - r i g i d o b j e c t , w i t h

t h e r s t p h a l a n g e a l ( F P ) , s e c o n d p h a l a n g e a l ( S P ) , a n d

t h i r d p h a l a n g e a l ( T P ) s e g m e n t s ( o n l y F P a n d T P s e g -

m e n t s f o r t h u m b ) 1 3 ] e a c h e x h i b i t i n g r i g i d b e h a v i o r .

W e d i s m i s s t h e c o n c e r n s f o r n o n - r i g i d n e s s , o c c l u s i o n ,

a n d c o n n e c t e d n e s s , a n d o n l y m o d e l a n d t r a c k t h e T P

s e g m e n t s ( n g e r t i p s e g m e n t s ) f o r s i m p l i c i t y . T o m o d e l

t h e T P s e g m e n t s , w e m u s t k n o w w h e r e t h e y a r e l o -

c a t e d w i t h r e s p e c t t o e a c h n g e r i n t h e i m a g e . I n g e n -

e r a l , e a c h F P , S P , a n d T P s e g m e n t l e n g t h o c c u p i e s

n e a r l y a t h i r d o f t h e t o t a l n g e r l e n g t h . U s i n g t h i s

h e u r i s t i c , t h e m a j o r a x i s f o r t h e n g e r c a n b e d i v i d e d

( a ) ( b )

F i g u r e 2 : T P M o d e l s . ( a ) I n d e x n g e r ' s 3 - D c y l i n -

d r i c a l T P m o d e l s h o w n w i t h n o d e s . ( b ) A l l v e T P

m o d e l s r e p r e s e n t i n g a m o d e l s e t f o r t h e h a n d .

i n t o t h r e e p a r t s ( e x c e p t f o r t h e t h u m b , w h e r e i t i s d i -

v i d e d i n t o t w o ) , d e s i g n a t i n g t h e T P s e g m e n t a s t h e u p -

p e r m o s t t h i r d o f t h e n g e r ( u p p e r h a l f f o r t h e t h u m b )

a l o n g t h e a x i s o f o r i e n t a t i o n . A r i g h t s t r a i g h t h o m o g e -

n e o u s g e n e r a l i z e d c y l i n d e r ( R S H G C ) 1 4 ] c a n t h e n b e

t t o g i v e a 3 - D m o d e l t o e a c h 2 - D T P s e g m e n t ( S e e

F i g . 2 . a & b ) , s u c h t h a t e a c h m o d e l ' s p r o j e c t i o n c o n -

f o r m s t o t h e a c t u a l r e s p e c t i v e n g e r t i p i n t h e i m a g e .

A c r o s s - s e c t i o n s h a p e o f a n e l l i p s e i s u s e d t o t t h e

n a t u r a l c r o s s - s e c t i o n o f a n g e r , w i t h s e m i - m a j o r a x i s

a a n d s e m i - m i n o r a x i s b , h a v i n g b = f ( a ) f ( a ) < a

4 M o t i o n P a r a m e t e r E s t i m a t i o n

G i v e n a s e t o f T P m o d e l s a n d a s e q u e n c e o f i n t e n -

s i t y i m a g e s i n w h i c h t h e h a n d i s m o v i n g , w e w o u l d

l i k e c o m p u t e t h e 3 - D m o t i o n o f t h e n g e r t i p s e m -

p l o y i n g t h e 2 - D m o t i o n i n t h e i m a g e p l a n e . T h e

3 - D m o t i o n o f a m o d e l i s r e p r e s e n t e d i n t e r m s o f

t r a n s l a t i o n ( T

x

T

y

T

z

) a n d c o u n t e r - c l o c k w i s e r o t a t i o n

( !

x

!

y

!

z

) a r o u n d t h e t h r e e c o o r d i n a t e a x e s b a s e d

a t t h e m o d e l ' s c e n t r o i d . O u r a p p r o a c h i n c o r p o r a t e s

a d i r e c t m e t h o d u s i n g s p a t i o - t e m p o r a l d e r i v a t i v e s ( i n -

s t e a d o f o p t i c a l o w ) , a l i n e a r i z e d r o t a t i o n m a t r i x ( d u e

t o s m a l l m o t i o n c h a n g e s ) , a n d a 3 - D m o d e l ( w h e r e t h e

d e p t h i s k n o w n ) t o c o m p u t e t h e 3 - D m o t i o n . A n o v e r

c o n s t r a i n e d s e t o f e q u a t i o n s i s e s t a b l i s h e d a n d s o l v e d

f o r t h e u n k n o w n m o t i o n p a r a m e t e r s . T h e l o c a t i o n s

o f t h e T P m o d e l s a r e c o n t i n u a l l y u p d a t e d i n 3 - D t o

m a t c h t h e 2 - D n g e r t i p m o v e m e n t . O n l y v i s i b l e m o d e l

n o d e s c a n b e u s e d i n t h e m o t i o n p a r a m e t e r c a l c u l a t i o n

a n d c a n b e d e t e r m i n e d b y u s i n g t o g e t h e r t w o m e t h -

o d s ( s u r f a c e n o r m a l s a n d d e p t h a r r a y ) f o r b a c k - s i d e

e l i m i n a t i o n 1 ] . T h i s p r o c e s s m u s t b e p e r f o r m e d e a c h

t i m e t h e m o d e l l o c a t i o n i s u p d a t e d t o e n s u r e t h a t p r e -



v i o u s l y v i s i b l e n o d e s h a v e n o t b e c o m e o c c l u d e d a n d

v i c e - v e r s a .

4 . 1 F o r m u l a t i o n o f M o t i o n P a r a m e t e r E s -

t i m a t i o n

C o n s i d e r t h e o p t i c a l o w c o n s t r a i n t e q u a t i o n :

f

x

u + f

y

v + f

t

= 0 ( 2 )

w h e r e f

x

=

@ f

@ x

f

y

=

@ f

@ y

f

t

=

@ f

@ t

u =

d x

d t

, a n d

v =

d y

d t

. A s s u m e t h a t t h e g e o m e t r y p r o j e c t i o n f r o m

3 - D s p a c e o n t o t h e 2 - D i m a g e p l a n e i s p e r s p e c t i v e p r o -

j e c t i o n w i t h c a m e r a f o c a l l e n g t h F . T h e n t h e o p t i c a l

o w e l d ( u v ) i n d u c e d b y t h e 3 - D i n s t a n t a n e o u s m o -

t i o n a b o u t t h e o b j e c t c e n t r o i d i s g i v e n b y :

u =

F

Z

h

( T

x

+ !

y

Z

c

!

z

Y

c

) +

X

Z

( T

z

+ !

x

Y

c

!

y

X

c

)

i

( 3 )

v =

F

Z

h

( T

y

+ !

z

X

c

!

x

Z

c

) +

Y

Z

( T

z

+ !

x

Y

c

!

y

X

c

)

i

( 4 )

w h e r e ( T

x

T

y

T

z

) i s t h e f o r w a r d t r a n s l a t i o n v e c t o r ,

( !

x

!

y

!

z

) i s t h e c o u n t e r - c l o c k w i s e r o t a t i o n v e c t o r ,

( X ; Y ; Z ) a r e t h e w o r l d c o o r d i n a t e s , a n d ( X

c

Y

c

Z

c

)

a r e t h e o b j e c t c e n t e r e d c o o r d i n a t e s .

S u b s t i t u t i n g t h e a b o v e e q u a t i o n s f o r u a n d v i n ( 2 )

a n d r e a r r a n g i n g , w e g e t

f

t

= f

x

F

Z

h

( T

x

+ !

y

Z

c

!

z

Y

c

) +

X

Z

( T

z

+ !

x

Y

c

!

y

X

c

)

i

+ f

y

F

Z

h

( T

y

+ !

z

X

c

!

x

Z

c

) +

Y

Z

( T

z

+ !

x

Y

c

!

y

X

c

)

i

( 5 )

w h i c h c a n a l s o b e w r i t t e n a s

? f

t

=

h

f

x

F

Z

i

T

x

+

h

f

y

F

Z

i

T

y

?

h

F

Z

2

( f

x

X + f

y

Y )

i

T

z

?

h

F

Z

2

( f

x

X Y

c

+ f

y

Z Z

c

+ f

y

Y Y

c

)

i

!

x

+

h

F

Z

2

( f

x

Z Z

c

+ f

x

X X

c

+ f

y

Y X

c

)

i

!

y

?

h

F

Z

( f

x

Y

c

? f

y

X

c

)

i

!

z

( 6 )

I n t h i s e q u a t i o n , ( X ; Y ; Z ) a n d ( X

c

Y

c

Z

c

) a r e k n o w n

f r o m t h e m o d e l , a n d f

x

f

y

, a n d f

t

c a n b e c o m p u t e d

f r o m i m a g e p a i r s . T h e r e f o r e t h e o n l y u n k n o w n s a r e

t h e m o t i o n p a r a m e t e r s ( T

x

T

y

T

z

) a n d ( !

x

!

y

!

z

)

A n o v e r c o n s t r a i n e d s e t o f e q u a t i o n s i s e s t a b l i s h e d u s -

i n g v i s i b l e n o d e s a n d i n m a t r i x f o r m i s a s f o l l o w s

A x = b

w i t h x = ( T

x

T

y

T

z

!

x

!

y

!

z

)

T

. A l i n e a r r e g r e s -

s i o n u s i n g l e a s t s q u a r e s i s u s e d t o a p p r o x i m a t e t h e s i x

u n k n o w n m o t i o n p a r a m e t e r s i n x , a n d i s i t e r a t e d t o

a c c o u n t f o r l i n e a r i z i n g . I n i t i a l l y , f o r c a l c u l a t i n g t h e

m o t i o n p a r a m e t e r s b e t w e e n f r a m e 1 a n d f r a m e 2 , t h e

v i s i b l e m o d e l n o d e s r e c o r d t h e c o r r e s p o n d i n g i n t e n s i t y

a n d g r a d i e n t i n f o r m a t i o n f r o m f r a m e 1 . T h e n t h e m o -

t i o n p a r a m e t e r s a r e d e t e r m i n e d u s i n g t h e m o d e l n o d e s

a n d f r a m e 2 . A f t e r a p p l i c a t i o n o f t h e p a r a m e t e r s t o

t h e m o d e l f r o m f r a m e 1 , t h e m o d e l i s n o w l o c a t e d t o

c o n f o r m t o f r a m e 2 . F o r f r a m e 3 , a n e w e s t i m a t i o n i s

c a l c u l a t e d u s i n g t h e m o d e l ( c o m p e n s a t e d f r o m f r a m e

1 t o f r a m e 2 ) a n d f r a m e 3 . T h i s p r o c e s s , c o n t i n u e s f o r

t h e r e m a i n d e r o f t h e s e q u e n c e .

5 E x p e r i m e n t s

O u r s y s t e m w a s u s e d t o t r a c k t w o d i s t i n c t h a n d

m o t i o n s : m o v e m e n t i n t h e X Y p l a n e ( S e e F i g . 3 S e -

q u e n c e 1 ) , a n d m o v e m e n t i n t h e X Z p l a n e , i . e . s c a l i n g

( S e e F i g . 3 S e q u e n c e 2 ) . T h e s e e x a m p l e s a r e s u c i e n t

t o d e m o n s t r a t e t h e a d v a n t a g e o f a 3 - D , r a t h e r t h a n a

2 - D , a p p r o a c h . I n e a c h s e q u e n c e , t h e l o c a t i o n s o f t h e

T P m o d e l s w e r e u p d a t e d i n e a c h f r a m e t o m a t c h t h e

m o v e m e n t o f t h e n g e r t i p s i n t h e i m a g e p l a n e ( S e e s u -

p e r i m p o s e d m o d e l s i n F i g . 3 . 1 a & b a n d F i g . 3 . 2 a & b ) .

I n s e q u e n c e 1 , w i t h n o d e p t h c h a n g e s , t h e 2 - D t r a j e c -

t o r i e s a r e s h o w n t o b e a d e q u a t e t o a p p r o x i m a t e t h e

m o t i o n o f t h e h a n d ( C o m p a r e 2 - D a n d 3 - D t r a j e c t o -

r i e s i n F i g . 3 . 1 c & d ) . S e q u e n c e 2 d e m o n s t r a t e s t h e

h a n d c h a n g i n g i n d e p t h . T h i s t y p e o f m o t i o n c a n b e

s h o w n i n 3 - D ( S e e 3 - D t r a j e c t o r i e s i n F i g . 3 . 2 d ) a n d

c a n n o t b e d i s t i n g u i s h e d i n 2 - D , w h e r e i t a p p e a r s t h a t

t h e h a n d i s m a i n l y a t r e s t ( S e e 2 - D t r a j e c t o r i e s i n F i g .

3 . 2 c ) .

6 C o n c l u s i o n

I n t h i s p a p e r , w e p r e s e n t e d a 3 - D h a n d m o d -

e l l i n g a n d m o t i o n e s t i m a t i o n m e t h o d f o r t r a c k i n g h a n d

m o v e m e n t s . T h i s a p p r o a c h d o e s n o t r e q u i r e a n y g l o v e

o r m o t i o n c o r r e s p o n d e n c e , a n d r e c o v e r s 3 - D m o t i o n i n -

f o r m a t i o n o f t h e h a n d . T h e o r i e n t a t i o n o f t h e n g e r s

i n a 2 - D i m a g e a r e f o u n d , a n d a g e n e r a l i z e d c y l i n d e r i s

t t o e a c h n g e r ' s t h i r d p h a l a n g e a l s e g m e n t . S i x m o -

t i o n p a r a m e t e r s f o r e a c h n g e r a r e c a l c u l a t e d , w h i c h

c o r r e s p o n d t o t h e 2 - D m o v e m e n t o f t h e n g e r t i p s i n

t h e i m a g e p l a n e . T h r e e - d i m e n s i o n a l t r a j e c t o r i e s a r e

t h e n d e t e r m i n e d f r o m t h e m o t i o n o f t h e m o d e l s , w h i c h

m a y b e u s e d i n h a n d t r a c k i n g a n d g e s t u r e r e c o g n i t i o n

a p p l i c a t i o n s .



( 1 a ) ( 1 b )

( 1 c ) ( 1 d )

( 2 a ) ( 2 b )

( 2 c ) ( 2 d )

F i g u r e 3 : S e q u e n c e 1 : X Y t r a n s l a t i o n . ( 1 a ) & ( 1 b )

F i r s t a n d l a s t i m a g e s w i t h T P m o d e l s ( w h i t e ) . ( 1 c )

2 - D m o t i o n t r a j e c t o r i e s . ( 1 d ) 3 - D m o t i o n t r a j e c t o r i e s .

S e q u e n c e 2 : X Z t r a n s l a t i o n . ( 2 a ) & ( 2 b ) F i r s t a n d l a s t

i m a g e s w i t h T P m o d e l s ( w h i t e ) . ( 2 c ) 2 - D m o t i o n t r a -

j e c t o r i e s . ( 2 d ) 3 - D m o t i o n t r a j e c t o r i e s . ( N o t e : b o l d

h a n d o u t l i n e r e p r e s e n t s i n i t i a l h a n d p o s i t i o n . )

A c k n o w l e d g m e n t

W e w o u l d l i k e t o a c k n o w l e d g e R e i n h o l d K o c h a n d

N i e l s d a V i t o r i a L o b o f o r t h e i r s u g g e s t i o n s .

R e f e r e n c e s

1 ] A r t w i c k , B . A p p l i e d C o n c e p t s i n M i c r o c o m p u t e r

G r a p h i c s . P r e n t i c e - H a l l , N e w J e r s e y , 1 9 8 4 .

2 ] B a u m l , B . , a n d B a u m l , F . A D i c t i o n a r y o f G e s -

t u r e s . T h e S c a r e c r o w P r e s s , N e w J e r s e y , 1 9 7 5 .

3 ] C i p o l l a , R . , O k a m o t o , Y . , a n d K u n o , Y . R o b u s t

s t r u c t u r e f r o m m o t i o n u s i n g m o t i o n p a r a l l a x . I n

I C C V , p a g e s 3 7 4 { 3 8 2 . I E E E , 1 9 9 3 .

4 ] E . C o s t e l l o . S i g n i n g : H o w t o S p e a k W i t h Y o u r

H a n d s . B a n t a m B o o k s , N e w Y o r k , 1 9 8 3 .

5 ] D a r r e l l , T . , a n d P e n t l a n d , A . S p a c e - t i m e g e s -

t u r e s . I n C V P R , p a g e s 3 3 5 { 3 4 0 . I E E E , 1 9 9 3 .

6 ] D a v i s , J . , a n d S h a h , M . R e c o g n i z i n g h a n d g e s -

t u r e s . I n E C C V , p a g e s 3 3 1 { 3 4 0 , M a y 1 9 9 4 .

7 ] H o r n , B . K . P . R o b o t V i s i o n . M c G r a w - H i l l , 1 9 8 6 .

8 ] K a n g , S . B . , a n d I k e u c h i , K . T o w a r d a u t o m a t i c

r o b o t i n s t r u c t i o n f r o m p e r c e p t i o n { r e c o g n i z i n g

a g r a s p f r o m o b s e r v a t i o n . I E E E T r a n s a c t i o n s

o f R o b o t i c s a n d A u t o m a t i o n , 9 : 4 3 2 { 4 4 3 , A u g u s t

1 9 9 3 .

9 ] M o r r i s , D . , C o l l e t , P . , M a r s h , P . , a n d

O ' S a u g h n e s s y , M . G e s t u r e s : T h e i r O r i g i n s a n d

D i s t r i b u t i o n . S t e i n a n d D a y , 1 9 7 9 .

1 0 ] R a n g a r a j a n , K . , a n d S h a h , M . E s t a b l i s h i n g m o -

t i o n c o r r e s p o n d e n c e . C V G I P : I m a g e U n d e r s t a n d -

i n g , 5 4 : 5 6 { 7 3 , J u l y 1 9 9 1 .

1 1 ] R e h g , J . , a n d K a n a d e , T . V i s u a l t r a c k i n g o f h i g h

d o f a r t i c u l a t e d s t r u c t u r e s : a n a p p l i c a t i o n t o h u -

m a n h a n d t r a c k i n g . I n E C C V , p a g e s 3 5 { 4 6 , M a y

1 9 9 4 .

1 2 ] S e g e n , J . G e s t : A l e a r n i n g c o m p u t e r v i s i o n

s y s t e m t h a t r e c o g n i z e s h a n d g e s t u r e s . M a c h i n e

L e a r n i n g I V , 1 9 9 4 .

1 3 ] T a y l o r , C . , a n d S c h w a r z , R . T h e a n a t o m y a n d

m e c h a n i c s o f t h e h u m a n h a n d . A r t i c i a l L i m b s

1 9 5 5 .

1 4 ] Z e r r o u g , M . , a n d N e v a t i a , R . S e g m e n t a t i o n a n d

r e c o v e r y o f s h g c s f r o m a r e a l i n t e n s i t y i m a g e . I n

E C C V , 1 9 9 4 .

Jim Davis - Determining 3D Hand Motion

Documents