Transcript
8/8/2019 Jim Davis - Determining 3D Hand Motion
http://slidepdf.com/reader/full/jim-davis-determining-3d-hand-motion 1/5
D e t e r m i n i n g 3 - D H a n d M o t i o n
J a m e s D a v i s
y
M u b a r a k S h a h
M e d i a L a b C o m p u t e r V i s i o n L a b
M a s s a c h u s e t t s I n s t i t u t e o f T e c h n o l o g y U n i v e r s i t y o f C e n t r a l F l o r i d a
C a m b r i d g e , M A 0 2 1 3 9 O r l a n d o , F L 3 2 8 2 6
A b s t r a c t
T h i s p a p e r p r e s e n t s a g l o v e - f r e e m e t h o d f o r t r a c k i n g
h a n d m o v e m e n t s u s i n g a s e t o f 3 - D m o d e l s . I n t h i s
a p p r o a c h , t h e h a n d i s r e p r e s e n t e d b y v e c y l i n d r i c a l
m o d e l s w h i c h a r e t t o t h e t h i r d p h a l a n g e a l s e g m e n t s
o f t h e n g e r s . S i x 3 - D m o t i o n p a r a m e t e r s f o r e a c h
m o d e l a r e c a l c u l a t e d t h a t c o r r e s p o n d t o t h e m o v e m e n t
o f t h e n g e r t i p s i n t h e i m a g e p l a n e . T r a j e c t o r i e s o f
t h e m o v i n g m o d e l s a r e t h e n e s t a b l i s h e d t o s h o w t h e 3 -
D n a t u r e o f h a n d m o t i o n .
1 I n t r o d u c t i o n
T h e i m p o r t a n c e o f h u m a n g e s t u r e s h a s b e e n g r e a t l y
u n d e r e s t i m a t e d . W e u s e h u n d r e d s o f e x p r e s s i v e m o v e -
m e n t s e v e r y d a y 2 , 9 ] , w i t h m a n y o f t h e s e m o v e m e n t s
p e r t a i n i n g t o h a n d g e s t u r e s . T h e s e m o v e m e n t s m a y
h a v e r a d i c a l l y d i e r e n t i n t e r p r e t a t i o n s f r o m c o u n t r y t o
c o u n t r y { o n e h a n d g e s t u r e m a y r e p r e s e n t a m e a n i n g
o f \ g o o d " i n o n e c o u n t r y , w h e r e a s i n a n o t h e r c o u n t r y
i t m a y b e v i e w e d a s o e n s i v e 9 ] . F i n g e r - s p e l l i n g , a
s u b s e t o f s i g n l a n g u a g e , p e r m i t s a n y l e t t e r o f t h e E n -
g l i s h a l p h a b e t t o b e p r e s e n t e d u s i n g a d i s t i n c t h a n d
g e s t u r e . U s i n g t h e n g e r - s p e l l i n g g e s t u r e s e t , p e o -
p l e c a n c o m m u n i c a t e w o r d s t o o n e a n o t h e r u s i n g o n l y
h a n d m o v e m e n t s 4 ] . T h e m e d i a h a s r e a l i z e d t h e s i g -
n i c a n c e o f g e s t u r e s a n d w a s e x p e r i e n c e d i n t h e -
n a l s c e n e o f t h e m o v i e , C l o s e E n c o u n t e r s o f t h e T h i r d
K i n d ( C o l u m b i a P i c t u r e s , 1 9 7 7 ) , w h e r e a h u m a n
a n d a l i e n c o m m u n i c a t e d t o e a c h a n o t h e r u s i n g h a n d
m o v e m e n t s . M c D o n a l d ' s d e m o n s t r a t e d t h e u t i l i z a -
t i o n o f g e s t u r e s i n a 1 9 9 4 t e l e v i s i o n c o m m e r c i a l s h o w -
c a s i n g p a t r o n s o r d e r i n g a n y o n e o f f o u r d i e r e n t m e a l s
T h e r e s e a r c h r e p o r t e d h e r e w a s s u p p o r t e d b y t h e N a t i o n a l
S c i e n c e F o u n d a t i o n g r a n t s C D A - 9 2 0 0 3 6 9 , I R I 9 1 2 2 0 0 6 , a n d I R I
9 2 2 0 7 6 8 .
y
T h e a u t h o r w a s a m e m b e r o f t h e C o m p u t e r V i s i o n L a b a t
t h e U n i v e r s i t y o f C e n t r a l F l o r i d a d u r i n g t h i s r e s e a r c h .
u s i n g t h e a p p r o p r i a t e h a n d g e s t u r e . I f w e a r e t o e n -
h a n c e a n d e x t e n d t h e m a n - m a c h i n e i n t e r f a c e , i t i s i m -
p e r a t i v e t o e n a b l e c o m p u t e r s t o i n t e r p r e t h a n d m o v e -
m e n t s a n d t o a c t i n t e l l i g e n t l y a c c o r d i n g t o t h e i r m e a n -
i n g s .
T r a c k i n g h a n d m o t i o n b e c o m e s m o r e r e a l i s t i c w i t h
a 3 - D , r a t h e r t h a n a 2 - D , a p p r o a c h . W i t h 3 - D i n f o r -
m a t i o n , w e k n o w t h e r e a l - w o r l d l o c a t i o n o f t h e n -
g e r s a t a n y t i m e , a n d c a n e x p l o i t t h i s k n o w l e d g e t o
s u i t a p p l i c a t i o n s w i t h o u t h a v i n g t o c o n c e r n o u r s e l v e s
w i t h t h e w e a k e r a n d p o s s i b l y a m b i g u o u s 2 - D i n f o r m a -
t i o n . T w o - d i m e n s i o n a l a m b i g u i t i e s w h i c h m a y a r i s e
a r e t h e 3 - D t r a j e c t o r i e s w h i c h , a f t e r u n d e r g o i n g p e r -
s p e c t i v e p r o j e c t i o n , h a v e t h e s a m e c o r r e s p o n d i n g 2 - D
t r a j e c t o r y . A l s o , u s i n g 3 - D m o d e l s a n d m o t i o n p a -
r a m e t e r s a v o i d s t h e n e e d f o r m o t i o n c o r r e s p o n d e n c e
f o r m a p p i n g f e a t u r e p o i n t s t o t h e i r c o r r e c t 2 - D t r a j e c -
t o r y 1 0 , 6 ] , f o r e a c h f e a t u r e p o i n t i s a m e m b e r o f a
d i s t i n c t m o d e l f o r a p a r t i c u l a r n g e r a n d t h u s h a s n o
a m b i g u i t y i n w h i c h t r a j e c t o r y i t b e l o n g s . T h e r e f o r e
t o r e m o v e t h e s e u n c e r t a i n t i e s w h i c h m a y a r i s e i n 2 - D ,
w e c a n u s e 3 - D i n f o r m a t i o n .
I n t h i s p a p e r , w e d i s c u s s o u r m e t h o d f o r d e v e l o p -
i n g a c o m p u t e r v i s i o n s y s t e m w h i c h h a s t h e a b i l i t y t o
m o d e l a n d t r a c k r i g i d 3 - D n g e r m o v e m e n t o f a g l o v e -
f r e e h a n d . I n t h e r e s t o f t h i s p a p e r w e r s t i d e n t i f y
t h e n g e r s i n t h e i m a g e ( S e c t i o n 3 . 1 ) a n d t a 3 - D
g e n e r a l i z e d c y l i n d e r t o t h e t h i r d p h a l a n g e a l s e g m e n t
o f e a c h n g e r ( S e c t i o n 3 . 2 ) . T h e n s i x 3 - D m o t i o n p a -
r a m e t e r s a r e c a l c u l a t e d f o r e a c h m o d e l c o r r e s p o n d i n g
t o t h e 2 - D m o v e m e n t o f t h e n g e r s i n t h e i m a g e p l a n e
( S e c t i o n 4 ) . E x p e r i m e n t s a r e s h o w n w i t h 3 - D h a n d
m o v e m e n t s ( S e c t i o n 5 ) .
2 R e l a t e d W o r k
R e g h a n d K a n a d e 1 1 ] d e s c r i b e a m o d e l - b a s e d h a n d
t r a c k i n g s y s t e m c a l l e d D i g i t E y e s . T h i s s y s t e m u s e s
s t e r e o c a m e r a s a n d s p e c i a l r e a l - t i m e i m a g e p r o c e s s i n g
8/8/2019 Jim Davis - Determining 3D Hand Motion
http://slidepdf.com/reader/full/jim-davis-determining-3d-hand-motion 2/5
h a r d w a r e t o r e c o v e r t h e s t a t e o f a h a n d m o d e l w i t h 2 7
s p a t i a l d e g r e e s o f f r e e d o m . I n o r d e r f o r D i g i t E y e s t o
b e u s e d i n s p e c i c h a n d a p p l i c a t i o n s , t h e k i n e m a t i c s ,
g e o m e t r y , a n d i n i t i a l c o n g u r a t i o n o f t h e h a n d m u s t
b e k n o w n i n a d v a n c e . H a n d f e a t u r e s a r e m e a s u r e d
u s i n g l o c a l i m a g e - b a s e d t r a c k e r s w i t h i n m a n u a l l y s e -
l e c t e d s e a r c h w i n d o w s . R e n d e r e d m o d e l s a n d s t a t e
t r a j e c t o r i e s a r e g i v e n d e m o n s t r a t i n g t h e 3 - D n a t u r e
o f t h e i r r e s u l t s .
D a r r e l l a n d P e n t l a n d 5 ] h a v e p r o p o s e d a n a p p r o a c h
f o r g e s t u r e r e c o g n i t i o n u s i n g s e t s o f 2 - D v i e w m o d e l s o f
a h a n d ( o n e o r m o r e e x a m p l e v i e w s o f a h a n d ) . T h e s e
m o d e l s a r e m a t c h e d t o s t o r e d g e s t u r e p a t t e r n s u s i n g
d y n a m i c t i m e - w a r p i n g , w h e r e e a c h g e s t u r e i s w a r p e d
t o m a k e i t o f t h e s a m e l e n g t h a s t h e l o n g e s t m o d e l .
M a t c h i n g i s b a s e d u p o n t h e n o r m a l i z e d c o r r e l a t i o n b e -
t w e e n t h e i m a g e a n d t h e s e t o f 2 - D v i e w m o d e l s . T h i s
m e t h o d r e q u i r e s t h e u s e o f s p e c i a l - p u r p o s e h a r d w a r e
t o a c h i e v e r e a l - t i m e p e r f o r m a n c e , a n d u s e s g r a y - l e v e l
c o r r e l a t i o n w h i c h c a n b e h i g h l y s e n s i t i v e t o n o i s e .
C i p o l l a , O k a m o t o , a n d K u n o 3 ] p r e s e n t a s t r u c t u r e
f r o m m o t i o n ( S F M ) m e t h o d i n w h i c h t h e 3 - D v i s u a l
i n t e r p r e t a t i o n o f h a n d m o v e m e n t s i s u s e d i n a m a n -
m a c h i n e i n t e r f a c e . A g l o v e w i t h c o l o r e d m a r k e r s i s
u s e d a s i n p u t t o t h e v i s i o n s y s t e m a n d m o v e m e n t o f
t h e h a n d r e s u l t s i n m o t i o n b e t w e e n t h e m a r k e r s i n t h e
i m a g e s . T h e a u t h o r s u s e t h e a n e t r a n s f o r m a t i o n o f
a n a r b i t r a r y t r i a n g l e f o r m e d b y t h e m a r k e r s t o d e t e r -
m i n e t h e p r o j e c t i o n o f t h e a x i s o f r o t a t i o n , c h a n g e i n
s c a l e , a n d c y c l o t o r s i o n . T h i s i n f o r m a t i o n i s u s e d t o a l -
t e r t h e p o s i t i o n a n d o r i e n t a t i o n o f a n o b j e c t d i s p l a y e d
o n a c o m p u t e r g r a p h i c s s y s t e m .
S e g a n ' s 1 2 ] G e s t i s a c o m p u t e r v i s i o n s y s t e m t h a t
l e a r n s t o i d e n t i f y n o n - r i g i d 2 - D h a n d s h a p e s a n d c o m -
p u t e s t h e i r p o s e . T h e s y s t e m d i s p l a y s a h a n d i n a x e d
p o s i t i o n o n t h e s c r e e n a n d t h e u s e r r e s p o n d s b y p r e -
s e n t i n g t h a t s a m e g e s t u r e t o t h e c a m e r a . T h e h a n d ' s
p o s e i s c a l c u l a t e d a n d c l a s s i e d . R e c o g n i t i o n i n v o l v e s
g r a p h m a t c h i n g a n d e m p l o y s a p r e c l a s s i e r t o o s e t
t h e m a t c h i n g c o s t . E a c h g e s t u r e i s d e t e r m i n e d f r o m
t h e h a n d ' s 2 - D p o s i t i o n , a n d d o e s n o t u s e a n y m o t i o n
c h a r a c t e r i s t i c s o r 3 - D f e a t u r e l o c a t i o n s . G e s t w a s u s e d
t o c o n t r o l g r a p h i c s a p p l i c a t i o n s , s u c h a s a g r a p h i c s e d -
i t o r a n d i g h t s i m u l a t o r .
K a n g a n d I k e u c h i 8 ] d e s c r i b e a f r a m e w o r k f o r d e -
t e r m i n i n g 3 - D h a n d g r a s p s . A n i n t e n s i t y i m a g e i s u s e d
f o r t h e i d e n t i c a t i o n a n d l o c a l i z a t i o n o f t h e n g e r s u s -
i n g c u r v a t u r e a n a l y s i s , a n d a r a n g e i m a g e i s u s e d f o r
3 - D c y l i n d r i c a l t t i n g o f t h e n g e r s . A c o n t a c t w e b i s
u s e d t o m a p a l o w - l e v e l h a n d c o n g u r a t i o n t o a m o r e
a b s t r a c t g r a s p d e s c r i p t i o n . T h e g r a s p i s t h e n i d e n t i -
e d u s i n g a g r a s p c o h e s i v e i n d e x . T h o u g h t h i s m e t h o d
u s e s 3 - D n g e r i n f o r m a t i o n , i t r e q u i r e s b o t h i n t e n s i t y
a n d c o s t l y r a n g e i m a g e r y t o p r o d u c e t h e n g e r m o d -
e l s .
I n a n e a r l i e r p a p e r 6 ] , w e p r e s e n t e d a m e t h o d f o r
r e c o g n i z i n g h a n d g e s t u r e s u s i n g a 2 - D a p p r o a c h . A
n i t e s t a t e m a c h i n e i s u s e d t o m o d e l f o u r q u a l i t a t i e l y
d i s t i n c t p h a s e s o f a g e n e r i c g e s t u r e . I f t h e h a n d i s
f o u n d t o b e i n m o t i o n t o t h e g e s t u r e p o s i t i o n , n g e r t i p
t r a j e c t o r i e s a r e c r e a t e d u s i n g m o t i o n c o r r e s p o n d e n c e
o f t h e n g e r t i p p o i n t s i n t h e i m a g e p l a n e . V e c t o r s a r e
t h e n u s e d t o a p p r o x i m a t e t h e t r a j e c t o r i e s , a n d t h e u n -
k n o w n g e s t u r e i s m a t c h e d t o a l i b r a r y g e s t u r e u s i n g
t h e s e v e c t o r s . R e s u l t s s h o w r e c o g n i t i o n o f s e v e n g e s -
t u r e s ( r e p r e s e n t a t i v e s f o r a c t i o n s o f L e f t R i g h t U p
D o w n G r a b R o t a t e , a n d S t o p ) w i t h o u t t h e u s e o f a n y
s p e c i a l h a r d w a r e .
3 F i n g e r M o d e l l i n g
T o g e n e r a t e a n a p p r o p r i a t e 3 - D m o d e l f o r t h e h a n d ,
w e r e q u i r e o n l y o n e i n t e n s i t y i m a g e o f t h e u s e r ' s h a n d
i n a p r e d e n e d s t a r t p o s i t i o n . T o b e g i n , w e r s t i d e n -
t i f y t h e n g e r s w i t h i n t h e i m a g e a n d d e t e r m i n e e a c h
n g e r ' s a x i s o f o r i e n t a t i o n . T h e n g e n e r a l i z e d c y l i n d e r s
a r e t t o s p e c i c n g e r s e g m e n t s . A n a t o m i c a l k n o w l -
e d g e o f t h e h u m a n h a n d i s e x p l o i t e d t o e n h a n c e t h e
m o d e l l i n g p r o c e s s .
3 . 1 I d e n t i c a t i o n o f F i n g e r R e g i o n s
I n i t i a l l y , w e c o n s t r a i n t h e u s e r t o b e g i n w i t h t h e
h a n d i n a k n o w n s t a r t p o s i t i o n ( S e e F i g . 1 . a ) . U s -
i n g h i s t o g r a m t h r e s h o l d i n g , t h e o r i g i n a l i m a g e i s c o n -
v e r t e d i n t o a b i n a r y i m a g e i n w h i c h s m a l l r e g i o n s a r e
r e m o v e d ( S e e F i g . 1 . b ) . W e t h e n n d a s e t o f p o i n t s
w h i c h c a n b e u s e d t o d i e r e n t i a t e t h e n g e r s f r o m
t h e r e s t o f t h e i m a g e . P r e v i o u s a p p r o a c h e s f o r n d -
i n g f e a t u r e p o i n t s i n v o l v e b o u n d a r y c u r v a t u r e e x t r e m a
8 ] , i n t e r e s t o p e r a t o r s t o d e t e c t s p e c i a l l y c o l o r e d r e -
g i o n s 3 ] , a n d m a n u a l s e l e c t i o n 1 1 ] . O u r a p p r o a c h
u s e s t h e k n o w l e d g e o f t h e s t a r t p o s i t i o n a n d n a t u r a l
d e s i g n o f t h e h a n d t o a u t o m a t i c a l l y d e t e r m i n e v e n -
g e r t i p p o i n t s f T
n
g
4
n = 0
a n d s e v e n b a s e p o i n t s f B
m
g
6
m = 0
w h i c h a r e u s e d t o s e g m e n t t h e n g e r s . E a c h n g e r r e -
g i o n i s f o u n d b y a p p l y i n g a c o n n e c t e d c o m p o n e n t a l -
g o r i t h m u s i n g t h e r e s p e c t i v e n g e r t i p a n d b a s e p o i n t s
a s b o u n d s i n t h e s e g m e n t a t i o n ( S e e F i g . 1 . c ) . O n c e
t h e n g e r s h a v e b e e n i d e n t i e d , t h e a x i s o f o r i e n t a -
t i o n f o r e a c h n g e r c a n b e c a l c u l a t e d ( S e e F i g . 1 . d ) .
T h e o r i e n t a t i o n a x i s i s e s t a b l i s h e d b y n d i n g t h e l i n e
i n w h i c h t h e i n t e g r a l o f t h e s q u a r e o f t h e d i s t a n c e t o
8/8/2019 Jim Davis - Determining 3D Hand Motion
http://slidepdf.com/reader/full/jim-davis-determining-3d-hand-motion 3/5
( a ) ( b )
B0
T0
B1
B2
T1T2
T3
T4
B6 B5
B4 B3
x
y
( c ) ( d )
F i g u r e 1 : D e t e r m i n i n g F i n g e r O r i e n t a t i o n . ( a ) S t a r t
p o s i t i o n o f t h e h a n d . ( b ) B i n a r y i m a g e r e s u l t i n g
f r o m h i s t o g r a m t h r e s h o l d i n g a n d r e m o v a l o f s m a l l r e -
g i o n s . ( c ) F i n g e r r e g i o n s f o u n d u s i n g n g e r t i p p o i n t s
f T
n
g
4
n = 0
a n d b a s e p o i n t s f B
m
g
6
m = 0
. ( d ) S t a r t p o s i t i o n
s h o w i n g e a c h n g e r ' s o r i e n t a t i o n a x i s .
p o i n t s i n t h e n g e r i s a m i n i m u m . T h e i n t e g r a l t o b e
m i n i m i z e d o v e r n g e r F i s
E =
Z Z
F
r
2
d x d y ; ( 1 )
w h e r e r i s t h e p e r p e n d i c u l a r d i s t a n c e f r o m p o i n t ( x y )
t o t h e a x i s s o u g h t a f t e r 7 ] . T h e n g e r s a n d a x e s w i l l
b e u s e d i n g e n e r a t i n g c y l i n d r i c a l r e p r e s e n t a t i o n s o f n -
g e r s e g m e n t s .
3 . 2 C y l i n d r i c a l F i t t i n g
C y l i n d r i c a l m o d e l s c a n b e e m p l o y e d t o r e p r e s e n t
t h e n g e r s d u e t o t h e i n h e r e n t c y l i n d r i c a l n a t u r e o f
n g e r s . A n g e r a s a w h o l e i s a n o n - r i g i d o b j e c t , w i t h
t h e r s t p h a l a n g e a l ( F P ) , s e c o n d p h a l a n g e a l ( S P ) , a n d
t h i r d p h a l a n g e a l ( T P ) s e g m e n t s ( o n l y F P a n d T P s e g -
m e n t s f o r t h u m b ) 1 3 ] e a c h e x h i b i t i n g r i g i d b e h a v i o r .
W e d i s m i s s t h e c o n c e r n s f o r n o n - r i g i d n e s s , o c c l u s i o n ,
a n d c o n n e c t e d n e s s , a n d o n l y m o d e l a n d t r a c k t h e T P
s e g m e n t s ( n g e r t i p s e g m e n t s ) f o r s i m p l i c i t y . T o m o d e l
t h e T P s e g m e n t s , w e m u s t k n o w w h e r e t h e y a r e l o -
c a t e d w i t h r e s p e c t t o e a c h n g e r i n t h e i m a g e . I n g e n -
e r a l , e a c h F P , S P , a n d T P s e g m e n t l e n g t h o c c u p i e s
n e a r l y a t h i r d o f t h e t o t a l n g e r l e n g t h . U s i n g t h i s
h e u r i s t i c , t h e m a j o r a x i s f o r t h e n g e r c a n b e d i v i d e d
( a ) ( b )
F i g u r e 2 : T P M o d e l s . ( a ) I n d e x n g e r ' s 3 - D c y l i n -
d r i c a l T P m o d e l s h o w n w i t h n o d e s . ( b ) A l l v e T P
m o d e l s r e p r e s e n t i n g a m o d e l s e t f o r t h e h a n d .
i n t o t h r e e p a r t s ( e x c e p t f o r t h e t h u m b , w h e r e i t i s d i -
v i d e d i n t o t w o ) , d e s i g n a t i n g t h e T P s e g m e n t a s t h e u p -
p e r m o s t t h i r d o f t h e n g e r ( u p p e r h a l f f o r t h e t h u m b )
a l o n g t h e a x i s o f o r i e n t a t i o n . A r i g h t s t r a i g h t h o m o g e -
n e o u s g e n e r a l i z e d c y l i n d e r ( R S H G C ) 1 4 ] c a n t h e n b e
t t o g i v e a 3 - D m o d e l t o e a c h 2 - D T P s e g m e n t ( S e e
F i g . 2 . a & b ) , s u c h t h a t e a c h m o d e l ' s p r o j e c t i o n c o n -
f o r m s t o t h e a c t u a l r e s p e c t i v e n g e r t i p i n t h e i m a g e .
A c r o s s - s e c t i o n s h a p e o f a n e l l i p s e i s u s e d t o t t h e
n a t u r a l c r o s s - s e c t i o n o f a n g e r , w i t h s e m i - m a j o r a x i s
a a n d s e m i - m i n o r a x i s b , h a v i n g b = f ( a ) f ( a ) < a
4 M o t i o n P a r a m e t e r E s t i m a t i o n
G i v e n a s e t o f T P m o d e l s a n d a s e q u e n c e o f i n t e n -
s i t y i m a g e s i n w h i c h t h e h a n d i s m o v i n g , w e w o u l d
l i k e c o m p u t e t h e 3 - D m o t i o n o f t h e n g e r t i p s e m -
p l o y i n g t h e 2 - D m o t i o n i n t h e i m a g e p l a n e . T h e
3 - D m o t i o n o f a m o d e l i s r e p r e s e n t e d i n t e r m s o f
t r a n s l a t i o n ( T
x
T
y
T
z
) a n d c o u n t e r - c l o c k w i s e r o t a t i o n
( !
x
!
y
!
z
) a r o u n d t h e t h r e e c o o r d i n a t e a x e s b a s e d
a t t h e m o d e l ' s c e n t r o i d . O u r a p p r o a c h i n c o r p o r a t e s
a d i r e c t m e t h o d u s i n g s p a t i o - t e m p o r a l d e r i v a t i v e s ( i n -
s t e a d o f o p t i c a l o w ) , a l i n e a r i z e d r o t a t i o n m a t r i x ( d u e
t o s m a l l m o t i o n c h a n g e s ) , a n d a 3 - D m o d e l ( w h e r e t h e
d e p t h i s k n o w n ) t o c o m p u t e t h e 3 - D m o t i o n . A n o v e r
c o n s t r a i n e d s e t o f e q u a t i o n s i s e s t a b l i s h e d a n d s o l v e d
f o r t h e u n k n o w n m o t i o n p a r a m e t e r s . T h e l o c a t i o n s
o f t h e T P m o d e l s a r e c o n t i n u a l l y u p d a t e d i n 3 - D t o
m a t c h t h e 2 - D n g e r t i p m o v e m e n t . O n l y v i s i b l e m o d e l
n o d e s c a n b e u s e d i n t h e m o t i o n p a r a m e t e r c a l c u l a t i o n
a n d c a n b e d e t e r m i n e d b y u s i n g t o g e t h e r t w o m e t h -
o d s ( s u r f a c e n o r m a l s a n d d e p t h a r r a y ) f o r b a c k - s i d e
e l i m i n a t i o n 1 ] . T h i s p r o c e s s m u s t b e p e r f o r m e d e a c h
t i m e t h e m o d e l l o c a t i o n i s u p d a t e d t o e n s u r e t h a t p r e -
8/8/2019 Jim Davis - Determining 3D Hand Motion
http://slidepdf.com/reader/full/jim-davis-determining-3d-hand-motion 4/5
v i o u s l y v i s i b l e n o d e s h a v e n o t b e c o m e o c c l u d e d a n d
v i c e - v e r s a .
4 . 1 F o r m u l a t i o n o f M o t i o n P a r a m e t e r E s -
t i m a t i o n
C o n s i d e r t h e o p t i c a l o w c o n s t r a i n t e q u a t i o n :
f
x
u + f
y
v + f
t
= 0 ( 2 )
w h e r e f
x
=
@ f
@ x
f
y
=
@ f
@ y
f
t
=
@ f
@ t
u =
d x
d t
, a n d
v =
d y
d t
. A s s u m e t h a t t h e g e o m e t r y p r o j e c t i o n f r o m
3 - D s p a c e o n t o t h e 2 - D i m a g e p l a n e i s p e r s p e c t i v e p r o -
j e c t i o n w i t h c a m e r a f o c a l l e n g t h F . T h e n t h e o p t i c a l
o w e l d ( u v ) i n d u c e d b y t h e 3 - D i n s t a n t a n e o u s m o -
t i o n a b o u t t h e o b j e c t c e n t r o i d i s g i v e n b y :
u =
F
Z
h
( T
x
+ !
y
Z
c
!
z
Y
c
) +
X
Z
( T
z
+ !
x
Y
c
!
y
X
c
)
i
( 3 )
v =
F
Z
h
( T
y
+ !
z
X
c
!
x
Z
c
) +
Y
Z
( T
z
+ !
x
Y
c
!
y
X
c
)
i
( 4 )
w h e r e ( T
x
T
y
T
z
) i s t h e f o r w a r d t r a n s l a t i o n v e c t o r ,
( !
x
!
y
!
z
) i s t h e c o u n t e r - c l o c k w i s e r o t a t i o n v e c t o r ,
( X ; Y ; Z ) a r e t h e w o r l d c o o r d i n a t e s , a n d ( X
c
Y
c
Z
c
)
a r e t h e o b j e c t c e n t e r e d c o o r d i n a t e s .
S u b s t i t u t i n g t h e a b o v e e q u a t i o n s f o r u a n d v i n ( 2 )
a n d r e a r r a n g i n g , w e g e t
f
t
= f
x
F
Z
h
( T
x
+ !
y
Z
c
!
z
Y
c
) +
X
Z
( T
z
+ !
x
Y
c
!
y
X
c
)
i
+ f
y
F
Z
h
( T
y
+ !
z
X
c
!
x
Z
c
) +
Y
Z
( T
z
+ !
x
Y
c
!
y
X
c
)
i
( 5 )
w h i c h c a n a l s o b e w r i t t e n a s
? f
t
=
h
f
x
F
Z
i
T
x
+
h
f
y
F
Z
i
T
y
?
h
F
Z
2
( f
x
X + f
y
Y )
i
T
z
?
h
F
Z
2
( f
x
X Y
c
+ f
y
Z Z
c
+ f
y
Y Y
c
)
i
!
x
+
h
F
Z
2
( f
x
Z Z
c
+ f
x
X X
c
+ f
y
Y X
c
)
i
!
y
?
h
F
Z
( f
x
Y
c
? f
y
X
c
)
i
!
z
( 6 )
I n t h i s e q u a t i o n , ( X ; Y ; Z ) a n d ( X
c
Y
c
Z
c
) a r e k n o w n
f r o m t h e m o d e l , a n d f
x
f
y
, a n d f
t
c a n b e c o m p u t e d
f r o m i m a g e p a i r s . T h e r e f o r e t h e o n l y u n k n o w n s a r e
t h e m o t i o n p a r a m e t e r s ( T
x
T
y
T
z
) a n d ( !
x
!
y
!
z
)
A n o v e r c o n s t r a i n e d s e t o f e q u a t i o n s i s e s t a b l i s h e d u s -
i n g v i s i b l e n o d e s a n d i n m a t r i x f o r m i s a s f o l l o w s
A x = b
w i t h x = ( T
x
T
y
T
z
!
x
!
y
!
z
)
T
. A l i n e a r r e g r e s -
s i o n u s i n g l e a s t s q u a r e s i s u s e d t o a p p r o x i m a t e t h e s i x
u n k n o w n m o t i o n p a r a m e t e r s i n x , a n d i s i t e r a t e d t o
a c c o u n t f o r l i n e a r i z i n g . I n i t i a l l y , f o r c a l c u l a t i n g t h e
m o t i o n p a r a m e t e r s b e t w e e n f r a m e 1 a n d f r a m e 2 , t h e
v i s i b l e m o d e l n o d e s r e c o r d t h e c o r r e s p o n d i n g i n t e n s i t y
a n d g r a d i e n t i n f o r m a t i o n f r o m f r a m e 1 . T h e n t h e m o -
t i o n p a r a m e t e r s a r e d e t e r m i n e d u s i n g t h e m o d e l n o d e s
a n d f r a m e 2 . A f t e r a p p l i c a t i o n o f t h e p a r a m e t e r s t o
t h e m o d e l f r o m f r a m e 1 , t h e m o d e l i s n o w l o c a t e d t o
c o n f o r m t o f r a m e 2 . F o r f r a m e 3 , a n e w e s t i m a t i o n i s
c a l c u l a t e d u s i n g t h e m o d e l ( c o m p e n s a t e d f r o m f r a m e
1 t o f r a m e 2 ) a n d f r a m e 3 . T h i s p r o c e s s , c o n t i n u e s f o r
t h e r e m a i n d e r o f t h e s e q u e n c e .
5 E x p e r i m e n t s
O u r s y s t e m w a s u s e d t o t r a c k t w o d i s t i n c t h a n d
m o t i o n s : m o v e m e n t i n t h e X Y p l a n e ( S e e F i g . 3 S e -
q u e n c e 1 ) , a n d m o v e m e n t i n t h e X Z p l a n e , i . e . s c a l i n g
( S e e F i g . 3 S e q u e n c e 2 ) . T h e s e e x a m p l e s a r e s u c i e n t
t o d e m o n s t r a t e t h e a d v a n t a g e o f a 3 - D , r a t h e r t h a n a
2 - D , a p p r o a c h . I n e a c h s e q u e n c e , t h e l o c a t i o n s o f t h e
T P m o d e l s w e r e u p d a t e d i n e a c h f r a m e t o m a t c h t h e
m o v e m e n t o f t h e n g e r t i p s i n t h e i m a g e p l a n e ( S e e s u -
p e r i m p o s e d m o d e l s i n F i g . 3 . 1 a & b a n d F i g . 3 . 2 a & b ) .
I n s e q u e n c e 1 , w i t h n o d e p t h c h a n g e s , t h e 2 - D t r a j e c -
t o r i e s a r e s h o w n t o b e a d e q u a t e t o a p p r o x i m a t e t h e
m o t i o n o f t h e h a n d ( C o m p a r e 2 - D a n d 3 - D t r a j e c t o -
r i e s i n F i g . 3 . 1 c & d ) . S e q u e n c e 2 d e m o n s t r a t e s t h e
h a n d c h a n g i n g i n d e p t h . T h i s t y p e o f m o t i o n c a n b e
s h o w n i n 3 - D ( S e e 3 - D t r a j e c t o r i e s i n F i g . 3 . 2 d ) a n d
c a n n o t b e d i s t i n g u i s h e d i n 2 - D , w h e r e i t a p p e a r s t h a t
t h e h a n d i s m a i n l y a t r e s t ( S e e 2 - D t r a j e c t o r i e s i n F i g .
3 . 2 c ) .
6 C o n c l u s i o n
I n t h i s p a p e r , w e p r e s e n t e d a 3 - D h a n d m o d -
e l l i n g a n d m o t i o n e s t i m a t i o n m e t h o d f o r t r a c k i n g h a n d
m o v e m e n t s . T h i s a p p r o a c h d o e s n o t r e q u i r e a n y g l o v e
o r m o t i o n c o r r e s p o n d e n c e , a n d r e c o v e r s 3 - D m o t i o n i n -
f o r m a t i o n o f t h e h a n d . T h e o r i e n t a t i o n o f t h e n g e r s
i n a 2 - D i m a g e a r e f o u n d , a n d a g e n e r a l i z e d c y l i n d e r i s
t t o e a c h n g e r ' s t h i r d p h a l a n g e a l s e g m e n t . S i x m o -
t i o n p a r a m e t e r s f o r e a c h n g e r a r e c a l c u l a t e d , w h i c h
c o r r e s p o n d t o t h e 2 - D m o v e m e n t o f t h e n g e r t i p s i n
t h e i m a g e p l a n e . T h r e e - d i m e n s i o n a l t r a j e c t o r i e s a r e
t h e n d e t e r m i n e d f r o m t h e m o t i o n o f t h e m o d e l s , w h i c h
m a y b e u s e d i n h a n d t r a c k i n g a n d g e s t u r e r e c o g n i t i o n
a p p l i c a t i o n s .
8/8/2019 Jim Davis - Determining 3D Hand Motion
http://slidepdf.com/reader/full/jim-davis-determining-3d-hand-motion 5/5
( 1 a ) ( 1 b )
( 1 c ) ( 1 d )
( 2 a ) ( 2 b )
( 2 c ) ( 2 d )
F i g u r e 3 : S e q u e n c e 1 : X Y t r a n s l a t i o n . ( 1 a ) & ( 1 b )
F i r s t a n d l a s t i m a g e s w i t h T P m o d e l s ( w h i t e ) . ( 1 c )
2 - D m o t i o n t r a j e c t o r i e s . ( 1 d ) 3 - D m o t i o n t r a j e c t o r i e s .
S e q u e n c e 2 : X Z t r a n s l a t i o n . ( 2 a ) & ( 2 b ) F i r s t a n d l a s t
i m a g e s w i t h T P m o d e l s ( w h i t e ) . ( 2 c ) 2 - D m o t i o n t r a -
j e c t o r i e s . ( 2 d ) 3 - D m o t i o n t r a j e c t o r i e s . ( N o t e : b o l d
h a n d o u t l i n e r e p r e s e n t s i n i t i a l h a n d p o s i t i o n . )
A c k n o w l e d g m e n t
W e w o u l d l i k e t o a c k n o w l e d g e R e i n h o l d K o c h a n d
N i e l s d a V i t o r i a L o b o f o r t h e i r s u g g e s t i o n s .
R e f e r e n c e s
1 ] A r t w i c k , B . A p p l i e d C o n c e p t s i n M i c r o c o m p u t e r
G r a p h i c s . P r e n t i c e - H a l l , N e w J e r s e y , 1 9 8 4 .
2 ] B a u m l , B . , a n d B a u m l , F . A D i c t i o n a r y o f G e s -
t u r e s . T h e S c a r e c r o w P r e s s , N e w J e r s e y , 1 9 7 5 .
3 ] C i p o l l a , R . , O k a m o t o , Y . , a n d K u n o , Y . R o b u s t
s t r u c t u r e f r o m m o t i o n u s i n g m o t i o n p a r a l l a x . I n
I C C V , p a g e s 3 7 4 { 3 8 2 . I E E E , 1 9 9 3 .
4 ] E . C o s t e l l o . S i g n i n g : H o w t o S p e a k W i t h Y o u r
H a n d s . B a n t a m B o o k s , N e w Y o r k , 1 9 8 3 .
5 ] D a r r e l l , T . , a n d P e n t l a n d , A . S p a c e - t i m e g e s -
t u r e s . I n C V P R , p a g e s 3 3 5 { 3 4 0 . I E E E , 1 9 9 3 .
6 ] D a v i s , J . , a n d S h a h , M . R e c o g n i z i n g h a n d g e s -
t u r e s . I n E C C V , p a g e s 3 3 1 { 3 4 0 , M a y 1 9 9 4 .
7 ] H o r n , B . K . P . R o b o t V i s i o n . M c G r a w - H i l l , 1 9 8 6 .
8 ] K a n g , S . B . , a n d I k e u c h i , K . T o w a r d a u t o m a t i c
r o b o t i n s t r u c t i o n f r o m p e r c e p t i o n { r e c o g n i z i n g
a g r a s p f r o m o b s e r v a t i o n . I E E E T r a n s a c t i o n s
o f R o b o t i c s a n d A u t o m a t i o n , 9 : 4 3 2 { 4 4 3 , A u g u s t
1 9 9 3 .
9 ] M o r r i s , D . , C o l l e t , P . , M a r s h , P . , a n d
O ' S a u g h n e s s y , M . G e s t u r e s : T h e i r O r i g i n s a n d
D i s t r i b u t i o n . S t e i n a n d D a y , 1 9 7 9 .
1 0 ] R a n g a r a j a n , K . , a n d S h a h , M . E s t a b l i s h i n g m o -
t i o n c o r r e s p o n d e n c e . C V G I P : I m a g e U n d e r s t a n d -
i n g , 5 4 : 5 6 { 7 3 , J u l y 1 9 9 1 .
1 1 ] R e h g , J . , a n d K a n a d e , T . V i s u a l t r a c k i n g o f h i g h
d o f a r t i c u l a t e d s t r u c t u r e s : a n a p p l i c a t i o n t o h u -
m a n h a n d t r a c k i n g . I n E C C V , p a g e s 3 5 { 4 6 , M a y
1 9 9 4 .
1 2 ] S e g e n , J . G e s t : A l e a r n i n g c o m p u t e r v i s i o n
s y s t e m t h a t r e c o g n i z e s h a n d g e s t u r e s . M a c h i n e
L e a r n i n g I V , 1 9 9 4 .
1 3 ] T a y l o r , C . , a n d S c h w a r z , R . T h e a n a t o m y a n d
m e c h a n i c s o f t h e h u m a n h a n d . A r t i c i a l L i m b s
1 9 5 5 .
1 4 ] Z e r r o u g , M . , a n d N e v a t i a , R . S e g m e n t a t i o n a n d
r e c o v e r y o f s h g c s f r o m a r e a l i n t e n s i t y i m a g e . I n
E C C V , 1 9 9 4 .
top related