-
8/8/2019 dict8
1/27
C h a p t e r 1 2
V e c t o r Q u a n t i z a t i o n
T h e o r i g i n a l i m a g e d e c o m p o s e d i n t o n - D i m a g e v e c -
t o r s
{ a n n = l m b l o c k o f p i x e l v a l u e s
{ a 3 - D v e c t o r f o r m e d f r o m t h e R G B c o l o r c o m p o -
n e n t s o f a n i n d i v i d u a l p i x e l
{ D C T c o e c i e n t s u s e d a s t h e v e c t o r c o m p o n e n t s
E a c h i m a g e v e c t o r X c o m p a r e d w i t h a c o l l e c t i o n o f
c o d e v e c t o r s ,
X
i
, i = 1 ; : : : ; N
c
, f r o m a p r e v i o u s l y
t r a i n e d c o d e b o o k a n d t h e b e s t m a t c h i n g c o d e v e c t o r
X
k
i s c h o s e n
1
-
8/8/2019 dict8
2/27
s u c h t h a t
d ( X ;
X
k
) d ( X ;
X
j
) ; j = 1 ; : : : ; N
c
d ( X ;
X ) =
1
n
n
X
i = 1
( x
i
x
i
)
2
d ( X ;
X ) =
1
n
n
X
i = 1
w
i
( x
i
x
i
)
2
A f t e r a m i n i m u m d i s t o r t i o n c o d e v e c t o r h a s b e e n s e -
l e c t e d , i t s i n d e x k i s t r a n s m i t t e d u s i n g l o g
2
N
c
b i t s .
A t t h e r e c e i v e r , t h i s i n d e x i s u s e d a s a n e n t r y t o a
d u p l i c a t e c o d e b o o k ( a l o o k - u p t a b l e ) t o r e p r o d u c e
X
k
2
-
8/8/2019 dict8
3/27
C o m p r e s s i o n : r e l a t i v e l y f e w c o d e v e c t o r s c o m p a r e d t o
] ( p o s s i b l e i m a g e v e c t o r s )
{ B i t r a t e o f V Q :
R = ( l o g
2
N
c
) = n b i t s / p i x e l
{ F o r a g i v e n a v e r a g e d i s t o r t i o n , D , i t c a n a c h i e v e
c o m p r e s s i o n w i t h t h e l o w e s t b i t r a t e
{ F o r a g i v e n a v e r a g e b i t r a t e , R , i t c a n a c h i e v e c o m -
p r e s s i o n w i t h t h e l o w e s t d i s t o r t i o n
3
-
8/8/2019 dict8
4/27
I n p r a c t i c e , t h e l a r g e v a l u e s o f n n e e d e d t o a p p r o a c h
t h e r a t e - d i s t o r t i o n b o u n d m a k e c o d e b o o k s t o r a g e a n d
s e a r c h i n g i m p r a c t i c a l
{ R e a s o n a b l e p e r f o r m a n c e c a n b e a c h i e v e d w i t h v e c -
t o r s o f m o d e s t d i m e n s i o n
T h e e e c t o f v e c t o r d i m e n s i o n :
{ V Q e n c o d i n g o f 8 - b i t i m a g e a t 1 . 0 b i t / p i x e l
2 2 b l o c k s ( n = 4 )
N
c
= 1 6
9
>
>
=
>
>
;
R = l o g
2
1 6 = 4 = 1 0 b i t / p i x
1 6 c o d e v e c t o r s r e p r e s e n t 2 5 6
4
p o s s i b l e i m a g e v e c -
t o r s o f s i z e 2 2
4
-
8/8/2019 dict8
5/27
4 4 b l o c k s ( n = 1 6 )
N
c
= 2
1 6
9
>
>
=
>
>
;
R =
l o g
2
2
1 6
1 6
= 1 0 b i t / p i x e
2 5 6
1 6
p o s s i b l e i m a g e v e c t o r s o f s i z e 4 4
2
1 6
2
8 1 6
>
>
>
>
>
>
:
(
] c o d e v e c t o r s
] p o s s i b l e i m a g e v e c t o r s
) # t h e b l o c k s i z e "
M S E # t h e b l o c k s i z e "
c o d e b o o k g e n e r a t i o n
c o d e b o o k d e s i g n f o r e c i e n t s e a r c h i n g a n d g o o d p e r -
f o r m a n c e
5
-
8/8/2019 dict8
6/27
C o d e b o o k G e n e r a t i o n
{ L i n d e - B u z o - G r a y ( L B G ) a l g o r i t h m
a t r a i n i n g s e t o f i m a g e s r e p r e s e n t a t i v e o f i m a g e s
t o b e e n c o d e d
n o t r e q u i r i n g a n y i n f o r m a t i o n a b o u t t h e u n d e r -
l y i n g i m a g e s t a t i s t i c s
l o c a l c o d e b o o k :
o p t i m a l
c o m p u t a t i o n a l l y i n t e n s i v e
l o c a l c o d e b o o k a s o v e r h e a d i n f o r m a t i o n ( a d d i t i o n a l
b i t s )
g l o b a l c o d e b o o k :
s e v e r a l i m a g e s a s a t r a i n i n g s e t
s a m e c l a s s o f i m a g e r y ) g o o d p e r f o r m a n c e
6
-
8/8/2019 dict8
7/27
a s l a r g e a n d d i v e r s e a t r a i n i n g s e t a s p o s s i b l e t o
a c h i e v e r e a s o n a b l e a v e r a g e p e r f o r m a n c e
{ L B G a l g o r i t h m i s a g e n e r a l i z a t i o n o f t h e L l o y d -
M a x a l g o r i t h m ( 1 9 5 7 , 1 9 8 2 ) f o r s c a l a r q u a n t i z a -
t i o n :
1 . G i v e n a s e t o f t r a i n i n g v e c t o r s , a n i n i t i a l c o d e -
b o o k
X
( 1 )
i
, i = 1 ; : : : ; N
c
, a d i s t o r t i o n m e a s u r e
d , a n d a f r a c t i o n a l d i s t o r t i o n c h a n g e " ;
l 1 ;
D
( 0 )
a v e r y l a r g e n u m b e r
7
-
8/8/2019 dict8
8/27
2 . M a p X
k
t o
X
( l )
i
i f
d ( X
k
;
X
( l )
i
) = m i n
j
d ( X
k
;
X
( l )
j
)
c o m p u t e t h e a v e r a g e d i s t o r t i o n D
( l )
i f
D
( l 1 )
D
( l )
D
( l 1 )
" ;
t h e a l g o r i t h m c o n v e r g e s a n d t h u s t e r m i n a t e s
3 . U p d a t e t h e c o d e b o o k :
X
( l )
i
r e p l a c e d b y
X
( l + 1 )
i
m i n i m i z i n g t h e q u a n t i -
z a t i o n e r r o r w i t h i n t h e i - t h d e c i s i o n r e g i o n o r
c l u s t e r .
I f M S E i s u s e d , t h e n t h e m e a n o f t h e i - t h
d e c i s i o n r e g i o n i s
X
( l + 1 )
i
;
l l + 1 ;
G o t o S t e p 2 .
8
-
8/8/2019 dict8
9/27
E x a m p l e
{ L E N A i m a g e ! 1 2 b l o c k s a s t r a i n i n g v e c t o r s
{ a c o d e b o o k o f 8 c o d e v e c t o r s
{ F i g 1 2 . 2 ( a ) , ( b ) :
1 . 5 0 b i t s / p i x e l
M S E = 7 2 . 5 3
{ p o o r p e r f o r m a n c e d u e t o
s m a l l v e c t o r d i m e n s i o n
s m a l l c o d e b o o k s i z e
9
-
8/8/2019 dict8
10/27
C o d e b o o k i n i t i a l i z a t i o n
{ L B G i n i t i a l - d e p e n d e n t ) a l o c a l l y o p t i m a l c o d e -
b o o k
{ S t a r t w i t h s a m e s i m p l e c o d e b o o k o f c o r r e c t s i z e ,
o r
{ S t a r t w i t h a s i m p l e s m a l l e r c o d e b o o k a n d r e c u r -
s i v e l y c o n s t r u c t l a r g e r o n e s t i l l t h e d e s i r e d s i z e i s
r e a c h e d
{ R a n d C o d e s ( G r a y , 1 9 8 4 ) :
a r a n d o m i n i t i a l c o d e b o o k
{ S p l i t t i n g ( L i n d e , B u z o a n d G r a y , 1 9 8 0 ) :
T h e o p t i m u m c o d e o f o n e s t a g e i s s p l i t t o f o r m a n
i n i t i a l c o d e f o r t h e n e x t s t a g e
1 0
-
8/8/2019 dict8
11/27
{ P a i r w i s e n e a r e s t n e i g h b o r ( P N N ) c l u s t e r i n g ( E q -
u i t z , 1 9 8 9 ) :
M e r g e t w o c l o s e s t c l u s t e r s o f o n e s t a g e t o f o r m a n
i n i t i a l c o d e f o r t h e n e x t s t a g e
C o d e b o o k D e s i g n : T r e e - S t r u c t u r e d C o d e b o o k s
{ a f u l l s e a r c h o f t h e c o d e b o o k c a n b e p e r f o r m e d a t a
c o m p u t a t i o n a l c o s t o f O ( n N
c
) w i t h a n a s s o c i a t e d
s t o r a g e c o s t n N
c
1 1
-
8/8/2019 dict8
12/27
{ T o r e d u c e t h e s e a r c h i n g t i m e , a t r e e s t r u c t u r e c a n
b e i m p o s e d o n t h e c o d e b o o k , w h e r e e a c h n o d e h a s
m b r a n c h e s a n d t h e r e a r e p = l o g
m
N
c
l e v e l s t o
t h e t r e e ( G r a y , 1 9 8 4 ; M a k h o u l , 1 9 8 5 ) :
T h e c o m p u t a t i o n a l c o s t r e d u c e s t o O ( n m l o g
m
N
c
)
b u t t h e s t o r a g e c o s t i n c r e a s e s t o n m ( N
c
1 ) = ( m
1 )
{ T h e c o d e b o o k i s d e s i g n e d b y u s i n g s u c c e s s i v e a p -
p l i c a t i o n s o f t h e L B G a l g o r i t h m a t e a c h n o d e f o r
a c o d e b o o k o f s i z e m
1 2
-
8/8/2019 dict8
13/27
{ A t r e e - s t r u c t u r e d c o d e b o o k c a n n e v e r p e r f o r m b e t -
t e r t h a n a s i n g l e - l e v e l f u l l s e a r c h c o d e b o o k
{ B y i n c r e a s i n g ] ( b r a n c h e s ) a t e a c h n o d e , p e r f o r -
m a n c e c a n b e i m p r o v e d a n d s t o r a g e r e q u i r e m e n t s
c a n b e r e d u c e d .
C l u s t e r i n g : G a u s s i a n M i x t u r e D e n s i t y M o d e l i n g a n d
D e c o m p o s i t i o n
C l u s t e r s r e c o g n i z e d a s d i e r e n t c l a s s e s
P i e c e w i s e L i n e a r C l a s s i e r ( T r e e - S t r u c t u r e d ) b a s e d o n
l a b e l e d c l a s s e s i n f o r m a t i o n
LENA ...
1 3
-
8/8/2019 dict8
14/27
C o d e b o o k D e s i g n : P r o d u c t C o d e s
{ F o r a c o n s t a n t b i t r a t e R = ( l o g
2
N
c
) = n , t h e p e r -
f o r m a n c e o f V Q i m p r o v e s a s t h e b l o c k s i z e n i n -
c r e a s e s . B u t , t h e c o d e b o o k s i z e N
c
= 2
R n
g r o w s
e x p o n e n t i a l l y w i t h n
{ A s o l u t i o n i s t o u s e a c o d e b o o k w i t h a p r o d u c t
s t r u c t u r e , i . e . , a c o d e b o o k t h a t i s f o r m e d a s t h e
C a r t e s i a n p r o d u c t o f s e v e r a l s m a l l e r c o d e b o o k s ( G r a y ,
1 9 8 4 )
A v e c t o r c h a r a c t e r i z e d b y c e r t a i n i n d e p e n d e n t
f e a t u r e s , e a c h f e a t u r e e n c o d e d b y a s e p a r a t e c o d e -
b o o k
T h e n a l c o d e w o r d i s t h e c o n c a t e n a t i o n
1 4
-
8/8/2019 dict8
15/27
F o r e x a m p l e , t w o s e p a r a t e c o d e b o o k s o f s i z e s N
1
a n d N
2
u s e d t o e n c o d e t h e o r i e n t a t i o n a n d t h e
m a g n i t u d e o f a v e c t o r :
T h e e e c t i v e s i z e o f t h e p r o d u c t c o d e b o o k :
N
c
= N
1
N
2
T h e s t o r a g e a n d c o m p u t a t i o n a l c o m p l e x i t y
N
1
+ N
2
C e r t a i n i m a g e f e a t u r e s h a v e s t a b l e d i s t r i b u -
t i o n s , n o t o v e r l y s e n s i t i v e t o t h e p a r t i c u l a r
i n p u t i m a g e
1 5
-
8/8/2019 dict8
16/27
-
8/8/2019 dict8
17/27
M e a n / R e s i d u a l V Q
{ T h e o r i g i n a l i m a g e d i v i d e d i n t o n o n o v e r l a p p i n g b l o c k s
o f s i z e n ( t y p i c a l l y , n = 4 4 = 1 6 )
{ T h e m e a n c o m p u t e d f o r e a c h b l o c k
{ B l o c k m e a n s q u a n t i z e d u s i n g a s c a l a r q u a n t i z e r
( t y p i c a l l y , 8 b i t s ) a n d t r a n s m i t t e d t o t h e r e c e i v e r
{ D P C M c a n a l s o b e u s e d t o e n c o d e m e a n s
{ R e s i d u a l v e c t o r s f o r m e d w i t h a p p r o x i m a t e l y z e r o
m e a n
{ R e s i d u a l v e c t o r s q u a n t i z e d b y V Q a n d t h e m a t c h -
i n g c o d e v e c t o r s i n d i c e s t r a n s m i t t e d
1 7
-
8/8/2019 dict8
18/27
{ R e c o n s t r u c t i o n p e r f o r m e d b y a d d i n g m e a n s t o d e -
c o d e d r e s i d u a l v e c t o r s
I n t e r p o l a t i v e / R e s i d u a l V Q
{ R e d u c i n g b l o c k i n g a r t i f a c t s b y u s i n g a r e l a t i v e l y
s m o o t h p r e d i c t i o n i m a g e r a t h e r t h a n t h e r e p l i c a t e d
b l o c k m e a n s
{ b e t t e r r e c o n s t r u c t e d i m a g e q u a l i t y t h a n M / R V Q
f o r t h e s a m e b i t r a t e
T h e o r i g i n a l i m a g e s u b s a m p l e d b y l ( t y p i c a l l y , l = 8 )
i n e a c h d i m e n s i o n
E a c h s u b s a m p l e d v a l u e q u a n t i z e d u s i n g a s c a l a r q u a n -
t i z e r ( t y p i c a l l y , 8 b i t s ) a n d t r a n s m i t t e d t o t h e r e c e i v e r
1 8
-
8/8/2019 dict8
19/27
A b i l i n e a r i n t e r p o l a t i v e p r e d i c t i o n o f t h e o r i g i n a l i m -
a g e g e n e r a t e d a t b o t h t h e r e c e i v e r a n d t h e t r a n s m i t t e r
u s i n g t h e q u a n t i z e d s u b s a m p l e d v a l u e s a n d a r e s i d u a l
i m a g e f o r m e d
T h e r e s i d u a l i m a g e s e g m e n t e d i n t o n o n o v e r l a p p i n g
b l o c k s o f s i z e n ( t y p i c a l l y , n = 4 4 = 1 6 ) f o r m -
i n g v e c t o r s
R e s i d u a l v e c t o r s q u a n t i z e d u s i n g V Q a n d i n d i c e s o f
b e s t m a t c h i n g c o d e v e c t o r s t r a n s m i t t e d t o t h e r e c e i v e r
P r e d i c t i o n i m a g e + d e c o d e d r e s i d u a l v e c t o r s : r e c o n -
s t r u c t i o n
1 9
-
8/8/2019 dict8
20/27
G a i n / S h a p e V Q
{ T h e o r i g i n a l i m a g e d i v i d e d i n t o n o n o v e r l a p p i n g b l o c k s
o f s i z e n ( t y p i c a l l y , n = 4 4 = 1 6 ) f o r m i n g i m a g e
v e c t o r s
{ A u n i t e n e r g y s h a p e c o d e v e c t o r Y
j
c h o s e n t o b e s t
m a t c h t h e i m a g e v e c t o r
( Y
j
= a r g m a x
Y
k
2 t h e s h a p e c o d e b o o k
X
T
Y
k
)
{
i
= a r g m i n
k
2 t h e s c a l a r g a i n c o d e b o o k
d ( X ;
k
Y
j
)
X =
i
Y
j
: t h e r e p r o d u c t i o n v e c t o r
{ ( j ; i ) t r a n s m i t t e d t o t h e r e c e i v e r
{ R e c o n s t r u c t i o n :
X =
i
Y
j
2 0
-
8/8/2019 dict8
21/27
C l a s s i e d V Q ( R a m a m u r t h i a n d G e r s h o , 1 9 8 6 )
{ T h e o r i g i n a l i m a g e d i v i d e d i n t o n o n o v e r l a p p i n g b l o c k s
o f s i z e n ( t y p i c a l l y , n = 4 4 = 1 6 )
{ E a c h b l o c k c l a s s i e d i n t o o n e o f M c l a s s e s u s i n g
a n e d g e - o r i e n t e d c l a s s i e r :
s h a d e b l o c k s ( n o s i g n i c a n t g r a d i e n t )
m i d r a n g e b l o c k s ( m o d e r a t e g r a d i e n t , b u t n o d e f -
i n i t e e d g e )
h o r i z o n t a l e d g e b l o c k s
2 1
-
8/8/2019 dict8
22/27
-
8/8/2019 dict8
23/27
a n d u s e d a s a n e n t r y t o a l o o k - u p t a b l e
n o o v e r h e a d i n f o r m a t i o n r e q u i r e d t o i n d i c a t e t h e
c l a s s
F i n i t e - s t a t e V Q
{ V Q w i t h m e m o r y
{ F i n i t e - S t a t e m a c h i n e ( e a c h s t a t e = a s e p a r a t e V Q
c o d e b o o k )
( F o s t e r e t a l . , 1 9 8 5 )
{ C o r r e l a t i o n b e t w e e n a d j a c e n t b l o c k s
T h e o r i g i n a l i m a g e d i v i d e d i n t o n o n o v e r l a p p i n g b l o c k s
o f s i z e n ( t y p i c a l l y , n = 4 4 = 1 6 )
{ B l o c k s o r d e r e d , X
i
, ( i = 0 ; 1 ; 2 ; : : : )
2 3
-
8/8/2019 dict8
24/27
G i v e n a n i n i t i a l s t a t e s
0
a n d i t s a s s o c i a t e d c o d e b o o k
C
s
0
, e n c o d e X
0
b y c h o o s i n g a n o u t p u t c o d e v e c t o r
X
0
2 C
s
0
. T r a n s m i t t h e i n d e x o f t h i s c o d e v e c t o r t o
t h e r e c e i v e r
U s e t h e n e x t - s t a t e f u n c t i o n f ( ) t o d e t e r m i n e t h e n e x t
s t a t e s
1
b a s e d u p o n s
0
a n d
X
0
, i . e . , s
1
= f ( s
0
;
X
0
)
E n c o d e X
1
b y
X
1
2 C
s
1
a n d t r a n s m i t t h e i n d e x o f
X
1
E n c o d e t h e r e m a i n i n g i m a g e v e c t o r s i n t h e s e q u e n c e
b y u p d a t i n g t h e s t a t e a n d u s i n g t h e a s s o c i a t e d c o d e -
b o o k , i . e . , s
n + 1
= f ( s
n
;
X
n
) ,
X
n + 1
2 C
s
n + 1
2 4
-
8/8/2019 dict8
25/27
S i n c e t h e n e x t s t a t e i s a f u n c t i o n o f t h e p r e v i o u s s t a t e
a n d t h e o u t p u t c o d e v e c t o r , i t i s p o s s i b l e t o t r a c k t h e
s t a t e c h a n g e s ( o r t h e q u a n t i z e r c h o i c e s ) a t t h e r e c e i v e r
w i t h o u t t h e u s e o f o v e r h e a d i n f o r m a t i o n
V Q R e s u l t s
M / R V Q a n d I / R V Q :
{ 4 4 b l o c k s . a t r e e s t r u c t u r e
{ e a c h n o d e : 8 b r a n c h e s ( O c t - t r e e )
{ u p t o 5 l e v e l s f o r a n a l s i z e o f 2
1 5
c o d e v e c t o r s
{ i n c r e m e n t a l b i t r a t e f o r e a c h l e v e l : 3 = 1 6 b i t / p i x e l
{ t r a i n i n g s e t : 8 i m a g e s o f 5 1 2 5 1 2
2 5
-
8/8/2019 dict8
26/27
L E N A T h i r d - E x a m P r o j e c t
I m p l e m e n t M e a n / R e s i d u a l V Q
{ C o d e b o o k c o n s t r u c t i o n :
T r e e s t r u c t u r e
F i v e l e v e l s
E a c h n o d e h a s e i g h t c h i l d r e n
L E N A a n d . . . ! n o n o v e r l a p p i n g 4 4
b l o c k s ! m e a n s a n d r e s i d u a l v e c t o r s
R e s i d u a l v e c t o r s u s e d a s a t r a i n i n g s e t
E a c h n o d e a s s o c i a t e d w i t h a s u b s e t o f t r a i n i n g
s e t a n d f u r t h e r d e c o m p o s e d i n t o e i g h t s u b s e t s o r
c l u s t e r s b y u s i n g t h e L B G a l g o r i t h m ( t r a i n i n g
t h e t r e e )
2 6
-
8/8/2019 dict8
27/27
F o r e a c h n o d e , t h e p r o t o t y p e o f c l u s t e r i s i d e n -
t i e d w i t h a c o d e w o r d
O n l y l e a v e s , t h e i r p r o t o t y p e s a r e u s e d a t d e c o d -
i n g ( m u s t b e a s s i g n e d i n d i c e s u s e d a s e n t r i e s t o
a l o o k u p t a b l e a t t h e d e c o d i n g e n d )
S c a l a r q u a n t i z e r c o n s t r u c t i o n ( f o r m e a n s ) :
{ D P C M o n M e a n I m a g e o f 1 2 8 1 2 8
{ E n c o d i n g e a c h r e s i d u a l v e c t o r b y t h e i n d e x o f t h e
l e a f i t s e t t l e s
{ D e c o d i n g t r a n s m i t t e d i n d e x a s t h e e n t r y t o t h e
c o r r e s p o n d i n g p r o t o t y p e i n t h e l o o k u p t a b l e
{ D e c o d i n g D P C M
{ R e c o n s t r u c t i o n