A Robust Image Authentication Method Surviving JPEG Lossy Compression

7/29/2019 A Robust Image Authentication Method Surviving JPEG Lossy Compression

1/12

A R o b u s t I m a g e A u t h e n t i c a t i o n M e t h o d S u r v i v i n g

J P E G L o s s y C o m p r e s s i o n

C h i n g - Y u n g L i n a n d S h i h - F u C h a n g

D e p a r t m e n t o f E l e c t r i c a l E n g i n e e r i n g &

N e w M e d i a T e c h n o l o g y C e n t e r

C o l u m b i a U n i v e r s i t y

N e w Y o r k , N e w Y o r k 1 0 0 2 7

A B S T R A C T

I m a g e a u t h e n t i c a t i o n v e r i e s t h e o r i g i n a l i t y o f a n i m a g e b y d e t e c t i n g m a l i c i o u s m a n i p u l a t i o n s . T h i s

g o a l i s d i e r e n t f r o m t h a t o f i m a g e w a t e r m a r k i n g w h i c h e m b e d s i n t o t h e i m a g e a s i g n a t u r e s u r v i v i n g m o s t

m a n i p u l a t i o n s . E x i s t i n g m e t h o d s f o r i m a g e a u t h e n t i c a t i o n t r e a t a l l t y p e s o f m a n i p u l a t i o n e q u a l l y ( i . e . , a s

u n a c c e p t a b l e ) . H o w e v e r , s o m e a p p l i c a t i o n s d e m a n d t e c h n i q u e s t h a t c a n d i s t i n g u i s h a c c e p t a b l e m a n i p u l a -

t i o n s ( e . g . , c o m p r e s s i o n ) f r o m m a l i c i o u s o n e s . I n t h i s p a p e r , w e d e s c r i b e a n e e c t i v e t e c h n i q u e f o r i m a g e

a u t h e n t i c a t i o n w h i c h c a n p r e v e n t m a l i c i o u s m a n i p u l a t i o n s b u t a l l o w J P E G l o s s y c o m p r e s s i o n . T h e a u t h e n t i -

c a t i o n s i g n a t u r e i s b a s e d o n t h e i n v a r i a n c e o f t h e r e l a t i o n s h i p b e t w e e n D C T c o e c i e n t s o f t h e s a m e p o s i t i o n

i n s e p a r a t e b l o c k s o f a n i m a g e . T h i s r e l a t i o n s h i p w i l l b e p r e s e r v e d w h e n t h e s e c o e c i e n t s a r e q u a n t i z e d i n

a J P E G c o m p r e s s i o n p r o c e s s . O u r p r o p o s e d m e t h o d c a n d i s t i n g u i s h m a l i c i o u s m a n i p u l a t i o n s f r o m J P E G

l o s s y c o m p r e s s i o n r e g a r d l e s s o f h o w h i g h t h e c o m p r e s s i o n r a t i o i s . W e a l s o s h o w t h a t , i n d i e r e n t p r a c t i c a l

c a s e s , t h e d e s i g n o f a u t h e n t i c a t o r d e p e n d s o n t h e n u m b e r o f r e c o m p r e s s i o n t i m e s a n d o n w h e t h e r t h e i m a g e

i s d e c o d e d i n t o i n t e g r a l v a l u e s i n t h e p i x e l d o m a i n d u r i n g t h e r e c o m p r e s s i o n p r o c e s s . T h e o r e t i c a l a n d e x -

p e r i m e n t a l r e s u l t s i n d i c a t e t h a t t h i s t e c h n i q u e i s e e c t i v e f o r i m a g e a u t h e n t i c a t i o n .

K e y w o r d s : i m a g e a u t h e n t i c a t i o n , J P E G l o s s y c o m p r e s s i o n , m a n i p u l a t i o n , d i g i t a l s i g n a t u r e

1 I N T R O D U C T I O N

T h e w e l l - k n o w n a d a g e t h a t \ t h e p h o t o g r a p h d o e s n ' t l i e " i s n o l o n g e r t r u e d u e t o t h e d e v e l o p m e n t

o f p o w e r f u l i m a g e m a n i p u l a t i o n s o f t w a r e . D i g i t a l i m a g e s h a v e b e e n a d o p t e d b e c a u s e o f t h e i r e a s e o f m a n i p -

u l a t i o n , p r o c e s s i n g , a n d s t o r a g e . N a t u r a l a s w e l l a s s y n t h e t i c i m a g e s a p p e a r i n a l m o s t e v e r y T V p r o g r a m

a n d l m . I t i s a l m o s t i m p o s s i b l e t o s u b j e c t i v e l y d i s t i n g u i s h w h a t k i n d o f i m a g e i s o r i g i n a l a n d w h a t k i n d

h a s b e e n m a n i p u l a t e d . T h i s t e c h n i c a l d e v e l o p m e n t h a s d e c r e a s e d t h e c r e d i b i l i t y t h a t p h o t o g r a p h y u s e d t o

a c h i e v e i n t h e o l d d a y s .

I m a g e a u t h e n t i c a t i o n t e c h n i q u e s p r o t e c t i m a g e s f r o m m a l i c i o u s m a n i p u l a t i o n i n e v e r y s t a g e o f

t r a n s m i s s i o n a n d s t o r a g e , e i t h e r b y m a c h i n e o r b y h u m a n b e i n g s . R e l i a b l e i m a g e a u t h e n t i c a t i o n t e c h n o l o g y

h a s t o b e a b l e t o p r o t e c t a n i m a g e f r o m t h e t i m e i t w a s r s t p r o d u c e d .

I f w e c o n s i d e r a d i g i t a l i m a g e t o b e m e r e l y a n o r d i n a r y b i t s t r e a m o n w h i c h n o m o d i c a t i o n i s

a l l o w e d , t h e n t h e r e i s n o t m u c h d i e r e n c e b e t w e e n t h i s p r o b l e m a n d o t h e r d a t a c r y p t o g r a p h y p r o b l e m s .

T w o m e t h o d s h a v e b e e n s u g g e s t e d t o w a r d a c h i e v i n g t h e a u t h e n t i c i t y o f d i g i t a l i m a g e s b y h a v i n g a d i g i t a l

c a m e r a e i t h e r s i g n t h e i m a g e u s i n g a d i g i t a l s i g n a t u r e 1 ] o r e m b e d s o m e s e c r e t c o d e t o t h e i m a g e 2 ] . T h e

r s t m e t h o d u s e s a n e n c r y p t e d d i g i t a l \ s i g n a t u r e " w h i c h i s g e n e r a t e d i n t h e c a p t u r i n g d e v i c e s . A d i g i t a l

s i g n a t u r e i s b a s e d o n t h e m e t h o d o f P u b l i c K e y E n c r y p t i o n 3 ] 4 ] . A p r i v a t e k e y i s u s e d t o e n c r y p t a h a s h e d


2/12

v e r s i o n o f t h e i m a g e . T h i s e n c r y p t e d m e s s a g e i s c a l l e d t h e \ s i g n a t u r e " o f t h e i m a g e , a n d p r o v i d e s a w a y t o

i n s u r e t h a t t h i s s i g n a t u r e c a n n o t b e f o r g e d . T h i s s i g n a t u r e t h e n t r a v e l s w i t h t h e i m a g e . T h e a u t h e n t i c a t i o n

p r o c e s s o f t h i s i m a g e n e e d s a n a s s o c i a t e d p u b l i c k e y t o d e c r y p t t h e s i g n a t u r e . T h e i m a g e f o r a u t h e n t i c a t i o n

i s h a s h e d a n d c o m p a r e d t o t h e c o d e s i n t h e s i g n a t u r e . I f t h e y m a t c h t h e n t h i s i m a g e i s a u t h e n t i c a t e d . T h e

s e c o n d m e t h o d i s t o e m b e d a \ w a t e r m a r k " o n t h e l e a s t i m p o r t a n t b i t s o f t h e p i x e l s i n a n i m a g e 2 ] . T h i s

w a t e r m a r k i s o b t a i n e d f r o m t h e c h e c k s u m o f p i x e l s . I f t h i s i m a g e i s m o d i e d , i t s w a t e r m a r k w i l l b e d e s t r o y e d .

T h e a b o v e m e t h o d s h a v e c l e a r d r a w b a c k s . I n t h e i r p r o p o s i t i o n s , a u t h e n t i c i t y w i l l n o t b e p r e s e r v e d

u n l e s s e v e r y b i t o f t h e i m a g e s i s u n c h a n g e d . H o w e v e r , s i n c e l o s s y c o m p r e s s i o n s u c h a s J P E G i s o f t e n d e s i r e d

i n p r a c t i c a l a p p l i c a t i o n s , i t i s o b v i o u s t h a t a n a u t h e n t i c a t i o n m e t h o d n e e d s t o b e r o b u s t t o l o s s y c o m p r e s s i o n ,

b u t s e n s i t i v e t o m a l i c i o u s m a n i p u l a t i o n s .

I n p r a c t i c a l a p p l i c a t i o n s , o t h e r f o r m s o f m a n i p u l a t i o n s m a y a l s o b e c o n s i d e r e d a s a c c e p t a b l e . S u c h

e x a m p l e s m a y i n c l u d e c o l o r s p a c e t r a n s f o r m a t i o n , c h a n g e o f p r e c i s i o n ( i . e . , w o r d l e n g t h ) , a n d m a s k i n g ( i . e . ,

c u t o u t s o m e b o u n d a r y r e g i o n i n t y p e s e t t i n g ) . T h e f o r m e r t w o c a n b e m o d e l e d a s r a n d o m n o i s e s w h i l e

t h e l a s t o n e w i l l r e q u i r e s p e c i a l t r e a t m e n t i n t h e a u t h e n t i c a t i o n p r o c e s s . I n t h i s p a p e r , w e w i l l a l s o d i s c u s s

a u t h e n t i c a t i o n m e t h o d s t h a t t o l e r a t e t h e n o i s e c a u s e d b y t h e c h a n g e o f p r e c i s i o n ( e . g . , i n t e g e r r o u n d i n g n o i s e ) .

F o r a n i m a g e , t h e r e a r e s o m e i n v a r i a n c e p r o p e r t i e s w h i c h c a n b e p r e s e r v e d d u r i n g J P E G l o s s y c o m -

p r e s s i o n . L e t u s c o n s i d e r t h e r e l a t i o n s h i p b e t w e e n t w o D C T c o e c i e n t s o f t h e s a m e p o s i t i o n i n t w o s e p a r a t e

8 x 8 b l o c k s o f a n i m a g e . T h i s r e l a t i o n s h i p w i l l s t i l l h o l d e v e n i f t h e s e c o e c i e n t s a r e q u a n t i z e d b y a n a r b i t r a r y

q u a n t i z a t i o n t a b l e i n a J P E G c o m p r e s s i o n p r o c e s s . I n t h i s p a p e r , w e w i l l p r o p o s e a r o b u s t a u t h e n t i c a t i o n

m e t h o d w h i c h c a n d i s t i n g u i s h m a l i c i o u s m a n i p u l a t i o n s f r o m a c c e p t a b l e J P E G l o s s y c o m p r e s s i o n . O u r t e c h -

n i q u e c a n p r e v e n t m a l i c i o u s a t t a c k s t h a t a r e a i m e d a t c h a n g i n g t h e i m a g e m e a n i n g . I n S e c t i o n 2 , a g e n e r a l

s y s t e m f o r a u t h e n t i c a t i o n w i l l b e p r o p o s e d . A l s o , w e w i l l d e s c r i b e h o w t o c o n t r o l p a r a m e t e r s f o r d i e r e n t

p r a c t i c a l u s e s . A s i m p l e e x a m p l e i s s h o w n i n t h i s s e c t i o n . W e w i l l s h o w s e v e r a l p r a c t i c a l a p p l i c a t i o n s i n

S e c t i o n 3 . E x p e r i m e n t a l r e s u l t s w i l l b e s h o w n i n S e c t i o n 4 . F i n a l l y , i n S e c t i o n 5 , w e w i l l p r e s e n t c o n c l u s i o n s

a n d p r o p o s e f u t u r e w o r k .

2 A U T H E N T I C A T I O N S Y S T E M

T h e p r o p o s e d m e t h o d i s s h o w n i n F i g u r e 1 . O u r m e t h o d u s e s a s i m i l a r c o n c e p t t o t h a t o f t h e

d i g i t a l s i g n a t u r e m e t h o d p r o p o s e d b y F r i e d m a n 1 ] , b u t t h e i r t e c h n i q u e d o e s n ' t s u r v i v e l o s s y c o m p r e s s i o n . A

s i g n a t u r e a n d a n i m a g e a r e g e n e r a t e d a t t h e s a m e t i m e . T h e s i g n a t u r e i s a n e n c r y p t e d f o r m o f t h e f e a t u r e

c o d e s o r h a s h e s o f t h i s i m a g e , a n d i t i s s t o r e d a s a l e . O n c e a u s e r n e e d s t o a u t h e n t i c a t e t h e i m a g e h e

r e c e i v e s , h e s h o u l d d e c r y p t t h i s s i g n a t u r e a n d c o m p a r e t h e f e a t u r e c o d e s ( o r h a s h e d v a l u e s ) o f t h i s i m a g e

t o t h e i r c o r r e s p o n d i n g v a l u e s i n t h e o r i g i n a l s i g n a t u r e . I f t h e y m a t c h , t h i s i m a g e c a n b e c l a i m e d t o b e \ a u -

t h e n t i c a t e d . " T h e m o s t i m p o r t a n t d i e r e n c e b e t w e e n o u r m e t h o d a n d F r i e d m a n ' s \ t r u s t w o r t h y c a m e r a " i s

t h a t w e u s e i n v a r i a n c e p r o p e r t i e s i n J P E G l o s s y c o m p r e s s i o n a s r o b u s t f e a t u r e c o d e s i n s t e a d o f u s i n g h a s h e s

o f t h e r a w i m a g e s .

2 . 1 I n v a r i a n t s o f a n i m a g e b e f o r e a n d a f t e r J P E G c o m p r e s s i o n

T h e g e n e r a t i o n o f a s i g n a t u r e c a n b e d i v i d e d i n t o t w o p a r t s : f e a t u r e e x t r a c t i o n a n d f e a t u r e e n c r y p -

t i o n . F e a t u r e e x t r a c t i o n i s t h e c o r e p r o b l e m o f t h i s p a p e r . F r o m t h e c o m p r e s s i o n p r o c e s s o f J P E G , w e h a v e

f o u n d t h a t s o m e q u a n t i t a t i v e i n v a r i a n t s o r p r e d i c t a b l e p r o p e r t i e s c a n b e e x t r a c t e d .

T w o s t e p s i n t h e J P E G c o m p r e s s i o n p r o c e s s r e d u c e t h e n e c e s s a r y b i t s r e p r e s e n t i n g a n i m a g e : 1 . )

q u a n t i z a t i o n a n d r o u n d i n g o f t h e D C T c o e c i e n t s , a n d 2 . ) e n t r o p y c o d i n g . T h e s e c o n d s t e p i s a l o s e l e s s

o p e r a t i o n . I t c a n b e c o n s i d e r e d a s a n e c i e n t r e p r e s e n t a t i o n o f t h e i n f o r m a t i o n . I t i s u s u a l l y u s e d i n g e n e r a l

l o s e l e s s c o m p r e s s i o n m e t h o d s . T h e r s t s t e p i s a k i n d o f l o s s y o p e r a t i o n . T h i s o p e r a t i o n a l t e r n a t e s p i x e l

v a l u e s b u t k e e p t h e i m p o r t a n t v i s u a l c h a r a c t e r i s t i c s o f t h e i m a g e . I t i s t h e s o u r c e o f d i s t o r t i o n o f i m a g e

q u a l i t y . T h e r e f o r e , i f r o b u s t f e a t u r e c o d e s a r e e x p e c t e d f o r a u t h e n t i c a t i o n , t h e y m u s t b e d e r i v e d t o s u r v i v e


3/12

ComparatorF^

Result

Huffman Table

^B

Q^

Table

Encryption

Authentication:

JPEG Compressed

or

Signature Generator:

Bit-stream

DCT

Entropy

Decoder

Quantization

Raw Image X

Dequan-

tizer

Signature S ZDecryption

Public Key

Image AnalyzerZ

Signature SRaw Image X

Other Information

Private Key &

^

F i g u r e 1 : S i g n a t u r e G e n e r a t o r & A u t h e n t i c a t i o n P r o c e s s

t h i s s t e p . T h e t w o f o l l o w i n g t h e o r e m s p r o v i d e m e t h o d s t o g e n e r a t e s u c h r o b u s t f e a t u r e c o d e s .

T h e o r e m 1 A s s u m e F

p

a n d F

q

a r e D C T c o e c i e n t m a t r i c e s o f t w o a r b i t r a r i l y 8 8 n o n o v e r l a p p i n g

b l o c k s o f i m a g e X , a n d Q i s t h e q u a n t i z a t i o n t a b l e o f J P E G l o s s y c o m p r e s s i o n . 8 u v 2 0 ; : : ; 7 a n d p q 2

1 ; : : ; } , w h e r e } i s t h e t o t a l n u m b e r o f b l o c k s . D e n e F

p q

F

p

? F

q

a n d

~

F

p q

~

F

p

?

~

F

q

w h e r e

~

F

p

i s d e n e d a s

~

F

p

( u v ) I n t e g e r R o u n d (

F

p

( u v )

Q ( u v )

) Q ( u v ) . T h e r e f o r e , t h e f o l l o w i n g p r o p e r t i e s m u s t b e

t r u e :

i f F

p q

( u v ) > 0 , t h e n

~

F

p q

( u v ) 0

e l s e i f F

p q

( u v )


4/12

T h e o r e m 2 A l l p a r a m e t e r s a r e d e n e d a s i n T h e o r e m 1 . A s s u m e a x e d t h r e s h o l d k 2 k

~

F

p q

( u v )

(

~

k

u v

Q ( u v )

k

Q ( u v )

2 Z

(

~

k

u v

? 1 ) Q ( u v ) ; e l s e w h e r e

( 1 )

e l s e i f F

p q

( u v ) < k

~

F

p q

( u v )

(

~

k

u v

Q ( u v )

k

Q ( u v )

2 Z

(

~

k

u v

+ 1 ) Q ( u v ) ; e l s e w h e r e

( 2 )

e l s e F

p q

( u v ) = k

~

F

p q

( u v ) =

(

~

k

u v

Q ( u v )

k

Q ( u v )

2 Z

(

~

k

u v

o r

~

k

u v

1 ) Q ( u v ) ; e l s e w h e r e

( 3 )

2

I n T h e o r e m 2 , k i s a d e s i g n a t e d t h r e s h o l d v a l u e u s e d t o b o u n d t h e d i e r e n c e o f t w o D C T c o e c i e n t s

o f t h e s a m e p o s i t i o n i n t w o s e p a r a t e 8 8 b l o c k s o f a n i m a g e . S e v e r a l d i e r e n t k ' s c a n b e u s e d f o r a s i n g l e

a u t h e n t i c a t i o n s y s t e m o f d i e r e n t l e v e l s o f s t r e n g t h . B a s e d o n T h e o r e m 2 , w e c a n r e a d t h e q u a n t i z a t i o n t a b l e

Q f r o m a b i t s t r e a m a n d u s e E q u a t i o n s ( 1 ) , ( 2 ) a n d ( 3 ) t o p r e d i c t t h e e x a c t r e l a t i o n s h i p s t h o s e c o e c i e n t s

h a v e a f t e r c o m p r e s s i o n .

A s s h o w n i n F i g u r e 1 , b y a p p l y i n g T h e o r e m 1 a n d T h e o r e m 2 , w e c a n e x t r a c t f e a t u r e c o d e s o f a n

i m a g e f r o m t h e r e l a t i o n s h i p b e t w e e n t w o D C T c o e c i e n t s o f t h e s a m e p o s i t i o n i n t w o s e p a r a t e 8 x 8 b l o c k s

w i t h i n i t . T h e s e f e a t u r e c o d e s a r e t h e n e n c r y p t e d a s a s i g n a t u r e . F o r t h e a u t h e n t i c a t i o n p r o c e s s , a u s e r

h a s t o c a l c u l a t e t h e D C T c o e c i e n t s o f t h e i m a g e , a n d c o m p a r e t h e m t o t h e f e a t u r e s d e c r y p t e d f r o m t h e

d i g i t a l s i g n a t u r e . T h i s i m a g e i s s a i d t o b e m a t c h e d i f a l l t h e D C T c o e c i e n t r e l a t i o n s h i p s s a t i s f y t h e c r i t e r i a

p r e d i c t e d b y t h e f e a t u r e s o f t h e o r i g i n a l i m a g e .

2 . 2 I m a g e A n a l y z e r : F e a t u r e E x t r a c t i o n

F i g u r e 2 ( a ) i s t h e o w c h a r t o f t h e f e a t u r e e x t r a c t i o n p r o c e s s . F i r s t , a n i m a g e X c a p t u r e d d i r e c t l y

b y a d i g i t a l c a m e r a , a d i g i t a l c a m r e c o r d e r o r a c o m p u t e r s o f t w a r e i s s e n t i n t o t h e i m a g e a n a l y z e r . E a c h 8 8

b l o c k o f t h i s i m a g e i s t h e n t r a n s f o r m e d t o t h e D C T c o e c i e n t s .

A f t e r a l l t h e s e p r o c e s s e s , t h e r e a r e t h r e e l o o p s f o r g e n e r a t i n g f e a t u r e c o d e s :

L o o p 1 : N u m b e r o f s e t s o f f e a t u r e c o d e s , n = 1 t o N , d i e r e n t t h r e s h o l d k a n d t h e n u m b e r o f c o e c i e n t s

b

n

a r e u s e d f o r e a c h s e t .

L o o p 2 : I n d i c e s o f b l o c k s , p = p

1

t o p

}

2

, w h e r e } i s t h e t o t a l n u m b e r o f b l o c k s i n t h e i m a g e .

L o o p 3 : C o e c i e n t p o s i t i o n s i n e a c h b l o c k , f r o m u p p e r l e f t b y t h e z i g - z a g o r d e r , = 1 t o b

n

I n L o o p 1 , N s e t s o f f e a t u r e c o d e s a r e g e n e r a t e d . T h e p u r p o s e o f t h e s e s e t s i s t o p r o v i d e m o r e

d e t a i l e d p r o t e c t i o n o n t h e m a g n i t u d e s o f c o e c i e n t d i e r e n c e i n t h e D C T d o m a i n . F o r e a c h s e t , d i e r e n t

t h r e s h o l d k a n d t h e n u m b e r o f c o e c i e n t s b

n

a r e u s e d . P a r a m e t e r b

n

r e p r e s e n t s h o w m a n y b i t s a r e a l l o c a t e d

i n e a c h b l o c k . P a r a m e t e r k r e p r e s e n t s t h e t h r e s h o l d w h i c h i s a p p l i e d t o T h e o r e m 2 . T h e r s t s e t , k = 0

p r o t e c t s t h e s i g n o f F

p q

. F r o m t h e s e c o n d s e t t o t h e l a s t s e t , k ' s s e t d y n a m i c b i n a r y d e c i s i o n r a n g e s

t o p r o t e c t t h e m a g n i t u d e o f F

p q

w i t h a n i n c r e a s i n g a c c u r a c y . T h e l a r g e r N i s , t h e m o r e p r e c i s e l y t h e

c o e c i e n t d i e r e n c e s a r e p r o t e c t e d .

I n L o o p 2 , f o r e a c h b l o c k p , w e s e l e c t a b l o c k q a n d c a l c u l a t e t h e d i e r e n c e b e t w e e n t h e s e t w o

b l o c k s . T h e s e l e c t i o n o f q c a n b e f r o m a n y f u n c t i o n o f p . I n t h i s l o o p , p i s a v a l u e f r o m p

1

t o p

}

2

. I f w e


5/12

Up=1

P

Up=1

P

F = Fp = DCT( Xp )

Up=1

P

Fp,q ( ) < k

Next , p, n

Image X = Xp

For = 1 to b

Yes

No

z=0 z=1

For n = 1 to N

n

zZ ( ) =n

P/21For p = p to p

DCT:

Input:

Loop 3:

(Blocks)

Output:

Next:

Coefficients)

( Zig-zag

Compare:

Loop 2:

Loop 1:(Sets)

F^

Next , p, n

^

Z

Block p or q has been manipulated

Yes

No

For n = 1 to N

For = 1 to b

0

Yes Yes

^

^

Fp,q( )- k >^

Fp,q( )- k

A Robust Image Authentication Method Surviving JPEG Lossy Compression

Documents