Top Banner

of 4

Discrete Cosine Transform .pdf

Jun 04, 2018

Download

Documents

Mohammad Rofii
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
  • 8/14/2019 Discrete Cosine Transform .pdf

    1/4

    IEEETRANSACTIONSON COMPUTERS,JANUARY1974

    I f o n l y t h e L v a l u e sR o t h r o u g hR L _ 1a r er e q u i r e d ,t h e ni t c a nb es e e nb y c o m p a r i n g( 1 5 ) a n d ( 1 1 )t ha t t hen e wa l g o r i t h mw i l lr e q u i r ef e w e rm u l t i p l i c a t i o n st h a nt h eFFTm e t h o di f

    L < 11 .2( 1+ l o g 2N ) ( 1 6 a )

    a n dw i l lr e q u i r ef e w e ra d d i t i o n si f

    L < 5 . 6( 1+ l o g 2N) . ( 1 6 b )

    T h e r e f o r e ,we c o n c l u d et h a tt h enewa l g o r i t h mw i l lg e n e r a l l yb e m o r ee f f i c i e n tt h a nt h eFFTm e t h o di f

    N < 12 8 ( 1 7 a )

    o r

    L < 1 0 ( 1+ l o g 2N) . ( 1 7 b )

    C O N C L U S I O N

    A newa l g o r i t h mf o rc o m p u t i n gt h ec o r r e l a t i o no f a b l o c ko f s a m p l e dd a t ah a s b e e np r e s e n t e d .I t i s a d i r e c tm e t h o dw h i c ht r a d e sa n i n -c r e a s e dn u m b e ro f a d d i t i o n sf o ra d e c r e a s e dn u m b e ro f m u l t i p l i c a t i o n s .F o ra p p l i c a t i o n sw h e r et h e c o s t ( e . g . ,t h e t i m e )o f a m u l t i p l i c a t i o ni sg r e a t e rt h a nt h a to f a n a d d i t i o n ,t h enewa l g o r i t h mi sa l w a y sm o r ec o m -p u t a t i o n a l l ye f f i c i e n tt h a nd i r e c te v a l u a t i o no f t h ec o r r e l a t i o n ,a n di t i sg e n e r a l l ym o r ee f f i c i e n tt h a nFFTm e t h o d sf o rp r o c e s s i n g1 2 8o rf e w e rd a t a p o in t s,o r f o rc a l c u l a t i n go n l yt h e f i r s tL l a g sf o rL < 10 l o g 22 N .

    REFERENCES

    [ 1 ]S . W i n o g r a d , A n e w a l g o r i t h mf o r i n n e rp r o d u c t ,I E E ET r a n s .C o m p u t .( C o r r e s p . ) ,v o l .C - 17 ,p p . 6 9 3 - 6 9 4 ,J u l y 1 9 6 8 .

    I nd i s c r e t eW i e n e rf i l t e r i n ga p p l i c a t i o n s ,t h e f i l t e ri sr e p r e s e n t e db y a n(M X M ) m a t r i xG . T h ee s t i m a t eX o f d a t av e c t o rX i sg i v e nb y G Z ,w h e r eZ = X + N a n dN i s t h e n o i s ev e c t o r .T h i si m p l i e st h a ta p p r o x i -

    a t e l y2M a r i t h m e t i co p e r a t i o n sar e r e q u i r e dt o c o m p u t eX . U s eo fo r t h o g o n a lt r a n s f o r m sy i e l d sa G i n w h i c ha s u b s t a n t i a ln u m b e ro fe l e m e n t sa r er e l a t i v e l ys m a l li nm a g n i t u d e ,a nd h e nc ec a nb e s e te q u a lt o z e r o .T h u sa s i g n i f i c a n tr e d u c t i o ni nc o m p u t a t i o nl o a di sr e a l i z e da tt h ee x p e n s eo f a s m a l li n c r e a s ei nt h em e a n - s q u a r ee s t i m a t i o ne r r o r .

    T h eWa l s h - H a d a m a r dt r a n s f o r m( W H T ) ,d i s c r e t eF o u r i e rt r a n s f o r m( D F T ) ,t h eH a a rt r a n s f o r m( H T ) ,a n d t h es l a n tt r a n s f o r m( S T ) ,h a v eb e e nc o n s i d e r e df o rv a r i o u sa p p l i c a t i o n s[1] , [2 ] ,[ 4 ]- [9 s i n c et h e s ea r eo r t h o g o n a lt r a n s f o r m st h a tc a n b e c o m p u t e du s i n gf a s ta l g o r i t h m s .T h ep e r f o r m a n c eo f t h e s et r a n s f o r m si sg e n e r a l l yc o m p a r e dw i t ht h a to f t h eK a r h u n e n - L o e v et r a n s f o r m( K LT )w h i c hi sknownt o b e o p t i m a lw i t hr e s p e c tt o t h ef o l l o w i n gp e r f o r m a n c em e a s u r e s :v a r i a n c ed i s t r i b u -t i o n[1], e s t i m a t i o nu s i n gt h em e a n - s q u a r ee r r o rc r i t e r i o n[2 ] ,[ 4 ] ,a n dt h er a t e - d i s t o r t i o nf u n c t i o n[ 5 ] .A l t h o u g ht h eKL Ti so p t i m a l ,t h e r ei sn og e n e r a la l g o r i t h mt h a te n a b l e si t sf a s tc o m p u t a t i o n[1 ]

    In t h i sc o r r e s p o n d e n c e ,a d i s c r e t ec o s i n et r a n s f o r m( D C T )i s i n t r o -d u c e da l o n gw i t ha n a l g o r i t h mt h a te n a b l e si t sf a s tc o m p u t a t i o n .I t i ss h o w nt h a tt h ep e r f o r m a n c eo f t heDCTc o m p a r e smorec l o s e l yt o t h a to f t h eKL Tr e l a t i v et o t h ep e r f o r m a n c e so f t h eD F T ,W H T ,a n dH T .

    D I S C R E T EC O S I N ETRANSFORMT h eDCTo f a d a t as e q u e n c eX ( m ) ,m = 0 ,1 , * ,( M- 1 )i sd e f m e d

    a s/ 2 M - i

    Gx O) Z X ( m )m = o

    2 M- i ( 2 m+ 1 ) k nG x ( k ) = - X(m)Cos

    M m0 2M

    D i s c r e t eC o s i n eTr a n s f o n nN. AHMED,T .NATARAJAN,A N DK . R.RAO

    A b s t r a c t - Ad i s c r e t ec o s i n et r a n s f o r m( D C T )i sd e f i n e da n da n a l g o -r i t h mt o c o m p u t ei t u s i n gt h ef a s tF o u r i e rt r a n s f o r mi sd e v e l o p e d .I ti ss h o w nt h a tt h e d i s c r e t ec o s i n et r a n s f o r mc a n b e u s e di n t h e a r e ao fd ig i t a lp r o c e s s i n gf o rt h e p u r p o s e so f p a t t e r nr e c o g n i t i o na n dW i e n e rf i l t e r i n g .I t sp e r f o r m a n c ei sc o m p a r e dw i t ht h a to f a c l a s so f o r t h o g o n a lt r a n s f o r m sa n d i s f o u n dt o c o m p a r ec l o s e l yt o t h a to f t h e K a r h u n e n -L o e v et r a n s f o r m ,w h i c hi sknow nt o b e o p t i m a l .T h ep e r f o r m a n c e so ft h e K a r h u n e n - L o e v ea n dd i s c r e t ec o s i n et r a n s f o r m sa r ea l s of o u n dt oc o m p a r ec l o s e l yw i t hr e s p e c tt ot h er a t e - d i s t o r t i o nc r i t e r i o n .

    I n d e xTe r m s - D i s c r e t ec o s i n et r a n s f o r m ,d i s c r e t eF o u r i e rt r a n s f o r m ,f e a t u r es e l e c t i o n ,H a a rt r a n s f o r m ,K a r h u n e n - L o e v et r a n s f o r m ,r a t ed i s -t o r t i o n ,Wa l s h - H a d a m a r dt r a n s f o r m ,W i e n e rv e c t o ra n ds c a l a rf i l t e r i n g .

    I N T R O D U C T I O N

    I n r e c e n ty e a r st h e r eh a sb e e na n i n c r e a s i n gi n t e r e s tw i t hr e s p e c tt ou s i n ga c l a s so f o r t h o g o n a lt r a n s f o r m si n t h eg e n e r a la r e ao f d i g i t a ls i g n a lp r o c e s s i n g .T h i sc o r r e s p o n d e n c ea d d r e s s e si t s e l ft o w a r d st w op r o b l e m sa s s o c i a t e dw i t h i m a g ep r o c e s s i n g ,n a m e l y,p a t t e mr e c o g n i -t i o n[ 1] a n dW i e n e rf i l t e r i n g[2 ] .

    I n p a t t e r nr e c o g n i t i o n ,o r t h o g o n a lt r a n s f o r m se n a b l ea n o n i n v e r t i b l et r a n s f o r m a t i o nf r o mt h ep a t t e r ns p a c et o a r e d u c e dd i m e n s i o n a l i t yf e a t u r es p a c e .T h i sa l l o w sa c l a s s i f i c a t i o ns c h e m et ob e i m p l e m e n t e dw i t hs u b s t a n t i a l l yl e s sf e a t u r e s ,w i t ho n l ya s m a l li n c r e a s ei nc l a s s i f i c a -t i o ne r r o r .

    M a n u s c r i p tr e c e i v e dJ a n u a r y2 9 , 1 9 7 3 ;r e v i s e dJ u n e7 , 1 9 7 3 .N . Ahmedi s w i t h t h e D e p a r t m e n t so f E l e c t r i c a lE n g i n e e r i n ga n d

    C o m p u t e rS c i e n c e ,K a n s a sS t a t eU n i v e r s i t y,M a n h a t t a n ,K a n s .T . N a t a r a j a ni sw i t ht h e D e p a r t m e n to f E l e c t r i c a lE n g i n e e r i n g ,K a n s a s

    S t a t eU n i v e r s i t y ,M a n h a t t a n ,K a n s .K . R . Ra o i s w i t h t h e D e p a r t m e n to f E l e c t r i c a lE n g i n e e r i n g ,U n i -

    v e r s i t yo f T e x a sa t A r l i n g t o n ,A r l i n g t o n ,T e x .7 6 0 1 0 .

    w h e r eG x ( k )i s t h ek t h DC Tc o e f f i c i e n t .I t i sw o r t h w h i l en o t i n gt h a tt h es e to f b a s i sv e c t o r s{ 1 / 1 2 ,c o s ( ( 2 m+ 1 )k f l ) I ( 2 A M ) }i sa c t u a l l yac l a s so f d i s c r e t eC h e b y s h e vp o l y n o m i a l s .T h i sc a nb e s e e nb y r e c a l l i n gt h a tC h e b y s h e vp o l y n o m i a l sc a nb e d e f i n e da s[3 ]

    1To ( Q p )=

    T k Q p )= c o s( kc o s - 1 p ) , k ,p = 1 ,2 , ,M ( 2 )

    w h e r eT k ( Q p )i st h ek t hC h e b y s h e vp o l y n o m i a l .N o w ,i n ( 2 ) ,t pi sc h o s e nt o b e t h ep t hz e r oo f T M ( t ) ,w h i c hi sg i v e n

    b y[ 3 1

    ( 3 )

    S u b s t i t u t i n g( 3 )i n ( 2 ) ,o n eo b t a i n st h es e to f C h e b y s h e vp o l y n o m i a l sA 1

    T o( P )= _

    A ( 2 p -l ) k F IT k ( p )= c o s k,p= 1 ,2 , , M . (4 )

    F r o m( 4 )i tf o l l o w st h a tt h eT k ( p )c a ne q u i v a l e n t l yb e d e f m e da s1

    ( 2 m+ l ) k r IT k ( m )= c o s 2M k = 1 ,2 , - * ,( M- 1 ) ,

    m = 0 , 1 , - - 1 , M - l .( 5 )C o m p a r i n g( 5 )w i t h( 1 )we c o n c l u d et h a tt h eb a s i sm e m b e rc o s( ( 2 m+

    90

    k = 1 ,2 , - , ( M -1 ) (1 )

    t p = Cos(2p Ol l

    = 1 32 1... M .2M

    I t ,

  • 8/14/2019 Discrete Cosine Transform .pdf

    2/4

    CORRESPONDENCE

    1 ) k l l ) / ( 2 M )i s t h ek t h C h e b y s h e vp o l y n o m i a lT k ( )e v a l u a t e da t t h em t hz er o o fT M { t ) .

    A g a i n ,t h ei n v e r s ec o s i n ed i s c r e t et r a n s f o r m( I C D T )i s d e f i n e da s1 M - 1 (2m + 1 ) k f l

    X ( m )= >2 G x ( )+ G x ( k )co s k =1 2Mm=0,1,** , ( M - 1 ) . ( 6 )

    Wen o t et h a ta p p l y i n gt h eo r t h og o n al p r op e r t y[3 ]

    k=l=- 1 M / 2 , k =I = O22 T k ( m )T j( m )= ^ M / 2 ,k =I O0m =o 0 , k M*I

    ( 7 )

    t o( 6 ) y i el d st h eDCTi n( 1 ) .I f ( 6 )i sw r i t t e ni nm a t r i xf o r na n dA i st h e(MX M) m a t r i xt h at d e -

    n o t e st h ec o s i n et r a n s f o r m a t i o n ,t h e nt h eo r t h o g o n a lp r o p e r t yc a nb ee x p r e s s e da s F i g .1 . E i g e n v e c t o r so f 8 X 8 ) To e p l i t zm a t r i x( p = 0 . 9 ) a n d b a s i s

    v e c t o r so f t h e DCT.T MA A= 2 [ I ] ( 8 )

    w h e r eA Ti s t h et r a n s p o s eo f A a n d[ I ] i st h e(MX A l )i d e n t i t ym a t r i x .M O T I VAT I O N

    T h em o t i v a t i o nf o rd e f i n i n gt h eDCTi s t h a ti t c a nb e d e m o n s t r a t e dt h a ti t s b a s i ss e tp r o v i d e sa g o o da p p r o x i m a t i o nt o t h ee i g e n v e c t o r so f t h e c l a s so f To e p l i t zm a t r i c e sd e f i n e da s

    [ 1 pp 1

    p =

    IM 1ip

    2p

    p

    M- ipM- 2 p

    . .

    J

    O

  • 8/14/2019 Discrete Cosine Transform .pdf

    3/4

    IEEETRA N S A CTIO N SON COMPUTERS,JANUARY 1974

    F i g .3 . W i e n e rf i l t e r i n gm o d e l .

    TABLEIMEAN-SQUAREERRORPEFORMANCEOF VA R I O U ST R A N S F O R M SFORS C A L A RW I E N E RF I LT E R I N G ;P = 0 . 9

    MT r a n s f o r m 2 4 8 1 6 3 2 6 4

    K a r h u n e n - L o e v e 0 . 3 7 3 0 0 . 2 9 15 0 . 2 5 3 3 0 . 2 3 5 6 0 . 2 2 6 8 0 . 2 2 2 4D i s c r e t ec o s i n e 0 . 3 7 3 0 0 . 2 9 2 0 0 . 2 5 4 6 0 . 2 3 7 4 0 . 2 2 8 2 0 . 2 2 3 2D i s c r e t eF o u r i e r 0 . 3 7 3 0 0 . 2 9 6 4 0 . 2 7 0 6 0 . 2 5 9 2 0 . 2 4 4 1 0 . 2 3 2 0Wa l s h - H a d a m a r d 0 . 3 7 3 0 0 . 2 9 4 2 0 . 2 6 4 9 0 . 2 5 8 2 0 . 2 5 8 2 0 . 2 5 5 9H a a r 0 . 3 7 3 0 0 . 2 9 4 2 0 . 2 6 5 0 0 . 2 5 8 9 0 . 2 5 8 2 0 . 2 5 8 1

    0 a

    :cr

    c E

    : Dz

    4 Li

    S I Z EOF 0 f

    F i g .4 . M e a n - s q u a r ee r r o rp e r f o r m a n c eo f v a ri ou s t r a n s f o rm sf o r s c a l a rW i e n e rf i l t e r i n g ;p = 0 . 9 .

    v e c t o rX a n da n o i s ev e c t o rN . X i sc o n s i d e r e dt ob e l o n gt oa r a n d o mp r o c e s sw h o s ec o v a r i a n c em a t r i xi sg i v e nb y i w h i c hi sd e f i n e di n ( 9 ) .T h eWi e n e rf i l t e rG i si n t h ef o r mo f a n ( MX M) m a t r i x . A a n dA -

    r e p r e s e n ta n o r t h o n o r m a lt r a n s f o r ma n di t si n v e r s e ,r e s p e c t i v e l y,w h i l eX d e n o t e st h ee s t i m a t eo fX , u s i n gt h em e a n - s q u a r ee r r o rc r i t e r i o n .Wer e s t r i c to u r a t t e n t i o nt o t h ec a s ewhenG i sc o n s t r a i n e dt ob e a

    d i a g o n a lm a t r i xQ . T h i sc l a s so f W i e n e rf i l t e r si s r e f e r re d t oa ss c a l a rf i l t e r sw h i l et h emore g e n e r a lc l a s s( d e n o t e db y G ) i s r e f e r r e dt o a sv e c t o rf i l t e r s .T h ea d d i t i v en o i s e( s e eF i g .3 )i sc o n s i d e r e dt ob e w h i t e ,z e r om e a n ,a n du n c o r r e l a t e dw i t ht h ed a t a .I f t h em e a n - s q u a r ee s t i m a -t i o ne r r o r d u e t o s c a l a rf i l t e r i n gi s d e n o t e db y e Q , t h e ne ( c a n b ee x p r e s s e da s[ 4 ]

    1 M I x s ,s )e = x ( s ,S )+ I n ( s ,s ) ( 1 3 )

    w h e r e V xa n dTn d e n o t et h et r a n s f o r md o m a i nc o v a r i a n c em a t r i c e so ft h ed a t aa n dn o i s e ,r e s p e c t i v e l y .Ta b l eI l i s t st h ev a l u e so f e Qf o rd i f f e r -

    e n t v a l u e so f M f o rt h ec a s ep = 0 . 9a n da s i g n a l - t o - n o i s er a t i oo fu n i t y.From Ta b l eI i t i s e v i d e n tt h a tt h e DCTcomes c l o s e s tt o t h eKL Tw h i c hi s o p t i m a l .T h i si n f o r m a t i o ni s p r e s e n t e di n t e r m so f a s e to f

    p e r f o r m a n c ec u r v e si nF i g .4 .A D D I T I O N A LC O N S I D E R AT I O N S

    I n c o n c l u s i o n ,we c o m p a r et h ep e r f o r m a n c eo f t h e DCTw i t hK LT ,D F T ,a n d t h e i d e n t i t yt r a n s f o r m s ,u s i n gt h er a t e - d i s t o r t i o nc r i t e r i o n[ 5 1 .T h i sp e r f o r m a n c ec r i t e r i o np r o v i d e sa m e a s u r eo f t h ei n f o r m a t i o nr a t eR t h a tc a nb e a c h i e v e dw h i l es t i l lm a i n t a i n i n ga f i x e dd i s t o r t i o nD ,f o re n c o d i n gp u r p o s e s .C o n s i d e r i n gG a u s s i a ns o u r c e sa l o n gw i t h t h em e a n - s q u a r ee r r o r c r i t e r i o n ,t h er a t e - d i s t o r t i o np e r f o r m a n c em e a s u r ei sg i v e nb y [5 ]

    1 MD ( / { I l

    M i= 1( 1 4 a )

    9 2

  • 8/14/2019 Discrete Cosine Transform .pdf

    4/4

    CORRESPONDENCE

    4a ]

    F i g .5 . R a t ev e r s u sd i s t o r t i o nf o r M = 1 6 a n dp = 0 . 9 .

    1 MD = m i n 0 ,a i )m j = )

    ( 1 4 b )

    w h e r eA d e n o t e st h eo r t h o g o n a lt r a n s f o r m a t i o na n d t h ea j a r et h em a i nd i a g o n a lt e r m so f t h et r a n s f o r md o m a i nc o v a r i a n c em a t r i x 1i n( 1 2 ) .

    T h er a t e - d i s t o r t i o np e r t a i n i n gt oM = 16 a n dp = 0 . 9i s s h o w ni nF i g .5 , f r o mw h i c hi t i se v i d e n tt h a tt h eKL Ta n dDCTc o m p a r em o r ec l o s e l yt h a nt h eKL Ta n dD F T .

    SUMMARYI t h a s b e e ns h o w nt h a tt h eDCTc a n b e u s e di n t h e a r e ao f i m a g e

    p r o c e s s i n gf o rt h ep u r p o s e so f f e a t ur e s e le c t i o ni np a t t e r nr e c o g n i t i o n ;a n ds c a l a r - t y p eWi e n e rf i l t e r i n g .I t sp e r f o r m a n c ec o m p a r e sc l o s e l yw i t ht h a to f t h eK LT,w h i c hi sc o n s i d e r e dt o b e o p t i m a l .T h ep e r f o r m a n c e so f t h eKL Ta n dDCTa r e a l s of o u n dt o c o m p a r ec l o s e l y,w i t hr e s p e c tt o t h er a t e - d i s t o r t i o nc r i t e r i o n .

    ACKNOWLEDGMENT

    T h ea u t h o r sw i s ht ot h a n kD r .H .C .A n d r e w s ,U n i v e r s i t yo f S o u t h e r nC a l i f o r n i a ,f o rh i sv a l u a b l es u g g e s t i o n sp e r t a i n i n gt o t h er a t e - d i s t o r t i o nc o m p u t a t i o n .

    R E F E R E N C E S

    l 1 lH . C . A n d r e w s , M u l t i d i m e n s i o n a lr o t a t i o n si n f e a t u r es e l e c t i o n ,I E E ET r a n s .C o m p u t . ,v o l .C - 2 0 ,p p . 1 0 4 5 - 1 0 5 1 ,S e p t .1 9 7 1 .

    [ 2 1W. K . P r a t t , G e n e r a l i z e dW i e n e rf i l t e r i n gc o m p u t a t i o nt e c h -n i q u e s , IEEET r a n s .C o m p u t . ,v o l .C - 2 1 ,p p . 6 3 6 - 6 4 1 ,J ul y 1 97 2 .[ 3 ]C . T . F i k e , Computer E v a l u a t i o no f M a t h e m a t i c a lF u n c t i o n s .E n g l e w o o dC l i f f s ,N . J . :P r e n t i c e - H a l l ,1 9 6 8 ,c h .6 a n d7 .

    1 4 1J . P e a r l , Wa l s hp r o c e s s i n go f randoms i g n a l s ,I E E ET r a n s .E l e c -t r o m a g .C o m p a t . ,v o l .E M C - 1 3 ,p p . 1 37 - 14 1, A u g .1 9 7 1 .1 5 1J . P e a r l ,H . C .A n d r e w s ,a n dW. K . P r a t t , P e r f o r m a n c em e a s u r e sf o r t r a n s f o r md a t a c o d i n g , IEEE T r a n s . Commun.Te c h n o l . ,v o l .COM-20,p p . 4 1 1 - 4 1 5 ,J u n e1 9 7 2 .

    [ 6 1W. K . P r a t t , Wa l s hf u n c t i o n si n i m a g ep r o c e s s i n ga n d t w o -d i m e n s i o n a lf i l t e r i n g ,i n 1 9 7 2P r o c .Symp.A p p l i c a t i o n so f Wa l s hF u n c t i o n s ,AD-7446 5 0 ,p p . 1 4 - 2 2 .

    1 7 1W. K . P r a t t ,L. R . We l c h ,a n dW. C h e n , S l a n tt r a n s f o r m si ni m a g ec o d i n g , i n 1972 P r o c .Symp. A p p l i c a t i o n sof W al s h F u n c t i o n s ,p p . 2 2 9 - 2 3 4 .

    1 8 1W. H . Chen a n dW. K . P r a t t , C o l o ri m a g ec o d i n gw i t ht h e s l a n tt r a n s f o r m ,i n 1973P r o c .Symp.A p p l i c a t i o n so f Wa l s hF u n c t i o n s ,A D - 7 6 3 0 0 0 ,p p . 1 5 5 - 1 6 1 .

    [ 9 1W. K . P r a t t , S p a t i a lt r a n s f o r mc od in g o fc o l o ri m a g e s ,IEEET r a n s .C om m un .Te c h n o l . ,v o l .C O M - 1 9 ,p p . 9 8 0 - 9 9 2 ,D e c .1 9 7 1 .

    M i n i m i z a t i o no f L in e a r S e q ue n t i alM a c h i n e s

    CHI-TSONGCHEN

    A b s t r a c t - A na l g o r i t h mi s p r e s e n t e dt o m i n i m i z el i n e a rs e q u e n t i a lm a c h i n e st o r e d u c e df o r m .

    I n d e xTe r m s - A l g o r i t h m ,l i n e a rm a c h i n e ,m i n i m i z a t i o n ,r e d u c e dm a -

    c h i n e ,r e d u c t i o n ,s e q u e n t i a lm a c h i n e .

    I . I N T R O D U C T I O N

    T h em i n i m i z a t i o no f a l i n e a rs e q u e n t i a lm a c h i n et o a r e d u c e df o r mi sa n i m p o r t a n tt o p i ca n di sd i s c u s s e di nm a n yt e x t s[1 - [ 4 ] T h em i n i -m i za t i on p r o c ed u r ep r e s e n t e di n[1 ]- [ 4 ] i sa sf o l l o w s .L e t { A ,B , C ,D}b e a n n - d i m e n s i o n a ll i n e a rm a c h i n eo v e rG F ( p ) ,a n dl e tr , w i t hr < n ,b e t h er a n k o f t h e d i a g n o s t i cm a t r i xK A [ C A C ( A ) 1 n -C T ,w h e r et h ep r i m es t a n d sf o rt h e t r a n s p o s e .D e f i n ea n r X n m a t r i xTc o n s i s t i n go f t h ef ir st rl i n e a r l yi n d e p e n d e n tr o w so f K , a n da n nX rm a t r i xR d e n o t i n gt h e r i g h ti n v e r s eo f T s o t h a t TR = L Then t h e l i n e a rm a c h i n e{ T A R ,T B ,C R ,D} i sa r e d u c e df o r mo f { A, B ,C ,D } . In t h i sc o r r e s p o n d e n c e ,a n a l g o r i t h mw i l lb e i n t r o d u c e dt o f i n d as p e c i a ls e to fr l i n e a r l yi n d e p e n d e n tr o w si nK . A r e d u c e dm a c h i n ec a nt h e n b er e a d

    o u t f r o mt h i sa l g o r i t h mw i t h o u tt h e n e e do f i n v e r t i n ga n y m a t r i x .F u r t h e r m o r e ,t h er e d u c e dm a c h i n ew i l lb e i na c a n o n i c a lf o r m .

    I I . ALGORITHM

    Le tC b e a q X n m a t r i x ,a n dl e tc ib e t h ei t hr o wo f C . T h ed i a g n o s t i cm a t r i xo f { A ,B , C ,D} w i l lb e a r r a n g e di nt h ef o l l o w i n go r d e r :

    A n - 1

    C qc q A

    c qA n - 1

    ( 1 )

    No wa na l g o r i t h mw i l lb e i n t r o d u c e dt o f i n dt h ef i r s tr l i n e a r l yi n d e p e n -d e n tr o w si nP . T h i si sa c h i e v e db y a s e r i e so f e l e m e n t a r yt r a n s f o r m a -t i o n s .L e t

    K r K r l. K2K1PAKP ( 2 )

    w h e r eK ia r el o w e rt r i a n g u l a rm a t r i c e sw i t ha l ld i a g o n a le l e m e n t su n i t y ,a n da r eo b t a i n e di n t h ef o l l o w i n gm a n n e r .L e tp i ( j )b e t h e f i r s tn o n -z e r o e l e m e n tf r o mt h el e f ti n t h ef i r s tr ow o fP ,w h e r e/ d e n o t e st h ep o s i t i o n .T h e nK 1 i sc h o s e ns o t h a ta l l ,e x c e p tt h ef i r s t ,e l e m e n t so f t h ej t h c o l u m no f K1 Pa r ez e r o .L e t p 2 1 b e t h ef i r s tn o n z e r oe l e m e n tf r o mt h e l e f to f t h es e c o n dr o wo fK I P.T h e nK2 i sc h o s e ns o t h a ta l l ,e x c e p tt h ef i r s tt w o , e l e m e n t so f t h eI t hc o l u m no f K2K1Pa r ez e r o .P r o c e e di n t h i sm a n n e ru n t i la l ll i n e a r l yi n d e p e n d e n tr o w so f P a r ef o u n d . N o t et h a ti n t h i sp r o c e s s ,i f o n er o wi si d e n t i c a l l yz e r o ,t h e np r o c e e dt o t h en e x tn o n z e r or o w. By m u l t i p l y i n gt h e s eK i ,we o b t a i nK = K r K r i l K 2 K A .N o t et h a tKPw i l lb e f i n a l l yo f f o r m

    M a n u s c r i p tr e c e i v e dF e b r u a r y2 1 , 1 9 7 3 ;r e v i s e dMa y2 1 , 1 9 7 3 .The a u t h o ri s w i t h t h e D e p a r t m e n to f E l e c t r i c a lS c i e n c e s ,S t a t eU n i -

    v e r s i t yo f Ne wY o r k, S t o n yB r o o k ,N . Y.1 1 7 9 0 .

    9 3