Fundermentals of Signal Processing

8/3/2019 Fundermentals of Signal Processing

1/180

F u n d a m e n t a l s o f S i g n a l P r o c e s s i n g

M i n h D o


2/180


3/180

F u n d a m e n t a l s o f S i g n a l P r o c e s s i n g

C o u r s e A u t h o r s :

M i n h D o

C o n t r i b u t i n g A u t h o r s :

R i c h a r d B a r a n i u k

H y e o k h o C h o i

M i n h D o

B e n j a m i n F i t e

A n d e r s G j e n d e m s j o

M i c h a e l H a a g

D o n J o h n s o n

D o u g l a s J o n e s

R o b N o w a k

R i c a r d o R a d a e l l i - S a n c h e z

J u s t i n R o m b e r g

C l a y t o n S c o t t

I v a n S e l e s n i c k

M e l i s s a S e l i k

O n l i n e :

h t t p : / / c n x . o r g / c o n t e n t / c o l 1 0 3 6 0 / 1 . 3 /


4/180

P H H T f n k D r o k o g o D w n h o D f n j m n p D e n q j n m j o D

w l r D h o n t o n o n D h o l t o n D o x o k D o l l E n z D t n

o m D g l o n o D s n l n k D w l l k

T h i s w o r k i s l i c e n s e d u n d e r t h e C r e a t i v e C o m m o n s A t t r i b u t i o n L i c e n s e :

h t t p : / / c r e a t i v e c o m m o n s . o r g / l i c e n s e s / b y / 2 . 0 /


5/180

T a b l e o f C o n t e n t s

1 p o n o n

1 . 1 n l n s n o m o n F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F Q

1 . 2 s n o o n o m F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F R

1 . 3 h E m n l n m F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F V

1 . 4 v n m E s n n m F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F I H

1 . 5 h E m g o n o l o n F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F I I

1 . 6 o v n e l F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F I S

1 . 7 r l F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F P W

1 . 8 n l i n o n F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F Q H

1 . 9 p o e n l F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F Q Q

1 . 1 0 g o n n o E m p o n o m @ g p A F F F F F F F F F F F F F F F F F F F F F F F F F F F F F Q R

1 . 1 1 h E m p o n o m @ h p A F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F Q T

1 . 1 2 h p w y o n F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F Q T

1 . 1 3 p p e l o m F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F Q V

2 m l n n p n e n l

2 . 1 s n o o n F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F R S

2 . 2 o o F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F R T

2 . 3 s l l o n F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F R W

2 . 4 m l n n o n o n w l F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F S Q

2 . 5 m o m l n n o n o n F F F F F F F F F F F F F F F F F F F F F F F F F F F F F S Q

2 . 6 m l n g n l X e p n h o m n F F F F F F F F F F F F F F F F F F F F S S

2 . 7 h p X p n h o m n g o m e n l F F F F F F F F F F F F F F F F F F F S U

2 . 8 h E m o n o g n l F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F T S

2 . 9 o m p o n o m F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F U P

2 . 1 0 o m F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F V Q

2 . 1 1 p l n h p F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F V T

2 . 1 2 s m o o n f F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F W S

3 h l p l n

3 . 1 h ' n i o n F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F W W

3 . 2 n o m X h ( n o n F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F I H Q

3 . 3 l o g o m m o n z E n o m F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F I H T

3 . 4 n n n o l G o l o o n E l n F F F F F F F F F F F F F F F F F F F F F F F F F F F F I H V

3 . 5 p l n n p n h o m n F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F I I I

3 . 6 v n E p s p l F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F I I T

3 . 7 p l F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F I I W

3 . 8 y o h l p l h n F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F I I W

3 . 9 n o h n w o F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F I P I

3 . 1 0 p n m l n h n w o o p s ( l F F F F F F F F F F F F F F F F F F F F F F F I P P

3 . 1 1 k E w g l l l n p s p l h n F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F I P R

3 . 1 2 p s p l h n n w e v e f F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F I Q H

3 . 1 3 w e v e f p s p l h n i F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F I Q P

4 l n e n l o n

4 . 1 s n o o n o n o m n l n o F F F F F F F F F F F F F F F F F F F F F F F F F F F F I Q U

4 . 2 o n n x o n o n n o m o F F F F F F F F F F F F F F F F F F F F F F F F F F I R H

4 . 3 n o m o X w n n n F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F I R P

4 . 4 g o l o n n g o n o n o m n l F F F F F F F F F F F F F F F F F F F F F F F F F F F I R T


6/180

4 . 5 e o o l o n o n o m o F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F I S H

4 . 6 g o o l o n o n o m o F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F I S Q

4 . 7 s n o o n o e p l F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F I S R

4 . 8 h E m D g l n p l F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F I S S

4 . 9 l s n n p l s m l m n o n F F F F F F F F F F F F F F F F F F F F F F F F F F I S V

4 . 1 0 w n m z o n n q n h n F F F F F F F F F F F F F F F F F F F F F F F F F F F I S W

4 . 1 1 v w e p l e l o m F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F I T H

4 . 1 2 p y g o n n e n l o v w e l o m F F F F F F F F F F F F F F F F F I T P

4 . 1 3 e i l z o n F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F F I T S


7/180

I

0 I n t r o d u c t i o n t o F u n d a m e n t a l s o f S i g n a l P r o c e s s i n g

0 . 1 W h a t i s D i g i t a l S i g n a l P r o c e s s i n g ?

o n n D i g i t a l S i g n a l P r o c e s s i n g ( D S P ) l 9 m n o o

o m n F S i g n a l n l n n o m o n F P r o c e s s i n g

o o o o n o l n F s o S i g n a l

P r o c e s s i n g o n o m o n o m n l o o o n n o m o n E

n n l o m o n o m o n o F p o m l D o n n k n

n l D n n o n o n m n o m n n l o F p n l l D

o D i g i t a l n h l n l o n m n o o n o m D

m o o o D o l o F

( l h n n ( n l o l l o

l o m n n o m n o l o n n E o n F g o n n l D h

l n n n l m o n o l n n o l n n n n

n o l o F n l o m n n h n n m n n m n E

n l n l o m m n o n D m l m D m l n n ( m n D n

m n E o m n o n F

o l l l o l o n n m o h D o n l o m n o

l m F o n l ( l m m m n l l o n l o o o l

l n D l n l m D o o n o o m F n

l m ( n o D l n o o m o ( l m m F

f m o o o o m m o o l D m o o h l o m

n l o o l m o o o l n m o ( n l m

l F n k o l o m n D l o o n m E l m

n o l n n ( l m m F e l o m n o l m

o l l o n @ m o n A D o m l l z m n o l n D

m l o n h o o o o o m F i n l l D l m E

n o l o o m o n l o o o o m l l m o n F n ( n m l

n n n m n o l o n o h l o m m n o n D l

m n D l l o n D n o o n F

s n m m D h o n o n o n w m D D n g o m n D n

n o k n l n n o l o n n m o l o n F

0 . 2 O v e r v i e w o f K e y C o n c e p t s i n D i g i t a l S i g n a l P r o c e s s i n g

o m n n h s i g n a l s n s y s t e m s F e s i g n a l ( n n l

n o n o m o n n n l m @ o n E m n o n l

n l A D o @ P E h o Q E h n l A F n l n l F s n l E o l D m o

o n l c o n t i n u o u s - t i m e o a n a l o g s i g n a l s l o n n o l l

o m F o o o m D o n n o E m n l o ( s a m p l e d

n m n o d i s c r e t e - t i m e s i g n a l o l o m n n n

o n o m m m o l o o n F p m o D n o o o l o

D n l l o q u a n t i z e d n o o l D n

( n l l l l d i g i t a l s i g n a l F n n z o n ' n o D m

E m n l n l n l n n n l F

s n n l o n D s y s t e m ( n o o n n o E

n l F e n m o n l o m l o l i n e a r t i m e - i n v a r i a n t @ o s h i f t - i n v a r i a n t A

s y s t e m s F m m k l o o m n o m l l

z n i m p u l s e r e s p o n s e f u n c t i o n @ o m m l o l l p o i n t s p r e a d f u n c -

t i o n A D n m ( n c o n v o l u t i o n @ l o o l t e r i n g A o o n F

D l n m E n n m l n o @ l n A l t e r F v n m E n n


8/180

P

m l ( n o o D o n i t e - d u r a t i o n i m p u l s e r e s p o n s e ( F I R )

n o n i n n i t e - d u r a t i o n i m p u l s e r e s p o n s e ( I I R ) F

e n l n v e c t o r n v e c t o r s p a c e F D l i n e a r a l g e b r a o

o l m o k o n l n l n m F s n l D n o D

n l n n @ o n A l i n e a r c o m b i n a t i o n o f e l e m e n t a r y s i g n a l s F

m o m o n s i g n a l e x p a n s i o n s o F o u r i e r t r a n s f o r m s F p o

n o m D n l n o m D o n ' l o n o m o l m

o m o n o m n o n o o m n m o o l o n l z F o

o m n o p o n o m l m n n n l l t i m e d o m a i n n

f r e q u e n c y d o m a i n F

S a m p l i n g D o o n o n o c o n t i n u o u s - d o m a i n r e a l - l i f e s i g n a l s o d i s c r e t e n u m b e r s

n o o m D n l n n l o n

l o l F s m o n o n n o n n o n n n l n m

n l o l n n o m F o n n o n o n n n o n l z n

n o m n F w o o D m n n l n m ( f r e q u e n c y

c h a r a c t e r i s t i c s F

f n l i n e a r t i m e - i n v a r i a n t s y s t e m n z l t e r D n o

m o l o n o n o ( l F l l D n l t e r d e s i g n

o D m n o 0 n o n p s o s s ( l l o l o m

f r e q u e n c y r e s p o n s e ( o n F o p o n o m D z - t r a n s f o r m

o n ' o o l o n l z n n l ( l F

s n m n l o n D n l o n n n l s t a t i s t i c a l m o d e l s r a n d o m

s i g n a l s F s m k l o m m l n ( l @ n n o m i n i m u m m e a n - s q u a r e

e r r o r A D o l l W i e n e r l t e r s D n m n n o n l s e c o n d - o r d e r s t a t i s t i c s @ a u -

t o c o r r e l a t i o n n c r o s s c o r r e l a t i o n n o n A o s t a t i o n a r y p r o c e s s F n

n n o ( o n o n o m D n m l o a d a p t i v e l t e r s D

( l o 0 n o n l F m o o l l o m o

l j ( l o 0 n l e a s t - m e a n s q u a r e ( L M S ) l o m F


9/180

C h a p t e r 1

F o u n d a t i o n s

1 . 1 S i g n a l s R e p r e s e n t I n f o r m a t i o n

n l o o l D n o m o n n n m n l n n l E

l n n n X s i g n a l F n m m l m D a s i g n a l i s m e r e l y a f u n c t i o n F

e n l o n l o n n o E l Y l n l E l F n n n

l o n l o l m @ D o m l A D @ m A D o n

@ n o n n n o l n n m n o o l l o A F

1 . 1 . 1 A n a l o g S i g n a l s

A n a l o g s i g n a l s a r e u s u a l l y s i g n a l s d e n e d o v e r c o n t i n u o u s i n d e p e n d e n t v a r i a b l e ( s ) F

1

o o o l o n o o n n n o o l F l

o n n D n n l o o n o n o n

n n n n l o n m n l o o n n o X

s (x, t) @ r o n o o n x o n o l o o n A F n o o o m o n l k n D o l n n l l l l o o n D

x0 F e n m l o l n o m s (x0, t) o n n ( @ p I F I A F

o o D n o n n o E l n l ( n o F f l k E

n E m o n l o n l o n n D m o n o o l

) o n o F s n p I F P D n m o n D m o n n @ n l l o

m l l A n o n o o n n n l l F

g o l o m l o ) n o n o l m F

n l o n o o n m n o o m n o n o o E l l m o l o !

D l l o n l ! n o l o l o m F D m o l l

o o n l o n n D ' n o o l o X

r o m o D g r e e n n l n F w m l l D o l o m l l !

o E l ! n l X

s (x) = (r (x) , g (x) , b (x))T

F

s n n o n n l o n l n n o o n o n n o l D

m D o n l F p o m l D m n k n

o o n n o ! n l o ! l D n l 9 n n n l @ n l l A

n F

1

h t t p : / / c n x . o r g / c o n t e n t / m 0 0 4 9 / l a t e s t /

Q


10/180

R C H A P T E R 1 . F O U N D A T I O N S

S p e e c h E x a m p l e

-0.5

-0.4

-0.3

-0.2

-0.1

0

0.1

0.2

0.3

0.4

0.5

Amplitude

F i g u r e 1 . 1 : A s p e e c h s i g n a l ' s a m p l i t u d e r e l a t e s t o t i n y a i r p r e s s u r e v a r i a t i o n s . S h o w n

i s a r e c o r d i n g o f t h e v o w e l " e " ( a s i n " s p e e c h " ) .

1 . 1 . 2 D i g i t a l S i g n a l s

o 4 l 4 m n E l n m l n l n n E l n E

n n l F h l n o m o n n l n m n m o l @ o n

k o D o m l A F g o m l o n l n o n o n o m o n o

m n l n n o m n o m o n F m o l o n o n m l D n

n n n m F e g s s o E n l o

D n m D n o n m k D n o o m o l n

n E n F p o m l D e g s s o n l a n m 97 n l A 65 F p I F Q o n n o n l o n n o n o n o n n F

1 . 2 I n t r o d u c t i o n t o S y s t e m s

S i g n a l s a r e m a n i p u l a t e d b y s y s t e m s F w m l l D n m o

n o o n y (t) = S(x (t))D x n n n n l n y o n l F

n o o n m m m m l m o l o o n o n X e m 9 n

n l o o o n n n n l n o n n l F p o

m m l l n l n D m f u n c t i o n a l X n o n o n o n @ n l

n o n A F

m l m n o n n o ! o n m 9 o o m n o 9 n !

o o m l o m o l l n F s n o n n o n o o l o n o m l D

l l o n o o n o n n o n o m F


11/180

S

L e n a

( a )

( b )

F i g u r e 1 . 2 : O n t h e l e f t i s t h e c l a s s i c

L e n a

i m a g e , w h i c h i s u s e d u b i q u i t o u s l y a s a t e s t

i m a g e . I t c o n t a i n s s t r a i g h t a n d c u r v e d l i n e s , c o m p l i c a t e d t e x t u r e , a n d a f a c e . O n t h e

r i g h t i s a p e r s p e c t i v e d i s p l a y o f t h e L e n a i m a g e a s a s i g n a l : a f u n c t i o n o f t w o s p a t i a l

v a r i a b l e s . T h e c o l o r s m e r e l y h e l p s h o w w h a t s i g n a l v a l u e s a r e a b o u t t h e s a m e s i z e . I n

t h i s i m a g e , s i g n a l v a l u e s r a n g e b e t w e e n 0 a n d 2 5 5 ; w h y i s t h a t ?


12/180

T C H A P T E R 1 . F O U N D A T I O N S

A s c i i T a b l e

n u m -

b e r

c h a r -

a c -

t e r

n u m -

b e r

c h a r -

a c -

t e r

n u m -

b e r

c h a r -

a c -

t e r

n u m -

b e r

c h a r -

a c -

t e r

n u m -

b e r

c h a r -

a c -

t e r

n u m -

b e r

c h a r -

a c -

t e r

n u m -

b e r

c h a r -

a c -

t e r

n u m -

b e r

c h a r -

a c -

t e r

H H n l H I o H P H Q H R o H S n H T k H U l

H V H W H e n l H f H g n H h H i o H p

I H l I I I I P P I Q Q I R R I S n k I T n I U

I V I W m I e I f I g I h I i I p

P H P I 3 P P 4 P Q P R 6 P S 7 P T 8 P U 9

P V @ P W A P e B P f C P g D P h E P i F P p G

Q H H Q I I Q P P Q Q Q Q R R Q S S Q T T Q U U

Q V V Q W W Q e X Q f Y Q g

Q p c

R H d R I e R P f R Q g R R h R S i R T p R U q

R V r R W s R e t R f u R g v R h w R i x R p H

S H S I S P S Q S R S S S T S U

S V S W S e S f S g \ S h S i S p T H 9 T I T P T Q T R T S T T T U

T V T W T e j T f k T g l T h m T i n T p o

U H U I U P U Q U R U S U T U U

U V U W U e z U f { U g | U h } U i U p l

F i g u r e 1 . 3 : T h e A S C I I t r a n s l a t i o n t a b l e s h o w s h o w s t a n d a r d k e y b o a r d c h a r a c t e r s

a r e r e p r e s e n t e d b y i n t e g e r s . T h i s t a b l e d i s p l a y s t h e s o - c a l l e d 7 - b i t c o d e ( h o w m a n y

c h a r a c t e r s i n a s e v e n - b i t c o d e ? ) ; e x t e n d e d A S C I I h a s a n 8 - b i t c o d e . T h e n u m e r i c c o d e s

a r e r e p r e s e n t e d i n h e x a d e c i m a l ( b a s e - 1 6 ) n o t a t i o n . T h e m n e m o n i c c h a r a c t e r s c o r r e s p o n d

t o c o n t r o l c h a r a c t e r s , s o m e o f w h i c h m a y b e f a m i l i a r ( l i k e

c r

f o r c a r r i a g e r e t u r n ) a n d

s o m e n o t (

b e l

m e a n s a " b e l l " ) .

D e n i t i o n o f a s y s t e m

Systemx(t) y(t)

F i g u r e 1 . 4 : T h e s y s t e m d e p i c t e d h a s i n p u t

x (t)a n d o u t p u t

y (t). M a t h e m a t i c a l l y ,

s y s t e m s o p e r a t e o n f u n c t i o n ( s ) t o p r o d u c e o t h e r f u n c t i o n ( s ) . I n m a n y w a y s , s y s t e m s a r e

l i k e f u n c t i o n s , r u l e s t h a t y i e l d a v a l u e f o r t h e d e p e n d e n t v a r i a b l e ( o u r o u t p u t s i g n a l ) f o r

e a c h v a l u e o f i t s i n d e p e n d e n t v a r i a b l e ( i t s i n p u t s i g n a l ) . T h e n o t a t i o n

y (t) = S(x (t))c o r r e s p o n d s t o t h i s b l o c k d i a g r a m . W e t e r m

S()t h e i n p u t - o u t p u t r e l a t i o n f o r t h e s y s t e m .


13/180

U

c a s c a d e

S1[] S2[]

x(t) y(t)w(t)

F i g u r e 1 . 5 : T h e m o s t r u d i m e n t a r y w a y s o f i n t e r c o n n e c t i n g s y s t e m s a r e s h o w n i n t h e

g u r e s i n t h i s s e c t i o n . T h i s i s t h e c a s c a d e c o n g u r a t i o n .

p a r a l l e l

x(t)

x(t)

x(t)

+y(t)

S1[]

S2[]

F i g u r e 1 . 6 : T h e p a r a l l e l c o n g u r a t i o n .

1 . 2 . 1 C a s c a d e I n t e r c o n n e c t i o n

m l o m n o n m 9 o o n n o n l o n o 9 n F w E

m l l D w (t) = S1 (x (t))D n y (t) = S2 (w (t))D n o m o n o n n n x (t) o ( D n o n m F s n o m D o n o m

m D n o o n o F p o m l D n n m n l m o l o o m m n o n

2

o n m o n l m F

1 . 2 . 2 P a r a l l e l I n t e r c o n n e c t i o n

e n l x (t) o o o @ o m o A m D n l n n o l l m m l n o l n l n F f l o k m o n n o n

n l o n o m o n o n m n o l n o l o n F o o

m o m o o n x (t) n o o o o y (t) F D y (t) = S1 (x (t)) +S2 (x (t)) D n n o m o n n x (t) o l o m F

1 . 2 . 3 F e e d b a c k I n t e r c o n n e c t i o n

l n o n n o n o n ( o n m 9 o l o o n n o

n F i n n o l o 4 k 4 o n o m P D n

m n o l o F m m l m n o k n o n n o n @ p I F U A

2

h t t p : / / c n x . o r g / c o n t e n t / m 0 0 0 2 / l a t e s t / # c o m m s y s


14/180

V C H A P T E R 1 . F O U N D A T I O N S

f e e d b a c k

S1

[]x(t) e(t) y(t)

S2[]

+

F i g u r e 1 . 7 : T h e f e e d b a c k c o n g u r a t i o n .

E o m o o X

y (t) = S1 (e (t))F n

e (t) l n n l m n o o o m o m 9 o o y (t) X e (t) =x (t)S2 (y (t))F p k m o m n n n o n o l o l m D o n l o j o o o m o n o n ( n n @ o n o l l n A n l F

p o m l D n 9 o n o l m D x (t) o n n n n o n D n y (t) 9 m o m F s n l o n D m P n m @ o l n A F

1 . 3 D i s c r e t e - T i m e S i g n a l s a n d S y s t e m s

w m l l D n l o n l n o n n n n n l o n n E

o n D n m F h E m n l n o n ( n o n

n Y n F e n l o n l D k o o m o n

E m n l n o m l o m o n n F f o l n o

n n n o n l D n l o o n n o m o n

@ o n n n o m o n n l A n o n o m o n @

n o m o n n A F p o m o l E l n l D o ' n X

l o o m m o n n o n o l l m o l E l n l o n m o

n o m o n o n n n n ( F p o m n n o m o n n o n E

D m o m o n o m D o o l E l n m o l E l n l D

0 n X m o m o n o n o m o n n o m o n o

n l F

1 . 3 . 1 R e a l - a n d C o m p l e x - v a l u e d S i g n a l s

e E m n l n m o l l l

s (n) D n ={

. . . ,

1, 0, 1, . . .}

F

l l E m n l m l o o m z

n o n ( n o n l o n n F n l E m n l n n

j n l o o n F e l n m l o n (n m)D n l o n n n = mF

1 . 3 . 2 C o m p l e x E x p o n e n t i a l s

m o m o n n l D o o D c o m p l e x e x p o n e n t i a l s e q u e n c e F

s (n) = ej2fn @ I F I A


15/180

W

C o s i n e

n

sn

1

F i g u r e 1 . 8 : T h e d i s c r e t e - t i m e c o s i n e s i g n a l i s p l o t t e d a s a s t e m p l o t . C a n y o u n d t h e

f o r m u l a f o r t h i s s i g n a l ?

U n i t s a m p l e

1

n

n

F i g u r e 1 . 9 : T h e u n i t s a m p l e .

1 . 3 . 3 S i n u s o i d s

h E m n o o o o m s (n) = Acos(2f n + ) F e o o o n l o o m l o n n l n n o n n n l l D

n o E m o n l n o m o n l y n

fl n

n l

12 , 12 F o n l n o o n o n n n n o n o E m o m l o n n l n o ' o n n l 9

l F

ej2(f+m)n = ej2fnej2mn

= ej2fn@ I F P A

o n o l l o o m l o n n l l n n m l l o

2 l o n F

1 . 3 . 4 U n i t S a m p l e

o n E m o m o n E m n l u n i t s a m p l e D ( n o

(n) =

1 n = 0

0 o @ I F Q A

i m n o n o E m n l 9 l o D l k o o n n l o n n

p I F V D l l l n l o n o n o l n l n m l F


16/180

I H C H A P T E R 1 . F O U N D A T I O N S

f l o n n m n o s (m) n n m l l o o m n (n m)D n o m o a n y n l m o n m l l o o l o o n n l n l l F

s (n) =

m=(s (m) (n m)) @ I F R A

k n o o m o o n n o E m n l D n l l o l E

n l F

1 . 3 . 5 S y m b o l i c S i g n a l s

e n n n o E m n l l o n o n o l

n m F o l E l E m n l l k n o D l o

n l n o n o o n k o F

n l n 9 l n m D n o l l o n o o l n l l D l l

m m l o n m m o F w o o m l l D

l m n o s y m b o l i c - v a l u e d n l s (n) k o n o n o l {a1, . . . , aK} o m a l p h a b e t

AF n l m n o l o o n o m n m o l

o n m m o i n l o q k l F o l n k o E

D @ V E n A D n o n l m F o n o l l

o o n o D E m m l m l o n o m l D

o n e n t i r e l y o n l o l m n F p m o D n m o n n E

o n o E m n l D l k E m l D o m l n l o n l n m F

n n n o E m n n l o n l n m n n

m n o l o o F

1 . 3 . 6 D i s c r e t e - T i m e S y s t e m s

h E m m n o n E m n l n m l o o o n n

n l o n l n m F f o o l o o n E m m D m n

m o ' n m n n o n n 4 o n 4 o m n n

n l o n l F s n D l l o n l o n l n o n n o E

m n l D o o D n o n k n o n n l o n l D l l o

n o n o o F p o n l D m n l o n o D

l n n l o l z o n 0 l D n o m o l D o n F

1 . 4 L i n e a r T i m e - I n v a r i a n t S y s t e m s

e E m n l

s (n) d e l a y e d n0 m l n s (n n0) D n0 > 0Fg o o n

n0 o n n n l l o n n F e o o o n l o

l

3

D E m l n o n l y n l F s n n o m n D l n

n l o o n o l n o n l 9 E m p o n o m X s (n n0) e(j2fn0)S

ej2f

F

L i n e a r d i s c r e t e - t i m e s y s t e m s o o n o F

S u p e r p o s i t i o n

S(a1x1 (n) + a2x2 (n)) = a1S(x1 (n)) + a2S(x2 (n)) @ I F S A

3

h t t p : / / c n x . o r g / c o n t e n t / m 0 0 0 6 / l a t e s t / # d e l a y


17/180

I I

e E m m l l s h i f t - i n v a r i a n t @ n l o o o m E n n n l o E

m

4

A l n n l o o n n o F

S h i f t - I n v a r i a n t

s S(x (n)) = y (n) D n S(x (n n0)) = y (n n0) @ I F T A m E n n o m z l n o n l n l n

E m D l n n l o n l D l n l l F

n o o n n o n m o l n n E n n F s l l

l l o l l o o n E o m n n l n m l m n o n F

f n o l o n n n 4 o n n 4 m D n o n l

m m l ( o n F s n n l o m D ' n l o n ( n E

o l o n n m E o m n F o o n n E m ( o n

d i e r e n c e e q u a t i o n F

T h e D i e r e n c e E q u a t i o n

y (n) = a1y (n 1) + + apy (n p) + b0x (n) + b1x (n 1) + + bqx (n q) @ I F U A r D o n l y (n) l o p a s t l y (n l) D l = {1, . . . , p} D n o n n l o n n l x (n) F m 9 m n o o n m o o 0 n p n q n o 0 n 9 l

{a1, . . . , ap} n {b0, b1, . . . , bq} F

a s i d e : n m m n o 0 n X a0 c o 0 n

o l m l l y (n) m n ' n o n @ i o n I F U A F n l l o n D o n o n n E o

l o n F o n n o n a0 l o n F

e o o o ' n l o n D o n l o n i m p l i c i t o n o

m @ m o m o o l ' n l o n A D ' n o n o n

e x p l i c i t o o m n o o n n F m l ' n

o n o m l l o o m o o l D n

n n o n F

1 . 5 D i s c r e t e - T i m e C o n v o l u t i o n

1 . 5 . 1 O v e r v i e w

g o n o l o n o n n o l l m o l i n e a r a n d t i m e -

i n v a r i a n t

5

@ L T I A F o d i s c r e t e - t i m e c o n v o l u t i o n l m o

o n n o E m o n o l o n

6

F p o o n D m l o l o o k o o n o

l o n n n o m l m o n o n F l l o n o l o n

o l o o l n m n n m 9 o o m k n o l o n n

n m 9 m l o n F s l l l o l l o o n o l o n l l

o o n n o l o n o m D o m n l

7

l l

o n n n F o l l o ' ' n o o l o n F

4

h t t p : / / c n x . o r g / c o n t e n t / m 0 0 0 7 / l a t e s t / # t i m e i n v

5

h t t p : / / c n x . o r g / c o n t e n t / m 1 0 0 8 4 / l a t e s t /

6


7

h t t p : / / w w w . j h u . e d u / s i g n a l s


18/180

I P C H A P T E R 1 . F O U N D A T I O N S

1 . 5 . 2 C o n v o l u t i o n S u m

e m n o n o D o n o l o n m o o n D m m l o

o o n v s m o n n E m n n l n m 9

o n F c o n v o l u t i o n s u m

y [n] =

k=(x [k] h [n k]) @ I F V A

e o n n o E m D o n o l o n n m o l B D n n n

y [n] = x [n] h [n] @ I F W A f m k n m l n o l n o o n o l o n m D k = n k D n l o o n o l o n c o m m u t a t i v e X

x [n]

h [n] = h [n]

x [n] @ I F I H A

p o m o n o m o n o n o o n o l o n D o o o

g o n o l o n

8

F

1 . 5 . 3 D e r i v a t i o n

k n o n E m n l n n m m o n o l n

E m m l F n m n m o l n n m E

n n D o l m o o n n n n l o m o m o l n

m l o l o n o o m o m o l n

m l o n F l o n c o n v o l u t i o n F f l o n m o

o o n m m l l o o k o n X

v n H h v s m D o l l o n o n n o k o

o n o n o l o n m 3

y [n] = H [x [n]]= H

k= (x [k] [n k])

=

k= (H [x [k] [n k]])

=

k= (x [k]H [ [n k]])=

k= (x [k] h [n k])

@ I F I I A

v k k l o o k k n n o o n F e o n l o n D

n h n o

9

o n o n D x [n]D m o n o n m n m l F x D n m o o n H o o n m m o n

H [] l n D h m F f o l n n x [k] o n n D n l l o m n o n o n n o n m l m l l H []Fp n l l D H

[] m n n n o o o ( n l E

o n o l o n m 3

e k l m l m l n m o n n o n o l o n o k F

1 . 5 . 4 C o n v o l u t i o n T h r o u g h T i m e ( A G r a p h i c a l A p p r o a c h )

s n o n l l l o o n l n o n o E m o n o l o n F

l l n n o n o l o n m l l o n x o l D l n E m n l

8


9

h t t p : / / c n x . o r g / c o n t e n t / m 1 0 0 5 9 / l a t e s t / # s i f t i n g


19/180

I Q

F i g u r e 1 . 1 0 : A s i n g l e i m p u l s e i n p u t y i e l d s t h e s y s t e m ' s i m p u l s e r e s p o n s e .

F i g u r e 1 . 1 1 : A s c a l e d i m p u l s e i n p u t y i e l d s a s c a l e d r e s p o n s e , d u e t o t h e s c a l i n g

p r o p e r t y o f t h e s y s t e m ' s l i n e a r i t y .


20/180

I R C H A P T E R 1 . F O U N D A T I O N S

F i g u r e 1 . 1 2 : W e n o w u s e t h e t i m e - i n v a r i a n c e p r o p e r t y o f t h e s y s t e m t o s h o w t h a t a

d e l a y e d i n p u t r e s u l t s i n a n o u t p u t o f t h e s a m e s h a p e , o n l y d e l a y e d b y t h e s a m e a m o u n t

a s t h e i n p u t .

F i g u r e 1 . 1 3 : W e n o w u s e t h e a d d i t i v i t y p o r t i o n o f t h e l i n e a r i t y p r o p e r t y o f t h e s y s t e m

t o c o m p l e t e t h e p i c t u r e . S i n c e a n y d i s c r e t e - t i m e s i g n a l i s j u s t a s u m o f s c a l e d a n d s h i f t e d

d i s c r e t e - t i m e i m p u l s e s , w e c a n n d t h e o u t p u t f r o m k n o w i n g t h e i n p u t a n d t h e i m p u l s e

r e s p o n s e .


21/180

I S

F i g u r e 1 . 1 4 : T h i s i s t h e e n d r e s u l t t h a t w e a r e l o o k i n g t o n d .

n h o l D l n E k D v s m F ( n m m o n D

y [n] =m1

l=0(x [l] h [n l]) @ I F I P A

x o o n n n m o o o xl n m E l hl F o m l l m o x m o m E h n

m F

q o n k o o m l X

o n n o m o n o n n m l o n n m

n 4 l k n o 4 n n l F g l l D l m l l n D

n n m m n m l o n F

o o m E n D n l n o o m m o n o o n n

o n o l o n D n m o n o o n o l o n l n o o m F

1 . 6 R e v i e w o f L i n e a r A l g e b r a

o n l o j o n l n l F e o l

( n o ( l o l F

1 . 6 . 1 F i e l d s

e ( l

F o o o n D o n n m l l o n D n o n n n

o l m m H n I @ 0 = 1A D o l l {a,b,c} FI F @ A

a + b F


22/180

I T C H A P T E R 1 . F O U N D A T I O N S

F i g u r e 1 . 1 5 : H e r e w e r e v e r s e t h e i m p u l s e r e s p o n s e , h , a n d b e g i n i t s t r a v e r s e a t t i m e

0.

F i g u r e 1 . 1 6 : W e c o n t i n u e t h e t r a v e r s e . S e e t h a t a t t i m e

1, w e a r e m u l t i p l y i n g t w o

e l e m e n t s o f t h e i n p u t s i g n a l b y t w o e l e m e n t s o f t h e i m p u l s e r e s p o n s e .


23/180

I U

F i g u r e 1 . 1 7

@ A a + b = b + a

@ A (a + b) + c = a + (b + c)

@ A a + 0 = a

@ A a a + (a) = 0P F @ A ab F

@ A ab = ba

@ A (ab) c = a (bc)

@ A a 1 = a@ A

a1

aa1 = 1

Q F a (b + c) = ab + ac

w o o n l

I F

F n l n o n o n

P F F n l n o n m l l o n

Q F m l l o n o o n

1 . 6 . 1 . 1 E x a m p l e s

QD R D C


24/180

I V C H A P T E R 1 . F O U N D A T I O N S

F i g u r e 1 . 1 8 : I f w e f o l l o w t h i s t h r o u g h t o o n e m o r e s t e p , n = 4, t h e n w e c a n s e e t h a t w e p r o d u c e t h e s a m e o u t p u t a s w e s a w i n t h e i n i t i a l e x a m p l e .


25/180

I W

1 . 6 . 2 V e c t o r S p a c e s

v F ( l D n V F V i s a v e c t o r s p a c e o v e r F o o o n D

( n o l l a

FD u

V n v

V X

o o n X @ u D v A u + v V l m l l o n X @ aD v A av V

n n l m n n o

0 V D o l l o n o l o l l a FDb FD n u V D v V D n w V

I F @ A

u + (v + w) = (u + v) + w

@ A u + v = v + u

@ A u + 0 = u

@ A u u + (u) = 0P F @ A a (u + v) = au + av

@ A (a + b)u = au + bu

@ A (ab)u = a (bu)

@ A 1 u = uw o o n l D

I F V n l n o n l

P F x l o o l m l l o n

1 . 6 . 2 . 1 E x a m p l e s

RN o o R CN o o C CN o o R RN n o t o o C

l m n o V l l v e c t o r s F

1 . 6 . 3 E u c l i d e a n S p a c e

o o o l l n k o n l o

x =

x1x2

F

F

F

xN

= x1 x2 . . . xN T

m l {xi} o l m l o m ( n o n D o n n o m n l D o E m l F

e n l l l l o n o o n o o o X


26/180

P H C H A P T E R 1 . F O U N D A T I O N S

F i g u r e 1 . 1 9 : S i s a n y l i n e t h r o u g h t h e o r i g i n .

1 . 6 . 3 . 1 R e a l E u c l i d e a n s p a c e

x RN @ o R A

1 . 6 . 3 . 2 C o m p l e x E u c l i d e a n s p a c e

x CN @ o CA

1 . 6 . 4 S u b s p a c e s

v V o o FF

e S V l l s u b s p a c e o V S o o F n o n F

E x a m p l e 1 . 1 :

V = R2 D F = RD S = n l n o o n F

e o c

T h e o r e m 1 . 1 :

S V n o n l o l l a F n b F n o l l s S n t SD as + bt S

1 . 6 . 5 L i n e a r I n d e p e n d e n c e

v

u1, . . . ,uk V F o l i n e a r l y d e p e n d e n t l

a1, . . . , ak F

ki=1

(aiui) = 0 @ I F I Q A

n l o n ai = 0 Fs i o n I F I Q o n l o l o a1 = = ak = 0 D o

l i n e a r l y i n d e p e n d e n t F

E x a m p l e 1 . 2 :


27/180

P I

F i g u r e 1 . 2 0 : < S > i s t h e x y - p l a n e .

1

112

2 23

0

+ 1 57

2

= 0 o o l n l n n n R3 F

1 . 6 . 6 S p a n n i n g S e t s

g o n S = {v1, v2, . . . , vk}F h ( n s p a n o S

< S > span(S)

k

i=1(aivi) |ai F

F a c t : < S > o V F

E x a m p l e 1 . 3 :

V = R3 D F = RD S = {v1, v2}D v1 = 10

0

D v2 =

01

0

< S >= E l n F

1 . 6 . 6 . 1 A s i d e

s S n ( n D n o o n o l n n n n n n l n l z X

S l n l n n n D o ( n o l l o n u1, . . . , uk SD @ k A

ki=1

(aiui) = 0 ai = 0 ,

n o S

< S >=

ki=1

(aiui) |ai F ui S k <

N o t e : s n o ( n o n D o n l o n n i t e m F


28/180

P P C H A P T E R 1 . F O U N D A T I O N S

1 . 6 . 7 B a s e s

e B V l l b a s i s o V o F n o n l I F B l n l n n n

P F < B >= V

f o n m n l m o n n n l o n F l l o o o m o

n l n o l n l o k @ o A o n m o l n o o F

E x a m p l e 1 . 4 :

V a @ l o o m l A i l n D RN o CNF

B = {e1, . . . , eN} n

ei =

0F

F

F

1F

F

F

0

I n ith o o n F

E x a m p l e 1 . 5 :

V = CN o CFB = {u1, . . . , uN}

h p F

uk =

1

e(j2kN )

F

F

F

e(j2kN

(N1))

j =

1 F

1 . 6 . 7 . 1 K e y F a c t

s B o V D n v V n n n l @ o o o m A n o m

v =

Ni=1

(aivi)

ai F n vi B F

1 . 6 . 7 . 2 O t h e r F a c t s

s S l n l n n n D n S n n o F s < S >= V D n S o n n F


29/180

P Q

1 . 6 . 8 D i m e n s i o n

v V o B F m n o n o V D n o dim(V) D E n l o

BF

T h e o r e m 1 . 2 :

i o F

T h e o r e m 1 . 3 :

i o o m n l F

dim(V) w e l l - d e n e d Fs dim(V) < D V n i t e d i m e n s i o n a l F

1 . 6 . 8 . 1 E x a m p l e s

v e c t o r s p a c e e l d o f s c a l a r s d i m e n s i o n

RN R

CN C

CN R

i o D n o o n m n o n F

E x a m p l e 1 . 6 :

o S = {u1, . . . , uk} V l n l n n n F n dim(< S >) =

F a c t s

s S o V D n dim(S) dim(V)F s dim(S) = dim(V) < D n S = V F

1 . 6 . 9 D i r e c t S u m s

v V o D n l S V n T V F V d i r e c t s u m o S n TD n V = (S T) D n o n l o

v V D n s S n t T v = s + t Fs V = (S T)D n T l l c o m p l e m e n t o SF

E x a m p l e 1 . 7 :

V = C = left{f : R R|f o n n o right}S = n n o n n C

T = o n o n n C

f(t) =1

2(f(t) + f(t)) + 1

2(f(t) f(t))

s

f = g + h = g + h D g S n g SD h T n h TD n g g = h h o n n D m l

g = g n h = h F


30/180

P R C H A P T E R 1 . F O U N D A T I O N S

1 . 6 . 9 . 1 F a c t s

I F i o m l m n

P F

V = (S T) n o n l @ A S

T = {0}

@ A < S, T >= V

Q F s V = (S T) D n dim(V) < D n dim(V) = dim(S) + dim (T)

1 . 6 . 9 . 2 P r o o f s

s n o k F

1 . 6 . 1 0 N o r m s

v

V o o

FF e n o m m n (V

F)D n o

D

o l l

u V D v V D n FI F u > 0 u = 0P F u = || u Q F u + v u + v

1 . 6 . 1 0 . 1 E x a m p l e s

i l n n o m X

x RNX

x

=

N

i=1xi2

12

x CNX

x =

Ni=1

(|xi|)2

12

1 . 6 . 1 0 . 2 I n d u c e d M e t r i c

i n o m n m o n V

d (u,v) u v l o n o o n o 4 n 4 n o F

1 . 6 . 1 1 I n n e r p r o d u c t s

v V o o FD F = R o CF e n n n o m n V V FD n o D

I F v v 0 D n (v v = 0 v = 0)P F

u v = v u

Q F au + bv w = au w + bv w


31/180

P S

1 . 6 . 1 1 . 1 E x a m p l e s

RN o R X

x y = xTy =Ni=1

(xiyi)

CN o CX

x y = xHy =Ni=1

(xiyi)

s x = (x1, . . . , xN)T CD n

xH

x1

F

F

F

xN

T

l l 4 r m n D 4 o 4 o n j n o 4 o xF

1 . 6 . 1 2 T r i a n g l e I n e q u a l i t y

s ( n u = u u D n

u + v u + v

r n D n n o n n o m F

1 . 6 . 1 3 C a u c h y - S c h w a r z I n e q u a l i t y

p o l l u V D v V D|u v| u v

s n n n o D n o o n o n l n o o X

(u,v) = arccos

u v

u v

[0, 2)

1 . 6 . 1 4 O r t h o g o n a l i t y

u n v o r t h o g o n a l

u v = 0x o o n X (u v)F

s n o n u = v = 1D u n v o r t h o n o r m a l Fs n n o o o n l @ o o n o m l A s e t D o o o o o n l @ o o n o m l A F

1 . 6 . 1 5 O r t h o n o r m a l B a s e s

e n y o n o m l {vi}

vi vi = ij =

1 i = j0 i = j


32/180

P T C H A P T E R 1 . F O U N D A T I O N S

F i g u r e 1 . 2 1 : O r t h o g o n a l v e c t o r s i n

R2

.

E x a m p l e 1 . 8 :

n o RN o CN

E x a m p l e 1 . 9 :

n o m l z h p

uk =1N

1

e(j2kN )

F

F

F

e(j2kN

(N1))

1 . 6 . 1 6 E x p a n s i o n C o e c i e n t s

s n o n o

v o {vi}

v =

(aivi)

n

ai = vi v

1 . 6 . 1 7 G r a m - S c h m i d t

i n n o n o o n o m l F e n @ o n l A n m

o o o n l q m E m o o o n l z o n o F

1 . 6 . 1 8 O r t h o g o n a l C o m p l i m e n t s

v

S V F o r t h o g o n a l c o m p l i m e n t S S = {u |u V u v = 0 v S , }

S l n o F s dim(v) < D n V = S SF


33/180

P U

A s i d e : s dim(v) = D n n o o V = S S V o H i l b e r t S p a c e F

1 . 6 . 1 9 L i n e a r T r a n s f o r m a t i o n s

v o o l k n D l n n o m o n m n o m o n o o n o

p r e s e r v e s o o o n F

w o l D l V D W o o m ( l FF e l i n e a r t r a n s f o r m a -

t i o n m n T : V W

T (au + bv) = aT (u) + bT (v)

o l l a FD b F n u V D v V Fs n l l l o n n l n n o m o n n @ l o o m l A

E u c l i d e a n s p a c e s D o o F

1 . 6 . 2 0 I m a g e

image(T) = {w |w W T (v) = w o o m v}

1 . 6 . 2 1 N u l l s p a c e

e l o k n o n k n l X

ker(T) = {v |v V T (v) = 0}f o m n n l l l n o F

1 . 6 . 2 2 R a n k

rank(T) = dim (image(T))

1 . 6 . 2 3 N u l l i t y

null (T) = dim(ker (T))

1 . 6 . 2 4 R a n k p l u s n u l l i t y t h e o r e m

rank(T) + null (T) = dim(V)


34/180

P V C H A P T E R 1 . F O U N D A T I O N S

F i g u r e 1 . 2 2

1 . 6 . 2 5 M a t r i c e s

i l n n o m o n T m a t r i x r e p r e s e n t a t i o n F s T : EN EMD E = R o CD n T n n M N m

A =

a11 . . . a1NF

F

F

F

F

F

F

F

F

aM1 . . . aMN

(a1i, . . . , aMi)T

= T (ei) n ei = (0, . . . , 1, . . . , 0)T

ith s t a n d a r d b a s i s o F

A s i d e : e l n n o m o n n n o n o

EN n EMD l n o ' n AF l l l n l n n o E

m o n n n F

1 . 6 . 2 6 C o l u m n s p a n

colspan (A) =< A >= image (A)

1 . 6 . 2 7 D u a l i t y

s

A : RN RMD n ker (A) = image

AT

s A : CN CM D n ker (A) = image

AH


35/180

P W

1 . 6 . 2 8 I n v e r s e s

l n n o m o n G m A i n v e r t i b l e n o n l m B

AB = BA = I @ n A F y n l s q u a r e m n n l F

T h e o r e m 1 . 4 :

v A : FN FN l n D F = R o CF o l l o n l n X I F

A n l @ n o n n l A

P F rank(A) = N

Q F null(A) = 0

R F detA = 0S F o l m n o A o m F

s A1 = AT @ o AH n o m l A D A o r t h o g o n a l @ o u n i t a r y A F

1 . 7 H i l b e r t S p a c e s

1 . 7 . 1 H i l b e r t S p a c e s

e o S l n n o 1 0 ( n o n l l n i n n e r p r o d u c t

s p a c e D l o n o r m e d l i n e a r s p a c e F e H i l b e r t s p a c e n n n o

o m l o n o m ( n n n n o F r l

n m h r l

1 1

D o l o o o n l

o n F ( n o l n o m n n n o X

x = x x @ I F I R A r l l n n n n l z n o n o p o n o n D

p o n o m D n m o n o o n m m n F r l

n n o n l n l n o m m F

1 . 7 . 1 . 1 E x a m p l e s o f H i l b e r t S p a c e s

f l o l l l m l o r l

1 2

F o n l

n n o o m F

p o Cn D

x

y = yTx = y0 y1 . . . yn1

x0x1

F

F

F

xn1

=n1

i=0

(xiyi)

o ( n n o m l n o n X L2 (R)

f g =

f(t) g (t)

dt

1 0


1 1

h t t p : / / w w w - h i s t o r y . m c s . s t - a n d r e w s . a c . u k / h i s t o r y / M a t h e m a t i c i a n s / H i l b e r t . h t m l

1 2



36/180

Q H C H A P T E R 1 . F O U N D A T I O N S

o E m m l n X 2 (Z)

x

y =

i=

x [i] y [i]1 . 8 S i g n a l E x p a n s i o n s

1 . 8 . 1 M a i n I d e a

n o k n n l m n m l l o k n l n o m l l D m o

m n l F r o l l n o o n o o o n o n o

1 3

n n o m o n n l n o o n o o l F f o n l

o m l o l l o n o n l n m o n n o n o v s m

1 4

F

x o o l l k o l o o k n l n o n n l D o

o o r t h o n o r m a l b a s i s F n n k o o o n o m l o l n l o k

o o n n o n F l l l n l G o m o

l m n F

E x a m p l e 1 . 1 0 :

o m l n o

1T

ej0nt o l l < n < o m n o o n o m l o L2 ([0, T]) F

s n o p o

1 5

o n D f(t) =

n=

cnej0nt

D {cn} j

n o n o n o

f(t) F

n o t e : p o n l G o n r l

1 6

D n o n o 0 n

o ( n F

1 . 8 . 2 A l t e r n a t e R e p r e s e n t a t i o n

l l o ( n o n o b a s i s X e o o {bi} n o S I F bi l n l n n n F

P F bi n 1 7 SF D n ( n {i}D i C @ l A

x =i

(ibi) , x S @ I F I S A

x o n SD l n CD n b o n SF

g o n o n P n o ( n o n n d e c o m p o s e n o n m o

{bi} F g o n o n I n o m o o n u n i q u e @ n k o o m A F n o t e : {i} o n l n n o n o xF

1 3


1 4


1 5


1 6

h t t p : / / c n x . o r g / c o n t e n t / m 1 0 7 5 5 / l a t e s t / # s e c 2

1 7

h t t p : / / c n x . o r g / c o n t e n t / m 1 0 7 3 4 / l a t e s t / # s p a n _ s e c


37/180

Q I

E x a m p l e 1 . 1 1 :

v l o o k m l m l n R2 D o l l o n o X

x =

12

n f X {e0, e1} =

(1, 0)T

, (0, 1)T

x = e0 + 2e1

e l n f X {h0, h1} =

(1, 1)T

, (1, 1)T

x =3

2h0 +

12

h1

s n n l D n {b0, b1} n o x R2 D o o ( n 0 n 1

x = 0b0 + 1b1 @ I F I T A

1 . 8 . 3 F i n d i n g t h e A l p h a s

x o l o n o o o ( n n i 9 n n l o R2

F

n i o n I F I T o n k o bi 9 o l m n n P P m F x

= 0

b0

+ 1

b1

@ I F I U A

x =

F

F

F

F

F

F

b0 b1F

F

F

F

F

F

0

1 @ I F I V A

E x a m p l e 1 . 1 2 :

r m l m l D o l l m o l o o E

o n F x [0]x [1]

= 0

b0 [0]b0 [1]

+ 1

b1 [0]b1 [1]

=

0b0 [0] + 1b1 [0]0b0 [1] + 1b1 [1]

@ I F I W A

x [0]x [1]

=

b0 [0] b1 [0]b0 [1] b1 [1]

01

@ I F P H A

1 . 8 . 3 . 1 S i m p l i f y i n g o u r E q u a t i o n

o m k n o o n m l D ( n o l l o n o m o m o o n X

B a s i s M a t r i x X

B =

F

F

F

F

F

F

b0 b1F

F

F

F

F

F


38/180

Q P C H A P T E R 1 . F O U N D A T I O N S

C o e c i e n t V e c t o r X =

01

o l l o n D o n o n X

x = B @ I F P I A

l n o x =1

i=0 (ibi) F

E x a m p l e 1 . 1 3 :

q n n D

10

,

01

D n o l l o n m E

X

B =

0 11 0

o i 9 D o l o o 0 n o n i o n I F P I

= B1x @ I F P P A

B1 n m

1 8

o

BF

1 . 8 . 3 . 2 E x a m p l e s

E x a m p l e 1 . 1 4 :

v l o o k n ( n o l l o m F

B = 1 00 1 = I

I i d e n t i t y m a t r i x F s n o o o l o l ( n n o

B ( @ o o l l n A X

B1 =

1 00 1

o D

= B1x = x

E x a m p l e 1 . 1 5 :

v l o o k E o E l l m o o m l o

11

, 11 =

{h0, h1} n o m n n m o m X

B =

1 11 1

B1 =

12

12

12

12

1 8



39/180

Q Q

n o m l n

x = 32

x o o l o

= B1x =

12

12

12

12

32

=

2.50.5

n

x = 2.5h0 + 0.5h1

E x e r c i s e 1 . 1 :

x o n o l l o n m n xX

{b0, b1} =

12

,

30

x = 3

2

p o o l m D m k k o n n n

x n m o b0

n b1 F

n o t e : e n o m l l o o k

x o m 4 ' n F 4 B1

t r a n s f o r m s x o m n o o n D {b0, b1}F x o o l l m n l o F

1 . 8 . 4 E x t e n d i n g t h e D i m e n s i o n a n d S p a c e

n l o n l l j R2 n l o o k m n Rn n Cn F

o n n l l o @ >P A m n o n F q n

{b0, b1, . . . , bn1

} o

RnD n o ( n {0, 1, . . . , n1}

x = 0b0 + 1b1 + + n1bn1 @ I F P Q A e n D l l m

B =

b0 b1 b2 . . . bn1

o l m n l o n l l l n n n m @ l o o m o n o o n l m n o n o o n A F

n n o o i o n I F P I

x =

b0 b1 . . . bn1

0F

F

F

n1

= B

n

= B1x

1 . 9 F o u r i e r A n a l y s i s

p o n l n m n l o n n n o o n l n m F

l o n o i n n o n

1 9

o l n D m E n n @ v s A

2 0

1 9


2 0



40/180

Q R C H A P T E R 1 . F O U N D A T I O N S

m F o n l n o o v s m D

l o n o m n o o n o F n D n p o n l l l o o

( n n l n m o n o D l l n o o m n o n n m

' l l o l n o @ n n o n

2 1

A n o m l n n n

o m F p m o D n l o ( n o n o o

m m l l o n o n o n n o n m n D

n o n o n n l o m o m o n o l o n

2 2

@ n m A o

m l l o n @ n n A F p o n l o F

x o D o l l n o l o o n l o m o o n l D m E

m n l m n p o n l F o p o n o m o m

n l p o

2 3

D g o n n o E m p o n o m @ o n P F I H A D

h E m p o n o m @ o n P F I I A n h p o n o m

2 4

F p o

o m n D l l v l n o m

2 5

n E n o m @ o n R F Q A m l

n o n o g p n h p l F e l l o n o m n l l

m D o n n n l n m o n l n n l n n @ n E

o A F r o D n n o n n o ( n l i . e . ( n E o

n ( n E l n n E o o n n o E m A n o n E

o m o o n n l n o n o m n F f l o l o o p o

n o m n n o F s l o n l l n o n o l o n o

( F

T a b l e o f F o u r i e r R e p r e s e n t a t i o n s

T r a n s f o r m T i m e D o m a i n F r e q u e n c y D o m a i n C o n v o l u t i o n

g o n n o E m p o L2 ([0, T)) l2 (Z) g o n n o E m g g o n n o E m p o n o m

L2 (R) L2 (R) g o n n o E m vh E m p o n o m

l2 (Z) L2 ([0, 2)) h E m v nh p o n o m

l2 ([0, N 1]) l2 ([0, N 1]) h E m g

1 . 1 0 C o n t i n u o u s - T i m e F o u r i e r T r a n s f o r m ( C T F T )

1 . 1 0 . 1 I n t r o d u c t i o n

h o l n m o o n n o E m n l n D p o

2 6

o ( l m o o m m n o m o n l n n l

m n n X o o n o n m o n o F x o D n l o o k o

n o n n o E m n o n o n l n m o o o n F f l o

l l n C o n t i n u o u s - T i m e F o u r i e r T r a n s f o r m @ g p A D l o o

j p o n o m @ p A F f g p n o l n o n o n l D

m n o ( n o n l a l l n n n l o n F

1 . 1 0 . 1 . 1 E q u a t i o n s

C o n t i n u o u s - T i m e F o u r i e r T r a n s f o r m

2 1


2 2


2 3


2 4


2 5


2 6



41/180

Q S

F i g u r e 1 . 2 3 : M a p p i n g

L2 (R)i n t h e t i m e d o m a i n t o

L2 (R)i n t h e f r e q u e n c y d o m a i n .

F() =

f(t) e(jt)dt @ I F P R A

I n v e r s e C T F T

f(t) =1

2

F() ejtd @ I F P S A

w a r n i n g : h o n o o n n o o n E n o n o m m o n o o

o m l n l l ' n F y n o m o o m m o n ' n m o n

m n o o o n n l n F e o

l n l n o n n l D = 2fD o n l l o n o o n l m o l o n D

j2f tD n o n n l F g l k

2 7

o n o o n o o n n g o n n o n 9 h m o l F

o o n o g p n n o m l o m p o

n o n n n o o 0 n F p o g p m l l z n o n

n m m o n o l o o n l F o l m k n n

o g p m l n n o p o o n l n o n o

n l D n n n m F v o o k h o n o p o

n o m

2 8

o m o n l o o k F

1 . 1 0 . 2 R e l e v a n t S p a c e s

g o n n o E m p o n o m m n ( n E l n D o n n o E m n l n

L2 o n ( n E l n D o n n o E n n l n L2 F p o e n l @ E

o n P F W A o n o o l l n p o n l F

p o m o n o m o n o n o g p D l l o o k m o l o n

o o p o n o m

2 9

F

1 . 1 0 . 3 E x a m p l e P r o b l e m s

E x e r c i s e 1 . 2 :

p n p o n o m @ g p A o n o n

f(t) =

e(t)

t 00 o

@ I F P T A

2 7


2 8


2 9



42/180

Q T C H A P T E R 1 . F O U N D A T I O N S

F i g u r e 1 . 2 4 : M a p p i n g l2 (Z) i n t h e t i m e d o m a i n t o L2 ([0, 2)) i n t h e f r e q u e n c y d o m a i n .

E x e r c i s e 1 . 3 :

p n n p o n o m o ( n

X() = 1 || M0 o @ I F P U A

1 . 1 1 D i s c r e t e - T i m e F o u r i e r T r a n s f o r m ( D T F T )

D i s c r e t e - T i m e F o u r i e r T r a n s f o r m

X() =

n=

x (n) e(jn)

@ I F P V A

I n v e r s e D i s c r e t e - T i m e F o u r i e r T r a n s f o r m

x (n) = 12

2

0

X() ejnd @ I F P W A

1 . 1 1 . 1 R e l e v a n t S p a c e s

h E m p o n o m

3 0

m n ( n E l n D E m n l n l2 o

( n E l n @ o 2 E o A D o n n o E n n l n L2 F

1 . 1 2 D F T a s a M a t r i x O p e r a t i o n

1 . 1 2 . 1 M a t r i x R e v i e w

l l X

o n RNX

x =

x0x1. . .

xN1

, xi R

3 0



43/180

Q U

o n CNX

x =

x0x1

. . .xN1

, xi C

n o o n X I F n o X

xT =

x0 x1 . . . xN1

P F o n j X

xH =

x0 x1 . . . xN1

s n n o 3 1 X

I F l X

xTy =

N1i=0

(xiyi)

P F o m l X

xHy =

N1i=0

(xnyn)

w w l l o n X

Ax =

a00 a01 . . . a0,N1a10 a11 . . . a1,N1

F

F

F

F

F

F . . .F

F

F

aN

1,0 aN

1,1 . . . aN

1,N

1

x0x1. . .

xN1

=

y0y1. . .

yN1

yk =N1n=0

(aknxn)

w n o o n X

AT =

a00 a10 . . . aN1,0a01 a11 . . . aN1,1

F

F

F

F

F

F . . .F

F

F

a0,N1 a1,N1 . . . aN1,N1

w n o o n n o l m l n o o l m n F

AH = AT

o o n r m n n o F ATkn

= AnkAHkn

= [A]nk

3 1



44/180

Q V C H A P T E R 1 . F O U N D A T I O N S

1 . 1 2 . 2 R e p r e s e n t i n g D F T a s M a t r i x O p e r a t i o n

x o l 9 n h p

3 2

n o E m n o o n F

x =

x [0]x [1]. . .

x [N 1]

X =

X[0]X[1]

. . .

X[N 1]

CN

r

x o o m m l n

X o o h p o 0 n F r o

x

n

X l X

X[k] =N1

n=0

x [n] e(j 2N kn)

akn =

e(j2N )kn

= WNkn

o

X = Wx

X h p o D

W m n

x m o m n o F

Wkn =

e(j2N )kn

X = W

x [0]x [1]. . .

x [N 1]

s h p X

x [n] =1

N

N1k=0

X[k]

ej

2N

nk

ej

2N

nk= WN

nk

WNnk

m r m n n o F o D

x =1

NWHX

x m o D

1

NW

H n h p m D n

X h p o F

1 . 1 3 T h e F F T A l g o r i t h m

D e n i t i o n 1 : F F T

@ p p o n o m A e n 0 n c o m p u t a t i o n a l a l g o r i t h m o o m n

h p

3 3

F

3 2


3 3



45/180

Q W

F i g u r e 1 . 2 5

F i g u r e 1 . 2 6

1 . 1 3 . 1 T h e F a s t F o u r i e r T r a n s f o r m F F T

h p n e x p e n s i v e o o m d i r e c t l y

X[k] =

N1n=0

x [n] e(j2

kNn)

, 0 k N 1

p o

kD m X

N o m l m l l N 1 o m l

o l o o o m o n o n

NE o n h p

N2 o m l m l l N(N 1) o m l

r o m n n m l o r e a l n m c

4 O

N2

4 o m o n l o o n D N l X

N I I H I H H I H H H 106

N2 I I H H I H D H H H 106 1012

p p o m m o e c i e n t o o m n h p F p p

o n l 4 O (NlogN) 4 o m o n o o m NE o n h p F

N I H I H H I H H H 106

N2 I H H I H D H H H 106 1012

Nlog10N I H P H H Q H H H 6 106

r o l o n 1012sec c w o n I H 3 r o l o n 6 106secc p p n l o m o l o n z h @ I W T H E I W V H A F


46/180

R H C H A P T E R 1 . F O U N D A T I O N S

1 . 1 3 . 2 H o w d o e s t h e F F T w o r k ?

p p l o s y m m e t r i e s o o m l o n n l WNkn = e(j 2N kn)

WNkn l l 4 t w i d d l e f a c t o r s 4

S y m m e t r y 1 . 1 : g o m l g o n j m m

WNk(Nn) = WN

(kn) = WNkn

e(j2kN

(Nn)) = ej2kNn = e(j2

kNn)

S y m m e t r y 1 . 2 : o n n n k

WNkn = WN

k(N+n) = WN(k+N)n

e(j2Nkn) = e(j

2Nk(N+n)) = e(j

2N

(k+N)n)

WN = e(j 2N )

1 . 1 3 . 3 D e c i m a t i o n i n T i m e F F T

t o n o m a n y ' n p p l o m i d e a o l h p o o m l l n m l l h p o m o n x [n] n o

m l l n m l l n F

e m N = 2m @ o o P A

1 . 1 3 . 3 . 1 D e r i v a t i o n

N e v e n D o n o m l X[k] n x [n] n o t w o n o l n N2 F

x [n]

N2

n = evenN2 n = odd

X[k] =

N1n=0

x [n] WN

kn

, 0 k N 1

X[k] =

x [n] WNkn

+

x [n] WNkn

0 r N2 1F o

X[k] =N

2 1r=0

x [2r] WN

2kr

+N

2 1r=0

x [2r + 1] WN

(2r+1)k

=N

2 1r=0

x [2r]

WN

2kr

+ WNkN

2 1r=0

x [2r + 1]

WN

2kr @ I F Q H A

WN2 = e(j

2N

2) = ej 2N2

= WN

2F o

X[k] =

N2 1r=0

x [2r] WN

2

kr

+ WNk

N2 1r=0

x [2r + 1] WN

2

kr


47/180

R I

N2 1r=0

x [2r] WN

2

kr

N2

E o n h p o n m l @ G [k]A n N

2 1r=0

x [2r + 1] WN

2

kr

N2

E o n h p o o m l @ H[k]A F

X[k] = G [k] + WNkH[k] , 0 k N 1h o m o o n o n NE o n h p m o P N2 E o n h p F

o l n o o c B e c a u s e i t i s m o r e e c i e n t !

R e c a l l : g o o o m n NE o n h p o m l N2 o m l m l

n F

f o m o o n n o P

N2 E o n h p C o m n o n o n l

N

2

2+

N

2

2+ N =

N2

2+ N

( n m o o m l m l n o

N2 E o n h p D G [k] F

o n n m o o m l m l n o

N2 E o n h p D H[k]F

n m o o m l m l n o o m n o n F e n o l

N2

2 + N o m l m l n F

E x a m p l e 1 . 1 6 : S a v i n g s

p o

N = 1000 DN2 = 106

N2

2+ N =

106

2+ 1000

f I H H H m l l o m o S H H D H H H D

N2

2+ N 10

6

2

o o c 3 u o m o n F f k o N2 E o n h p n o o

N4 E o n h p D e t c . D F F F F

n k o m o n X

N

21=

N

2,

N

4,

N

8, . . . ,

N

2m1,

N

2m

= 1

m = log2N = m

g o m o n l o X

NE h p [U+F577] o N2 E h p F o N

2 2N2 2+NF o l n

N2 E h p o

N4 E h p l l o o

22N4

2

+N

2+ N = 4N

4

2

+ 2N =N2

22+ 2N =

N2

2p+pN

e k o n

p = {3, 4, . . . , m} D m = log2NF o N2

2log2N+ Nlog2N =

N2

N+ Nlog2N = N + Nlog2N

N + Nlog2N o l n m o o m l n m l F p o l ND cost Nlog2N o 4 O (Nlog2N) 4 D n (Nlog2N N) o l NF

N o t e : o o m m l


48/180

R P C H A P T E R 1 . F O U N D A T I O N S

F i g u r e 1 . 2 7 : N = 8 p o i n t F F T . S u m m i n g n o d e s Wnk

t w i d d l e m u l t i p l i c a t i o n f a c t o r s .

F i g u r e 1 . 2 8 : T h i s i s c a l l e d " b u t t e r i e s . "

S o l u t i o n s t o E x e r c i s e s i n C h a p t e r 1

S o l u t i o n t o E x e r c i s e 1 . 1 :

s n o o n

x n m o

b0 n b1 l l o l l o m n

o m l F

B =

1 23 0

B1 =

0 1213

16

= B1x =

123

e n n o n x n m o b0 n b1 F

x = b0 +2

3b1

e n n l n o k n o n l o b0 n b1 o o l F


s n o o l l p o n o m D l l n o i o n I F P R D o m l

o n n l

3 4

D n l l F

F() = f(t) e(jt)dt=

0

e(t)e(jt)dt=

0

e(t)(+j)dt= 0 1

+j

@ I F Q I A

F() = 1 +j

@ I F Q P A

3 4



49/180

R Q


r l l i o n I F P S o ( n n p n t = 0 F

x (t) = 12MM ejtd

= 12 ejt|,=ejw

= 1t

sin(M t)

@ I F Q Q A

x (t) =M

sinc

M t

@ I F Q R A


50/180

R R C H A P T E R 1 . F O U N D A T I O N S


51/180

C h a p t e r 2

S a m p l i n g a n d F r e q u e n c y A n a l y s i s

2 . 1 I n t r o d u c t i o n

C o n t e n t s o f S a m p l i n g c h a p t e r

s n o o n @ g n m o l A o o @ o n Q F P A s l l o n @ o n Q F Q A w l i m l @ o n Q F R A r o l o o n 1

m @ o n Q F S A e l n l 2

i 3

l o o m l 4

2 . 1 . 1 W h y s a m p l e ?

o n n o m l n F m l n n n m n o l l l n l

o n n o m m n o n F m l n n ( n o o m n n

n l o n l n o n F

h l n o n o n l o n l o ' n n m o

o n o n o D m n n n n m o G o ) l o n m n D n l o m m o l l o n m n o o m l l o m

1


2

h t t p :

Fundermentals of Signal Processing

Documents