MIT6_241JS11_chap01

7/29/2019 MIT6_241JS11_chap01

1/13

L e c t u r e s o n D y n a m i c S y s t e m s a n d

C o n t r o l

M o h a m m e d D a h l e h M u n t h e r A . D a h l e h G e o r g e V e r g h e s e

D e p a r t m e n t o f E l e c t r i c a l E n g i n e e r i n g a n d C o m p u t e r S c i e n c e

M a s s a c h u a s e t t s I n s t i t u t e o f T e c h n o l o g y

1

1

c

7/29/2019 MIT6_241JS11_chap01

2/13

7/29/2019 MIT6_241JS11_chap01

3/13

o r e i g e n v a l u e { e i g e n v e c t o r p a r t o f l i n e a r a l g e b r a e n t e r s h e a v i l y h e r e , a n d w e s h a l l d e v o t e c o n -

s i d e r a b l e t i m e t o i t . A l o n g t h e w a y , a n d p a r t i c u l a r l y t o w a r d s t h e e n d o f t h e c o u r s e , w e s h a l l

t h r e a d a l l o f t h i s t o g e t h e r b y e x a m i n i n g a p p r o a c h e s t o c o n t r o l d e s i g n , i s s u e s o f r o b u s t n e s s ,

e t c . , f o r M I M O L T I s y s t e m s .

W h a t y o u l e a r n i n t h i s c o u r s e w i l l f o r m a v a l u a b l e , a n d e v e n e s s e n t i a l , f o u n d a t i o n f o r

f u r t h e r w o r k i n s y s t e m s , c o n t r o l , e s t i m a t i o n , i d e n t i c a t i o n , s i g n a l p r o c e s s i n g , a n d c o m m u n i -

c a t i o n .

W e n o w p r e s e n t a c h e c k l i s t o f i m p o r t a n t n o t i o n s f r o m l i n e a r a l g e b r a f o r y o u t o r e v i e w ,

u s i n g y o u r f a v o r i t e l i n e a r a l g e b r a t e x t . S o m e o f t h e i d e a s ( e . g . p a r t i t i o n e d m a t r i c e s ) m a y b e

n e w .

1 . 2 V e c t o r S p a c e s

R e v i e w t h e d e n i t i o n o f a v e c t o r s p a c e : v e c t o r s , e l d o f s c a l a r s , v e c t o r a d d i t i o n ( w h i c h

m u s t b e a s s o c i a t i v e a n d c o m m u t a t i v e ) , s c a l a r m u l t i p l i c a t i o n ( w i t h i t s o w n a s s o c i a t i v i t y a n d

d i s t r i b u t i v i t y p r o p e r t i e s ) , t h e e x i s t e n c e o f a z e r o v e c t o r 0 s u c h t h a t x + 0 x f o r e v e r y v e c t o r

x , a n d t h e n o r m a l i z a t i o n c o n d i t i o n s 0 x 0 , 1 x x . U s e t h e d e n i t i o n t o u n d e r s t a n d t h a t

t h e r s t f o u r e x a m p l e s b e l o w a r e v e c t o r s p a c e s , w h i l e t h e f t h a n d s i x t h a r e n o t :

R

n

a n d C

n

.

R e a l c o n t i n u o u s f u n c t i o n s f ( t ) o n t h e r e a l l i n e ( 8 t ) , w i t h o b v i o u s d e n i t i o n s o f v e c t o r

a d d i t i o n ( a d d t h e f u n c t i o n s p o i n t w i s e , f ( t ) + g ( t ) ) a n d s c a l a r m u l t i p l i c a t i o n ( s c a l e t h e

f u n c t i o n b y a c o n s t a n t , a f ( t ) ) .

T h e s e t o f m n m a t r i c e s .

T h e s e t o f s o l u t i o n s y ( t ) o f t h e L T I o d e y

( 1 )

( t ) + 3 y ( t ) 0 .

T h e s e t o f p o i n t s [ x

1

x

2

x

3

] i n R

3

s a t i s f y i n g x

2

1

+ x

2

2

+ x

2

3

1 , i . e . \ v e c t o r s " f r o m

t h e o r i g i n t o t h e u n i t s p h e r e .

T h e s e t o f s o l u t i o n s y ( t ) o f t h e L T I o d e y

( 1 )

( t ) + 3 y ( t ) s i n t .

A s u b s p a c e o f a v e c t o r s p a c e i s a s u b s e t o f v e c t o r s t h a t i t s e l f f o r m s a v e c t o r s p a c e . T o

v e r i f y t h a t a s e t i s a s u b s p a c e , a l l w e n e e d t o c h e c k i s t h a t t h e s u b s e t i s c l o s e d u n d e r v e c t o r

a d d i t i o n a n d u n d e r s c a l a r m u l t i p l i c a t i o n t r y p r o v i n g t h i s . G i v e e x a m p l e s o f s u b s p a c e s o f t h e

v e c t o r s p a c e e x a m p l e s a b o v e .

S h o w t h a t t h e r a n g e o f a n y r e a l n m m a t r i x a n d t h e n u l l s p a c e o f a n y r e a l m n m a t r i x

a r e s u b s p a c e s o f R

n

.

S h o w t h a t t h e s e t o f a l l l i n e a r c o m b i n a t i o n s o f a g i v e n s e t o f v e c t o r s f o r m s a s u b s p a c e

( c a l l e d t h e s u b s p a c e g e n e r a t e d b y t h e s e v e c t o r s , a l s o c a l l e d t h e i r l i n e a r s p a n ) .

7/29/2019 MIT6_241JS11_chap01

4/13

S h o w t h a t t h e i n t e r s e c t i o n o f t w o s u b s p a c e s o f a v e c t o r s p a c e i s i t s e l f a s u b s p a c e .

S h o w t h a t t h e u n i o n o f t w o s u b s p a c e s i s i n g e n e r a l n o t a s u b s p a c e . A l s o d e t e r m i n e

u n d e r w h a t c o n d i t i o n t h e u n i o n o f s u b s p a c e s w i l l b e a s u b s p a c e .

S h o w t h a t t h e ( M i n k o w s k i o r ) d i r e c t s u m o f s u b s p a c e s , w h i c h b y d e n i t i o n c o m p r i s e s

v e c t o r s t h a t c a n b e w r i t t e n a s t h e s u m o f v e c t o r s d r a w n f r o m e a c h o f t h e s u b s p a c e s , i s

a s u b s p a c e .

G e t i n t h e h a b i t o f w o r k i n g u p s m a l l ( i n R

2

o r R

3

, f o r i n s t a n c e ) c o n c r e t e e x a m p l e s f o r y o u r s e l f ,

a s y o u t a c k l e p r o b l e m s s u c h a s t h e a b o v e . T h i s w i l l h e l p y o u d e v e l o p a f e e l f o r w h a t i s b e i n g

s t a t e d | p e r h a p s s u g g e s t i n g a s t r a t e g y f o r a p r o o f o f a c l a i m , o r s u g g e s t i n g a c o u n t e r e x a m p l e

t o d i s p r o v e a c l a i m .

R e v i e w w h a t i t m e a n s f o r a s e t o f v e c t o r s t o b e ( l i n e a r l y ) d e p e n d e n t o r ( l i n e a r l y ) i n -

d e p e n d e n t . A s p a c e i s n - d i m e n s i o n a l i f e v e r y s e t o f m o r e t h a n n v e c t o r s i s d e p e n d e n t , b u t

t h e r e i s s o m e s e t o f n v e c t o r s t h a t i s i n d e p e n d e n t a n y s u c h s e t o f n i n d e p e n d e n t v e c t o r s i s

r e f e r r e d t o a s a b a s i s f o r t h e s p a c e .

S h o w t h a t a n y v e c t o r i n a n n - d i m e n s i o n a l s p a c e c a n b e w r i t t e n a s a u n i q u e l i n e a r

c o m b i n a t i o n o f t h e v e c t o r s i n a b a s i s s e t w e t h e r e f o r e s a y t h a t a n y b a s i s s e t s p a n s t h e

s p a c e .

S h o w t h a t a b a s i s f o r a s u b s p a c e c a n a l w a y s b e a u g m e n t e d t o f o r m a b a s i s f o r t h e e n t i r e

s p a c e .

I f a s p a c e h a s a s e t o f n i n d e p e n d e n t v e c t o r s f o r e v e r y n o n n e g a t i v e n , t h e n t h e s p a c e i s

c a l l e d i n n i t e d i m e n s i o n a l .

S h o w t h a t t h e s e t o f f u n c t i o n s f ( t ) t

n ; 1

n 1 2 3 f o r m s a b a s i s f o r a n i n n i t e

d i m e n s i o n a l s p a c e . ( O n e r o u t e t o p r o v i n g t h i s u s e s a k e y p r o p e r t y o f V a n d e r m o n d e

m a t r i c e s , w h i c h y o u m a y h a v e e n c o u n t e r e d s o m e w h e r e . )

N o r m s

T h e \ l e n g t h s " o f v e c t o r s a r e m e a s u r e d b y i n t r o d u c i n g t h e i d e a o f a n o r m . A n o r m f o r a v e c t o r

s p a c e V o v e r t h e e l d o f r e a l n u m b e r s R o r c o m p l e x n u m b e r s C i s d e n e d t o b e a f u n c t i o n t h a t

m a p s v e c t o r s x t o n o n n e g a t i v e r e a l n u m b e r s k x k , a n d t h a t s a t i s e s t h e f o l l o w i n g p r o p e r t i e s :

1 . P o s i t i v i t y : k x k 0 f o r x 6 0

2 . H o m o g e n e i t y : k a x k j a j k x k s c a l a r a .

3 . T r i a n g l e i n e q u a l i t y : k x + y k k x k + k y k 8 x y 2 V :

7/29/2019 MIT6_241JS11_chap01

5/13

1

V e r i f y t h a t t h e u s u a l E u c l i d e a n n o r m o n R

n

o r C

n

( n a m e l y

p

x

0

x w i t h

0

d e n o t i n g t h e

c o m p l e x c o n j u g a t e o f t h e t r a n s p o s e ) s a t i s e s t h e s e c o n d i t i o n s .

A c o m p l e x m a t r i x Q i s t e r m e d H e r m i t i a n i f Q

0

Q i f Q i s r e a l , t h e n t h i s c o n d i t i o n

s i m p l y s t a t e s t h a t Q i s s y m m e t r i c . V e r i f y t h a t x

0

Q x i s a l w a y s r e a l , i f Q i s H e r m i t i a n .

A m a t r i x i s t e r m e d p o s i t i v e d e n i t e i f x

0

Q x i s r e a l a n d p o s i t i v e f o r x 0 .6 V e r i f y t h a t

p

x

0

Q x c o n s t i t u t e s a n o r m i f Q i s H e r m i t i a n a n d p o s i t i v e d e n i t e .

P

V e r i f y t h a t i n R

n

b o t h k x k

1

n

j x

i

j a n d k x k

1

m a x

i

j x

i

j c o n s t i t u t e n o r m s . T h e s e

1

a r e r e f e r r e d t o a s t h e 1 - n o r m a n d 1 - n o r m r e s p e c t i v e l y , w h i l e t h e e x a m p l e s o f n o r m s

m e n t i o n e d e a r l i e r a r e a l l i n s t a n c e s o f ( w e i g h t e d o r u n w e i g h t e d ) 2 - n o r m s . D e s c r i b e t h e

s e t s o f v e c t o r s t h a t h a v e u n i t n o r m i n e a c h o f t h e s e c a s e s .

T h e s p a c e o f c o n t i n u o u s f u c n t i o n s o n t h e i n t e r v a l [ 0 1 ] c l e a r l y f o r m s a v e c t o r s p a c e .

O n e p o s s i b l e n o r m d e n e d o n t h i s s p a c e i s t h e 1 - n o r m d e n e d a s :

k f k

1

s u p j f ( t ) j :

t 2 [ 0 1 ]

T h i s m e a s u r e s t h e p e a k v a l u e o f t h e f u n c t i o n i n t h e i n t e r v a l [ 0 1 ] . A n o t h e r n o r m i s t h e

2 - n o r m d e n e d a s :

Z

1

2

k f k

2

j f ( t ) j

2

d t :

0

V e r i f y t h a t t h e s e m e a s u r e s s a t i s f y t h e t h r e e p r o p e r t i e s o f t h e n o r m .

I n n e r P r o d u c t

T h e v e c t o r s p a c e s t h a t a r e m o s t u s e f u l i n p r a c t i c e a r e t h o s e o n w h i c h o n e c a n d e n e a n o t i o n

o f i n n e r p r o d u c t . A n i n n e r p r o d u c t i s a f u n c t i o n o f t w o v e c t o r s , u s u a l l y d e n o t e d b y x y

w h e r e x a n d y a r e v e c t o r s , w i t h t h e f o l l o w i n g p r o p e r t i e s :

1 . S y m m e t r y : x y y x

0

.

2 . L i n e a r i t y : x a y + b z a x y + b x z f o r a l l s c a l a r s a a n d b .

3 . P o s i t i v i t y : x x p o s i t i v e f o r x 6 0 .

V e r i f y t h a t

p

x x d e n e s a n o r m .

V e r i f y t h a t x

0

Q y c o n s t i t u t e s a n i n n e r p r o d u c t i f Q i s H e r m i t i a n a n d p o s i t i v e d e n i t e .

T h e c a s e o f Q I c o r r e s p o n d s t o t h e u s u a l E u c l i d e a n i n n e r p r o d u c t .

V e r i f y t h a t

Z

1

x ( t ) y ( t ) d t

0

d e n e s a n i n n e r p r o d u c t o n t h e s p a c e o f c o n t i n u o u s f u n c t i o n s . I n t h i s c a s e , t h e n o r m

g e n e r a t e d f r o m t h i s i n n e r p r o d u c t i s t h e s a m e a s t h e 2 - n o r m d e n e d e a r l i e r .

7/29/2019 MIT6_241JS11_chap01

6/13

C a u c h y - S c h w a r t z I n e q u a l i t y V e r i f y t h a t f o r a n y x a n d y i n a n i n n e r p r o d u c t s p a c e

j x y j k x k k y k

w i t h e q u a l i t y i f a n d o n l y i f x y f o r s o m e s c a l a r . ( H i n t : E x p a n d x + y x + y ) .

T w o v e c t o r s x , y a r e s a i d t o b e o r t h o g o n a l i f x y 0 t w o s e t s o f v e c t o r s X a n d Y

a r e c a l l e d o r t h o g o n a l i f e v e r y v e c t o r i n o n e i s o r t h o g o n a l t o e v e r y v e c t o r i n t h e o t h e r . T h e

o r t h o g o n a l c o m p l e m e n t o f a s e t o f v e c t o r s X i s t h e s e t o f v e c t o r s o r t h o g o n a l t o X , a n d i s

d e n o t e d b y X

.

S h o w t h a t t h e o r t h o g o n a l c o m p l e m e n t o f a n y s e t i s a s u b s p a c e .

1 . 3 T h e P r o j e c t i o n T h e o r e m

C o n s i d e r t h e f o l l o w i n g m i n i m i z a t i o n p r o b l e m :

m i n k y ; m k

m 2 M

w h e r e t h e n o r m i s d e n e d t h r o u g h a n i n n e r p r o d u c t . T h e p r o j e c t i o n t h e o r e m ( s u g g e s t e d b y

t h e g u r e b e l o w ) , s t a t e s t h a t t h e o p t i m a l s o l u t i o n m i s c h a r a c t e r i z e d a s f o l l o w s :

( y ; m ^ ) M :

T o v e r i f y t h i s t h e o r e m , a s s u m e t h e c o n v e r s e . T h e n t h e r e e x i s t s a n m

0

, k m

0

k 1 , s u c h

m m

0

6 m + m

0

) 2 M a c h i e v e s a s m a l l e r v a l u e t ot h a t y ; 0 . W e n o w a r g u e t h a t (

t h e a b o v e m i n i m i z a t i o n p r o b l e m . I n p a r t i c u l a r ,

k y ; m ; m

0

k

2

k y ; m k

2

; y ; m m

0

; m

0

y ; m + j j

2

k m

0

k

2

k y ; m k

2

; j j

2

; j j

2

+ j j

2

k y ; m k

2

; j j

2

T h i s c o n r a d i c t s t h e o p t i m a l i t y o f m ^ .

G i v e n a s u b s p a c e S , s h o w t h a t a n y v e c t o r x c a n b e u n i q u e l y w r i t t e n a s x x

S

+ x

S

,

w h e r e x

S

2 S a n d x

S

2 S

.

7/29/2019 MIT6_241JS11_chap01

7/13

.

}

.

.

y ; m

;

.

.

.

y

.

. ;

;

;

;

m

;

;

;

;

;

;

;

;

;

M

;

;

1 . 4 M a t r i c e s

O u r u s u a l n o t i o n o f a m a t r i x i s t h a t o f a r e c t a n g u l a r a r r a y o f s c a l a r s . T h e d e n i t i o n s o f m a t r i x

a d d i t i o n , m u l t i p l i c a t i o n , e t c . , a r e a i m e d a t c o m p a c t l y r e p r e s e n t i n g a n d a n a l y z i n g s y s t e m s o f

e q u a t i o n s o f t h e f o r m

a

1 1

x

1

+ + a

1 n

x

n

y

1

.

.

.

a

m 1

x

1

+ + a

m n

x

n

y

m

T h i s s y s t e m o f e q u a t i o n s c a n b e w r i t t e n a s A x y i f w e d e n e

101010

a

1 1

a

1 n

x

1

y

1

A

B

@

C

A

x

B

@

C

A

y

B

@

C

A

. . .

.

.

.. .

. . .

x

n

.

y

m

a

m 1

a

m n

T h e r u l e s o f m a t r i x a d d i t i o n , m a t r i x m u l t i p l i c a t i o n , a n d s c a l a r m u l t i p l i c a t i o n o f a m a t r i x

r e m a i n u n c h a n g e d i f t h e e n t r i e s o f t h e m a t r i c e s w e d e a l w i t h a r e t h e m s e l v e s ( c o n f o r m a b l y

d i m e n s i o n e d ) m a t r i c e s r a t h e r t h a n s c a l a r s . A m a t r i x w i t h m a t r i x e n t r i e s i s r e f e r r e d t o a s a

b l o c k m a t r i x o r a p a r t i t i o n e d m a t r i x .

F o r e x a m p l e , t h e a

i j

, x

j

, a n d y

i

i n r e s p e c t i v e l y A , x , a n d y a b o v e c a n b e m a t r i c e s , a n d

P

t h e e q u a t i o n A x y w i l l s t i l l h o l d , a s l o n g a s t h e d i m e n s i o n s o f t h e v a r i o u s s u b m a t r i c e s a r e

c o n f o r m a b l e w i t h t h e e x p r e s s i o n s a

i j

x

j

y

i

f o r i 1 m a n d j 1 n . W h a t t h i s

r e q u i r e s i s t h a t t h e n u m b e r o f r o w s i n a

i j

s h o u l d e q u a l t h e n u m b e r o f r o w s i n y

i

, t h e n u m b e r

o f c o l u m n s i n a

i j

s h o u l d e q u a l t h e n u m b e r o f r o w s i n x

j

, a n d t h e n u m b e r o f c o l u m n s i n t h e

x

j

a n d y

i

s h o u l d b e t h e s a m e .

V e r i f y t h a t

7/29/2019 MIT6_241JS11_chap01

8/13

0 1

4 5

10 1010

B

B

B

B

B

@

C

C

C

C

C

A

!

1 2 2

8 9

1 2 2

4 5

B

@

C

A

B

@

C

A

+

B

@

C

A

0 1 3 0 1 3 2 0

8 9

1 1 7 1 1 7

2 0

I n a d d i t i o n t o t h e s e s i m p l e r u l e s f o r m a t r i x a d d i t i o n , m a t r i x m u l t i p l i c a t i o n , a n d s c a l a r

m u l t i p l i c a t i o n o f p a r t i t i o n e d m a t r i c e s , t h e r e i s a s i m p l e | a n d s i m p l y v e r i e d | r u l e f o r

( c o m p l e x c o n j u g a t e ) t r a n s p o s i t i o n o f a p a r t i t i o n e d m a t r i x : i f [ A ]

i j

a

i j

, t h e n [ A

0

]

i j

a

0

j i

,

i . e . , t h e ( i j ) - t h b l o c k e l e m e n t o f A

0

i s t h e t r a n s p o s e o f t h e ( j i ) - t h b l o c k e l e m e n t o f A .

F o r m o r e i n v o l v e d m a t r i x o p e r a t i o n s , o n e h a s t o p r o c e e d w i t h c a u t i o n . F o r i n s t a n c e , t h e

d e t e r m i n a n t o f t h e s q u a r e b l o c k - m a t r i x

!

A

A

1

A

3

A

2

A

4

i s c l e a r l y n o t A

1

A

4

;A

3

A

2

u n l e s s a l l t h e b l o c k s a r e a c t u a l l y s c a l a r ! W e s h a l l l e a d y o u t o

t h e c o r r e c t e x p r e s s i o n ( i n t h e c a s e w h e r e A

1

i s s q u a r e a n d i n v e r t i b l e ) i n a f u t u r e H o m e w o r k .

M a t r i c e s a s L i n e a r T r a n s f o r m a t i o n s

T i s a t r a n s f o r m a t i o n o r m a p p i n g f r o m X t o Y , t w o v e c t o r s p a c e s , i f i t a s s o c i a t e s t o e a c h

x 2 X a u n i q u e e l e m e n t y 2 Y . T h i s t r a n s f o r m a t i o n i s l i n e a r i f i t s a t i s e s

T ( x + y ) T ( x ) + T ( y ) :

V e r i f y t h a t a n n m m a t r i x A i s a l i n e a r t r a n s f o r m a t i o n f r o m R

m

t o R

n

.

D o e s e v e r y l i n e a r t r a n s f o r m a t i o n h a v e a m a t r i x r e p r e s e n t a t i o n A s s u m e t h a t b o t h X a n d Y

P

a r e n i t e d i m e n s i o n a l s p a c e s w i t h r e s p e c t i v e b a s e s

fx

1

: : : x

m

ga n d

fy

1

: : : y

n

g. E v e r y x

2X

m

v e r y x i s r e p r e s e n t e d u n i q u e l y i nc a n b e u n i q u e l y e x p r e s s e d a s : x E q u i v a l e n t l y ,

i 1

a

i

x

i

. e

t e r m s o f a n e l e m e n t a 2 R

m

P

S i m i l a r l y e v e r y e l e m e n t y 2 Y

o f a n e l e m e n t b 2 R

n

. N o w : T ( x

j

)

n

i 1

b

i j

y

i

a n d h e n c e

i s u n i q u e l y r e p r e s e n t e d i n t e r m s .

m n m

XXX

T ( x ) a

j

T ( x

j

) y

i

( a

j

b

i j

)

j 1 i 1 j 1

A m a t r i x r e p r e s e n t a t i o n i s t h e n g i v e n b y B ( b

i j

) . I t i s e v i d e n t t h a t a m a t r i x r e p r e s e n t a t i o n

i s n o t u n i q u e a n d d e p e n d s o n t h e b a s i s c h o i c e .

7/29/2019 MIT6_241JS11_chap01

9/13

1 . 5 L i n e a r S y s t e m s o f E q u a t i o n s

S u p p o s e t h a t w e h a v e t h e f o l l o w i n g s y s t e m o f r e a l o r c o m p l e x l i n e a r e q u a t i o n s :

A

m n n 1

y

m 1

x

W h e n d o e s t h i s s y s t e m h a v e a s o l u t i o n x f o r g i v e n A a n d y

9 a s o l u t i o n x ( ) y 2 R ( A ) ( ) R ( [ A y ] ) R ( A )

W e n o w a n a l y z e s o m e p o s s i b l e c a s e s :

( 1 ) I f n m , t h e n d e t ( A ) 6 y , a n d x i s t h e u n i q u e s o l u t i o n . 0 ) x A

; 1

( 2 ) I f m n , t h e n t h e r e a r e m o r e e q u a t i o n s t h a n u n k n o w n s , i . e . t h e s y s t e m i s \ o v e r c o n -

s t r a i n e d " . I f A a n d / o r y r e e c t a c t u a l e x p e r i m e n t a l d a t a , t h e n i t i s q u i t e l i k e l y t h a t t h e

n - c o m p o n e n t v e c t o r y d o e s n o t l i e i n R ( A ) , s i n c e t h i s s u b s p a c e i s o n l y n - d i m e n s i o n a l

( i f A h a s f u l l c o l u m n r a n k ) o r l e s s , b u t l i v e s i n a n m - d i m e n s i o n a l s p a c e . T h e s y s t e m

w i l l t h e n b e i n c o n s i s t e n t . T h i s i s t h e s o r t o f s i t u a t i o n e n c o u n t e r e d i n e s t i m a t i o n o r

i d e n t i c a t i o n p r o b l e m s , w h e r e x i s a p a r a m e t e r v e c t o r o f l o w d i m e n s i o n c o m p a r e d t o

t h e d i m e n s i o n o f t h e m e a s u r e m e n t s t h a t a r e a v a i l a b l e . W e t h e n l o o k f o r a c h o i c e o f x

t h a t c o m e s c l o s e s t t o a c h i e v i n g c o n s i s t e n c y , a c c o r d i n g t o s o m e e r r o r c r i t e r i o n . W e s h a l l

s a y q u i t e a b i t m o r e a b o u t t h i s s h o r t l y .

( 3 ) I f m n , t h e n t h e r e a r e f e w e r e q u a t i o n s t h a n u n k n o w n s , a n d t h e s y s t e m i s \ u n d e r c o n -

s t r a i n e d " . I f t h e s y s t e m h a s a p a r t i c u l a r s o l u t i o n x

p

( a n d w h e n r a n k ( A ) m , t h e r e i s

g u a r a n t e e d t o b e a s o l u t i o n f o r a n y y ) t h e n t h e r e e x i s t a n i n n i t e n u m b e r o f s o l u t i o n s .

M o r e s p e c i c a l l y , x i s a s o l u t i o n i ( i f a n d o n l y i f )

x x

p

+ x

h

A x

p

y A x

h

0 i : e : x

h

2 N ( A )

S i n c e t h e n u l l s p a c e

N( A ) h a s d i m e n s i o n a t l e a s t n

;m , t h e r e a r e a t l e a s t t h i s m a n y

d e g r e e s o f f r e e d o m i n t h e s o l u t i o n . T h i s i s t h e s o r t o f s i t u a t i o n t h a t o c c u r s i n m a n y

c o n t r o l p r o b l e m s , w h e r e t h e c o n t r o l o b j e c t i v e s d o n o t u n i q u e l y c o n s t r a i n o r d e t e r m i n e

t h e c o n t r o l . W e t h e n t y p i c a l l y s e a r c h a m o n g t h e a v a i l a b l e s o l u t i o n s f o r o n e s t h a t a r e

o p t i m a l a c c o r d i n g t o s o m e c r i t e r i o n .

7/29/2019 MIT6_241JS11_chap01

10/13

7/29/2019 MIT6_241JS11_chap01

11/13

( a ) d e t ( I ; A B ) d e t ( I ; B A ) , i f A i s p q a n d B i s q p . ( H i n t : E v a l u a t e t h e d e t e r m i n a n t s o f

I A I ; A I ; A I A

B I 0 I 0 I B I

t o o b t a i n t h e d e s i r e d r e s u l t ) . O n e c o m m o n s i t u a t i o n i n w h i c h t h e a b o v e r e s u l t i s u s e f u l i s w h e n

p q w h y i s t h i s s o

( b ) S h o w t h a t ( I ; A B )

; 1

A A ( I ; B A )

; 1

.

( c ) S h o w t h a t ( A + B C D )

; 1

A

; 1

; A

; 1

B ( C

; 1

+ D A

; 1

B )

; 1

D A

; 1

. ( H i n t : M u l t i p l y t h e r i g h t s i d e

b y A + B C D a n d c l e v e r l y g a t h e r t e r m s . ) T h i s i s p e r h a p s t h e m o s t u s e d o f m a t r i x i d e n t i t i e s , a n d

i s k n o w n b y v a r i o u s n a m e s | t h e m a t r i x i n v e r s i o n l e m m a , t h e A B C D l e m m a ( ! ) , W o o d b u r y ' s

f o r m u l a , e t c . I t i s r e d i s c o v e r e d f r o m t i m e t o t i m e i n d i e r e n t g u i s e s . I t s n o t e w o r t h y f e a t u r e i s

t h a t , i f A

; 1

i s k n o w n , t h e n t h e i n v e r s e o f a m o d i c a t i o n o f A i s e x p r e s s e d a s a m o d i c a t i o n o f

A

; 1

t h a t m a y b e s i m p l e t o c o m p u t e , e . g . w h e n C i s o f s m a l l d i m e n s i o n s . S h o w , f o r i n s t a n c e ,

t h a t e v a l u a t i o n o f ( I ; a b

T

)

; 1

, w h e r e a a n d b a r e c o l u m n v e c t o r s , o n l y r e q u i r e s i n v e r s i o n o f a

s c a l a r q u a n t i t y .

E x e r c i s e 1 . 4 R a n g e a n d R a n k

T h i s i s a p r a c t i c e p r o b l e m i n l i n e a r a l g e b r a ( e x c e p t t h a t y o u h a v e p e r h a p s o n l y s e e n s u c h r e s u l t s

s t a t e d f o r t h e c a s e o f r e a l m a t r i c e s a n d v e c t o r s , r a t h e r t h a n c o m p l e x o n e s | t h e e x t e n s i o n s a r e r o u t i n e ) .

A s s u m e t h a t A 2 C

m n

( i . e . , A i s a c o m p l e x m n m a t r i x ) a n d B 2 C

n p

. W e s h a l l u s e t h e

s y m b o l s R ( A ) a n d N ( A ) t o r e s p e c t i v e l y d e n o t e t h e r a n g e s p a c e a n d n u l l s p a c e ( o r k e r n e l ) o f t h e m a t r i x

A . F o l l o w i n g t h e M a t l a b c o n v e n t i o n , w e u s e t h e s y m b o l A

0

t o d e n o t e t h e t r a n s p o s e o f t h e c o m p l e x

c o n j u g a t e o f t h e m a t r i x A R

( A ) d e n o t e s t h e s u b s p a c e o r t h o g o n a l t o t h e s u b s p a c e R ( A ) , i . e . t h e s e t

o f v e c t o r s x s u c h t h a t x

0

y 0 8 y 2 R ( A ) , e t c .

( a ) S h o w t h a t R

( A ) N ( A

0

) a n d N

( A ) R ( A

0

) .

( b ) S h o w t h a t

r a n k ( A ) + r a n k ( B ) ; n r a n k ( A B ) m i n f r a n k ( A ) r a n k ( B ) g

T h i s r e s u l t i s r e f e r r e d t o a s S y l v e s t e r ' s i n e q u a l i t y .

E x e r c i s e 1 . 5 V a n d e r m o n d e M a t r i x

A m a t r i x w i t h t h e f o l l o w i n g s t r u c t u r e i s r e f e r r e d t o a s a V a n d e r m o n d e m a t r i x :

1

1

2

1

n ; 1

1

1

2

2

2

n ; 1

2

. . . .

.

.

.

.

.

.

.

.

1

n

2

n

n ; 1

n

10

C

C

C

A

B

B

B

@

7/29/2019 MIT6_241JS11_chap01

12/13

T h i s m a t r i x i s c l e a r l y s i n g u l a r i f t h e

i

a r e n o t a l l d i s t i n c t . S h o w t h e c o n v e r s e , n a m e l y t h a t i f a l l n o f

t h e

i

a r e d i s t i n c t , t h e n t h e m a t r i x i s n o n s i n g u l a r . O n e w a y t o d o t h i s | a l t h o u g h n o t t h e e a s i e s t !

| i s t o s h o w b y i n d u c t i o n t h a t t h e d e t e r m i n a n t o f t h e V a n d e r m o n d e m a t r i x i s

i j n

Y

(

j

;

i

)

i 1 j i

L o o k f o r a n e a s i e r a r g u m e n t r s t .

E x e r c i s e 1 . 6 M a t r i x D e r i v a t i v e s

( a ) S u p p o s e A ( t ) a n d B ( t ) a r e m a t r i c e s w h o s e e n t r i e s a r e d i e r e n t i a b l e f u n c t i o n s o f t , a n d a s s u m e t h e

p r o d u c t A ( t ) B ( t ) i s w e l l - d e n e d . S h o w t h a t

d

d A ( t ) d B ( t )

A ( t ) B ( t ) B ( t ) + A ( t )

d t d t d t

w h e r e t h e d e r i v a t i v e o f a m a t r i x i s , b y d e n i t i o n , t h e m a t r i x o f d e r i v a t i v e s | i . e . , t o o b t a i n t h e

d e r i v a t i v e o f a m a t r i x , s i m p l y r e p l a c e e a c h e n t r y o f t h e m a t r i x b y i t s d e r i v a t i v e . ( N o t e : T h e

o r d e r i n g o f t h e m a t r i c e s i n t h e a b o v e r e s u l t i s i m p o r t a n t ! ) .

( b ) U s e t h e r e s u l t o f ( a ) t o e v a l u a t e t h e d e r i v a t i v e o f t h e i n v e r s e o f a m a t r i x A ( t ) , i . e . e v a l u a t e t h e

d e r i v a t i v e o f A

; 1

( t ) .

E x e r c i s e 1 . 7 S u p p o s e T i s a l i n e a r t r a n s f o r m a t i o n f r o m X t o i t s e l f . V e r i f y t h a t a n y t w o m a t r i x

r e p r e s e n t a t i o n s , A a n d B , o f T a r e r e l a t e d b y a n o n s i n g u l a r t r a n s f o r m a t i o n i . e . , A R

; 1

B R f o r s o m e

R . S h o w t h a t a s R v a r i e s o v e r a l l n o n s i n g u l a r m a t r i c e s , w e g e t a l l p o s s i b l e r e p r e s e n t a t i o n s .

E x e r c i s e 1 . 8 L e t X b e t h e v e c t o r s p a c e o f p o l y n o m i a l s o f o r d e r l e s s t h a n o r e q u a l t o M .

( a ) S h o w t h a t t h e s e t B f 1 x : : : x

M

g i s a b a s i s f o r t h i s v e c t o r s p a c e .

( b ) C o n s i d e r t h e m a p p i n g T f r o m X t o X d e n e d a s :

f ( x ) T g ( x ) g ( x )

d x

1 . S h o w t h a t T i s l i n e a r .

2 . D e r i v e a m a t r i x r e p r e s e n t a t i o n f o r T i n t e r m s o f t h e b a s i s B .

3 . W h a t a r e t h e e i g e n v a l u e s o f T .

4 . C o m p u t e o n e e i g e n v e c t o r a s s o c i a t e d w i t h o n e o f t h e e i g h e n v a l u e s .

d

7/29/2019 MIT6_241JS11_chap01

13/13

MIT OpenCourseWarehttp://ocw.mit.edu

6.241J / 16.338J Dynamic Systems and Control

Spring 2011

For information about citing these materials or our Terms of Use, visit: http://ocw.mit.edu/terms.