Detection Estimation Lecture 1 - ShanghaiTechsist.shanghaitech.edu.cn/faculty/luoxl/class/2017Fall_EE251/...Detection & Estimation Lecture 1 ... Estimation Theory/Detection ... •

2017/9/18

1

Detection & EstimationLecture 1Intro, MVUE, CRLB

Xiliang Luo

General Course Information

• Textbooks & References• Fundamentals of Statistical Signal Processing: Estimation Theory/Detection 

Theory, Steven M. Kay, Prentice Hall, 1993.• Principles of Signal Detection and Parameter Estimation, Benard C. Levy, 

Springer, 2008.• Detection, Estimation, and Modulation Theory, Part I, Harry L. Van Trees, John 

Wiley & Sons, Inc., 2001.

• Lecturer• Dr. Xiliang Luo• Office hour: Tuesday, Thursday, 8:00‐10:00pm

• TA• Mr. Hanyu Zhu• Office hour: TBA

• Grading• Homework: (Weekly) 40% (due at the beginning of each lecture)• Midterm: 30% [11/6]• Final project: 30% [1/8]

2017/9/18

2

General Course Information

• You must complete the weekly HW independently

• Discussions among students are allowed but solutions must be your own

General Course Information

• Course website• http://sist.shanghaitech.edu.cn/faculty/luoxl/class/2017Fall_EE251/EE251.htm

• Course forum• TBD

2017/9/18

3

Estimation

• Radar

• Sonar

• Speech

• Image analysis

• Biomedicine

• Communication

• Control

• Seismology

Radar

2017/9/18

4

Sonar

Cell Search

2017/9/18

5

Cell Search

0 20 40 60 80 100 120 140 160 180 20010

15

20

25

30

35

40

45

Cell Search

SNR=‐10dB

2017/9/18

6

Cell Search

0 20 40 60 80 100 120 140 160 180 200-60

-40

-20

0

20

40

60

80

SNR=‐10dB

Cell Search

SNR=‐20dB

0 20 40 60 80 100 120 140 160 180 200-150

-100

-50

0

50

100

150

200

250

2017/9/18

7

Estimation Problem

• Given a data set• 0 , 1 ,… , 1

• We want to determine the value of an unknown parameter as:

• 0 , 1 ,… , 1• this function is an estimator

• Date back to Gauss, 1795• least squares  planetary movement

Least Squares

• "Least squares" means that the overall solution minimizes the sum of the squares of the residuals made in the results of every single equation.

For example:  1,… , 1 , we have sample mean!

2017/9/18

8

Least Squares

• 1805, Legendre: • the first clear and concise exposition of the method of least 

• The technique is described as an algebraic procedure for fitting linear equations to data and Legendre demonstrates the new method by analyzing the same data as Laplace for the shape of the earth. The value of Legendre's method of least squares was immediately recognized by leading astronomers and geodesists of the time.

Least Squares• 1809, Carl Friedrich Gauss: 

• published his method of calculating the orbits of celestial bodies.

• In that work he claimed to have been in possession of the method of least squares since 1795. 

• This naturally led to a priority dispute with Legendre. 

• However, to Gauss's credit, he went beyond Legendre and succeeded in connecting the method of least squares with the principles of probability and to the normal distribution.

• Gauss showed that arithmetic mean is indeed the best estimate of the location parameter for the Gauss distribution

2017/9/18

9

Estimation Problem

• The data has to be dependent on the unknown parameter

• pdf:  0 ,… , 1 ;• the semicolon denotes the dependence

• Example: Gaussian pdf

Classical vs Bayesian

• Classical estimation• the unknown parameter is deterministic

• Bayesian estimation• the unknown parameter is itself random

• we are estimating one realization of the random parameter

• the data are characterized by the joint pdf• ,• : the prior pdf

2017/9/18

10

Estimator Performance

•

• ∑

• Question:• How is this estimator?

• find the mean,variance

• Best estimator?• topic next

Unbiased Estimator

• On average, the estimator should yield the true value  this estimator is unbiased

• E , ∈ ,

• Example: •

• ∑

• “An estimator is unbiased” does not mean it is a good estimator  

2017/9/18

11

Minimum Variance

• In order to find one “optimal” estimator, we need to specify the criterion

• one natural criterion is the Mean Square Error (MSE)

•

• Example: 1

1

/

Not realizable!

MVUE• Minimize the variance while being unbiased

• Question: whether MVUE exists?• unbiased estimator with minimum variance for all values of the unknown parameter

• Example: [Example 2.3]

0 ∼ , 1 1 ∼, 1 , 0 , 2 , 0

12

0 1

132 0 1

2017/9/18

12

MVUE

• No known “turn‐the‐crank” procedure to produce the MVUE

• Next, we will discuss• Cramer‐Rao lower bound

• Rao‐Blackwell‐Lehmann‐Scheffe theorem

• best linear estimator

Cramer‐Rao Lower Bound

• We need to place a lower bound on the variance of any unbiased estimator!

• Check whether our estimator is MVUE

• Check how far our estimator is from the optimal one• even the optimal one may not exist

• Tells us it is impossible to find an estimator that can beat the bound

2017/9/18

13

Likelihood Function

• When the pdf is views a function of the unknown parameter, it is referred to as the “likelihood function”

• Example:  0 0

ln 0 ; ln 212

0

ln 0 ; 1

0 ;1

2

CRLB• Regularity condition:

• For any unbiased estimator, we have:

• Furthermore, one unbiased estimator achieving the bound exists iff:

• is the MVUE and the min variance is given by 1/

ln ;0, ∀

ln ;

ln ;

2017/9/18

14

Regularity Condition

• x[n], n=0,…,N‐1, IID according to U[0, ], let’s check the regularity condition

ln ;/

What is going on here?

;? 0

Some Examples

• DC level in white noise

, 0,1, … , 1

ln ; ∑

2017/9/18

15

Fisher Information

• Fisher Information

• Nonnegative

• Additive for independent observations

ln ; ln ;

Proof of CRLB

• Setup: • 1. pdf depends on 

• 2. we need to estimate one scalar parameter 

• We consider all unbiased estimators for the parameter

• 0 , 1 , … , 1•

2017/9/18

16

Proof of CRLB

;;

ln ;;

ln ;;

; ln ;

;

ln ;

Proof of CRLB

• Equality condition (Cauchy‐Schwarz inequality)

• Furthermore, we can find, for  ,

; ln ;

;

ln ;

2017/9/18

17

Example

• General CRLB for Signals in WGN

; , 0, … , 1

var

∑ ;

• Sinusoidal Frequency Estimation

; cos 2 , ∈ 0, 0.5

Example

• Range Estimation [Example 3.13 in Kay’s book]

, ∈ 0,

Sample at Nyquist rate (2B):

Δ Δ Δ , 0, … , 1

Δ , 0, … , 1

, ∈ 0, 1Δ , ∈ , 1

, ∈ , 1M: length of signal

/Δ: delay in samples 

2017/9/18

18

Example

• Range Estimation

1Δ

1

/2

2mean‐square BW of the signal

Vector Parameter• For vector parameters:  , … ,

• Regularity condition:

• For any unbiased estimator  , we have:

• Furthermore, one unbiased estimator achieving the bound exists iff:

• is the MVUE and the min variance is given by 

ln ;, ∀

0

ln ;

,ln ;

2017/9/18

19

Example

• DC Level in WGN:  , are unknown

, 0,1, … , 1

ln ; ln ;

ln ; ln ;

/ 00 / 2

Note: typically, the more unknowns, the higher the CRLB!

Asymptotic CRLB

• For a WSS Gaussian random process  with zero mean, whose PSD depends on parameter  , Fisher information matrix element can be approximated as

2ln ; ln ;

Fd=10Hz

2017/9/18

20

Asymptotic CRLB

• Almost any WSS Gaussian random process  can be represented as the output of a filter with white input

• The PSD is then

Asymptotic CRLB

• For large N (much larger than the impulse response length, or the correlation time of  ), we have

2017/9/18

21

Asymptotic CRLB

• Parseval’s Theorem:

• ∑

• Fourier Transform relationship between  and 

•

• We have

•

Asymptotic CRLB

• Asymptotic pdf is:

ln ;2ln 2

12

• To eliminate  , we use the following:

= 0

2017/9/18

22

Asymptotic CRLB

• Asymptotic pdf:

ln ;2ln 2

2ln

• CRLB can be found as:

2ln ; ln ;

Note: periodogram spectral estimator: 

, → ∞

Center Frequency of Process

• PSD depends on the center frequency. Some time a want to estimate the center frequency

;

12

2017/9/18

23

HW

• Week 1:• Chapter 2: 2.7, 2.11

• Chapter 3: 3.6, 3.11, 3.12, 3.13, 3.16, 3.18, 3.19, 3.20

• Week 2:• Chapter 3: 3.10, 3.14, 3.15, 3.17

• Complete the proof for the asymptotic CRLB