Advanced Digital Signal Processing Digital Signal Processing: Fundamentals of Estimation Theory การประมวลผลส ญญาณด จ ตอลข นส ง พ

Advanced Digital Signal Processing:

Fundamentals of Estimation Theory

การประมวลผลสญญาณดจตอลข �นสง พ�นฐานของทฤษฎการประมาณคา

พระพล ยวภษตานนท Peerapol Yuvapoositanon (Ph.D., DIC)

ภาควชาวศวกรรมอเลกทรอนกส

มหาวทยาลยเทคโนโลยมหานคร

This page intentionally left blank

สารบญ

iii

สารบญ สารบญ ............................................................................................................. iii คานา ............................................................................................................... vii กตกรรมประกาศ ............................................................................................... ix

ตารางสญญลกษณ .............................................................................................. x

ตารางอกษรยอ ................................................................................................. xii 1 สญญาณสม ................................................................................................. 1-1 1.1 บทนา .............................................................................................................. 1-1

1.2 คณสมบตของ pdf .............................................................................................. 1-4

1.3 คาเฉล�ยทางเวลาและคาเฉล�ยอองซามเบ�ล(Time Average and Ensemble Average) . 1-11

1.4 คาเฉล�ยกลาง (Mean Value) ............................................................................ 1-13

1.5 คณสมบตของตวกระทาคาคาดหวง ...................................................................... 1-13

1.6 สหสมพนธ (Correlation) ................................................................................ 1-15

1.7 ความแปรปรวนรวม (Covariance) ..................................................................... 1-16

1.8 เมตรกซสหสมพนธตวเองและเมตรกซความแปรปรวนรวม (Auto-Correlation and

Covariance Matrices) ......................................................................................... 1-16

1.9 ความไมมสหสมพนธ (Uncorrelatedness) ........................................................... 1-17

1.10 ความเปนอสระตอกน (Independence) .............................................................. 1-17

1.11 ความเปนออรโธโกนล (Orthogonality) ............................................................ 1-18

1.12 สถานะน�ง (Stationarity) ............................................................................... 1-19

1.13 คณสมบตของคาสหสมพนธตวเอง ...................................................................... 1-20

1.13.1 ความเปนสมมาตรกบแกนเวลา ( ) ( )r m r m− = ............................................. 1-20

1.13.2 สหสมพนธตวเองท�เวลาเปนศนย มคามากกวาหรอเทากบท�เวลาเปนคาอ�นๆ (0) ( )r r m≥xx xx .......................................................................................... 1-21

1.13.3 เมตรกซสหสมพนธตวเองเปนโทปลทซ(Toeplitz) ............................................. 1-22

1.13.4 เมตรกซสหสมพนธตวเองเปนเมตรกซแบบจากดก�งบวก(Positive Semi-Definite

Matrix) .......................................................................................................... 1-23

1.14 การใชงานสหสมพนธตวเองและสหสมพนธไขว (Applications of Auto-correlation and Cross-correlation) .............................................................................................. 1-25

1.15 คณสมบตของคาสหสมพนธไขว ......................................................................... 1-28

1.16 สเปคตรมกาลง (Power Spectrum) ................................................................. 1-29

1.16.1 คณสมบตของสเปคตรมกาลง (Properties of the Power Spectrum) ................ 1-32

1.16.2 สเปคตรมกาลงและระบบเชงเสน (Power Spectrum and Linear Systems) ....... 1-33

1.16.3 สเปคตรมกาลงกบตวเขารหสเสยงพด (Power Spectrum and Speech Coder) .... 1-37

การประมวลผลสญญาณดจตอลข �นสง

iv

1.17 สญญาณแบบพเศษ (Special Signals) .............................................................. 1-38

1.17.1 สญญาณรบกวนสขาว (White Noise) .......................................................... 1-38

1.17.2 สญญาณมารคอฟแบบอนดบแรก (First Order Markov Signals) ..................... 1-41

1.17.3 สญญาณสมแบบเกาส (Gaussian Random Signals) ..................................... 1-41

1.18 การสรางแบบจาลองของสญญาณสม (Modelling of Random Signals) ................. 1-43

1.18.1 กรณ ( ) 1B z = ...................................................................................... 1-44

1.18.2 กรณ ( ) 1A z = ....................................................................................... 1-45

1.18.3 กรณ ( )A z และ ( )B z ไมใชคาคงท� ................................................................. 1-45

1.19 ระบบแบบเฟสนอยสด (Minimum Phase Systems) ........................................... 1-45

1.19.1 ระบบเฟสนอยสด,ระบบเฟสมากสดและระบบเฟสผสม (Minimum Phase, Maximum Phase and Mixed Phase Systems) .................................................................. 1-46

1.20 สรป ............................................................................................................. 1-55

Appendix 1.A .................................................................................................... 1-55

Proof 1.A ........................................................................................................... 1-57

คาถามทายบท ...................................................................................................... 1-57

เอกสารอางอง ....................................................................................................... 1-60

2 การประมาณคาในการประมวลผลสญญาณ ..................................................... 2-1 2.1 บทนา .............................................................................................................. 2-1

2.2 กระบวนการคณตศาสตรของการประมาณคา (The Mathematical Estimation Problem) ............................................................................................................................ 2-4

2.3 สมรรถภาพของตวประมาณคา (Performance of Estimators) ............................... 2-13

2.4 ชนดของตวประมาณคา (Types of Estimators) .................................................. 2-16

1. ตวประมาณคาแบบบลอก (Block-based Estimators) ........................................... 2-16

2. ตวประมาณคาแบบลาดบ (Sequential-based Estimators).................................... 2-16

2.5 ตวประมาณคาไรไบแอสความแปรปรวนนอยสด (Minimum Variance Unbiased Estimator) ......................................................................................................... 2-18

2.6 เง�อนไขความแปรปรวนนอยสด (Minimum Variance Criterion) ........................... 2-22

2.7 การขยายความไปเปนการประมาณคาแบบเวคเตอร (Extension to Vector Parameter Estimation) ........................................................................................................ 2-28

2.8 สรป............................................................................................................... 2-29

Appendix 2.A .................................................................................................... 2-29

คาถามทายบท ...................................................................................................... 2-30

เอกสารอางอง ....................................................................................................... 2-32

3 ขอบเขตดานต!าเครเมอร-เรโอ ....................................................................... 3-1 3.1 บทนา .............................................................................................................. 3-1

3.2 ฟงกชนคาความเปนไปได (The Likelihood Function) .......................................... 3-3

3.3 การคานวณขอบเขตดานต�าเครเมอร-เรโอ (Cramer-Rao Lower Bound Calculation) 3-6

สารบญ

v

3.4 การขยายความการประมาณคาในแบบเวคเตอร (Extension to Vector Parameter Estimation) ........................................................................................................ 3-16

3.5 สรป............................................................................................................... 3-26

Appendix 3.A .................................................................................................... 3-26

คาถามทายบท ...................................................................................................... 3-27

เอกสารอางอง ....................................................................................................... 3-29

4 แบบจาลองเชงเสน ....................................................................................... 4-1 4.1 บทนา .............................................................................................................. 4-1

4.2 พารามเตอรของแบบจาลองเชงเสน (Parameters of Linear Models) ........................ 4-1

4.4 กระบวนการทาสญญาณสขาว (Whitening Process) ............................................ 4-17

4.5 สญญาณสวนท�ทราบคาในสญญาณท�วดได (Known Signals in Measurement) ........ 4-18

4.6 สรป............................................................................................................... 4-20

Appendix 4.A .................................................................................................... 4-20

4.A.1 การหาคาอนพนธของเวคเตอร........................................................................ 4-20

4.A.2 การหาคาอนพนธของเมตรกซ ........................................................................ 4-21

คาถามทายบท ...................................................................................................... 4-22

เอกสารอางอง ....................................................................................................... 4-26

5 ตวประมาณคาไรไบแอสเชงเสนท!ดท!สด ......................................................... 5-1 5.1 บทนา .............................................................................................................. 5-1

5.2 ความเปนเชงเสนของตวประมาณคาแบบไรไบแอส .................................................... 5-1

5.3 ทฤษฎของตวประมาณคาไรไบแอสเชงเสนท�ดท�สด .................................................... 5-5

5.3.1 กาหนดความเปนเชงเสนและความไรไบแอสของตวประมาณคา BLUE ........................ 5-6

5.3.2 การหาคาความแปรปรวนนอยสดของตวประมาณคา BLUE ..................................... 5-7

5.4 ตวประมาณคาแบบเชงเสนท�ดท�สดสาหรบสญญาณท�ไมทราบ pdf .............................. 5-14

5.5 การขยายความการประมาณคาในแบบเวคเตอร (Extension to Vector Parameter Estimation) ........................................................................................................ 5-18

5.6 สรป............................................................................................................... 5-21

Appendix 5.A .................................................................................................... 5-22

คาถามทายบท ...................................................................................................... 5-23

เอกสารอางอง ....................................................................................................... 5-26

6 ตวประมาณคาความเปนไปไดสงสด ............................................................... 6-1 6.1 บทนา .............................................................................................................. 6-1

6.2 ทฤษฎของตวประมาณคาความเปนไปไดสงสด (Theory of Maximum Likelihood Estimators) .......................................................................................................... 6-1

6.3 คณสมบตของตวประมาณคาความเปนไปไดสงสด (Properties of Maximum Likelihood Estimators) .......................................................................................................... 6-6


vi

6.4 ตวประมาณคาความเปนไปไดสงสดในทางปฎบต (Practical Maxmimum Likelihood Estimators) ........................................................................................................ 6-13

6.5 การคานวณหาตวประมาณคาความเปนไปไดสงสดโดยกระบวนการเชงตวเลข (Numerical Methods for Maxmimum Likelihood Estimators Computation) ......................... 6-15

6.6 การหาคาคาดหวงสงสด (Expectation Maximisation) ........................................ 6-21

6.7 สรป............................................................................................................... 6-29

Appendix 6.A .................................................................................................... 6-29

คาถามทายบท ...................................................................................................... 6-33

เอกสารอางอง ....................................................................................................... 6-35

7 ตวประมาณคากาลงสองนอยสด ...................................................................... 7-1 7.1 บทนา .............................................................................................................. 7-1

7.2 ตวประมาณคากาลงสองนอยสด (Least Squares Estimators) ................................. 7-2

7.3 ทฤษฎการประมาณคากาลงสองนอยสด (Least Squares Estimation Theory) ........... 7-5

7.4 ตวประมาณคากาลงสองนอยสดแบบถวงน�าหนก (Weighted Least Squares Estimator) .......................................................................................................................... 7-10

7.5 การแปลความในเชงเรขาคณตของตวประมาณคากาลงสองนอยสด (Geometric Interpretation of Least Sqaures Estimators) ...................................................... 7-12

7.6 การหาตวประมาณคากาลงสองนอยสดแบบอนดบวนซ�า (Order-recursive Least Squares Estimators) ........................................................................................................ 7-24

7.6.1 การวนซ�าคาอนดบ (Order–Recursive Method) ............................................ 7-26

7.6.2 การทาออรโธโกนลแบบแกรม-ชมดท (Gram-Schmidt Orthogonalisation) ......... 7-27

7.7 ตวประมาณคากาลงสองนอยสดแบบเปนลาดบ (Sequential Least Squares Estimator) 7-38

7.7.1 การหาฟงกชนเปาหมายคาผดพลาดกาลงสองนอยสดแบบลาดบ................................ 7-40

7.7.2 การหาตวประมาณคากาลงสองนอยสดถวงน�าหนกแบบลาดบ ................................... 7-42

7.8 การกาจดสญญาณรบกวนแบบปรบตวไดสาหรบสญญาณคล�นไฟฟาหวใจ (Adaptive Noise Cancellation in Electrocardiogram) .................................................................... 7-57

7.9 สรป............................................................................................................... 7-65

Appendix 7.A .................................................................................................... 7-66

คาถามทายบท ...................................................................................................... 7-71

เอกสารอางอง ....................................................................................................... 7-74

8 ดชน ........................................................................................................... 8-1

vii

คานา I have not much [about technique] to hide, mate.

Things grow by sharing, not by competition.

Dr. Brian May,

Guitarist of a world finest rock band, QUEEN

ผมไมมอะไรจะตองปกปดสาหรบเทคนกของผม

ของบางส �งเตบโตไดจากการแชรรวมกนไมใชจากการแขงขน

ดร.ไบรอน เมย, มอกตารวงควน วงรอคช (นนาของโลก

ตาราเลมน�มจดเร�มตนมาจากเอกสารประกอบการบรรยายในวชาการประมวลผลสญญาณดจตอลข �นสง(EEET0772 Advanced Digital Signal Processing) ท�มการสอนอยางเปนทางการมาต �งแตในปการศกษา 2549 เปนตนมา โดยเปนวชาเลอกสาหรบนกศกษาระดบปรญญาโทสาขาวศวกรรมไฟฟา สาขายอยวศวกรรมอเลกทรอนกส มหาวทยาลยเทคโนโลยมหานคร ซ�งเอกสารประกอบการบรรยายดงกลาวไดถกปรบปรงแกไขขดเกลาอยางตอเน�องจนกระท �งกลายเปนตาราเลมน�ในท�สด เพ�อสนองตอความมงหวงท�จะกระจายความรใหแกผสนใจซ�งเปนความต �งใจของผเขยนท�มมาอยางยาวนาน

จากทฤษฎการประมวลผลสญญาณดจตอล(Digital Signal Processing)เบ�องตน ท�เนนการจดการอลกอรธมสาหรบสญญาณเชงกาหนด(Deterministic Signals) เชน การประมวลผลสญญาณเสยงภาพและวดโอ(Audio, Image and Video Processing) หรอ การเขารหสและถอดรหส (Coding

and Decoding) ซ�งมความสาคญตอการใชงานในระบบส�อสารในโทรศพทเคล�อนท� หรอระบบควบคมแบบอเลกทรอนกสในยานยนต(Electronic Control Unit) มาสการประมวลผลสญญาณข �นสงท�เก�ยวของกบการประมาณคา(Estimation)ของขอมลและสารสนเทศ(Data and Information) ท�มกจะถกซอนความหมายไวภายในสญญาณท�ถกสงเกตการณหรอท�วดได(Observation Signals) ท�ไรรปแบบ ไมไดมความเปนคาบ และไมสามารถสรางข�นไดจากฟงกชนเชงกาหนดใดๆ เราจะเรยกสญญาณเชนน�วาเปนสญญาณสม(Random Signals) ตวอยางของการประมวลผลสญญาณสมดงกลาวน �นกเชน การประมาณคาสญญาณไฟตรงท�ถกรบกวนเปนอยางมากดวยสญญาณรบกวน(DC level Estimation) การประมาณคาขอมลจากสายอากาศตนท�ขาดหายถกรวมกบสายอากาศอ�นๆ(Missing Antenna Data) และ การดงสญญาณของผใชท�ตองการออกมาจากท�มาจากในระบบส�อสารแบบหลายผใชงาน(Multiuser Communication Systems) เปนตน ตาราเลมน�จงทาหนาท�บอกเลาถงทฤษฎการประมาณคาพ�นฐานท�เก�ยวของกบสญญาณตางๆ เหลาน�

ในบทท� 1 จะเปนการปพ�นฐานทฤษฎและการวเคราะหสญญาณสมและการแนะนาความหมายของศพทท�จะมการใชงานในบทตอๆไป รวมถงตวอยางการใชงานในระบบประมวลผลสญญาณ ในบทท� 2 เปนเร�องของการประมาณคาในการประมวลผลสญญาณ ท�มทฤษฎของการอาศยตว

viii

ประมาณคาท�ดท�สดในแงท�ใหความแปรปรวนท�นอยท�สดท�เรยกวาตวประมาณคาไรไบแอสความแปรปรวนนอยสด(Minimum Variance Unbiased Estimator) หรอ MVUE ซ�งจะนาไปสทฤษฎขอบเขตดานต�าเครเมอร-เรโอ(Cramer-Rao Lower Bound) ท�เนนการพจารณาความแปรปรวนท�นอยท�สดท�จะเปนไปไดของตวประมาณคาหน�งๆ ในบทท� 3 กระน �นกตามแมวา MVUE จะมอยจรงการไดมาซ�ง MVUE น �นกไมใชวาจะกระทาไดโดยงายในทางฏบต ในบทท� 4 กจะเปนการใชกรรมวธแบบจาลองเชงเสนในการคานวณ MVUE โดยอาศยกรรมวธทางพชคณตเชงเสนเพ�อคานวณ MVUE ไดอยางสะดวก ในบทท� 5 แสดงการหาตวประมาณคาไรไบแอสท�ดท�สด(Best

Linear Unbiased Estimator) ท�ไมตองการทราบลวงหนาวาฟงกชนความหนาแนนความนาจะเปน(Probability Density Function) ของขอมลน �นเปนอยางไร แตจะใชเพยงคาเฉล�ยกลาง(Mean

value) และ ความแปรปรวน(Variance) ของขอมลท�วดไดในการคานวณตวประมาณคาเทาน �น ซ�งจะใหความสะดวกในการคานวณเปนอยางมาก แตตวประมาณคา BLUE น�มขอกาหนดวาตองเปนเชงเสนตอขอมลและมขอจากดในแงประสทธภาพของการประมาณคา ในบทท� 6 ตวประมาณคาอกแบบท�เรยกวาตวประมาณคาความเปนไปไดสงสด(Maximum Likelihood

Estimators) หรอ MLE โดยคณสมบตท�นาสนใจของตวประมาณคาแบบ MLE น� กคอ มการใหคาประมาณท�เทยบเทากบ MVUE ในกรณขอมลจากการสงเกตการณมขนาดใหญ ในบทท� 7 น �น ตวประมาณคาแบบน�ท�มขอดตรงท�ไมตองการคณสมบตเชงสถตใดๆของชดขอมลท�ไดจากการสงเกตการณเลย ตวประมาณคาแบบน�มช�อวาตวประมาณคากาลงสองนอยสด(Least Squares

Estimators) หรอ LSE ซ�งเหมาะกบการสรางข�นจรงในการใชงาน

ความมงหวงท�สาคญอกประการของผเขยนกคอการไดทาหนงสอท�มสมการทางคณตศาสตรอยเปนจานวนมากเชนน� ในแนวของการบอกเลาหรอการสอนในช �นเรยน โดยหลกการน�ผอานจะสามารถเขาใจวธการไดมาซ�งคาตอบของสมการคณตศาสตรอยางเปนข �นเปนตอนจากตนจนจบโดยจะไมถกละไวใหเปนกลายเปนคาถามทายบทจนเกนความจาเปน เหตผลกมาจากประสบการณในการสอนของผเขยนวา หากเปาหมายน �นคอการสรางนกวจยท�ดแลว การสอนถงกระบวนการไดมาซ�งคาตอบอยางละเอยด กมความสาคญในการตอยอดทางความคดของผเรยนอยางมากเชนกน ผเขยนจงขอเนนใหผอาน อานตาราเลมน�อยางละเอยดแทนการใชเคร�องมออ�นใดท�จะเปนการหนเหความสนใจไปจากแกนของเน�อหา ยกเวนแตการใชคอมพวเตอรและซอฟทแวรท�จาเปนในการแกปญหาและเพ�อเสรมความเขาใจเทาน �น

อยางไรกตามหากตาราเลมน�มขอบกพรองประการใด ผเขยนขอนอมรบไวเพ�อปรบปรงแกไขในการพมพคร �งตอไป หรอหากทานผอานเหนส�งท�ควรปรบปรงเพ�อเสรมสรางความเขาใจในเน�อหามากข�นโปรดแนะนามายงผเขยนไดท�อเลกทรอนกสเมล [email protected] จะขอบพระคณเปนอยางสง

พระพล ยวภษตานนท

กรงเทพ-ธนบร, 2552

ix

กตกรรมประกาศ

ผเขยนขอขอบคณมหาวทยาลยเทคโนโลยมหานครท�สนบสนนใหบคคลากรไดมโอกาสในการแสวงหาความรใหมๆในศาสตรท�สาคญๆอยตลอดเวลา โดยเฉพาะ ศาสตราจารย ดร. สทธชย โภไคยอดม ผซ�งไดใหโอกาสในการศกษาตอแกผเขยนท 3งในระดบปรญญาโทและปรญญาเอกท�อมพเรยลคอลเลจ อนเปนการเปดโลกทรรศนและเปนส�งท�มความหมายมากท�สดอยางหน�งในชวตของผเขยน ขอขอบคณ ศาสตราจารย ดร. โจนาธอน เอ แชมเบอร (Professor Jonathon A.

Chambers) ผเปนท 3งอาจารยท�ปรกษาและเปนผช3ทางใหผเขยนไดคนพบการศกษาวชาท�นาสนใจอยางลกซ3งและนอกจากน 3นยงเปนเพ�อนท�เขาใจซ�งกนและกนอยางดท�สดคนหน�งดวย ขอขอบคณ ดร. สชาดา สทธ 7จงสถาพร เปนอยางมากท�ชวยตรวจทานความถกตองของตนฉบบดวยความละเอยดและอภปรายกนอยางเขมขน และ ขอขอบคณเพ�อนอาจารยและเจาหนาท�ทกทานในภาควชาวศวกรรมอเลกทรอนกสท�ทาใหผเขยนรสกโชคดท�ไดทางานในบรรยากาศของความเปนมตรเสมอนพ�นองและรสกเสยดายแทนผซ�งไมไดมโอกาสท�ดเชนน3เปนอยางย�ง

ขอขอบคณครอบครวท�เปนท�บมเพาะใหเช�อม �นในการทาส�งท�ดและถกตองมากกวาส�งอ�นใดและใหโอกาสในการศกษาอยางเตมท�แกผเขยน จนสามารถสาเรจการศกษาถงข 3นสงสด ขอขอบคณ คณวรรฤด วภาภรณท�มอบแตส�งท�ดท�สดและเปนกาลงใจใหผเขยนในทกๆเร�องเสมอ

ทายท�สด ผเขยนรสกซาบซ3งและขอขอบพระคณพระอาจารยหลวงพอปราโมทย ปราโมชโชแหงสวนสนตธรรมท�ไดถายทอดแนวทางธรรมะปฏบตท�ถกตองตามรอยของพระพทธเจา ท�เขาถงจตถงใจอยางลดส 3น เรยบงาย โปรงเบา และตรงไปตรงมา ซ�งเผยใหเหนความจรงของตวเราท�ถกปดบงมาอยางเน�นนาน คาถามสาคญๆเก�ยวกบชวตท�เคยคางคาใจผเขยนจงลดลงไปอยางตอเน�องดวยอตราเรวท�วชาการทางโลกอนประกอบดวยมตขอจากดของสมมตฐานและความคดความเหน ไมอาจจะมใหได

x

ตารางสญญลกษณ

สญญลกษณ ความหมาย

2( , )µ σN การกระจายตวแบบเกาสหรอแบบปกตโดยมคาเฉล�ยกลางเปน µ และคาความแปรปรวนเปน 2σ

U การกระจายตวแบบยนฟอรม ≜ การกาหนดคาใหตวแปร

⊥ การเปนออรโธโกนล Pr[ ( )]x n≤x ความนาจะเปนของการเกดเหตการณท� x ใหคานอยกวาหรอ

เทากบ ( )x n var()⋅ ความแปรปรวนของอารกวเมนท ( , )c n mxx ความแปรปรวนรวมของสญญาณx ท�ตาแหนง n กบm

x ความยาวยคลดของเวคเตอรสญญาณx

[ ](0), (1), , ( 1)T

x x x N −⋯ คอลมนเวคเตอรของสญญาณสม argmin

x

คา x ท�ทาใหอารกวเมนทมคานอยสด argmax

x

คา x ท�ทาใหอารกวเมนทมคามากสด θ คาจรงท�ตองการประมาณ 2{() }E ⋅ คาเฉล�ยกลางของคาอารกวเมนทยกกาลงสอง x คาเฉล�ยกลางของสญญาณ x

minJ คานอยสดของฟงกชนเปาหมาย

θ คาประมาณหรอตวประมาณคา 2{()}E ⋅ คายกกาลงสองของคาเฉล�ยกลางของอารกวเมนท

Z จานวนเตมใดๆ { }(0), (1), , ( 1)x x x N −⋯ เซตของสญญาณสม

det ดเทอรมแนนทของเมตรกซ

∗ ตวกระทาการประสาน {}E ⋅ ตวกระทาคาคาดหวงหรอคาคาดหวงของอารกวเมนท

γ ตวประกอบการลม ()T⋅ ทรานสโพสของเวคเตอร หรอ เมตรกซ

pS ปรภมยอยของ NR ขนาด p มต ( )p N<

NR ปรภมเลขจรงขนาดN มต

xi

( ( ))p x nx ฟงกชนความหนาแนนความนาจะเปน(pdf)ของสญญาณสม ( )x n

1 2 1 2( ( ), ( ))p x n x nx x ฟงกชนความหนาแนนความนาจะเปนรวม(joint pdf)ของสญญาณสม 1 2( ), ( )x n x n

( ( ))P x nx ฟงกชนความหนาแนนสะสม(cdf)ของสญญาณสม ( )x n สาหรบตวแปรสญญาณสม x

J ฟงกชนเปาหมาย

⊥P เมตรกซการฉายแบบออรโธโกนลของเมตรกซการฉายP

xxC เมตรกซความแปรปรวนรวมของสญญาณx ( )nΓ เมตรกซตวประกอบการลม

1−X เมตรกซผกผนของX

I เมตรกซเอกลกษณ

∼ ลกษณะของกระจายตวของสญญาณ θ เวคเตอรของคาประมาณหรอตวประมาณคา ,xx xxr R เวคเตอรและเมตรกซสหสมพนธตวเองของสญญาณx

yxr เวคเตอรสหสมพนธไขวของสญญาณy และx ( , )r n mxy สหสมพนธไขวของสญญาณx และy ท�ตาแหนง n กบm ( , )r n mxx สหสมพนธตวเองของสญญาณx ท�ตาแหนง n กบm

∀ สาหรบทกๆคาของ x อกษรตวเลกตวหนาแสดงเวคเตอรของสญญาณ

หรอ ตวแปรสญญาณสม X อกษรตวใหญตวหนาแสดงเมตรกชของสญญาณ

xii

ตารางอกษรยอ

อกษรยอ ความหมาย

AR สมการถดถอยตวเอง ARMA สมการถดถอยตวเองและคาเฉล�ยเคล�อนท� AWGN สญญาณรบกวนสขาวซ�งมการกระจายตวแบบเกาสท�บวกเพ�มเขามา BLUE ตวประมาณคาไรไบแอสเชงเสนท�ดท�สด BPSK สญญาณไบนารเฟสชฟทคยอ*ง cdf ฟงกชนความหนาแนนสะสม CDMA ระบบเขาถงหลายทางแบบแบงรหส CRLB ขอบเขตดานต�าเครเมอร-เรโอ DC Gain อตราขยายไฟตรง DC Level ระดบไฟตรง DCT การแปลงโคซายนแบบไมตอเน�อง DFT การแปลงฟรเยรแบบไมตอเน�อง DTFT การแปลงฟรเยรแบบไมตอเน�องทางเวลา EM การหาคาคาดหวงสงสด FIR ตวกรองผลตอบสนองอมพลสจากด IID เปนอสระตอกนและกระจายตวอยางเทาเทยมกน KF ตวกรองคาลมาน LMS อลกอรธมคาเฉล�ยกลางกาลงสองนอยสด LPC การเขารหสทานายคาเชงเสน LSE ตวประมาณคาแบบกาลงสองนอยสด LSI แบบไมแปรเปล�ยนตามการเล�อน MA สมการคาเฉล�ยเคล�อนท� MLE ตวประมาณคาความเปนไปไดสงสด MOE อลกอรธมพลงงานเอาทพทนอยท�สด MSE คาเฉล�ยคาผดพลาดกาลงสอง MVUE ตวประมาณคาไรไบแอสความแปรปรวนนอยสด NLMS อลกอรธมคาเฉล�ยกลางกาลงสองนอยสดแบบนอรมลไลซ pdf ฟงกชนความหนาแนนความนาจะเปน pmf ฟงกชนความหนาแนนแมส

xiii

RL Lowpass filter ตวกรองต�าผานแบบตวตานทานและตวเหน�ยวนา RLS อลกอรธมกาลงสองนอยสดแบบวนซ*า RV ตวแปรสญญาณสม SNR อตราสวนสญญาณตอสญญาณรบกวน SSS สถานะน�งเชงแคบ WGN สญญาณรบกวนเกาสแบบสขาว WSS สถานะน�งเชงกวาง

This book is dedicated to the memory of my mother.

Her sustained love still beautifully resonates in me.

สญญาณสม

1-1

1 สญญาณสม

Anyone who attempts to generate random numbers by deterministic means is,

of course, living in a state of sin

John von Neumann

ใครกตามท �คดจะสรางตวเลขสมดวยกระบวนการเชงกาหนดละก เขากาลงทาส �งอกศลอยแนๆ

จอหน ฟอน นวมาน

1.1 บทนา

โดยนยยะของการประมวลผลสญญาณน �นสญญาณ(Signal(Signal(Signal(Signalssss))))จะหมายถงขอมลหรอขาวสารท มาจากการสงเกตการณ(Observation) หรอเปนผลท ไดมาจากการวด(Measurement) ดวยเคร องมอวดใดๆ สญญาณพ�นฐานท เปนท คนเคยในการประมวลผลสญญาณดจตอล(Digital Signal Processing) มหลายรปแบบเชน สญญาณไซน(Sinusoidal Signals) สญญาณส เหล ยม (Rectangular Signals) หรอ สญญาณฟนเล อย(Saw-tooth Signals) สญญาณเหลาน�สามารถถกสรางข�นได(Synthesis)ดวยตวกาเนดสญญาณ(Signal Generator) ท มฟงกชนท กาหนดไวกอน เชน สญญาณไซน ( )s t ถกสรางจากฟงกชน ( ) sin(2 )s t ftπ= เปนตน แตลกษณะเดนของสญญาณพ�นฐานท �งหมดจะมลกษณะเชนเดยวกนท �งหมดคอมลกษณะเปนคาบ(Periodic Signals) และสรางข�นมาไดจากฟงกชนท เรยกวาฟงกชนเชงกาหนด(Deterministic Functions) เน องจากเราสามารถกาหนดใหสญญาณมคณสมบตตางๆ เชน ขนาด(Amplitude) ความถ (Frequency) และ เฟส(Phase) ไดตามตองการ ดงน �นสญญาณพ�นฐานเหลาน�จงถกเรยกวาเปนสญญาณเชงกาหนด(De(De(De(Deterministic Signalsterministic Signalsterministic Signalsterministic Signals)))) การทาการวเคราะห(Analysis) เพ อคนหาความหมายของสญญาณเชงกาหนดน �นสามารถทาไดอยางงายๆเชน การใชทฤษฎการแปลงของฟรเยร(Fourier Transform) เพ อแยกความถ ยอยท มอยในสญญาณน �นๆเปนตน

แตยงมสญญาณอกเปนจานวนมากท ไมสามารถจะถกจดในรปแบบสญญาณเชงกาหนดขางตนได เพราะเปนสญญาณท ดเหมอนจะไรรปแบบ ไมไดมความเปนคาบ และไมสามารถสรางข�นไดจากฟงกชนเชงกาหนดใดๆ และท นาประหลาดใจกคอสญญาณเหลาน�กลบเปนสญญาณจรงจานวนมากกวาสญญาณเชงกาหนดเสยอก เพราะมนคอสญญาณท เราพบเจอในชวตประจาวน เชน เสยงพดคยของผคน อณหภมของหอง หรอ สญญาณรบกวน(Noise) ตางๆ จากเคร องจกรกล เราเรยกสญญาณท มลกษณะเชนน�โดยรวมๆวาเปนสญญาณสม(Random (Random (Random (Random

Signals)Signals)Signals)Signals) และเพราะเราไมสามารถสรางสญญาณสมข�นไดจากฟงกชนเชงกาหนดใดๆเราจงจะตองอาศยการอธบายโครงสรางของสญญาณสมไดจากคณสมบตของความนาจะเปน((((ProbabilityProbabilityProbabilityProbability))))ของสญญาณสมน �น นอกจากน �นในแงของการวเคราะหสญญาณ เรากไมสามารถ


1-2

วเคราะหสญญาณสมท ซบซอนเหลาน�ไดจากตวสญญาณโดยตรงดวยทฤษฎเชงกาหนดพ�นฐานเชนการแปลงฟรเยร

ในบทน�เราจะไดเรยนรพ�นฐานของสญญาณสมและวธการวเคราะหเพ อหาความหมายของมนและเรยนรคาศพทท จาเปนเพ อเปนพ�นฐานในการทาความเขาใจเน�อหาในบทตอๆไป

สมมตวาเรามสญญาณสมแบบเวลาไมตอเน อง(D(D(D(Disciscisciscreteretereterete----Time Random STime Random STime Random STime Random Signal)ignal)ignal)ignal)โดยแตละคาน �นเปนสญญาณสม(Random Signal)เฉพาะตวตามคาของ ..., 2, 1, 0,1,2,...n = − − และถกกาหนดดวยกฎความนาจะเปน(Probability R(Probability R(Probability R(Probability Rules)ules)ules)ules) คาท �งหมดประกอบกนเปน ( )x n แสดงดงรปท 1-1

รปท 1-1 สญญาณสมแบบเวลาไมตอเน อง ( )x n

เราหาความหมายของ ( )x n ไดจากฟงกชนแบบหน งของสญญาณสมท เรยกวาตวแปรสญญาณสม(Random VRandom VRandom VRandom Variableariableariableariable)))) หรอ RVRVRVRV ซ งจะเขยนแทนดวย“x ”ยกตวอยางเชน เม อใหx เปนคาการสมท ไดก ารจากโยน เหรยญโดยใหก ารออก “หว ”เ ปน “H ”และการออก “กอย ”เ ปน “T ”

หรอ { , }x H T∈ และกาหนด ( )xx เปนตวแปรสญญาณสมท เปนฟงกชนของx โดย ( )xx ใหคาเปน“1” เม อx H= และใหคาเปน“-1” เม อx T= หรอเราอาจจะเขยนเปนสมการดงน�

1,

( )-1,

x Hx

x T

== =x (1.1)

ในเร องของการประมวลสญญาณน �นเราใชการพจารณาในแงของการเปล ยนแปลงของสญญาณเม อเวลาเปล ยนแปลงไป ในท น�สญญาณ ( )x n เปนสญญาณท เปล ยนแปลงตามเวลาและเปนชนดเวลาไมตอเน อง(Discrete-Time Signal)และกระบวนการใดๆสาหรบสญญาณสมท ถกสงเกตการณตามเวลาจะเรยกวากระบวนการสโตแคสตก((((Stochastic Stochastic Stochastic Stochastic PPPProcess)rocess)rocess)rocess) ในกรณน� ( ( ))x nx จะเปนคาของตวกาหนดคณสมบตของตวแปรสญญาณสมท เปน x สาหรบการเกดเหตการณของ ( )x n ใดๆน �นจะเขยนอยในรปของฟงกชนท เรยกวาฟงกชนความหนาแนนความนาจะเปน((((Probability Density FunctionProbability Density FunctionProbability Density FunctionProbability Density Function)))) หรอในช อยอๆวา“pdfpdfpdfpdf”โดยจะเขยนเปน ( )p xx


1-3

สาหรบ ( )x n ณ ตาแหนงของn แตละคาเชน ( (0))xx 1เปนตวแปรสญญาณสมสาหรบคาของ ( )x n เม อ 0n = เปนตน

กาหนดใหx ซ งนบเปนตวแปรสญญาณสมสาหรบคาของ ( )x n เม อ 0n = ม pdf เปน ( (0))p xx

โดยความหมายของ ( (0))p xx กคอคาความหนาแนนความนาจะเปนของตวแปรสญญาณสมxสาหรบ ( )x n เม อ 0n = และในทานองเดยวกน ( (1))p xx กคอคาความหนาแนนความนาจะเปนของตวแปรสญญาณสมx สาหรบ ( )x n เม อ 1n =

ในการพจารณาเราพบวาเราด เฉพาะ x ท n เ ปนคาหน งๆเ ชนท 0n = หรอ (0)x โดยให (0)x=x ซ งเม อทาการทดลอง(Experiments) หลายๆคร �งคาx ท ไดจะมความแตกตางกนดงแสดงในรปท 1-2 แตการกระจายตว(Distribution)(Distribution)(Distribution)(Distribution)ของตวแปรสญญาณสมx จะอยภายใตกฏท อธบายดวยความหนาแนนความนาจะเปน ( (0))p xx

รปท 1-2 แสดงผลของ ( )x n ในรปท 1-1 ท ไดจากการทดลอง(Experiments)(Experiments)(Experiments)(Experiments)หลายๆคร 4ง

บรเวณแรเงาคอสวนเฉพาะของ (0)x ในแตละการทดลอง

แตหากเราทราบวาอยางไรกตามคาของ (0)x จะไมเกน 1

2− และ 1

2 และทราบอกวาคาความ

นาจะเปน(P(P(P(Probabilityrobabilityrobabilityrobability)))) ของ (0)x หรอ Pr[ (0)]x มคาเทากนหมดตลอดยานของ (0)x เราจะแสดงกราฟ pdf ของ (0)x เปนดงรปท 1-3

1 เพ อความสะดวกในการเขยน เราอาจจะเขยนตวแปรสญญาณสม ( (0))xx เพยงยอๆวาx กไดหากมการอางองถงตว

แปรสมเพยงตวเดยวและไมทาใหเกดความสบสนใดๆในการอางอง


1-4

รปท 1-3 กราฟ pdf pdf pdf pdf ของ (0)x

ความหมายกคอ (0)x จะมคาเทาไรกไดภายใตกรอบส เหล ยมและมคาความเปนไปไดเทาๆกน สงเกตวาพ4นท ภายใตกรอบจะมคาเทากบ“1”“1”“1”“1”ซ งทาใหนาไปสการหาคณสมบตของ pdf

อน ง การกระจายตวของ pdf ของแตละคาของ (0)x ท มลกษณะเทากนตลอดยาน 1

2− และ 1

2มช อ

เรยกวาเปนการกระจายตวแบบยนฟอรม(Uniform D(Uniform D(Uniform D(Uniform Distribution)istribution)istribution)istribution)และใชสญลกษณเปน ( , )U a b

โดยพารามเตอร ,a b น �นแสดงถงขอบเขตการกระจายตว เชนในรปท 1-3 น �น (0)x มการกระจาย

ตวแบบยนฟอรมในชวง 1

2− ถง 1

2 ดงน �น pdf ในกรณน�จงเปน ( (0))p xx 1 1

( , )2 2

U= −

1.2 คณสมบตของ pdf

เราทราบกนดวาการอนทเกรท(Integration)รปเสนกราฟใดจะเทยบเทากบการหาพ�นท ภายใตรปกราฟน �น ซ งในกรณของกราฟ pdf ( (0))p xx ในรปท 1-3 ซ งมการกระจายตวแบบยนฟอรมน �น หากทาการอนทเกรทโดยมลมตท −∞จนถง∞ เราจะไดวา

1 2

1 2

( (0)) (0) 1 (0) 1p x dx dx

∞

−∞ −

= =∫ ∫x (1.2)

ซ งหมายความวาพ�นท ใตกราฟ pdf เปน 1 ตอไปลองมาดกรณสญญาณสมท มฟงกชนความหนาแนนความนาจะเปนแบบไมตอเน อง(Discrete pdf)1 กคอหาก ( )x n เปนสญญาณไบนารเฟสชฟทคยอ�ง(Binary Phase Shift Keying) หรอ BPSK ซ งกคอสญญาณสมท ใหคา“ 1− ” หรอ“1 ” ดงแสดงในรปท 1-4 เราจะได pdf ของ ( )x n เปนดงรปท 1-5 และเน องจาก pdf ของ ( )x n น �นให

คาเปน 1

2ท ท �งกรณ (0) 1x = และกรณ (0) 1x = − แสดงวา ( )x n น �นม pdf ท เขยนได

1 ในหนงสอบางเลมจะเรยก pdf ท มลกษณะเปนแบบไมตอเน อง(Discrete pdf)วาเปน ฟงกชนความหนาแนนแมสหรอ Probability Mass Function (pmf)


1-5

เปน 1( (0) 1) ( (0) 1)

2p x p x= − = = =x x และผลการอนทเกรทหรอกคอการบวกของ pdf

แบบไมตอเน องในกรณน�กจะเปน 1 ดงเชนในสมการ (1.2)

รปท 1-4 สญญาณสมแบบ Binary Phase Shift KeyingBinary Phase Shift KeyingBinary Phase Shift KeyingBinary Phase Shift Keying

รปท 1-5 pdf pdf pdf pdf ของ ( )x n

หากกาหนดวาท ทกๆคา 1,2,...n = น �น ( )x n จะถกกาหนดดวย pdf แบบเดยวกน ในกรณน�คา pdf กจะมคาเทากนหมดหรอ ( (0)) ( (1)) ( (2))p x p x p x= = = ⋅ ⋅ ⋅x x xx แตในบางคร �ง ( )x n

ท ตางคาn อาจจะใหคา pdf ท ไมเทากนกได ( (0)) ( (1)) ( (2))p x p x p x≠ ≠ ≠ ⋅ ⋅ ⋅x x x ดตวอยางท 1.1

ตวอยางท 1.1 หากมสญญาณ ( )x n เปนดงรปท 1-6 และกาหนดใหx เปนตวแปรสญญาณสมท ใหคาเทากบคาของ ( )x n


1-6

รปท 1-6 สญญาณท ประกอบดวยสญญาณสมท ม pdf pdf pdf pdf ตางๆกน

โดยกาหนดใหเฉพาะสญญาณ (0), (1), (2)x x x และ (3)x เปนสญญาณสมท เปนสญญาณแบบBPSK ดงน �นจะได pdf ของx สาหรบเฉพาะ 0, ,3n = … มคาเทากนดงแสดงในรปท 1-7

รปท 1-7 pdfpdfpdfpdf ของ (0), (1), (2)x x x และ (3)x

แตสาหรบกรณx สาหรบ (4), (5), (6),...x x x น �นม pdf ท แตกตางจากกรณ (0), , (3)x x⋯ โดยมลกษณะท เรยกวาเปน pdf แบบการกระจายตวแบบนอรมล((((Normal DistributionNormal DistributionNormal DistributionNormal Distribution)))) หรอการกระจายตวแบบเกาส(Gaussian DistributionGaussian DistributionGaussian DistributionGaussian Distribution)))) โดยเขยนเปน 2( , )x xµ σN โดย xµ น �นเรยกวาเปนคาเฉล ยกลาง((((Mean valueMean valueMean valueMean value)))) ของสญญาณx และ 2

xσ น �นเปนคาความแปรปรวน (Variance) (Variance) (Variance) (Variance) ซ งกคอคายกกาลงสองของคาเบ ยงเบนมาตรฐาน((((Standard deviationStandard deviationStandard deviationStandard deviation)))) xσ

การกระจายตวแบบเกาสของx สาหรบกรณ 2n = มสมการของฟงกชนเปน

22

1 (2)( (2)) exp

22

x

xx

xp x

µ

σπσ

− = − x (1.3)

โดย 99% ของพ�นท ใตกราฟจะอยในชวง 3x xµ σ− ถง 3x xµ σ+ และให 3.3xµ = เม อทาการจาลอง(S(S(S(Simulation)imulation)imulation)imulation) ดวย MATLAB Code “ch1_pdf_plot.m ”ใน Appendix 1.A ทาใหไดผลดงรปท 1-8


1-7

-1 0 1 2 3 4 5 6 70

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

x(2)

p x(x

(2))

รปท 1-8 รปแบบ pdf pdf pdf pdf ของx สาหรบกรณ 2n = ท มการกระจายตวแบบเกาส

กรณตอไปกคอความหมายของคาฟงกชนความหนาแนนสะสม(Cumulative Density Cumulative Density Cumulative Density Cumulative Density

FunctionFunctionFunctionFunction) หรอ cdfcdfcdfcdf1111 โดยนยามแลว cdf น �นคอความนาจะเปนของการเกดเหตการณท x ให

คานอยกวาหรอเทากบ ( )x n มสญลกษณเปน ( ( ))P x nx

( ( )) Pr[ ( )]P x n x n= ≤x x (1.4)

สงเกตวาคาของ ( ( ))P x nx มการสะสมข�นไปเร อยๆซ งกคอผลรวมของ ( ( ))p x nx นบต �งแต−∞ จนถงขณะท สญญาณมคาเปน ( )x n หรอ

( )

( ( )) ( )

x n

P x n p z dz

−∞

= ∫x x (1.5)

หากเปรยบเทยบกบสมการ (1.2) สงเกตความคลายคลงกน โดยใน (1.2) น �นเราอนทเกรท pdfโ ด ยมขอ บ เ ข ตท −∞จนถ ง∞ซ ง ห าก เ ขย น ใน ร ป ข อ ง cdf เ ร า ก จ ะ ไ ด ว า

( ) ( ) 1P p z dz

∞

−∞

∞ = =∫x x หรอ หมายความวาในสมการ (1.2) น �นเปนการคานวณคา cdf

ท ∞น นเอง

และจากความสมพนธ (1.5) น �น ทาใหเราสามารถเขยน pdf ไดในรปของ cdf ไดเปน

1 ในหนงสอบางเลมจะใชตวอกษรยอ PDF ซ งมาจากคาวา Probability Distribution Function สาหรบความหมายของ

ฟงกชนความหนาแนนสะสม แตในหนงสอเลมน�จะใชตวอกษรยอ cdf แทนอกษรยอ PDFเพ อความไมสบสนกบอกษรยอ pdf ซ งเปนฟงกชนความหนาแนนความนาจะเปน


1-8

( ( ))

( (2))( )

P x np x

x n

∂=

∂x

x (1.6)

ตวอยางกรณ pdf ของสญญาณ (2)x ท เปนแบบเกาสน �นม cdf เปนดงแสดงในรปท 1-9

-1 0 1 2 3 4 5 6 70

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

x(2)

P x

(x(2

))

รปท 1-9 cdf cdf cdf cdf ของ (2)x

โดยรปท 1-9 ไดจากการจาลอง(Simulation) ดวย MATLAB code "ch1_cdf_plot.m " ดงแสดงใน Appendix 1.A ทดลองโดยทาการหา pdf ผานทางการพลอตฮสโตแกรม(histogram) และ cdf ของการโยนเหรยญและการโยนลกเตาดวย MATLAB โดยเรากาหนดตวแปรสญญาณสมสาหรบการโยนเหรยญเปนดงในสมการท (1.1) คอ ( ) 1x =x เม อ x ออกหวและ ( ) 1x = −x

เม อx ออกกอย สวนกรณการทอดลกเตาน �นจะมตวแปรสญญาณสมเปน

( ) , 1,...,6x x x= =x (1.7)

จากการใช MATLAB Code “ch1_uniform_plots.m ” ใน Appendix 1.A ในการจาลองผล ซ งไดแสดงผลไวในรปท 1-10 โดยในท �งสองการทดลองน �น คา pdf ของแตละกรณจะเทากนเม อจานวนคร �งการทดลองมมากพอ


1-9

-1.5 -1 -0.5 0 0.5 1 1.50

2

4

6

x 104

xa)

p x(x

)

Histogram

0 2 4 60

1

2

x 104

xc)

p x(x

)

Histogram

-1 -0.5 0 0.5 10

0.5

1

xb)

P x

(x)

Empirical CDF

1 2 3 4 5 60

0.5

1

xd)

P x

(x)

Empirical CDF

รปท 1-10 แสดง pdf pdf pdf pdf และ cdf cdf cdf cdf จากจาลองการโยนเหรยญ(Coin flipping) (Coin flipping) (Coin flipping) (Coin flipping) และการโยนลกเตา (Dice rolling) a) pdf (Dice rolling) a) pdf (Dice rolling) a) pdf (Dice rolling) a) pdf ของการโยนเหรยญ b) cdf b) cdf b) cdf b) cdf ของการโยนเหรยญ c) pdf c) pdf c) pdf c) pdf ของ

การโยนลกเตา b) cdf b) cdf b) cdf b) cdf ของการโยนลกเตา

โดยท วไปแลวคา pdf ของสญญาณ ( )x n ท n ตางคากนน �นไมจาเปนตองเหมอนกนจงเปนท นาสนใจวา“ฟงกชนความหนาแนนความนาจะเปนรวม”หรอคา“pdf รวม”หรอ joint pdf ของ ( )x n

ต �งแต 2 คาน �นนาจะเปนเทาใด

ตวอยางเชน (1)x และ (2)x ซ งเปนตวแปรสญญาณสมของสญญาณสมแบบไบนารจะมคา pdf

รวมเปน1 2( (1), (2))p x xx x และจาก pdf 1

( (1)) ( (2))2

p x p x= =x x ดงแสดงในรปท 1-11 และ

ไดวา1 2( (1), (2))p x xx x เปนดงรปท 1-12

รปท 1-11 pdf pdf pdf pdf ของ (1), (2)x x


1-10

รปท 1-12 แสดง pdf pdf pdf pdf รวมของตวแปรสญญาณสม (1)x และ (2)x

ซ งทาใหเราเขยนความสมพนธในรป joint cdf ไดเปน

1 2 1 2( (1), (2)) ( (1), (2)) (1) (2) 1P x x p x x dx dx

∞ ∞

−∞−∞

= =∫ ∫x x x x (1.8)

และเขยน pdf รวม ในรปของ joint cdf ไดเปน

1 2

1 2

2 ( (1), (2))( (1), (2))

(1) (2)

P x xp x x

x x

∂=

∂ ∂x x

x x (1.9)

น นทาใหเราสามารถขยายความตอไปไดวาหากเปนกรณของการหาการกระจายตวของตวแปรสญญาณสมหลายๆคาหรอ K-th order multivariate distribution เราจะไดวาการกระจายตวแบบหลายๆตวแปรจะไดเปน

1 2 1 2( (1), (2) , , ( )) Pr[ (1), (2), , ( )]K KP x x x K x x x K= ≤ ≤ ≤x x x x x x… ⋯ ⋯ (1.10)

และได pdf รวมเปน

1 2

1 2

......

( (1), (2), , ( ))( (1), (2) , , ( ))

(1) (2) ( )K

K

KP x x x Kp x x x K

x x x K

∂=

∂ ∂ ∂x x x

x x x

⋯⋯

⋯ (1.11)


1-11

1.3 คาเฉล ยทางเวลาและคาเฉล ยอองซามเบ4ล(Time Average and Ensemble Average)

ท ผานมาเราพจารณาสญญาณสม ( )x n ท n เปนคาแตกตางกนคอในกรณท เรามตวแปรสญญาณสม 1( )x n ท ตองการหาคาเฉล ยทางเวลา(Time Average)(Time Average)(Time Average)(Time Average) สาหรบ 1( ), 0,..., 1x n n K= − เรา

กสามารถทาไดดวยการหาผลรวมคาท �งหมดจานวนK คาน �นแลวหารดวยK ดงในรปท 1-13

รปท 1-13 การหาคาเฉล ยทางเวลาของตวแปรสญญาณสม 1( )x n

ซ งทาใหไดสมการคาเฉล ยทางเวลาของตวแปรสญญาณสม 1( )x n เปน

[ ]1 1 1

1

1Time Average of ( ) (0) (1) , , ( 1)

( )

x n x x x KK

x n

= + + −

=

⋯ (1.12)

ซ ง 1( )x n กคอคาเฉล ยทางเวลา(Time average) หรออกช อหน งวาคาเฉล ยแซมเป4 ล(Sample (Sample (Sample (Sample

mean)mean)mean)mean) ของสญญาณ 1( )x n

แตในตอนน�เรามาพจารณากรณท n เปนคาเดยวกนแตตางกนตรงคาของ i เม อ ( ), ,ix n i n ∈ ℤ

น นกคอหากสญญาณไมไดมเพยง 1( )x n คาเดยวแตประกอบดวย 1 2 3( ), ( ), ( ),...x n x n x n ท ไดมาจากการทดลองแตละคร �งซ ง ( )ix n ดงกลาวทาหนาท ประกอบกนและเรยกวาอองซามเบ4ล(Ensemble(Ensemble(Ensemble(Ensemblessss)))) และคาเฉล ยของอองซามเบ�ลหลายๆอองซามเบ�ลน �นเรยกวาคาเฉล ยอองซามเบ4ล(Ensemble AverageEnsemble AverageEnsemble AverageEnsemble Average)


1-12

รปท 1-14 อองซามเบ4ล(Ensembles) (Ensembles) (Ensembles) (Ensembles) ของสญญาณ ( )x n และตาแหนงการหาคาเฉล ยอองซามเบ4ล ณ เวลา 1n =

หากเราใหคาความนาจะเปนของทกๆอองซามเบ�ลท ตาแหนง 1n = หรอ (1), {1,..., }ix i N∀ ∈ มคาเทากนกจะไดวา

1Pr[ (1)] ( (1)) , {1,..., }i ix p x i N

N= = ∀ ∈x (1.13)

คาถามท นาสนใจของเราตอนน�กคอวาคาเฉล ยอองซามเบ�ลของ ( (1))p xx น �นจะเปนเทาใด เราคานวณคาเฉล ยอองซามเบ�ลไดจากผลรวมของผลคณของคา (1)ix กบ ( (1))ip xx โดย

1,...,i N=

1 1 2 2Ensemble Average of ( (1)) (1) ( (1)) (1) ( (1))

(1) ( (1))N N

p x x p x x p x

x p x

= + +

+

x x x

x

⋯(1.14)

ในกรณพเศษกคอ หากตวแปรสญญาณสมใดมคาเฉล ยทางเวลาเทากบคาเฉล ยอองซามเบ�ล เราเรยกตวแปรสญญาณสมน �นวามความเปนเออรโกดกในคาเฉล ยกลาง((((ErgodicErgodicErgodicErgodic in the Mean) in the Mean) in the Mean) in the Mean)

ซ งคณสมบตเออรโกดกน�มความสาคญมากเพราะแปลวาหากเราหาคาเฉล ยทางเวลาดวยจานวนแซมเป�ลท มากพอ เรากจะสามารถหาคาเฉล ยอองซามเบ�ลไดโดยไมตองมการคานวณจากหลายๆอองซามเบ�ลหรอประหยดเวลาในการทาการทดลองลง


1-13

1.4 คาเฉล ยกลาง (Mean Value)

คาเฉล ยอองซามเบ�ลของสญญาณน �นมอกช อหน งเรยกวาคาเฉล ยกลาง(MeanMeanMeanMean Value)Value)Value)Value) ซ งเปนผลมาจากการใชตวกระทาคาคาดหวง(Expectation operatorExpectation operatorExpectation operatorExpectation operator)))) กบตวแปรสมใดๆ โดยมสญลกษณเปน {}E ⋅ และจะเขยนคาเฉล ยกลางสาหรบสญญาณ ( )x n ไดเปน

{ ( )}E x nµ = (1.15)

คาเฉล ยกลางหรอคาเฉล ยอองซามเบ�ลของสญญาณน �นคานวณไดจาก

{ ( )} ( ) ( ( )) ( ) (Continuous RV)

{ ( )} ( ) ( ( )) (Discrete RV)i i

i

E x n x n p x n dx n

E x n x n p x n

∞

−∞

=

=

∫

∑

x

x

(1.16)

หรอกคอคาเฉล ยอองซามเบ�ลใน (1.14) ในกรณท ความนาจะเปนของแตละ ( )ix n ไมเทากน ซ งหมายความวาคา pdf ซ งเปนฟงกชนของความเปนไปไดของ ( )ix n น �นกไมเทากนดวยซ งจะสงผลใหคาเฉล ยกลางของแตละสญญาณ ( )ix n ไมเทากนเชน ( ) ( )m nµ µ≠ เม อm n≠

แตในกรณท ความนาจะเปนหรอ pdf ของแตละ ( )ix n เทากนและสญญาณเปนเออรโกดกเราสามารถใชการคานวณคาเฉล ยกลางแบบการหาคาเฉล ยทางเวลา (Time average) ไดโดยท

1

1lim ( )

N

Nn

x nN

µ→∞ =

= ∑ (1.17)

1.5 คณสมบตของตวกระทาคาคาดหวง

คณสมบตของตวกระทาคาคาดหวงมดงน�

1. ตวกระทาคาคาดหวงน �นเปนตวกระทาท คงความเปนเชงเสน(LinearityLinearityLinearityLinearity) ไวไดน นคอ

{ ( ) ( )} { ( )} { ( )}E ax n by n aE x n bE y n+ = + (1.18)

2.โ ด ย ท ว ไ ป { ( ) ( )}E x n y n { ( )} { ( )}E x n E y n≠ ย ก เ ว น เ ม อ ( )x n น � น เ ป น อ ส ร ะ ((((IndependentIndependentIndependentIndependent))))

1 กบ ( )y n

3. ถา ( ) ( ( ))y n g x n= โดยฟงกชน ()g ⋅ เปนฟงกชนเชงเสนแลวและpdfของ ( )x n เปน ( ( ))p x nx

เราสามารถคานวณคา { ( )}E y n ไดจาก 1 ดรายละเอยดในหวขอ 1.10 ความเปนอสระตอกน(Independence) ของตวแปรสญญาณสม


1-14

{ ( )} ( ( )) ( ( )) ( )E y n g x n p x n dx n

∞

−∞

= ∫ x (1.19)

แตในกรณฟงกชน ()g ⋅ ไมเปนฟงกชนเชงเสน ตวอยางเชนหากมมอดเลเตอร(Modulator) ดงแสดงในรปท 1-15 มอดเลเตอรน�มความไมเปนเชงเสนอนเน องมาจากฟงกชนยกกาลงสอง 2( ) ( )y n x n=

รปท 1-15 มอดเลเตอรท มความไมเปนเชงเสน

รปท 1-16 pdf pdf pdf pdf ของสญญาณ ( )x n และ ( )y n ของมอดเลเตอร

คาเฉล ยกลางของ ( )y n คอ 2{ ( )} { ( )}E y n E x n= ซ งในรปท 1-16 แสดง pdf ของ ( )x n

และ ( )y n คอ ( ( ))p x nx และ ( ( ))p y nx ตามลาดบ สง เกตความสมพนธท ไม เ ปนเชง เสนของ ( ( ))p x nx และ ( ( ))p y nx แตกระน �นกตามการคานวณ { ( )}E y n กจะยงคงใช ( ( ))p x nx ดงแสดงในสมการ (1.19)

เราเรยก 2{ ( )}E x n วาคาเฉล ยกลางของคายกกาลงสอง(Mean Squared)และเรยก 2{ ( )}E x n วาคายกกาลงสองของคาเฉล ยกลาง(Square of the mean)


1-15

1.6 สหสมพนธ (Correlation)

สหสมพนธ(CorrelationCorrelationCorrelationCorrelation) เปนส งบอกถงความเหมอนกนหรอความคลายคลงกนระหวางตวแปรสญญาณสม ตวอยางเชนการหาคาสหสมพนธของ 1(1)x และ 1(4)x

รปท 1-17 คา 1( )x n ท เวลาn ตางกน

เราจะเขยนคาสหสมพนธน�เปน 1 1(1,4) { (1) (4)}r E x x=xx ซ งหมายความวาเรากาลงหาความคลายคลงของ 1(1)x และ 1(4)x หรอเขยนความสมพนธดงกลาวในรปท วไปไดวาเปน

1 1( , ) { ( ) ( )}r n m E x n x m=xx (1.20)

ซ งเขยนอธบายไดเปน

1 11 1 1 1 1 1( , ) ( ) ( ) ( ( ), ( )) ( ) ( )r n m x n x m p x n x m dx n x m

∞ ∞

−∞−∞

= ∫ ∫xx x x (1.21)

และเน องจากคาสหสมพนธ ( , )r n mxx น� เปนการหาความสมพนธระหวางสญญาณ ( )ix n

กบ ( )ix m แตท �งคกเปน ix ดวยกนเองดงน �นเราจงเรยก ( , )r n mxx วาเปนคาสหสมพนธตวเอง (Auto(Auto(Auto(Auto----Correlation)Correlation)Correlation)Correlation) ของ ix

1

1( , ) lim ( ) ( )

N

i iN

i

r n m x n x mN→∞ =

= ∑xx (1.22)

ในขณะท n m= เราไดวา

2( , ) ( , ) { ( )}r n m r n n E x n= =xx xx (1.23)

หรอกคอการหาคาพลงงาน(Energy)หรอคาเฉล ยของกาลงงาน(Average Power)ของสญญาณ ( )x n และหากเราหาสหสมพนธของตางตวแปรสม เชน สหสมพนธของ 1( )x n และ 1( )y m จาก

1 1( , ) { ( ) ( )}r n m E x n y m=xy (1.24)

เราจะเรยกคาสหสมพนธน�วาเปนสหสมพนธไขว(Cross(Cross(Cross(Cross----correlation)correlation)correlation)correlation)


1-16

1.7 ความแปรปรวนรวม (Covariance)

จากการหาสหสมพนธของสญญาณในสมการท (1.20) น �น นามาสเร องของความสมพนธระหวางตวแปรสญญาณสมอกแบบหน งท มช อวาความแปรปรวนรวม ((((CovarianceCovarianceCovarianceCovariance)))) โดยความแปรปรวนรวมของ ( )x n และ ( )x m ซ งเขยนแทนดวย ( , )c n mxx น �นหาไดจาก ( , ) {[ ( ) ( )][ ( ) ( )]}c n m E x n n x m mµ µ= − −xx (1.25)

โดยท ( )nµ และ ( )mµ เปนคาเฉล ยกลางของ ( )x n และ ( )x m ตามลาดบ(ดการพสจนใน Proof 1.A) แตหาก ( ) ( ) 0n mµ µ= = เราจะไดวา

Covariance Autocorrelation

( , ) ( , )c n m r n m=xx xx�� (1.26)

หรอความแปรปรวนรวมจะมคาเทากบคาสหสมพนธตวเองเม อคาเฉล ยกลางเปนศนย

และหากn m= จะไดวา

[ ]2

2

( , ) { ( ) ( ) }

x

c n n E x n nµ

σ

= −

=

xx (1.27)

สญลกษณ 2xσ จะมช อเรยกวาความแปรปรวน(Variance)(Variance)(Variance)(Variance) ของ ( )x n หรอจะกลาวไดวาหาก

พจารณาตาแหนงเวลาn เดยวกน ความแปรปรวนรวม ( , )c n nxx มคาเทากบความแปรปรวน 2xσ

ซ งสามารถคานวณไดจาก

[ ]22

2 2

2 2 2

2 2

( ) ( ) ( ( ) ( )

( ) ( ( )) ( ) 2 ( ) ( ) ( ( )) ( ) ( ) ( ( )) ( )

{ ( )} 2 { ( )} { ( )}

{ ( )} { ( )}

x x n n p x n dx n

x n p x n dx n x n n p x n dx n n p x n dx n

E x n E x n E x n

E x n E x n

σ µ

µ µ

∞

−∞∞ ∞ ∞

−∞ −∞ −∞

= −

= − +

= − +

= −

∫

∫ ∫ ∫

x

x x x

ในกรณท ( )x n เปนกระบวนการแบบเกาส(Gaussian Process) เราจะไดวา 2 1xσ =

1.8 เมตรกซสหสมพนธตวเองและเมตรกซความแปรปรวนรวม (Auto-Correlation and Covariance Matrices)

เราสามารถจดคาสหสมพนธตวเองใหอยในรปของเมตรกซไดเปนเมตรกซสหสมพนธตวเอง ((((AutoAutoAutoAuto----CorrelationCorrelationCorrelationCorrelation Matrix)Matrix)Matrix)Matrix) xxR


1-17

(0, 0) (0,1) (0, 1)

(1,0) (1,1) (1, 1)

( 1,0) ( 1,1) ( 1, 1)

r r r N

r r r N

r N r N r N N

− −

= − − − −

xx xx xx

xx xx xx

xx

xx xx xx

R

⋯

⋮ ⋱ ⋮

⋯

(1.28)

และในทานองเดยวกน ความแปรปรวนรวมกสามารถจดอยในรปเมตรกซความแปรปรวนรวม(Covariance Matrix)(Covariance Matrix)(Covariance Matrix)(Covariance Matrix) xxC

(0,0) (0,1) (0, 1)

(1,0) (1,1) (1, 1)

( 1,0) ( 1,1) ( 1, 1)

c c c N

c c c N

c N c N c N N

− −

= − − − −

xx xx xx

xx xx xx

xx

xx xx xx

C

⋯

⋮ ⋱ ⋮

⋯

(1.29)

1.9 ความไมมสหสมพนธ (Uncorrelatedness)

จากความหมายของความแปรปรวนรวมของตวแปรสญญาณสมซ งเขยนแทนดวย ( , )c n mxx น �น แสดงวาหาก ( , )c n mxx เปน 0

( , ) 0c m n =xx (1.30)

เรากลาววาตวแปรสญญาณสมท �งสองคาน �น“ไมมสหสมพนธซ งกนและกน”

เราไดวา { ( ) ( )} ( ) ( ) 0E x m x n n mµ µ− = หรอ

{ ( ) ( )} ( ) ( )

{ ( )} { ( )}

E x m x n n m

E x m E x n

µ µ=

= (1.31)

1.10 ความเปนอสระตอกน (Independence)

ความเปนอสระตอกน(Independence)ของสญญาณสมสองสญญาณเปนคาท ใชแสดงวาสญญาณน �นไมมความเก ยวของใดๆตอกน คอเปรยบเสมอนวาการเกดข4นหรอมอยของสญญาณใดไมมผลกระทบใดๆตออกสญญาณหน ง โดยเรากลาววาสญญาณสม 1( )x n และ 2( )x n น �นเปนอสระตอกน (Independent) กตอเม อคา pdf รวมของตวแปรสญญาณสมท �งสองตวมคาเทากบผลคณของ pdf ของตวแปรสญญาณสมแตละตว

1 2 1 21 2 1 2( ( ), ( )) ( ( )) ( ( ))p x n x n p x n p x n=x x x x (1.32)


1-18

การเกดความเปนอสระตอกนสามารถเกดข�นกบกรณท สญญาณ 1( )x n และ 2( )x n เปนสญญาณเชงเวลา(Time Series) เดยวกนได เชน 1( ) ( )x n x n= และ 2( ) ( )x n x m= หรอ

( ( ), ( )) ( ( )) ( ( ))p x n x m p x n p x m=x x x (1.33)

สงเกตจาก (1.30) วาการท เราใช pdf เปนตวแสดงความหมายของความเปนอสระตอกนน �นอาจจะทาใหยงยากในทางปฏบตเพราะเราอาจจะคานวณ pdf ของตวแปรสญญาณสมน �นไดยาก

แตหากพจารณาจากความหมายของความไมมสหสมพนธน �น เราจะไดวา { ( ) ( )} { ( )} { ( )}E x n x m E x n E x m= (1.34)

จากกรณของความแปรปรวนรวม หาก ( )x n เปนอสระกบ ( )x m แลวจะไดวา

( , ) { ( ) ( )} ( ) ( )

{ ( )} { ( )} ( ) ( )

0

c n m E x n x m n m

E x n E x m n m

µ µ

µ µ

= −

= −

=

xx

(1.35)

หรอในอกหน งความหมายกคอวาหากสองสญญาณเปนอสระตอกนแลวสองสญญาณน4นจะไมมสหสมพนธซ งกนและกนดวย แตในทางกลบกนจะไมเปนจรงกคอสญญาณท ไมมสหสมพนธกนอาจจะไมจาเปนตองเปนอสระตอกนกได

1.11 ความเปนออรโธโกนล (Orthogonality)

เง อนไขการเปนออรโธโกนล(Orthogonal) กนของสญญาณสม ( )x m และ ( )x n กคอ

{ ( ) ( )} 0E x m x n = (1.36)

จากความหมายของความไมมสหสมพนธกน(Uncorrelatedness) เราไดวาหาก ( )x n น �นไมมสหสมพนธกบ ( )x m จะได { ( ) ( )} ( ) ( ) 0E x m x n n mµ µ− = ซ งหาก ( ) ( ) 0n mµ µ= = เราจะไดวา { ( ) ( )} 0E x m x n = และ ( )x n กบ ( )x m จะเปนออรโธโกนลกน หรอพดอกแบบกคอวา หากสองสญญาณสมท มคาเฉล ยกลางเปนศนยและไมมสหสมพนธกนจะถอวาสญญาณท �งสองเปนออรโธโกนลกน

ดงน �นสาหรบสญญาณสม ( )x n และ ( )x m แลว สรปเง อนไขของความเปนอสระตอกน ความไมมสหสมพนธและความเปนออรโธโกนลเปนดงน�คอ

ความเปนอสระตอกน: ( ( ), ( )) ( ( )) ( ( ))p x n x m p x n p x m=x x x (1.37)

ความไมมสหสมพนธ:::: { ( ) ( )} { ( )} { ( )}E x n x m E x n E x m= (1.38)


1-19

ความเปนออรโธโกนล: { ( ) ( )} 0E x m x n = (1.39)

1.12 สถานะน ง (Stationarity)

สถานะน ง(Stationarity)จะหมายถงการท pdf รวมของตวแปรสมไมมการเปล ยนแปลงตามเวลา หรอกคอการท ( ( ))p x nx มคาเทากนสาหรบทกๆคาของn

1 0 2 0 0 1 2( ( ), ( ), , ( )) ( ( ), ( ), , ( ))k kp x n n x n n x n n p x n x n x n+ + + =x x⋯ ⋯ (1.40)

ดงน �นปรมาณท อาศยคา pdf ในการคานวณ เชน คาเฉล ยกลางหรอความแปรปรวนจะยงคงเดมหากสญญาณน �นมสถานะน ง คาวาสถานะน งน�มช อเตมๆกคอท มสถานะน งเชงแคบ(Strictly(Strictly(Strictly(Strictly----

Sense StationarSense StationarSense StationarSense Stationarityityityity)))) หรอ SSSSSSSSSSSS ซ งเปนเพราะอาศยการอธบายดวย pdf แตโดยท วไปแลวการท จดสญญาณใดสญญาณหน งใหเปนสถานะน งเชงแคบน �นหาไดยากอยางย ง ดงน �นในทางปฏบตจงมการลดขอกาหนดของความเปนสถานะน งของสญญาณลงเหลอเพยงการพจารณาเฉพาะคาเฉล ยกลางและความแปรปรวนของสญญาณเทาน �นซ งนบเปนโมเมนทอนดบท หน งและสอง(1st and 2nd Moments) ตามลาดบ และเราจะใหช อใหมท ใชการพจารณาสญญาณหน งเฉพาะคาเฉล ยกลางและความแปรปรวนวาเปนการพจารณาสถานะน งเชงกวาง (Wide(Wide(Wide(Wide----Sense Sense Sense Sense

StationarityStationarityStationarityStationarity))))หรอ WSSWSSWSSWSS โดยเราจะกลาววาสญญาณใดๆท เปน WSS จะมคณสมบตดงตอไปน�

1.คาเฉล ยกลางของตวแปรสมน �นไมข�นกบตาแหนงเวลา ดลกษณะกรณน�ดงรปท 1-18 1 2{ ( )} { ( )}E x n E x n µ= = (1.41)

รปท 1-18 สญญาณสมท มคาเฉล ยกลางเทากบµ


1-20

2. คาสหสมพนธตวเองไมข4นกบตาแหนงเวลาแตจะข4นกบระยะหางของสญญาณเทาน �นความหมายดงกลาวอธบายดงตอไปน�

รปท 1-19 ตาแหนงเวลาและระยะหางของคาสหสมพนธตวเอง

เม อแบงการหาคาสหสมพนธตวเองเปนสองกรณเปนดงน�

( , ) { ( ) ( )}r n n m E x n x n m+ = +xx (1.42)

และ 1 1 1 1( , ) { ( ) ( )}r n n m E x n x n m+ = +xx (1.43)

ในกรณของ WSS เราจะไดวา 1 1( , ) ( , )r n n m r n n m+ = +xx xx และเพราะเหตวาสญญาณWSS มสหสมพนธตวเองท ไมข�นกบตาแหนงเวลาn ใดๆทาใหเราไดวา

1 1( ) { ( ) ( )} { ( ) ( )}r m E x n x n m E x n x n m= + = +xx (1.44)

หรอ ( )r mxx แทน ( , )r n n m+xx ตวอยางเชน

(0, 0) (0)

(0,1) (1)

(2, 0) (2)

(3,1) (2)

r r

r r

r r

r r

→

→

→

→

xx xx

xx xx

xx xx

xx xx

ซ งแสดงถงการท สหสมพนธตวเองไมข�นกบเวลาท แทจรงของสญญาณของสญญาณท �งสองแตข�นกบความแตกตางทางเวลาหรอระยะหางระหวางสองสญญาณน �น

1.13 คณสมบตของคาสหสมพนธตวเอง

1.13.1 ความเปนสมมาตรกบแกนเวลา ( ) ( )r m r m− =


1-21

ความหมายกคอหากคานวณคาสหสมพนธตวเองของสญญาณใดกจะไดสญญาณท มความสมมาตรกบแกนเวลาหรอ ( ) ( )r m r m− = ดงแสดงในรปท 1-20

รปท 1-20 สหสมพนธตวเองเปนฟงกชนท สมมาตร

เราเทยบคาของ (0)rxx วาเปนคากาลง(Power)ของสญญาณ ( )x n เพราะ 2(0) { ( )}r E x n=xx

และ ( ) { ( ) ( )}r m E x n x n m= +xx ซ งเปนการคานวณความแตกตางดานเวลาของm ดงน �นไมวาจะเปน m+ หรอ m− คา ( )r mxx กจะเทากนหรอ

( ) ( )r m r m= −xx xx (1.45)

1.13.2 สหสมพนธตวเองท เวลาเปนศนย มคามากกวาหรอเทากบท เวลาเปนคาอ นๆ (0) ( )r r m≥xx xx

Proof:

เน องจากคายกกาลงสองของปรมาณใดๆจะมคามากกวาหรอเทากบศนยเสมอทาใหเราเขยนสมการขางลางน�ได

( )2{ ( ) ( ) } 0,E x n x n mλ λ− + ≥ ∀ (1.46)

จะเหนวาไมวาλ จะเปนคาใดๆกแลวแต สมการ(1.46)จะเปนจรงเสมอ

หากขยายความตอจะได

2 2 2

2

{ ( )} 2 { ( ) ( )} { ( )} 0,

(0) 2 ( ) (0) 0,

E x n E x n x n m E x n m

r r m r

λ λ λ

λ λ λ

− + + + ≥ ∀

− + ≥ ∀xx xx xx

(1.47)

เม อเทยบเคยงกบสมการควอดราตก(Quadratic equation)สาหรบตวแปรλ ซ งเขยนอยในรป 2a b cλ λ+ + จะไดวาในกรณท “ราก(R(R(R(Rootsootsootsoots)”ของสมการแตกตางกน เชน เปนรากเชงซอน

(Complex roots) รากเลขจรง(Real roots) หรอ รากเลขจรงซ�าคา(Repeated real roots) ลกษณะของกราฟสมการ 2a b cλ λ+ + กจะแตกตางกนดงรปท 1-21


1-22

รปท 1-21 แสดงกรณท รากสมการเปนแบบตางๆ

จากรปท 1-21 จะเหนไดชดเจนวาหากตองการให 2a b cλ λ+ + มากกวาหรอเทากบศนย รากของสมการจะตองเปนรากเชงซอน(Complex roots) หรอ รากเลขจรงซ�าคา(Repeated real roots) เทาน �น และเราจะใชพจน 2 4b ac− เพ อตรวจสอบรากของสมการ และ 2 4b ac− น �นจะถกเรยกวาเปนดสครมแนนท(D(D(D(Discriminant)iscriminant)iscriminant)iscriminant) เพราะพจนท เปนดสครมแนนทจะทาหนาท บงบอกลกษณะรากของสมการโพลโนเมยล(Polynomial)

โดยกรณท รากของสมการเปนรากเชงซอนหรอรากเลขจรงซ�าคา เราจะไดวา 2 4b ac− จะตองนอยกวาหรอเทากบ 0 หรอเขยนไดวา

[ ] [ ]

[ ] [ ]

2

2 2

2 2

4 0

2 ( ) 4 (0) 0

( ) (0)

b ac

r m r

r m r

− ≤

− ≤

≤

xx xx

xx xx

△

1.13.3 เมตรกซสหสมพนธตวเองเปนโทปลทซ(Toeplitz)

สาหรบสญญาณ [ (0) (1) (2) ( 1)]Tx x x x L= −x ⋯ ท เปน WSS เราจะไดสหสมพนธตวเอง

เมตรกซของx เปน


1-23

{ }

(0) (1) ( 1)

(1) (0) ( 2)

( 1) ( 2) (0)

TE

r r r L

r r r L

r L r L r

=

− −

= − −

xx

xx xx xx

xx xx xx

xx xx xx

R xx

⋯

⋮ ⋱ ⋮

⋯

(1.48)

โครงสรางของเมตรกซท เปนดงน�จะเรยกวาเปนแบบโทปลทซ(Toeplitz)หรอเปนเมตรกซท คณสมบตของมนสามารถอธบายอยางครอบคลมไดดวยองคประกอบเพยงแถวแรก(หรอคอลมนแรก)เทาน �น

1.13.4 เมตรกซสหสมพนธตวเองเปนเมตรกซแบบจากดก งบวก(Positive Semi-Definite Matrix)

ความหมายของเมตรกซท เปนแบบจากดก งบวก(Positive Semi-Definite Matrix)สามารถอธบายไดดงน�คอ หากมเวคเตอรa ใดๆท ไมใชเวคเตอรศนย(Zero V(Zero V(Zero V(Zero Vector)ector)ector)ector) ถกนามาหาคาผลคณภายใน(Inner Product)กบผลคณเมตรกซR และเวคเตอรa ใดๆแลวใหคามากกวาหรอเทากบศนย เราจะเรยกเมตรกซR น �นวาเปนเมตรกซท เปนแบบจากดก งบวก หรอ

0T ≥a Ra (1.49)

เรากลาววาเมตรกซสหสมพนธตวเองของ ( )x n หรอ { }TE=xxR xx เปนเมตรกซท เปนแบบจากดก งบวก Proof:

การพสจนจะเร มจากใหa เปนคอลมนเวคเตอร(Column vector) ขนาด 1L× ดงน �นผลลพธของ Ta Raจะเปนสเกลาร (scalar) หรอมขนาดเปน1 1× และจากน �นจะทาการพสจนวาผลลพธท เปนสเกลารน�มคามากกวาหรอเทากบศนย

เราจะใชการพสจนดวยระบบท ใชงานจรง โดยจากรปท 1-22 เปนระบบตวกรองผลตอบสนองอมพลสจากด(Finite Impulse ResponseFinite Impulse ResponseFinite Impulse ResponseFinite Impulse Response)แบบไมแปรเปล ยนตามการเล อน(Linear Shift

Invariant) หรอ LSILSILSILSI ท มอนพทเปนสญญาณ WSS ( )x n

รปท 1-22 ระบบท เปนตวกรองผลตอบสนองอมพลสจากด(FIR) (FIR) (FIR) (FIR)


1-24

เราไดความสมพนธระหวางอนพท ( )x n และเอาทพท ( )y n ของระบบเปนผลของการประสาน (Convolution)

1

0

( ) ( )L

k

k

T

y n a x n k

−

== −

=

∑a x

(1.50)

เม อกาหนดให 0 1 2 1

T

La a a a − = a ⋯ เปนเวคเตอรของคาสมประสทธ M(Coefficients Vector)

ขนาด 1L× ขอ งตวก รอ งและ ( ) ( 1) ( 1)T

x n x n x n L = − − + x ⋯ เ ป น เ วค เตอ ร

ขนาด 1L× ของสญญาณอนพท ( )x n และ Ta x เปนผลคณภายในของa และx

จากน �นเราทราบวาคาสหสมพนธตวเองของx สามารถเขยนในรปเมตรกซสหสมพนธตวเองไดจาก

2

2

2

( ) ( ) ( 1) ( ) ( 1)

( 1) ( ) ( 1) ( 1) ( 1){ }

( 1) ( ) ( 1) ( 1) ( 1)

T

x n x n x n x n x n L

x n x n x n x n x n LE E

x n L x n x n L x n x n L

− − + − − − − + = − + − + − − +

xx

⋯

⋮ ⋱ ⋮

⋯

(0) (1) ( 1)

(1) (0) ( 2)

( 1) ( 2) (0)

r r r L

r r r L

r L r L r

− −

= − −

=

xx xx xx

xx xx xx

xx xx xx

xxR

⋯

⋮ ⋱ ⋮

⋯

(1.51)

ซ งทาใหเรานา(1.51)มาใชในข �นตอนการพสจนข �นสดทายดงน�คอ เน องจากเราทราบวาคากาลง(Power) ของเอาทพท ( )y n จะมากกวาหรอเทากบศนยดงน �น

2{ ( )} 0

{ ( ) ( )} 0

{ ( ) } 0

{ } 0

{ } 0

0

T

T T T

T T

T T

T

E y n

E y n y n

E

E

E

≥

≥

≥

≥

≥

≥xx

a x a x

a xx a

a xx a

a R a

(1.52)

△


1-25

1.14 การใชงานสหสมพนธตวเองและสหสมพนธไขว (Applications of Auto-correlation and Cross-correlation)

คาสหสมพนธของตวแปรสมไดถกนาไปใชงานอยางหลากหลาย แตตวอยางหน งกคอนาไปใชประโยชนในการหาเอกลกษณของระบบ(System Identification)(System Identification)(System Identification)(System Identification)สาหรบระบบกาจดเสยงสะทอน(Echo Cancellation System)ในโทรศพทแบบแฮนดฟร(Hands-Free) ในระบบโทรศพทแบบแฮนดฟรน �นปญหาหลกจะมาจากเสยงสะทอนจากผนงหองจากลาโพงฝ งผรบท เรยกวาเปนลาโพงฝ งใกล(Near-End Speaker)เขาไปยงไมโครโฟนฝ งใกล(Near-End Microphone)จากในรปท 1-23 น �นแสดงใหเหนวาระบบแฮนดฟรน �นมสมการเปน

สญญาณไปยงลาโพงฝ งไกล = สญญาณเสยงพดท ตองการ + เสยงสะทอน (1.53)

รปท 1-23 ระบบแฮนดฟรท ไมมตวกาจดเสยงสะทอน

เม อมการเพ มสวนการทาตวกาจดเสยงสะทอน(Echo Canceller)น �นทาหนาท เปนตวสรางสญญาณสะทอนท มเฟส(Phase)(Phase)(Phase)(Phase)ตรงกนขาม เราสรางตวกาจดเสยงสะทอนดวยตวกรอง FIR ดงแสดงในรปท 1-24 โดยสมการของระบบแฮนดฟรท มตวกาจดเสยงสะทอนคอ

สญญาณไปยงลาโพงฝ งไกล = สญญาณเสยงพดท ตองการ + เสยงสะทอน

– คาประมาณเสยงสะทอน (1.54)


1-26

หากคาประมาณของเสยงสะทอน(Estimated Echo)เทากบเสยงสะทอน(Echo Signals)เราจะได

สญญาณไปยงลาโพงฝ งไกล = สญญาณเสยงพดท ตองการ (1.55)

ซ งเม อเขยนเปนโครงสรางบลอกไดอะแกรม เราจะไดดงแสดงในรปท 1-25

รปท 1-24 ระบบแฮนดฟรท มตวกาจดเสยงสะทอน

รปท 1-25 บลอกไดอะแกรมของระบบแฮนดฟร

ส งท ตองการกคอการคานวณคา ( )h n ของ FIR เพ อให ( )y n น �นมความคลายคลงกบ ( )d n มากท สดหรอเทยบเทากบการหาคา ( )h n ท ทาใหคากาลง(Power)ของคาผดพลาด(Error Signal) ( )e n นอยท สด


1-27

โดยการใชกรรมวธการหาคานอยท สด (M(M(M(Minimisation)inimisation)inimisation)inimisation)ของฟงกชนเปาหมาย (Objective Function) J หรอเปนการหาอนพนธยอยของJ เทยบกบคาสมประสทธ Mของ FIR และกาหนดใหเทากบศนย

0k

J

h

∂=

∂ (1.56)

เม อกาหนดให 2{ ( )}J E e n= เปนคากาลงของคาผดพลาด ( )e n เราจะไดวา

( )22

21

0

1

0

{ ( )} { ( ) ( ) }

( ) ( )

2 ( ) ( ) ( )

k k

L

k

k

k

L

k

k

E e n E d n y n

h h

E d n h x n k

h

E d n h x n k x n i

−

=

−

=

∂ ∂ −=

∂ ∂ ∂ − − =

∂ = − − − −

∑

∑

(1.57)

ซ งเม อกาหนดสมการใหเทากบศนยจะไดวา

{ } { }

1

0

1

0

1

0

2 ( ) ( ) ( ) 0

( ) ( ) ( ) ( ) 0

( ) ( )

L

k

k

L

k

k

L

k

k

E d n h x n k x n i

E d n x n i h E x n k x n i

r i h r i k

−

=

−

=−

=

− − − − =

− − − − =

− = −

∑

∑

∑dx xx

(1.58)

โดยrdx น �นเปนสหสมพนธไขวของ ( )d n และ ( )x n และrxx คอสหสมพนธตวเองของ ( )x n

เม อ 0,1, , 1i L= −⋯ เราจะไดrdx ท ตางคาเวลาเปนดงน�

0 1 1

0 1 1

0 1 1

0 1 1

0, (0) (0) ( 1) ( 1),

1, ( 1) (1) (0) ( 2),

2, ( 2) (2) (1) ( 3),

1, ( 1) ( 1) ( 2) (0)

L

L

L

L

i r h r h r h r L

i r h r h r h r L

i r h r h r h r L

i L r L h r L h r L h r

−

−

−

−

= = + − + + − +

= − = + + + − +

= − = + + + − +

= − − + = − + − + +

dx xx xx xx

dx xx xx xx

dx xx xx xx

dx xx xx xx

⋯

⋯

⋯

⋮ ⋮

⋯

(1.59)

เม อเขยนในรปเมตรกซ-เวคเตอร เราจะได


1-28

0

1

2

1

(0) (0) ( 1) ( 1)

( 1) (1) (0) ( 2)

( 2) (2) (1) ( 3)

( 1) ( 1) ( 2) (0) L

r r r r L h

r r r r L h

hr r r r L

hr L r L r L r −

− − + − − + − − + = − + − −

dx xx xx xx

dx xx xx xx

dx xx xx xx

dx xx xx xx

⋯

⋯

⋮⋮ ⋮ ⋱ ⋮

⋯

=dx xxr R h

(1.60)

หรอเรยกวาสมการน�เปนสมการปกต(Normal E(Normal E(Normal E(Normal Equationquationquationquation)))) และ dxr เปนเวคเตอรสหสมพนธไขว(Cross-Correlation Vector) ของสญญาณท ตองการ ( )d n กบ ( )x n การหาคาของh จงทาไดโดยงายจากความสมพนธ

1−= xx dxh R r (1.61)

หรอกลาวอกแบบหน งวาเราจะคานวณเวคเตอรของคาสมประสทธ Mของระบบ h ท ทาใหคาผดพลาดนอยสดไดจากผลคณของคาเมตรกซผกผนของสหสมพนธตวเอง 1−

xxR ของสญญาณอนพท ( )x n กบเวคเตอรสหสมพนธไขว(Cross-Correlation Vector) dxr ของสญญาณท ตองการ ( )d n กบสญญาณอนพท ( )x n

1.15 คณสมบตของคาสหสมพนธไขว

a) ( ) ( ) ( )z n x n y n= +

เม อคานวณคาของสหสมพนธตวเองของ ( )z n จะพบองคประกอบของสหสมพนธไขวของ ( )x n

และ ( )y n เปน

[ ][ ]{ }( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( )

r m E x n y n x n m y n m

r m r m r m r m

= + + + +

= + + +

zz

xx yy xy yx

(1.62)

ซ งเม อพจารณาวา ( )x n และ ( )y n น �นมความเปนออรโธโกนลซ งกนและกน เราจะไดวา

( ) ( ) ( )r m r m r m= +zz xx yy (1.63)

b) หากให ( ) ( ) ( )z n x n m y nλ= + + เม อกาหนดλ เปนคาคงท จะได

[ ]{ }2 2( ) ( ) (0) 2 ( ) (0)

0

E x n m y n r r m rλ λ λ+ + = + +

≥xx xy yy

(1.64)

และจากเร องดสครมแนนทของสมการควอดราตกจะไดวารากของสมการเปนแบบเชงซอน(Complex roots) หรอ


1-29

[ ]

[ ]

2

2

4 ( ) 4 (0) (0) 0

( ) (0) (0)

r m r r

r m r r

− ≤

≤

xy yy xx

xy yy xx (1.65)

ซ งมความหมายวาคายกกาลงสองของสหสมพนธไขวจะมคานอยกวาหรอเทากบคาผลคณของแตละสญญาณ

1.16 สเปคตรมกาลง (Power Spectrum)

ท ผานมาต �งแตตนของบทน� เราไดพจารณาสญญาณสมในเชงเวลา(Time Domain)มาโดยตลอดสวนในตอนน�เราจะมาพจารณาวาสญญาณสมในเชงความถ (Frequency Domain)น �นมลกษณะเปนอยางไร

เราอาจจะทาการแปลงสญญาณสมเชงเวลา ( )x n ใหเปนสญญาณสมเชงความถ อยางตรงไปตรงมาโดยการใชการแปลงฟรเยรแบบไมตอเน องทางเวลา(Discrete-Time Fourier

Transform) หรอ DTFT

2( ) ( ) j fn

n

X f x n e π∞

−

=−∞= ∑ (1.66)

แตโดยท วไปแลวกอนจะทาการแปลงฟรเยรของสญญาณใดๆน �นจะตองตรวจสอบคณสมบตท ตองมของสญญาณน �นวาสามารถจะมผลการแปลงฟรเยรไดหรอไม ขอกาหนดท สาคญสาหรบคณสมบตดงกลาวกคอสญญาณเชงเวลาน �นตองสามารถทาอนทเกรทกาลงสอง(Square Integrable) ได

แต ( )x n เปนสญญาณสมท ไมอยในรปท จะสามารถทาอนทเกรทกาลงสองได ดงน �นจงนาเสยดายท ผลการแปลงฟรเยรแบบไมตอเน องทางเวลา ( )X f ไดกลายเปนสญญาณสมตาม ( )x n

ไปอกหน งสญญาณดวย และเปนเพยงผลการแปลงของอกหน งสญญาณสมท ไมมความหมายท แยกออกมาไดสาหรบการวเคราะหแตประการใดเลย!

แตเราสามารถใชพารามเตอรทางออมของสญญาณสมน �นในการแปลงหาคณลกษณะเชงความถ พารามเตอรท วาน �นกคอคาสหสมพนธตวเองของสญญาณซ งสามารถทาการอนทเกรทกาลงสองไดดงน �นเราสามารถคานวณการแปลงฟรเยรแบบไมตอเน องทางเวลาของคาสหสมพนธตวเองของ ( )x n ซ งผลการแปลงฟรเยรแบบไมตอเน องทางเวลาของคาสหสมพนธตวเองน4นจะเรยกวาสเปคตรมกาลง(Power (Power (Power (Power Spectrum)Spectrum)Spectrum)Spectrum) โดยกาหนดให ( )x n เปน WSS ตวอยางคาสเปค ตรมกาลงแสดงในรปท 1-26


1-30

รปท 1-26 สเปคตรมกาลงของ ( )x n

จากทฤษฎของการแปลงแซด(Z-Transform) เราไดวา

( ) ( ) n

n

X z x n z

∞−

=−∞= ∑ (1.67)

โดยโครงสรางของ z-plane เปนดงรปท 1-27

รปท 1-27 วงกลมหน งหนวย(Unit Circle) (Unit Circle) (Unit Circle) (Unit Circle) และ zzzz----planeplaneplaneplane

ซ งหากกาหนด 2j fz e π= เรากจะเปล ยนการแปลงแซดใหเปนการแปลงฟรเยรแบบไมตอเน องทางเวลาไดอยางสะดวก หากกาหนดตอวาถาชวงการสมสญญาณ(Sampling Interval) เปน 1 ( 1T = ) เราจะไดชวงความถ ของ f อยระหวาง 0 1f≤ ≤ ซ งแปลวาเรากาลงทาการนอรมล ไลซ (Normalisation)ความถ f และ เรยก f ว า เ ปนค วามถ นอรมลไ ลซ (Normalised (Normalised (Normalised (Normalised

FFFFrequency)requency)requency)requency)

ดงน �นเราจะได z-plane ท สามารถใชคาความถ ของสญญาณจาก 0f = ( 1z = ) จนกระท ง

ถง 1

2f = ( 1z =− ) ซ งจะเรยกวาเปนความถ ไนควสต(Nyquist Frequency)(Nyquist Frequency)(Nyquist Frequency)(Nyquist Frequency) ในรปท 1-28

แสดงตาแหนงความถ 0f = และ 1

2f =


1-31

รปท 1-28 ความสมพนธระหวางตาแหนงบน zzzz----plane plane plane plane

ระหวางความถ ศนยและความถ ไนควสต

จากการแปลงฟรเยรแบบไมตอเน องทางเวลาของสหสมพนธตวเองของสญญาณ ( )x n เราสามารถหาคาสเปคตรมกาลงของ ( )x n ไดจาก

2( ) ( ) j fm

m

S f r m e π∞

−

=−∞= ∑xx xx (1.68)

ซ ง เม อทาการวาดกราฟของ ( )S fxx เราจะไดว ากราฟมการซ� าคาในชวงนอกบรเวณ 1 1

2 2f− < < ดงรปท 1-29

รปท 1-29 สเปคตรมกาลงของ ( )x n

หากตองการหาคากาลงของสญญาณในชวงความถ หน ง กทาไดโดยการหาพ�นท ใตกราฟดงรปท 1-30 ซ งเปนการหาคากาลงในชวงระหวาง 1f และ 2f


1-32

รปท 1-30 คา powerpowerpowerpower ในยานความถ 1f และ 2f จากสเปคตรมกาลงของ ( )x n

และเราจะหาคาสหสมพนธตวเอง ( )r mxx คนไดจากสเปคตรมกาลง ( )S fxx ดวยการทาการแปลงฟรเยรผกผน(Inverse Fourier Transform)

1 2

2

1 2

( ) ( ) j fmr m S f e dfπ

−

= ∫xx xx (1.69)

1.16.1 คณสมบตของสเปคตรมกาลง (Properties of the Power Spectrum)

a) สเปคตรมกาลงเปนฟงกชนเลขจรง(Real Function) Proof:

เน องจากเราทราบวาสหสมพนธตวเองน �นเปนฟงกชนสมมาตรหรอ ( ) ( )r m r m− =xx xx เราจงไดวา

2 2( ) ( ) ( )j fm j fm

m m

S f r m e r m eπ π∞ ∞

−

=−∞ =−∞= = −∑ ∑xx xx xx (1.70)

และไดตอวา

2 22 ( ) ( )

2 ( )cos(2 )

j fm j fm

m

m

S f r m e e

r m fm

π π

π

∞−

=−∞∞

=−∞

= +

=

∑

∑

xx xx

xx

(1.71)

หรอ ( ) ( )cos(2 )m

S f r m fmπ

∞

=−∞= ∑xx xx ซ งท �ง ( )r mxx และ cos(2 )fmπ ตางกเปนฟงกชนเลข

จรง(Real Function) จงไดวา ( )S fxx น �นกเปนฟงกชนเลขจรงดวย

b) สเปคตรมกาลงเปนฟงกชนสมมาตร ( ) ( )S f S f= −xx xx


1-33

ท �งน�กเพราะวา ( )r mxx และ cos(2 )fmπ ตางกเปนฟงกชนค(Even Function) จงเปนสาเหตท ทาให ( )S fxx เปนฟงกชนคและเปนฟงกชนสมมาตรดวย

c) จาก

1 2

2

1 2

( ) ( ) j fmr m S f e dfπ

−

= ∫xx xx (1.72)

เม อ 0m = จะไดวา

1 2

2

1 2

(0) ( ) { ( )}r S f df E x n

−

= =∫xx xx (1.73)

หมายความวาการอนทเกรท(Integration)ของ ( )S fxx เปนการหากาลงของสญญาณสม ( )x n ใน

ยานความถ (นอรมลไลซ) f ในชวง 1

2− ถง 1

2

1.16.2 สเปคตรมกาลงและระบบเชงเสน (Power Spectrum and Linear Systems)

หากเรามระบบเชงเสนแบบไมแปรเปล ยนตามการเล อน(Linear Shift-Invariant System)ซ งมคาผลตอบสนองอมพลสเปน kh ดงแสดงในรปท 1-31

รปท 1-31 ระบบเชงเสน(Linear System)(Linear System)(Linear System)(Linear System) kh

ดงน �นเราไดความสมพนธของ ( )x n และ ( )y n ตามกฎการประสาน(Convolution) เปน

( ) ( ) ( )k k

k

y n h x n h x n k

∞

=−∞= ∗ = −∑ (1.74)

โดย ∗น �นคอตวกระทาการประสาน(Convolution Operator)

a) คาเฉล ยกลาง

เม อระบบมผลตอบสนองอมพลสเปน kh เราจะไดวาผลตอบสนองความถ ( )H f เปน

2( ) j fkk

k

H f h e π∞

−

=−∞= ∑ (1.75)


1-34

สาหรบกรณท ไฟตรง(DC)หรอ 0f = เราไดวา

(0) k

k

H h

∞

=−∞= ∑ (1.76)

ซ งมความหมายวา (0)H เปนอตราขยายไฟตรง((((DC gainDC gainDC gainDC gain)))) ของระบบ

หากใชตวกระทาคาคาดหวงกบสญญาณเอาทพท

{ }

{ ( )} ( )

( )

k

k

k

k

E y n E h x n k

h E x n k

∞

=−∞∞

=−∞

= −

= −

∑

∑ (1.77)

ซ งเม อกาหนดให ( )x n เปนสญญาณ WSS เราจะไดวาคาเฉล ยกลางของ ( )x n หรอµx เปนคาคงท

{ ( )}

(0)

k

k

E y n h

H

µ

µ

∞

=−∞=

=

∑ x

x

(1.78)

หรอเราสรปไดวา

คาเฉล ยกลางของเอาทพท ( )y n =คาเฉล ยกลางของอนพท ( )x n ×DC Gain ของระบบ

(1.79)

b) สหสมพนธตวเอง จากสหสมพนธไขวของสญญาณอนพท ( )x n และเอาทพท ( )y n

{ }

{ }

( ) ( ) ( )

( ) ( )

( ) ( )

( )

k

k

k

k

k

k

r n E y m x m n

E h x m k x m n

h E x m k x m n

h r n k

∞

=−∞∞

=−∞∞

=−∞

= +

= − +

= − +

= +

∑

∑

∑

yx

xx

(1.80)

ข �นตอนท สาคญกคอการเปล ยนเคร องหมายของk ซ งทาใหเราไดวา


1-35

( ) ( )k

k

r n h r n k

−∞

−=+∞

= −∑yx xx (1.81)

ซ งกลายเปนรปแบบของการประสานระหวาง kh− กบ ( )r mxx หรอกคอ

( ) ( )kr n h r n−= ∗yx xx (1.82)

ในทานองเดยวกนสาหรบ ( )r nxy

{ }

{ }

( ) ( ) ( )

( ) ( )

( ) ( )

( )

( )

k

k

k

k

k

k

k

r n E x m y m n

E x m h x m n k

h E x m x m n k

h r n k

h r n

∞

=−∞∞

=−∞∞

=−∞

= +

= + −

= + −

= −

= ∗

∑

∑

∑

xy

xx

xx

(1.83)

และ

{ }

{ }

( ) ( ) ( )

( ) ( )

( ) ( )

( )

( )

k

k

k

k

k

k

k

k

r n E y m y m n

E h x m k y m n

h E x m k y m n

h r n k

h r n k

∞

=−∞∞

=−∞∞

=−∞∞

=−∞

= +

= − +

= − +

= +

= − −

∑

∑

∑

∑

yy

xy

yx

(1.84)

และเน องจากฟงกชนสหสมพนธตวเองมความเปนสมมาตรดงน �นเราจงแทน n− ไดดวยn

( ) ( )

( )

( )

k

k

k

r n r n

h r n k

h r n

∞

=−∞

= −

= −

= ∗

∑

yy yy

yx

yx

(1.85)

แตเรากทราบวา ( ) ( )kr n h r n−= ∗yx xx ดงน �นไดคาสหสมพนธตวเอง

( ) ( )

( ) ( )

k kr n h h r n

r k r n

−= ∗ ∗

= ∗

yy xx

hh xx

(1.86)


1-36

โดยท ( )r khh น �นเปนคาสหสมพนธตวเองท ไดจาก kh ซ งไมใชสญญาณสมจงเรยก ( )r khh วาเปนสหสมพนธตวเองแบบเชงกาหนด(Deterministic(Deterministic(Deterministic(Deterministic AutoAutoAutoAuto----Correlation)Correlation)Correlation)Correlation)

หากเราทาการแปลงฟรเยรตอกจะไดวา

2

( ) ( ) ( ) ( )

( ) ( )

S f H f H f S f

H f S f

= −

=

yy xx

xx

(1.87)

ท �งน�เพราะการประสานของปรมาณในโดเมนเวลาเทยบเทาเปนการคณของปรมาณในโดเมนความถ

สรปไดวาม 4 สมการท เก ยวของกบคาสหสมพนธและสเปคตรมกาลงท สามารถจดอยในรปแบบทานองเดยวกนไดคอ

2

1. ( ) ( )

2. ( ) ( )

3. ( ) ( ) ( )

4. ( ) ( ) ( )

k

k

r n h r n

r n h r n

r n r k r n

S f H f S f

−= ∗

= ∗

= ∗

=

yx xx

xy xx

yy hh xx

yy xx

ตอไปเราจะทาการพสจนวาคาสเปคตรมกาลงมคามากกวาหรอเทากบศนย ( ) 0xxS f ≥ Proof:

เราจะพสจนในเชงขดแยงคอหากเราให ( ) 0S f ≤xx ในยาน 1 2f f f< < ซ งขดแยงกบขอสมมตฐานวา ( ) 0xxS f ≥ และกาหนดให ( )H f เปนตวกรองแถบผาน(Bandpass Filter) โดยท

1 21,

( )0, otherwise

f f fH f

< <= (1.88)

เราจะไดวา สาหรบคาสเปคตรมกาลงของเอาทพทของระบบเปน

1 2( ),

( )0, otherwise

S f f f fS f

< <=

xx

yy (1.89)

น นเทากบวาเราสมมตให ( )S fyy มคาเปนคาลบ(Negative)ไปดวย แตในขณะเดยวกนเรากทราบวาคากาลง(Power)ของเอาทพท ( )S fyy น �นตองมคามากกวาหรอเทากบศนยหรอ

2

1

2{ ( )} ( ) 0

f

f

E y n S f df= ≥∫ yy (1.90)


1-37

ซ งเปนการขดแยงกบสมมตฐานของเราท วา ( ) 0S f ≤xx ดงน �นเราจงสรปไดวา ( )xxS f จะตองมากกวาหรอเทากบศนย △

1.16.3 สเปคตรมกาลงกบตวเขารหสเสยงพด (Power Spectrum and Speech Coder)

เราทราบวา 2( ) ( ) ( )S f H f S f=yy xx (1.91)

ดงน �นหาก ( )x n เปนสญญาณรบกวนสขาว(White Noise)1 ซ งเปนสญญาณชนดพเศษท ม

สเปคตรมกาลงเปนคาคงท หรอ ( )S f k=xx ซ งทาให

2( ) ( )S f k H f=yy (1.92)

หรอหมายความวาสเปคตรมกาลงของสญญาณ ( )y n เปนรปแบบใดๆกข�นกบรปรางของ 2( )H f โดยมเง อนไขกคอตองให ( )x n เปนสญญาณรบกวนสขาว

ตวอยางเชนหากตองการให ( )S fyy เปนสเปคตรมของสญญาณเสยงพดดงรปท 1-32 กจะตองพยายามหาวาตวกรองสญญาณ(Filter)ท จะสามารถสรางสเปคตรมใหเปนดงรปท 1-33 น �นทาไดอยางไร

รปท 1-32 สเปคตรมกาลงของสญญาณเสยงพด

1 ดหวขอ 1.17.1 เร องสญญาณรบกวนสขาว


1-38

รปท 1-33 บลอกไดอะแกรมของการสรางสญญาณเสยงพด(Speech Synthesis)(Speech Synthesis)(Speech Synthesis)(Speech Synthesis)

ในทางปฎบตสาหรบระบบการสงขอมลเสยงน �น เราสามารถใชการเขารหส(Coding)เพ อสงแตเฉพาะคารหสท ถกแปลงแลวท มจานวนไมมากผานชองการส อสารสญญาณ(Channel)ไปยงปลายทางหรอฝ งรบ หลงจากน �นทางปลายทางหรอฝ งรบจะทาการถอดรหส(Decoding)เพ อคนรปของสญญาณทาใหเกดการลดจานวนขอมล(Compression)ท จะตองสงผานชองการส อสารลงไปได

1.17 สญญาณแบบพเศษ (Special Signals)

1.17.1 สญญาณรบกวนสขาว (White Noise)

ส งท ทาใหสญญาณรบกวนสขาวน �นแตกตางจากสญญาณอ นอยตรงท การมสเปคตรมกาลงท คงท ตลอดยานความถ หรอกลาวไดอกอยางหน งวาสญญาณรบกวนสขาวเปนสญญาณท ประกอบดวยสญญาณทกๆความถ ท มกาลงเทาเทยมกนเปรยบเสมอนแสงสขาวท ประกอบดวยหลายสท มกาลงเทาๆกน ดงน �นจากการเปรยบเทยบกบแสงสขาวจงเปนท มาของคาวา“สขาว”ในสญญาณรบกวนสขาวหรอ “White” ใน “White Noise”

สเปคตรมกาลงของสญญาณรบกวนสขาวสามารถแสดงดงในรปท 1-34

รปท 1-34 สเปคตรมกาลงของสญญาณรบกวนสขาว


1-39

คาถามกคอ เน องจากเราทราบวา ( )S fxx น �นไดมาจากการแปลงฟรเยรของคาสหสมพนธตวเอง ( )r nxx ดงน �นเม อ ( )S fxx เปนสญญาณคงท ขนาดk เราจะได ( )r nxx เปนเทาใด คาตอบกคอการไดสญญาณเปนโครเนคเคอรเดลตาฟงกชน(Kronecker Delta F(Kronecker Delta F(Kronecker Delta F(Kronecker Delta Function)unction)unction)unction) ดงในรปท 1-35

รปท 1-35 สหสมพนธตวเองของสญญาณรบกวนสขาวเปนโครเนคเคอรเดลตาฟงกชน

โดยท เม อ 0n = น �น (0)r k=xx ซ ง เปนสหสมพนธตวเองท มความหมายเปนคากาลงหรอ 2 2(0) { ( )} xr E x n σ= =xx การท ( )r nxx เปนโครเนคเคอรเดลตาฟงกชนน �นนาเราไปสเร องคณสมบตสาคญของสญญาณสมอกเร องหน งท จะอธบายถงความเปนอสระตอกนและกระจายตวอยางเทาเทยมกน (Independent and Identically Distributed) ของสญญาณสม

หากเราดสญญาณท สรางดวยฟงกชน randn( )⋅ ใน MATLAB ดงแสดงในรปท 1-36

0 10 20 30 40 50 60 70 80 90 100-2

-1.5

-1

-0.5

0

0.5

1

1.5

2

2.5

3

n

x(n)

รปท 1-36 สญญาณสมท สรางดวยฟงกชนrandn(.) randn(.) randn(.) randn(.)

ซ งเปนสญญาณสมท ม pdf เปนแบบเกาส(Gaussian pdf)ซ งมช อเรยกโดยท วไปวาเปนการกระจายตวแบบปกต(Normal Distribution)(Normal Distribution)(Normal Distribution)(Normal Distribution) และหากเรากลาววาสญญาณ ( )r nxx เปนโครเนคเคอรเดลตาฟงกชนน �นกแสดงวา


1-40

, 0

( )0, 0

k nr n

n

== ≠xx (1.93)

หรอแปลวาสญญาณท คาเวลาตางกนไมมสหสมพนธระหวางกนหรอหากแปลความโดยใชคาของ pdf รวมจะไดวา

1 2 1 2... ( (1), (2) , , ( )) ( (1)) ( (2)) ( ( ))

K Kp x x x K p x p x p x K=x x x x x x⋯ ⋯ (1.94)

ซ งหาก ( )x n ม pdf รวมเปนดงสมการ (1.94) เรากลาววา ( )x n น �นเปนอสระตอกนและกระจายตวอยางเทาเทยมกน(Independent and (Independent and (Independent and (Independent and Identically Distributed)Identically Distributed)Identically Distributed)Identically Distributed)หรอใชอกษรยอวา“IIDIIDIIDIID”

ยอนกลบมาดท สหสมพนธตวเองท เปนโครเนคเคอรเดลตาฟงกชน

( ) { ( ) ( )}

( )

r n m E x m x n

n mδ

− =

= −

xx (1.95)

ดงน �นเราเขยนเมตรกซของสหสมพนธตวเองของสญญาณIIDไดเปน

2

2

2

2

0 0

0 0

0 0

σ

σ

σ

σ

=

=

xxR

I

⋯

⋮ ⋱ ⋮

⋯

(1.96)

โดยท Iน �นเรยกวาเปนเมตรกซเอกลกษณ(Identity matrixIdentity matrixIdentity matrixIdentity matrix) หรอเปนเมตรกซท ประกอบดวยคาของ “1” ตลอดแกนทแยงมม(Diagonal) เราจะเหนวา xxR น �นเปนเมตรกซทแยงมม(DiDiDiDiagonalagonalagonalagonal MatMatMatMatrrrrixixixix) ทาใหการหาเมตรกซผกผน(IIIInverse matrixnverse matrixnverse matrixnverse matrix) เปนไปไดโดยสะดวก

จากเร องของการหาเอกลกษณของระบบ การหาคาของ h สามารถหาไดจากสมการ (1.61) โดยท 1−= xx dxh R r และเม อ xxR น �นเปนเมตรกซทแยงมมเราจงหาh ไดอยางงายดายเพราะ

12σ

− =xxI

R (1.97)

ซ งทาใหเราไดวาคาh ท ตองการคอ

2σ= dxrh (1.98)

แตโดยท วไปแลว pdf ของสญญาณรบกวนสขาวอาจจะไมไดม pdf เปนแบบเกาสกเปนได


1-41

1.17.2 สญญาณมารคอฟแบบอนดบแรก (First Order Markov Signals)

ความพเศษของสญญาณมารคอฟอยตรงท วา pdf ของสญญาณปจจบนน �นมความสมพนธกบ สญญาณกอนหนาหรอเรยกวาเปนสญญาณท มความทรงจา(Memory-based) ทาใหสญญาณมารคอฟน�มความแตกตางจากสญญาณแบบ IID ตรงท สญญาณแบบIID น �นเปนสญญาณท ไมมความทรงจา (Memoryless)

สญญาณมารคอฟแบบอนดบแรก(First-order Markov Signal) น �น มความหมายวา pdfของสญญาณปจจบน ( )x n น �นจะข�นกบสญญาณกอนหนาเพยงสญญาณเดยวหรอ ( 1)x n − หรอเรยกวาอนดบแรก

( ) ( )( ) ( 1), ( 2), , (0) ( ) ( 1)p x n x n x n x p x n x n− − = −⋯ (1.99)

โดยท ( | )p a b หมายถงคา pdf ของa น �นมคาข�นอยกบb

1.17.3 สญญาณสมแบบเกาส (Gaussian Random Signals)

หากเรามสญญาณ ( )x i ขนาดL แซมเป�ลซ งมการกระจายแบบเกาส เราจะอธบายความหมาย ของคา pdf ของ ( )x n ไดเปน

[ ]22

1 ( ) ( )( ( )) exp

2 2i i

x i ip x i

µ

πσ σ

− = − (1.100)

ซ งการกระจายแบบเกาสน �นสามารถอธบายไดงายๆผานทางพารามเตอร ( )iµ และ iσ ไดเปน ( ) ~ ( ( ), )ix i iµ σN

ดงน �น pdf รวมของ 0 1 1( ), ( ), , ( )Lx n x n x n −⋯ จะเขยนไดเปน

0 1 1( ( ), ( ), , ( )) ( )Lp x n x n x n p− = x⋯ (1.101)

โดยท

[ ] [ ]1

1 22

1( ) exp

22 det

T

Lp

µ µ

π

− − − = − xx

C

x C xx (1.102)

และคาพารามเตอรตางๆแสดงดงขางลางน�

[ ]

[ ]µ

0 1 1

0 1 1

( ), ( ), , ( )

( ), ( ), , ( )

Covariance Matrix with determinant det

TL

TL

x n x n x n

n n nµ µ µ

−

−

=

=

=xx C

x

C

⋯

⋯

ท �งน�เรากทราบวาCน �นหาไดจาก


1-42

[ ]{ } [ ][ ]{ } [ ][ ]{ }

[ ][ ]{ } [ ]{ } [ ][ ]{ }

[ ][ ]{ } [ ]{ }

20 0 0 0 1 1 0 0 1 1

21 1 0 0 1 1 1 1 1 1

21 1 0 0 1 1

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( ) ( ) ( )

L L

L L

L L L L

E x n n E x n n x n n E x n n x n n

E x n n x n n E x n n E x n n x n n

E x n n x n n E x n n

µ µ µ µ µ

µ µ µ µ µ

µ µ µ

− −

− −

− − − −

− − − − − − − − − − = − − −

xxC

⋯

⋮ ⋱ ⋮

⋯

(1.103)

แตหาก x เปน IIDดวยเราจะใชความสมพนธ { } { } { }E AB E A E B= ซ งจะทาใหคาขององคประกอบนอกแกนทแยงมม(Off-diagonal)ของ xxC เปนศนยเพราะวา

[ ][ ]{ }

[ ] [ ]{ }

1 1 0 0

1 1 0 0

1 0 1 0 0 1 1 0

1 0 1 0

( ) ( ) ( ) ( )

( ) ( ) } { ( ) ( )

{ ( )} { ( )} ( ) { ( )} ( ) { ( )} ( ) ( )

( ) ( ) ( ) ( )

0

E x n n x n n

E x n n E x n n

E x n E x n n E x n n E x n n n

n n n n

µ µ

µ µ

µ µ µ µ

µ µ µ µ

− −

= − −

= − − +

= −

=

(1.104)

น นหมายความวาสาหรบ IID แลว xxC จะเปน

2

2

2

2

0 0

0 0

0 0

σ

σ

σ

σ

=

=

xxC

I

⋯

⋮ ⋱ ⋮

⋯

(1.105)

และดเทอรมแนนท(Determinant)ของ xxC จงเปน

2

2

2

0 0

0 0det

0 0

σ

σ

σ

=C

⋯

⋮ ⋱ ⋮

⋯

(1.106)

หรอ

2

12

det

det

L

L

σ

σ

=

=

C

C

(1.107)

และเมตรกซผกผนของ xxC เปน

1 12

1

σ− −= =xx xxC R (1.108)


1-43

ดงน �นคา pdf รวม ( )f x ของ 0 1 1( ), ( ), , ( )Lx n x n x n −⋯ ในกรณของIIDจงเขยนไดเปน

[ ] [ ]

1

0

22

22

222

1( ) exp

22

1exp

22

1 1exp ( )

22

L

T

L L

T

L L

n

L Li n

p

x i

µ µ

σπ σ

σπ σ

σπ σ

−

=

− − = − = − = −

∑

x xx

x x (1.109)

1.18 การสรางแบบจาลองของสญญาณสม (Modelling of Random Signals)

หากเรามบลอกไดอะแกรมของระบบเชงเสนแสดงดงรปท 1-37 หากมสญญาณรบกวนสขาวเปนอนพทจะใหสญญาณเอาทพทท มสเปคตรมกาลงเปนเชนเดยวกบสเปคตรมกาลงของระบบ

รปท 1-37 ระบบเชงเสนท มสญญาณรบกวนสขาวเปนอนพทจะใหสญญาณเอาทพทท ม

สเปคตรมกาลงเปนเชนเดยวกบสเปคตรมกาลงของระบบ

หากเราเขยน ( )y n ในรปของสญญาณเอาทพทท ไดจากระบบเชงเสน(Linear System)

0

( ) ( )r

r

y n h w n r

∞

== −∑ (1.110)

หากเราใหฟงกชนถายโอน(Transfer Function)เปนสมการถดถอยตวเองหรอAutoregressiveAutoregressiveAutoregressiveAutoregressive หรอ ARARARAR


1-44

1

0 11

1

( )( )

( )1

NN

MN

b b z b z B zH z

A za z a z

− −

− −+ + +

= =+ + +

⋯

⋯ (1.111)

หมายเหต:คาศพทในเร องการสรางแบบจาลองของสญญาณ(Signal modelling)จะมความแตกตางจากศพทในทางดานการประมวลผลสญญาณดจตอล(DSP)อยบางเชนสมการถดถอยตวเอง(Auto(Auto(Auto(Autoregressive)regressive)regressive)regressive) น �นในเร องการสรางแบบจาลองของสญญาณจะเปนสมการตวกรองผลตอบสนองอมพลสไมจากด(Infinite Impulse Response)หรอ IIR ในเร องของการประมวลผลสญญาณดจตอลและในทานองเดยวกนสาหรบสมการคาเฉล ยเคล อนท (Moving Average)(Moving Average)(Moving Average)(Moving Average) หรอ MAMAMAMAท จะเปนท รจกกนในช อสมการตวกรองผลตอบสนองอมพลสจากด(Finite Impulse Response) หรอ FIR ในเร องของการประมวลผลสญญาณดจตอล

เรามขอสงเกตจากโครงสรางของฟงกชนถายโอน ( )H z ดงน�

1.18.1 กรณ ( ) 1B z =

กรณน� ( )H z เปนสมการถดถอยตวเองหรอ AR เราหาผลการแปลงแซดจากคาสหสมพนธตวเองของ ( )y n ไดเปน

2

1

( ) z-transform( ( ))

=( ) ( )

yy yy

w

R z r m

A z A z

σ−

=

(1.112)

โดยท 2wσ เปนคาความแปรปรวนของสญญาณสญญาณรบกวนสขาว ( )w n

Proof:

เม อ ( ) 1B z = จงไดวา 1

( )( )

H zA z

= (1.113)

และเรากทราบวาคาสเปคตรมของสญญาณหาไดจากผลการแปลงแซดของคาสหสมพนธตวเองของสญญาณน �น ดงน �น ( ) ( )yy yyS f R z=

จากการท คาของสเปคตรมกาลงของ ( )y n หาไดจาก

2( ) ( ) ( )yy wwS f H f S f= (1.114)

ซ งเทยบเทากบการแสดงคาสเปคตรมในรปแบบของการแปลงแซดเม อ 2j fz e π=

2( ) ( ) ( )yy wwS z H z S z= (1.115)


1-45

ดงน �นคาขนาดยกกาลงสองของ ( )H z จงเปน

21

1( )

( ) ( )H z

A z A z−= (1.116)

และเราทราบวา 2( )ww wS f σ= ดงน �น

2

2

1

( ) ( ) ( ) ( )

( ) ( )

yy yy ww

w

R z S z H z S z

A z A z

σ−

= =

= (1.117)

1.18.2 กรณ ( ) 1A z =

กรณน� ระบบ ( )H z เทยบเทาเปนคาเฉล ยเคล อนท (Moving Average)หรอ MA เราไดวา

( ) ( )H z B z= (1.118)

และคาขนาดยกกาลงสองคอ

2 1( ) ( ) ( )H z B z B z−= (1.119)

ดงน �น 1 2( ) ( ) ( )yy wR z B z B z σ−= (1.120)

1.18.3 กรณ ( )A z และ ( )B z ไมใชคาคงท

เราไดโมเดลของระบบเปนสมการถดถอยตวเองและคาเฉล ยเคล อนท (Autoregressive and

Moving Average) หรอ ARMA

1 2

1

( ) ( )( )

( ) ( )w

yy

B z B zR z

A z A z

σ−

−= (1.121)

ซ งเปนการแสดงวาระบบประกอบดวยโพลและซโร

1.19 ระบบแบบเฟสนอยสด (Minimum Phase Systems)

ในเร องของการประมวลผลสญญาณและทางดานระบบควบคมน �น เราจะพจารณาท �งระบบ ( )H z และคาผกผนของระบบหรอ 1( )H z− ท เปนเหตเปนผล(Causal)และมความเสถยร(Stable)

สาหรบระบบ ( )H z ท เปนเปนเหตเปนผลและเสถยรแลวท �งโพลและซโรจะอยภายในวงกลมหน งหนวย(Unit Circle) หากพดถงระบบ ( )H z ท เปนสญญาณแบบเฟสนอยสด(Minimum Phase)แลว


1-46

ตาแหนงของซโรท อยภายในวงกลมหน งหนวยจะเปนตวกาหนดความเปนระบบเฟสนอยสด

จาก

1

1

1

( ) (0) (1) ( )

(1 )

N

N

i

i

H z h h z h N z

A z z

− −

−

=

= + +

= −∏ (1.122)

โดยท iz น �นคอซโรตวท i เราสรปไดดงน�โดยความหมายของระบบเฟสนอยสด ระบบเฟสมากสด และระบบเฟสผสมน �นสามารถแยกแยะไดจากการดท ตาแหนงของซโรใน z-plane

ถาระบบน �นเปนแบบเฟสนอยสด (Minimum Phase) ซโรของระบบจะตองอยภายในวงกลมหน งหนวยหรอ 1iz ≤

ถาระบบน �นเปนแบบเฟสมากสด(Maximum Phase) ซโรของระบบจะอยภายนอกวงกลมหน งหนวยหรอ 1iz > และถาระบบเปนแบบเฟสผสม(Mixed Phase) ซโรของระบบจะอยท 4งภายในและภายนอกวงกลมหน งหนวยหรอ 1iz ≤ + 1jz >

1.19.1 ระบบเฟสนอยสด,ระบบเฟสมากสดและระบบเฟสผสม (Minimum Phase,

Maximum Phase and Mixed Phase Systems)

สมมตวามระบบหน งมฟงกชนถายโอนเปน

1( ) 1H z z−= + (1.123)

ในระบบน�ประกอบดวย ซโรเพยงตวเดยวซ งอย ณ ตาแหนง 1z =− เราจะเขยนตาแหนงของโพลใน z-plane เทยบกบวงกลมหน งหนวยไดดงรปท 1-38 ซ งพจารณาผลตอบสนองทางขนาดของ ( )H z ซ งไดเปนตวกรองต าผาน(Lowpass F(Lowpass F(Lowpass F(Lowpass Filter)ilter)ilter)ilter) ดงรปท 1-39


1-47

รปท 1-38 ตาแหนงของซโรใน zzzz----planeplaneplaneplane ของ 1( ) 1H z z−= +

รปท 1-39 ผลตอบสนองความถ ของ 1( ) 1H z z−= +

สาหรบระบบท เปน 11( ) 1 0.5H z z−= + และ 1

2( ) 1 2H z z−= + ซ งมตาแหนงของซโรเปนดงรปท 1-40 และรปท 1-41 ตามลาดบ ซ งจะเหนวาระบบ 1( )H z ในรปท 1-40 น �นเปนแบบเฟสนอยสดเพราะซโรอยในวงกลมหน งหนวย ในขณะท 2( )H z ในรปท 1-41เปนแบบเฟสมากสดเพราะซโรอยนอกวงกลมหน งหนวย


1-48

-1 -0.5 0 0.5 1-1

-0.5

0

0.5

1

Real Part

Imag

inar

y P

art

รปท 1-40 ตาแหนงของซโร----โพลของ 11( ) 1 0.5H z z−= +

-2 -1.5 -1 -0.5 0 0.5 1

-1

-0.5

0

0.5

1

Real Part

Imag

inar

y P

art

รปท 1-41 ตาแหนงของซโร----โพลของ 12( ) 1 2H z z−= +

แตหากพจารณาในแงผลตอบสนองของท �งสองระบบในรปท 1-42 และ รปท 1-43 ตามลาดบแลว จะเหนวาท �ง 1( )H z และ 2( )H z ใหผลตอบสนองดานขนาด(Magnitude response)เหมอนกน จะตางกนกเพยงตรงสเกลของขนาดเทาน �น ส งท แตกตางกคอผลตอบสนองทางเฟส((((Phase Phase Phase Phase

responseresponseresponseresponse)


1-49

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1-30

-20

-10

0

Normalized Frequency (×π rad/sample)

Pha

se (

degr

ees)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1-6

-4

-2

0

2

4


Mag

nitu

de (

dB)

รปท 1-42 ผลตอบสนองความถ ของ 11( ) 1 0.5H z z−= +

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1-200

-150

-100

-50

0


Pha

se (

degr

ees)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

2

4

6

8

10

12


Mag

nitu

de (

dB)

รปท 1-43 ผลตอบสนองความถ ของ 1

2( ) 1 2H z z−= +

จากรปของระบบเฟสนอยสด 1( )H z และเฟสมากสด 2( )H z คาถามกคอความสาคญของระบบเฟสนอยสดและเฟสมากสดอยตรงไหน? พจารณาการสงขอมลสาหรบสญญาณเสยงพด ( )x n ในชองการส อสารท มแบนดวท(Bandwidth)จากดเชนในสายโทรศพทระบบแอนะลอกโดยสญญาณเสยงพด ( )x n เม อดจากสเปคตรมกาลงจะพบลกษณะของยอดสเปคตรมท เรยกวาความถ ฟอรแมนท(Formant F(Formant F(Formant F(Formant Frequencies) requencies) requencies) requencies) ดงแสดงในรปท 1-44 เราสามารถสรางแบบจาลองเลยนแบบเสยงพดโดยใชแบบจาลองในรปสมการคาเฉล ยเคล อนท (MA)โดยเราจะทาการประมาณคา(Estimate)สญญาณเสยงพด โดยวธการท นยมใชกคอการเขารหสทานายคาเชงเสน(Linear Predictive Coding) (Linear Predictive Coding) (Linear Predictive Coding) (Linear Predictive Coding) หรอ LPCLPCLPCLPC ท �งน�เพ อใหไดคาสมประสทธของ MA โมเดล(หรอ IIR) ท เรยกวาตวทานายคาแบบไปขางหนา (Forward (Forward (Forward (Forward LLLLinear inear inear inear PPPPredictor)redictor)redictor)redictor) เพ อทาการวดคาประมาณข อ ง ส ญ ญ า ณ ข ณ ะ ป จ จ บ น โ ด ย อ า ศ ย ค า จ า ก อ ด ต ห ร อ จ ะ ไ ด ว า ( )x n = 2 ( 1)a x n− − 3 ( 2)a x n− − ....− 1 ( )pa x n p+− − โดยคาสมประสทธ M 2,a ..., 1pa + น�

กคอสมประสทธ Mของตวทานายคาแบบไปขางหนาดงแสดงในรปท 1-45


1-50

รปท 1-44 แสดงความถ ฟอรแมนท(Formant FFormant FFormant FFormant Frequencies)requencies)requencies)requencies)ในสเปคตรมกาลงของสญญาณเสยงพด

รปท 1-45 ตวทานายคาแบบไปขางหนา(Forward L(Forward L(Forward L(Forward Linear inear inear inear PPPPredictor)redictor)redictor)redictor) ของวธการเขารหสทานายคาเชงเสน (LPC)(LPC)(LPC)(LPC)

คาสมประสทธ M 2 1,..., pa a + ท ไดน�กจะมเพยงจานวนไมมาก โดยท วไปกอยในระดบ 12 ถง 14 ตว โดยจะสอดคลองกบจานวนของความถ ฟอรแมนท โดยส งท สาคญจะอยตรงท วธการสงขอมลของ LPC ท จะสงเฉพาะ 2 1,..., pa a + ไปใหยงฝ งรบสญญาณดงน �นจงเปนการประหยดแบนดวทไปไดอยางมาก ในทางฝ งรบกจะม AR โมเดลท มอนพทเปนสญญาณรบกวนสขาวโดยใชเพยงคาสมประสทธของตวทานายคาแบบไปขางหนา น�เปนคาสมประสทธ Mของตวกรองแบบสมการถดถอยตวเอง(AR filter) เพ อสรางสญญาณเสยงพดกลบคนดงแสดงในรปท 1-46

รปท 1-46 แสดงการทานายแบบไปขางหนา (Forward Prediction) (Forward Prediction) (Forward Prediction) (Forward Prediction) เพ อใหไดคาสมประสทธJ


1-51

ส งท เกดข�นเทยบเทาการเปล ยนซโรไปเปนโพลหาก ( )MAH z เปนแบบเฟสนอยสดเราจะไดการแปลงสมประสทธ Mเปน ( )ARH z ดงรปท 1-47

แตหากระบบ ( )MAH z มซโรหน งตวอยนอกวงกลมหน งหนวยซ งทาให ( )MAH z กลายเปนแบบเฟสผสม(Mixed phase) ดงแสดงในรปท 1-48 เราจะพบวาตาแหนงซโรท อยนอกวงกลมหน งหนวยน4จะกอใหเกดความไมมเสถยรภาพ(Insta(Insta(Insta(Instability)bility)bility)bility) ของ ( )ARH z ดงน �นเง อนไขความเปนแบบเฟสนอยสดจงเปนเร องสาคญ

รปท 1-47 ตาแหนงซโรและโพลเม อ ( )MAH z เปนเฟสนอยสด((((Minimum PhaseMinimum PhaseMinimum PhaseMinimum Phase))))

รปท 1-48 ตาแหนงซโรและโพลเม อ ( )MAH z เปนแบบเฟสผสม(Mixed Phase) (Mixed Phase) (Mixed Phase) (Mixed Phase)

คาถามท สาคญถดมากคอหากเราใหอนพทของระบบคาเฉล ยเคล อนท หน งเปน

1( ) 1 0.8MAH z z−= + (1.124)


1-52

และกาหนดใหอนพทเปนสญญาณรบกวนสขาวแลวเราจะไดผลลพธเอาทพทเปนอยางไร?

เราทราบวาสหสมพนธตวเองของสญญาณรบกวนสขาวน �นมลกษณะเปนโครเนคเคอรเดลตาฟงกชนดงแสดงในรปท 1-49

รปท 1-49 สหสมพนธตวเองของสญญาณรบกวนสขาว

จาก 1( ) 1 0.8MAH z z−= + ดงน �นเราจะไดวาคาสหสมพนธตวเองของสญญาณเอาทพทท 0n = น �นจะเปน

2(0) { ( )}yyr E y n= (1.125)

โดยท เอาทพท ( )y n เปนผลของการประสานระหวาง ( )x n และ kh

1

0 10

( ) ( ) ( ) ( 1)k

k

y n h x n k h x n h x n=

= − = + −∑ (1.126)

จะไดวาเม อแทน ( )y n จาก (1.126) ในคาสหสมพนธตวเอง ( )yyr n ใน (1.125) จะได

{ }

{ } { }

212 2 2 20 0 1 1

0

2 2 2 20 0 1 1

0

2 2 2 20 1

( ) ( ) 2 ( ) ( 1) ( 1)

( ) 2 { ( ) ( 1)} ( 1)

k

k

x x

E h x n k E h x n h x n h x n h x n

h E x n h h E x n x n h E x n

h hσ σ

=

− = + − + − = + − + −

= +

∑

��

(1.127)

ในบรรทดท สองของสมการ (1.127) เปนผลมาจากการกาหนด ( )x n เปนสญญาณรบกวนสขาวจงทาใหผลลพธการสหสมพนธระหวางแซมเป�ลเปนศนย

ดงน �นคาสหสมพนธตวเองของสญญาณเอาทพท ( )yyr n ท 0n = จงไดเปน

( )1

2 2 2 2

0

(0) 1 0.8yy k x

k

r h σ=

= = +∑ (1.128)


1-53

และ ในทานองเดยวกนคาสหสมพนธตวเองของสญญาณเอาทพท ( )yyr n ท 1, 1n = − จะไดวา

0 1(1) ( 1) 1 0.8yy yyr r h h= − = × = × (1.129)

ซ งทาใหไดคาสหสมพนธตวเองของเอาทพท ( )yyr n ท 1,0,1n = − เปนดงรปท 1-50

รปท 1-50 สหสมพนธตวเองของ ( )y n

เม อทาการเปรยบเทยบจะมขอสง เกตแรกระหวาง ( )xxr n และ ( )yyr n โดยเราจะไดว าสญญาณ ( )x n มการสหสมพนธเฉพาะตาแหนงเดยวกนดงในรปท 1-49 แตสาหรบ ( )y n

สญญาณมการสหสมพนธท ตางตาแหนงดงรปท 1-50 ซ งแสดงวาระบบคาเฉล ยเคล อนท กอใหเกดความมสหสมพนธของสญญาณ

ขอสงเกตท สองกคอจานวนของการเกดสหสมพนธข�นอยกบจานวนคาสมประสทธ Mของระบบซ งในท น�กคอ 1

สาหรบระบบท เปนแบบถดถอยตวเอง (Auto-Regressive System) เชน ( )y n = 0.5 ( 1)y n − ( )x n+ เราจะไดวาผลตอบสนองอมพลสเปนดงรปท 1-51

รปท 1-51 ระบบท เปนแบบถดถอยตวเอง ( ) 0.5 ( 1) ( )y n y n x n= − +

ในกรณน�จานวนแซมเป�ลของคาสหสมพนธกจะเปนอนนตดวย สาหรบสเปคตรมกาลงของสญญาณรบกวนสขาวน �นจะมความราบเรยบ(Flat) ตามรปท 1-52


1-54

รปท 1-52 สเปคตรมกาลงของสญญาณรบกวนสขาว

แตสาหรบของเอาทพทระบบคาเฉล ยเคล อนท แลวจะไมเปนเชนน �น ดงรปท 1-53

รปท 1-53 สเปคตรมกาลงของระบบคาเฉล ยเคล อนท

จงเหนไดวาระบบคาเฉล ยเคล อนท กลายเปนตวกรองความถ ต าผาน และเน องจากมการดดแปลงความถ เกดข�นเราจงเรยกระบบคาเฉล ยเคล อนท วาเปนตวกรองทาใหเกดส(Colouring (Colouring (Colouring (Colouring FFFFilter)ilter)ilter)ilter)

ซ งทาหนาท ตรงขามกบตวกรองทาใหสขาว(Whitening (Whitening (Whitening (Whitening FFFFilter)ilter)ilter)ilter)

ดงน �นหากเราคาสเคด(Cascade) หรอเพ มตวกรองอกตวหน งในลกษณะอนกรมซ งตวกรองน�เปน

คาผกผนของ 1( ) 1 0.8MAH z z−= + หรอกคอ 11

1( ) ( )

1 0.8MA ARH z H z

z−

−= =+

เรากจะ

ไดผลลพธทางเอาทพทเปนสญญาณรบกวนสขาวและเราเรยกกระบวนการน�วาเปนกระบวนการทาสญญาณสขาว(Whitening Process)หรอกระบวนการกาจดคาสหสมพนธ(Decorrelating

Process) และเราเรยก 1

1( )

1 0.8ARH z

z−=

+น�วาเปนตวกรองทาใหสขาว(Whitening Filter)

ดงแสดงในรปท 1-54


1-55

รปท 1-54 กระบวนการทาสญญาณสขาว(Whitening PWhitening PWhitening PWhitening Process)rocess)rocess)rocess) หรอกระบวนการกาจดคา

สหสมพนธ(DecorrelatiDecorrelatiDecorrelatiDecorrelating Png Png Png Process)rocess)rocess)rocess)

1.20 สรป

ในบทน� เราไดเรยนรความหมายและพ�นฐานเบ�องตนของสญญาณสม เราพบวาความหมายของสญญาณสมน �นไดมาจากคณสมบตทางสถตของสญญาณ โดยส งท กาหนดคณสมบตพ�นฐานของสญญาณน �นกคอคาฟงกชนความหนาแนนความนาจะเปนหรอ pdf ของสญญาณ การกระทาใดท จะกระทาตอสญญาณสมหน งๆจะเก ยวของกบ pdf ของสญญาณเสมอ เชนการหาคาคาดหวง การหาคาสหสมพนธตวเองและคาสหสมพนธไขว หรอคาความแปรปรวนรวม โดยปรมาณท ไดเหลาน�จะถกนาไปตความถงสถานะตางๆของสญญาณสมต �งแตหน งสญญาณข�นไปเชนความไมมสหสมพนธ ความเปนอสระตอกน ความเปนออรโธโกนล รวมถงสถานะของสญญาณ เชน สถานะน งท �งแบบเชงแคบและเชงกวาง ปรมาณขางตนท ไดจากการกระทาของสญญาณสม จะถกนาไปใชงานในแงตางๆเชน อาจจะใชเปนการประมาณคาท มความหมายอยในสญญาณสมน �น เชน การหาคาเฉล ยกลางของสญญาณ การหาสเปคตรมกาลงของสญญาณสมน �นดวยคาสหสมพนธ หรอ การใชคาสหสมพนธในเร องการหาเอกลกษณของระบบเปนตน พ�นฐานของเร องสญญาณสมเหลาน�จะมการใชงานอยางกวางขวางในบทตอๆไป

Appendix 1.A

ch1_pdf_plot.m % "ch1_pdf_plot.m" set(0,'defaultaxesfontsize',16,... 'defaultlinelinewidth',2.5,... 'defaultaxeslinewidth',1.5) x=-1:.001:7;


1-56

p=pdf('Normal',x,3.3,1); plot(x,p) xlabel('x(2)'); ylabel('p_{\bf x}(x(2))')

ch1_cdf_plot.m % "ch1_cdf_plot.m" set(0,'defaultaxesfontsize',16,... 'defaultlinelinewidth',2.5,... 'defaultaxeslinewidth',1.5) x=-1:.01:7; figure(1) p=cdf('Normal',x,3.3,1); plot(x,p) xlabel('x(2)'); ylabel('P_{\bf x}(x(2))')

ch1_uniform_plots.m %"ch1_uniform_plots.m" set(0,'defaultaxesfontsize',16,... 'defaultlinelinewidth',2.5,... 'defaultaxeslinewidth',1.5) N=100000; x=rand(N,1); out=ones(size(x)); %setting Nx1 vector of Coin flip ping exper. out(x<.5)=-1; bin1=-1.5:.1:1.5; dice=unidrnd(6,N,1); %setting Nx1 vector of dice ro lling %exper. bin2=0:.1:10; figure(1) subplot(111) subplot(221) hist(out,bin1); axis([-1.5 1.5 0 1.5*max(hist(out,bin1))]) xlabel('x') ylabel('p_{\bf x}(x)') title('Histogram') subplot(223) cdfplot(out) xlabel('x') ylabel('P_{\bf x}(x)') subplot(222) hist(dice,bin2) axis([0 7 0 1.5*max(hist(dice,bin2))]) xlabel('x') ylabel('p_{\bf x}(x)') title('Histogram')


1-57

subplot(224) cdfplot(dice) xlabel('x') ylabel('P_{\bf x}(x)')

Proof 1.A

[ ][ ]

[ ]

1 2

1 2

1 2

1 2

( , ) ( ) ( ) ( ) ( ) ( ( ), ( )) ( ) ( )

= ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )

( ( ), ( )) ( ) ( )

= ( ) ( ) ( ( ), ( )) ( ) ( )

( ) ( ) ( ( ), ( )) (

c n m x n n x m m p x n x m dx n x m

x n x m n x m x n m n m

p x n x m dx n x m

x n x m p x n x m dx n x m

n x m p x n x m dx n

µ µ

µ µ µ µ

µ

∞ ∞

−∞−∞∞ ∞

−∞−∞

∞ ∞

−∞−∞

= − −

− − +

−

∫ ∫

∫ ∫

∫ ∫

xx x x

x x

x x

x x

1 2

1 2

) ( )

( ) ( ) ( ( ), ( )) ( ) ( )

( ) ( ) ( ( ), ( )) ( ) ( )

{ ( ) ( )} { ( ) ( )} { ( ) ( )} { ( ) ( )}

{ ( ) ( )} ( ) ( ) ( ) ( ) ( ) ( )

{ ( ) ( )} (

x m

x n m p x n x m dx n x m

n m p x n x m dx n x m

E x m x n E n x m E x n m E n m

E x m x n n m n m n m

E x m x n n

µ

µ µ

µ µ µ µ

µ µ µ µ µ µ

µ

∞ ∞

−∞−∞∞ ∞

−∞−∞∞ ∞

−∞−∞

−

+

= − − +

= − − +

= −

∫ ∫

∫ ∫

∫ ∫

x x

x x

) ( )mµ

คาถามทายบท

1.1 สมมตใหการทดลองโยนเหรยญหน งเหรยญมตวแปรสม (Random variable) เปน x โดยท 1=x หากเหรยญออกหว และ 1=−x หากเหรยญออกกอย โดยท เหรยญน�มความนาจะ

เปนในการออกหวเปน p และ ความนาจะเปนในการออกกอยเปน 1 p− โดยท เราไมทราบคาของ p จงคานวณคาเฉล ยกลางและความแปรปรวนของ x

1.2 ในการโยนเหรยญสองเหรยญท ไมมสหสมพนธซ งกนและกนน �น ไดผลลพธเปน x และ y โดยใชตวแปรสญญาณสม x และ y เปนตามสมการ (1.1) ตามคาของ x และ y คอ

1,

( )-1,

x Hx

x T

== =x ,

1,( )

-1,

y Hy

y T

== =y


1-58

จงคานวณคาเฉล ยกลางของx และyและจงพสจนวาคาสหสมพนธไขว { }E xy น �นเทากบศนย 1.3 จากขอท 1.2 น �น หากเหรยญท สองน �นถกผกการออกหมายเลขกบหมายเลขท หน ง โดยท เม อเหรยญท หน งน �นออกหวเหรยญท สองจะออกกอย และเม อเหรยญท หน งน �นออกกอยเหรยญท สองจะออกหว จงหาวาคาสหสมพนธไขว { }E xy น �นเปนเทาไร และ x และ y น �นเปนออรโธโกนลกนหรอไม

1.4 จากขอท 1.2 น �น ไมวาเม อเหรยญท หน งน �นออกหวหรอออกกอยและเหรยญท สองจะออกหว จงหาวาคาสหสมพนธไขว { }E xy น �นเปนเทาไร และx และyน �นเปนออรโธโกนลกนหรอไม

1.5 ในการทอดลกเตาจานวน 90N = คร �ง จานวนคร �งของหมายเลขท ออก (k ) มดงตอไปน� หมายเลข 1 ออก 10 คร �ง, หมายเลข 2 ออก 20 คร �ง, หมายเลข 3 ออก 7 คร �ง, หมายเลข 4 ออก 23 คร �ง, หมายเลข 5 ออก 12 คร �ง และ หมายเลข 6 ออก 18 คร �ง จงหาคาเฉล ยกลางของหมายเลขท ออกยกกาลงสอง 2{ }E k

1.6 จากขอ 1.5 จงหาคาเฉล ยกลางของหมายเลขท ออกยกกาลงสอง 2{ }E k หากคาความนาจะ

เปนในการออกหมายเลขท �งหกมคาเทากน ( 1Pr[ ]

6k = )

1.7 ระบบเชงเสนท ไมแปรเปล ยนตามเวลา(Linear Time-Invariant System) ระบบหน งมฟงกชนถายโอนเปน

1

1( )

1 0.25H z

z−=

−

โดยมอนพทเปนสญญาณรบกวนสขาว ( )w n ซ งมความแปรปรวนเปน 2 1wσ = และเอาทพทเปน ( )x n จงหาคาสหสมพนธและคาสเปคตรมกาลงของ ( )x n

1.8 สมมตวามสญญาณ 0( ) sin( )x n A nω φ= + โดยท A เปนขนาดของสญญาณ 0ω เปนความถ มลฐาน (Fundamental Frequency) และ φ คอ เฟสของสญญาณท มการกระจายเปนแบบยนฟอรมในชวง

2

π− ถง

2

π จงคานวณคาเฉล ยกลาง (Mean Value) และคาสหสมพนธตวเอง

(Auto-Correlation) ของ ( )x n

แนะนา: [ ]1sin sin cos( ) cos( )

2A B A B A B= − − +

1.9 ในวงจรเรยงกระแสแบบเตมคล น (Full-Wave Rectifier) ท ประกอบดวยไดโอด 2 ตวท ตอขนานกนดงแสดงใน โดยมโครงสรางดงรปท 1-55 แรงดน V น �นมการกระจายแบบยนฟอรมในยาน [-1, 1] โวลท จงหาวา 1.9.1 1I และ 2I น �นมการกระจายในยานใด


1-59

1.9.2 คาเฉล ยกลางของ 1I และ 2I 1.9.3 1I และ 2I น �นเปนอสระซ งกนและกนหรอไม

รปท 1-55 วงจรเรยงกระแสแบบเตมคล น (Full(Full(Full(Full----Wave Rectifier)Wave Rectifier)Wave Rectifier)Wave Rectifier) สาหรบคาถามขอ 1.91.91.91.9

1.10 สาหรบสญญาณสม x ท มการกระจายเปนแบบยนฟอรมในยาน [ , ]a b หรอ ( , )U a b และ 2=y x จงคานวณ { }E x , { }E y และvar( )x

1.11 สาหรบฟงกชน 2=y x น �นจงแสดงคาของฟงกชนหนาแนนความนาจะเปนสะสม (cdf) ของy หรอ ( )P yy และคานวณคาของฟงกชนความหนาแนน (pdf) ของy หรอ ( )p yy ในรปของคาของฟงกชนความหนาแนนของ x หรอ ( )p xx เม อทราบวา x น �นเปนสญญาณท มการกระจายตวเปนแบบเกาส(Gaussian Distribution)ท มคาเฉล ยกลางเปนศนยและมความแปรปรวนเทากบ 1

แนะนา: ความสมพนธของ pdf และ cdf หาไดจาก ( )( )

P xp x

x

∂=

∂x

x

1.12 กาหนดใหสญญาณ ( )x n เปนสญญาณเอาทพทของระบบท มฟงกชนถายโอนเปน

1

1( )

1 0.25H z

z−=

− โดยมสญญาณรบกวนสขาว ( )w n เปนอนพท และหากใหความ

แปรปรวนของสญญาณรบกวนสขาว ( )w n น�เปน 1 จงหาคาสหสมพนธของสญญาณ ( )x n

1.13 สมมตใหสญญาณอนพท ( )v t ของวงจรกรองต าผานท ประกอบดวยตวตานทาน R และตวเหน ยวนาL (RL Lowpass filter) ท มโครงสรางดงในรปท 1-56 น �นเปนสญญาณรบกวนสขาว ดงน �นความหนาแนนของสเปคตรมกาลงจงเปนคาคงท ( )vS f k= หากเรากาหนดใหแรงดนท ตกครอมตวตานทาน R เปนสญญาณเอาทพทหรอ ( )y t จงหาคาความหนาแนนของสเปคตรมกาลง ( )yS f และ สหสมพนธ ( )yyR τ


1-60

รปท 1-56 วงจรกรองต าผานแบบตวตานทานและตวเหน ยวนา (RL Lowpass Filter)(RL Lowpass Filter)(RL Lowpass Filter)(RL Lowpass Filter)

แนะนา: คการแปลง Fourier Transform: 2 2 2

2

4a t a

ea fπ

− ⇔+

เอกสารอางอง

CHAMBERS, J.A., "LECTURE NOTES FOR ADAPTIVE SIGNAL PROCESSING COURSE", IMPERIAL

COLLEGE, LONDON, 1997

CHILDERS, D., "PROBABILITY AND RANDOM PROCESSES: USING MATLAB WITH APPLICATIONS TO

CONTINUOUS AND DISCRETE TIME SYSTEMS", MC-GRAW HILL, INC., 1997

GRAY, R.M. AND DAVISSON, L.D., “AN INTRODUCTION TO STATISTICAL SIGNAL PROCESSING”,

CAMBRIDGE UNIVERSITY PRESS, 2004

GUBNER, J., "PROBABILITY AND RANDOM PROCESSES FOR ELECTRICAL AND COMPUTER

ENGINEERS", CAMBRIDGE UNIVERSITY PRESS, NEW YORK, 2006

HAYES, M.H., "STATISTICAL DIGITAL SIGNAL PROCESSING AND MODELING", JOHN WILEY & SONS,

INC., NEW YORK,1996

MANOLAKIS, D.G., INGLE, V.K. AND KOGON, S.M., "STATISTICAL AND ADAPTIVE SIGNAL

PROCESSING SPECTRAL ESTIMATION, SIGNAL MODELING, ADAPTIVE FILTERING, AND ARRAY

PROCESSING", ARTECH HOUSE, INC, MA, 2005

MOON, T.K. AND STIRLING, W.C., “MATHEMATICAL METHODS AND ALGORITHMS FOR SIGNAL

PROCESSING”, PRENTICE HALL, NEW JERSEY, 2000

PAPOULIS, A. AND PILLAI, S. U.,"PROBABILITY, RANDOM VARIABLES, AND STOCHASTIC PROCESSES",

FOURTH EDITION, MC-GRAW HILL, INC. , NEW YORK, 2002

PAPOULIS, A., "PROBABILITY, RANDOM VARIABLES, AND STOCHASTIC PROCESSES", THIRD EDITION,

MC-GRAW HILL, INC. , NEW YORK, 1991

SIMON, D., "OPTIMAL STATE ESTIMATION KALMAN, H,, AND NONLINEAR APPROACHES", JOHN WILEY

& SONS, INC., NEW JERSEY, 2006

การประมาณคาในการประมวลผลสญญาณ

2-1

2 การประมาณคาในการประมวลผลสญญาณ

To those who ask what the infinitely small quantity in mathematics is, we answer that

it is actually zero. Hence there are not so many mysteries hidden in this concept as

they are usually believed to be.

Leonhard Euler

สาหรบคนท �ถามวาปรมาณท �นอยท �สดจรงๆ ในทางคณตศาสตรเปนคาเทาใดน #น คาตอบกคอศนยน �นแหละ ไมมเร �องลกลบซบซอนอะไรอยางท �เช �อกนวาจะม

เลออนฮารด ออยเลอร

2.1 บทนา

สมมตวาเรากาหนดใหสญญาณท�ไดจากการวด(Measurement Data) เปน ( )x n และเราตองการหาความหมายบางอยางท�มอยในสญญาณน $นซ�งเราจะเรยกมนวา“คาจรง(True (True (True (True VVVValue)alue)alue)alue)”ของสญญาณ ( )x n เชน คาระดบไฟตรงท�ซอนอยในสญญาณ ( )x n เปนตน เราเรยกการคนหาความหมายดงกลาวน$วาเปนการประมาณคา(Estimation)(Estimation)(Estimation)(Estimation)ของคาจรง โดยเราจะแทนคาจรงท�เราตองการหาความหมายของ ( )x n น$ดวย θ หรอ“เทตา(Theta)” ตวอยางเชนการใหคาจรงθของสญญาณ ( )x n เปนคาเฉล�ยกลาง(Mean Value)ของสญญาณ ( )x n เปนตน

ตวประมาณคา(Estimator)(Estimator)(Estimator)(Estimator)น $นกคอฟงกชนท�กระทากบตวแปรสญญาณสม(Random Variables)

เพ�อทาหนาท�ประมาณคาจรงθ และฟงกชนท�ทาหนาท�น$เขยนแทนดวย ( )g ⋅ หรออาจจะเขยนเปน θ กได

จากรปท� 2-1น $นมกลมของสญญาณท�ไดจากการวด ( )x n ท�แสดงในรปของเซต(Set)อย4คาคอ{ }(0), (1), (2), (3)x x x x หากเราทาการประมาณคาของ θ ดวยตวประมาณคา ( )g ⋅ โดยใชสญญาณ{ }(0), (1), (2), (3)x x x x โดยไมนาสวนท�อยนอกเหนอมาพจารณากจะไดวา

ˆ ({ (0), (1), (2), (3)})g x x x xθ = (2.1)

หรอเปนการใชตวประมาณคา ( )g ⋅ กบขอมลจากการสงเกตการณ ซ�งผลลพธท�ไดน $นเรยกวาคาประมาณ(Estimate)(Estimate)(Estimate)(Estimate)ของθ หรอ θ 1

1 ในตาราเลมน$เราจะใช θ (หรอ θ )ในความหมายของท $งคาประมาณ(Estimate)และตวประมาณคา(Estimator) และ

ใช θ ท�เขยนดวยอกษรตวหนา(Bold face) ในความหมายของการเปน”เวคเตอร”ของตวประมาณคาดวย


2-2

รปท! 2-1 สญญาณ ( )x n ท!ไดจากการวดจรง{ }(0), (1), (2), (3)x x x x

เพ�อใหเกดความกระจางในความหมายระหวางคาวา“คาประมาณ”และ“ตวประมาณคา” ลองดตวอยางตอไปน$ สมมตใหคาพารามเตอรท�ตองการทราบคอคาเฉล�ยกลางหรอ µของสญญาณ ( )x n ซ�งกคอเปนคาจรง θ หากตวประมาณของคาจรงµหรอ µน $นเปนคาเฉล�ยแซมเป$ล(Sample Mean) หรอ

1

0

1ˆ ˆ ( )N

n

x nN

θ µ

−

=

= = ∑ (2.2)

ดงน $นตวประมาณคา θ คอ“ฟงกชนท�กระทาการรวมคาของ ( )x n ต $งแต 0n = ถง 1n N= −

และหารดวยN ” ดงน $นในกรณน$เราสามารถเขยนตวประมาณคาไดเปน1

0

1ˆ () ()N

n

gN

θ−

=

= ⋅ ⋅∑≜

สวนคาประมาณคอคาท�ไดจากการใชตวประมาณคา θ กระทากบเซตของสญญาณท�ไดจากการวด ( )x n ท�พจารณา เชน หากสญญาณท�พจารณาเปน { } { }(0), (1), (2), (3) 1,2, 3, 4x x x x = คาประมาณท�ไดจากการใชตวประมาณคาเปนคาเฉล�ยแซมเป$ ลจะไดเ ปน θ = µ = 1

(1 2 3 4)4

+ + + 2.5=

และในเม�อคาของ ( )x n เปนสญญาณสมดงน $นตวประมาณคา θ ซ!งเปนฟงกชนของสญญาณท!ไดจากการวด ( )x n จงเปนสญญาณสมดวยและท�สาคญกวาน $นกคอการกระจายตวของคาประมาณจะเปนเชนเดยวกบการกระจายตวของสญญาณ เชน หาก ( )x n มการกระจายตวแบบเกาส(Gaussian Distribution) คาประมาณของ ( )x n กจะมการกระจายตวเปนแบบเกาสดวยเชนกน


2-3

ส�งท�เราตองการกคอเรากหวงวาคาประมาณกควรจะเทากนหรอใกลเคยงกบคาจรงดวย หากเราทราบวาเซตของขอมลการวด{ (0), (1), , ( 1)}x x x N −⋯ น $นมคาเฉล�ยกลางท�เปนคาจรงθ และ ไดคาจากการประมาณ ˆ{ }E θ มคาเทากบคาจรงθ เรากลาววาตวประมาณคา θ เปนตวประมาณคาแบบไรไบแอส(Unbiased (Unbiased (Unbiased (Unbiased EEEEstimatorstimatorstimatorstimator) ) ) ) และในทางตรงกนขาม หาก ˆ{ }E θ มคาแตกตางจากคาจรงหรอ ˆ{ }E θ θ≠ เราจะกลาววาตวประมาณคา θ น $นเปนตวประมาณคาแบบมไบแอส(Biased (Biased (Biased (Biased EEEEstimatorstimatorstimatorstimator))))

นอกจากเราจะตองการใหตวประมาณคาเปนแบบไรไบแอสแลวเรายงตองการใหตวประมาณคา θ ไมมการกระจายตวออกไปจากคาเฉล�ยกลางมากนก ซ�งพารามเตอรท�บอกถงระดบของการกระจายคากคอความแปรปรวน(Variance)(Variance)(Variance)(Variance) ซ�งเขยนแทนดวย ˆvar( )θ โดยส�งท�เราตองการกคอตวประมาณคาท�ใหความแปรปรวนนอยๆหรอจะใหดท�สดกคอเปนตวประมาณคาไรไบแอสความแปรปรวนนอยสด (Minimum Variance Estimators)

รปท! 2-2 ความแตกตางระหวางตวประมาณคาแบบไรไบแอส(Unbiased Estimator)(Unbiased Estimator)(Unbiased Estimator)(Unbiased Estimator)และแบบมไบแอส(Biased Estimato(Biased Estimato(Biased Estimato(Biased Estimator)r)r)r)

ดงน $นโดยสรปแลวตวประมาณคาท�ดจะตองมคณสมบตดงน$

1. เปนตวประมาณคาแบบไรไบแอสหรอ ˆ{ }E θ θ=

2. มความแปรปรวน ˆvar( )θ นอยหรอนอยท�สดเทาท�จะเปนไปได

ซ�งเม�อรวมคณสมบตท $งสองแลวน �นคอเราตองการตวประมาณคาไรไบแอสความแปรปรวนนอยสด(Minimum Variance Unbiased Estimator) (Minimum Variance Unbiased Estimator) (Minimum Variance Unbiased Estimator) (Minimum Variance Unbiased Estimator) หรอ MVUEMVUEMVUEMVUE

แตคาถามท�นาสนใจกวากคอคาถามตอไปน$กคอหน�ง เราจะหาตวประมาณคา θ น$ไดอยางไรและสอง เราจะวดสมรรถภาพของตวประมาณคา θ น$ไดอยางไร


2-4

คาถามท $งสองนาเราไปสเร�องของทฤษฎการประมาณคาดวยกระบวนการทางคณตศาสตรในหวขอถดไป

2.2 กระบวนการคณตศาสตรของการประมาณคา (The Mathematical Estimation Problem)

เน�องจากขอมลท�ไดจากการวดจรงน $นเปนสญญาณสม ดงน $น pdf ของคาท�ไดจากการประมาณคาจรงθ จงเปนสญญาณสมดวย คา pdf ของเซตของขอมลน $นเขยนเปน

( (0), (1), , ( 1); )p x x x N θ−⋯ (2.3)

โดยสงเกตวาใน (2.3) คาจรงท�ตองการประมาณคอ θ ถกเขยนอยหลงเคร�องหมายอฒภาค(Semi-Colon) “;” เพ�อเปนการแยกθ ออกจากเซตของขอมล{ }(0), (1), , ( 1)x x x N −⋯ สมการ (2.3) น$เราเรยกวาเปน pdf รวมหรอ joint pdf ของ{ }(0), (1), , ( 1)x x x N −⋯ ซ�งข$นอยกบθ

ใ น ก ร ณ ท� ก า ห น ด ใ ห θ เ ป น ค า เ ฉ ล� ย ก ล า ง เ ฉ พ า ะ ข อ ง ต ว แ ป ร สญ ญ า ณ ส ม ข อ งสญญาณ ( ) ( )x n w nθ= + โดย ( )w n น $นเรยกวาสญญาณรบกวนท!บวกเพ!มเขามา(Additive (Additive (Additive (Additive

NNNNoise)oise)oise)oise)และ ( )w n มการกระจายตวแบบเกาส(Gaussian Distribution)(Gaussian Distribution)(Gaussian Distribution)(Gaussian Distribution)หรอ 2( ) (0, )ww n σN∼

โดยสญลกษณ“∼ ”หรอ“ทลด(Tilde)”น$แสดงถงลกษณะของกระจายตวของสญญาณ สญลกษณ“N ”ใน 2(0, )wσN แสดงถงการกระจายตวแบบเกาสหรอในอกช�อหน�งวาการกระจายตวแบบปกต(Normal(Normal(Normal(Normal Distribution)Distribution)Distribution)Distribution) โดยตวเลข “0” หมายถงสญญาณ ( )w n มคาเฉล�ยกลาง(Mean Value)

เปนศนย สวน“2wσ ”คอความแปรปรวน(Variance)ของ ( )w n

และหากสญญาณ ( )w n เปนสญญาณรบกวนสขาวซ�งมนยามมาจากการท�ในแตละแซมเป$ลน $นเปนอสระตอกนและกระจายตวอยางเทาเทยมกน(Independent and Identically Distributed) หรอIID ดวยแลว เรากลาววา ( )w n น $นเปนสญญาณรบกวนสขาวซ!งมการกระจายตวแบบเกาสท!บวกเพ!มเขามา(Additive White Gaussian Noise) (Additive White Gaussian Noise) (Additive White Gaussian Noise) (Additive White Gaussian Noise) หรอ AWGN AWGN AWGN AWGN หรอเรยกส $นๆวาสญญาณรบกวนเกาสแบบสขาว(White Gaussian Noise)(White Gaussian Noise)(White Gaussian Noise)(White Gaussian Noise) หรอ WGNWGNWGNWGN

ดงน $นเราจะไดวาคา pdf ของสญญาณ ( )x n เม�อ 1n = หรอ ( (1); )p x θ เปน

2

22

1 ( (1) )( (1); ) exp

22 ww

xp x

θθ

σπσ

− = − (2.4)

ซ�งเปนสมการคา pdf ของสญญาณ (1)x θ− ซ�งมคาเทากบ pdf แบบเกาสของ (1)w แตหากกาหนดให pdf ของ ( (1); )p x θ มลกษณะดงรปท� 2-3 ซ�งปรากฏวามองคประกอบของสญญาณθท�ตองการทราบคาอย 2 ตาแหนงคอ 1θ และ 2θ


2-5

รปท! 2-3 ตวอยางของ ( (1); )p x θ

แตสมมตวาคา (1)x ท�ไดมาจากการวดเปนจานวน i คร $งหรอ{ }1 2(1), (1), , (1)ix x x⋯ น $นสวนใหญน $นอยในดาน“คาบวก”ดงรปท� 2-4 ดงน $นโอกาสท�คาเฉล�ยกลางจะเปน 2θ ซ�งเปนคาในแดนบวกยอมมมากกวาคาเฉล�ยกลางท�เปน 1θ ซ�งเปนคาในแดนลบ

ประเดนกคอวาในมมมองของการประมาณคาน $นพฤตกรรมของขอมลท!ไดจากการวดสงผลกระทบอยางมากตอการเลอกตวประมาณคา θ ท�เหมาะสมสาหรบขอมลน $น การเลอกรปแบบของ pdf ท�ดกเชนกนท�ยอมสงผลตอสมรรถภาพการประมาณคาดวย แตการเลอก pdf ท�แมวาจะเปนแบบท�ใหการประมาณคาท�ดกอาจจะทาใหยากตอการวเคราะห โดยท �วไปรปแบบของ pdf ท�เหมาะสมและงายตอการวเคราะหกคอ pdf แบบเกาส(Gaussian pdf)

มาดตวอยางหน�งซ�งแสดงความสาคญของการเลอก pdf ของตวประมาณคา หากสญญาณมสญญาณรบกวนแบบอมพลส(Impulsive N(Impulsive N(Impulsive N(Impulsive Noise) oise) oise) oise) ปะปน ดงรปท� 2-5 การจะใช pdf แบบเกาสมาใชกบตวประมาณคาของสญญาณประเภทน$กอาจจะไมเหมาะสมนก เพราะการกระจายตวแบบเ ก า ส น $ น ม ค ว า ม ห ม า ย ว า ค า ข อ ง ( )x n โ ด ย ส ว น ใ ห ญ ค อ 99%น $ น จ ะ อ ย ใ น ช ว ง

3 ( ) 3x nµ σ µ σ− ≤ ≤ + โดยσ คอคาเบ�ยงเบนมาตรฐาน(Standard Deviation) ซ�งสญญาณรบกวนแบบอมพลสน $นมคาเกนออกจากชวงดงกลาว ดงน $นการจะประมาณคาของสญญาณรบกวนอมพลสน$ดวยการเลอกใช pdf ของตวประมาณคาใหเปนแบบเกาส กทาใหสญเสยขอมลของสญญาณรบกวนแบบอมพลสไป ตวอยางของการเกดสญญาณรบกวนแบบอมพลสรวมกบสญญาณท�มการกระจายตวแบบเกาสดงท�แสดงรปท� 2-5น $นจะสรางโดย MATLAB Codes

“ch2_Gaussian_plot.m ” ท�แสดงไวในAppendix 2.A


2-6

รปท! 2-4 แสดงถงคา (1)x ท!ไดจากการวดท!เปนดานคาบวกมากกวาดานลบดงน8นจากรปท! 2----3 การใชคาเฉล!ยกลางเปน 2θ จะมโอกาสประมาณคาไดถกตอง

มากกวาการใชคาเฉล!ยกลางเปน 1θ

0 50 100 150 200-3

-2

-1

0

1

2

3

4

5

z(n)

n

Impulsive noise

0 50 100 150 200-6

-4

-2

0

2

4

6

8

10

12

x(n)

n

รปท! 2-5 สญญาณรบกวนแบบอมพลสและ ( )x n

ดอกตวอยางหน�งของสญญาณสม ( )x n ซ�งมลกษณะของสญญาณดงแสดงในรปท� 2-6


2-7

0 20 40 60 80 100 120 140 160 180 200-1

0

1

2

3

4

5

6

x(n)

n

รปท! 2-6 สญญาณสม ( )x n

-1 0 1 2 3 4 5 60

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

x(n)

p(x(n);θ)

รปท! 2-7 การเลอกใช pdf pdf pdf pdf ของตวประมาณคาเปนแบบเกาส(Gaussian pdf)(Gaussian pdf)(Gaussian pdf)(Gaussian pdf)สาหรบ

สญญาณสม ( )x n จากรปท! 2-6

จากในรปท� 2-6 แมวาเราจะไมสามารถทราบดวยตาเปลาไดวาสญญาณม pdf เปนแบบเกาสหรอไม แตการเลอก pdf แบบเกาสดงแสดงในรปท� 2-7สาหรบตวประมาณคาในกรณน$กมความเหมาะสมดเพราะสญญาณน $นไมมอมพลสปะปนอย

แตแมวาการกระจายตวแบบเกาสไมสามารถจะใชกบสญญาณทกประเภทได แตกมขอดตรงท�สญญาณแบบเกาสมคณสมบตท�นาสนใจทาใหงายตอการวเคราะห ตวอยางเชนสมมตวาเราม


2-8

สญญาณรบกวน ( )x n เกดจากผลรวมของคาไฟตรง(DC level) และสญญาณรบกวน ( )w n ดงรปท� 2-8

รปท! 2-8 สญญาณ ( ) ( )x n A w n= +

เรากาหนดใหสมการของ ( )x n เปนดงน$

( ) ( )x n A w n= + (2.5)

โดยท�Aเปนคาคงท�หรอคาDCและ ( )w n เปนสญญาณรบกวนและมการกระจายตวแบบเกาสหรอ 2( ) (0, )ww n σ∼ N หากเราเขยนสมการของ ( )x n ใน (2.5) ใหมใหเปนดงน$

( ) ( )x n A w n− = (2.6)

ทาใหเราเหนอยางชดเจนวาสญญาณ ( )x n A− น $นแทจรงแลวม pdf pdf pdf pdf แบบเดยวกบ ( )w n ซ!งกคอแบบเกาส ดงน $นหากเรามระบบเชงเสนเชนระบบคาเฉล!ยเคล!อนท!(Moving Average(Moving Average(Moving Average(Moving Average SSSSystemystemystemystem)))) หรอ MAMAMAMA เราจะไดวา

( ) ( ) ( )y n h n x n A= ∗ + (2.7)

โดยท�∗คอตวกระทาการประสาน(Convolution Operator) สวน ( )x n เปนสญญาณสมท�ม pdf

แบบเกาส 2( ) (0, )xx n σ∼ N และ ( )h n เปนคาสมประสทธ Gของระบบและ ( )y n เปนเอาทพทของระบบท�มการบวกคาคงท�A

จาก (2.7) จะเหนอยางชดเจนวาคาเฉล�ยกลางของ ( )y n น $นมคาเทากบAสวนความแปรปรวนของ ( )y n น $นหาไดจาก

1

2 2 2

0

L

y i x

i

hσ σ

−

=

= ∑ (2.8)

ในกรณท�ระบบ MA น $นมสมประสทธ Gเพยงตวเดยวหรอ 1L = และ 0h M= หรอกคอเปนคาคงท!เราจะไดวา

2 2 2y xMσ σ= (2.9)


2-9

เราจงกลาววา ( )y n ม pdf เปนเกาสโดยท� 2 2( ) ( , )xy n A M σ∼ N

ในกรณท �วๆไปเรากลาววาสาหรบ ( )x n ท�เปนเกาสและเปนอนพทของระบบเชงเสนใดๆท�มเอาทพทเปน ( )y n เราจะไดวา ( )y n น $นกเปนเกาสดวยเชนกน

หากเราพจารณาวาท $ง ( )x n และ ( )w n ถกจดใหอยในรปองคประกอบของเวคเตอรคอ

[ ](0), (1), , ( 1) Tx x x N= −x ⋯ แ ล ะ [ ](0), (1), , ( 1) T

w w w N= −w ⋯ เ ร า จ ะ แ ส ด ง

ความสมพนธของพารามเตอรท $งหมดในรปเวคเตอร-เมตรกซดงน$

A= +x 1 w (2.10)

โดยท� [ ]1,1, ,1 T=1 ⋯ น $นเปนเวคเตอรเลขหน�ง และ ( )2, wσw 0 I∼ N โดยท�

µ

2

Mean Matrix=

Covariance Matrix=

w

w wσ

=

=

0

I C

เราจะได pdf รวมเปน

1

2 2

20

1( ) exp ( ) 2

(2 )

N

wN Niw

p w w i σπ σ

−

=

= − ∑w (2.11)

หรอเขยนเทอม1

2

0

( )N

i

w i

−

=∑ ในรปของการทาผลคณภายใน((((Inner PInner PInner PInner Product)roduct)roduct)roduct)ของเวคเตอร w

[ ](0), (1), , ( 1) Tw w w N= −⋯ ไดเปน Tw w ดงน $น (2.11) จงเปน

22

1( ) exp

2(2 )

T

N Nww

p wσπ σ

− = w

w w (2.12)

เราสามารถกาหนดสญลกษณของ pdf รวม สาหรบอนพทx และพารามเตอรท�ไมทราบคาAไดเปน ( ; )p Ax x โดย A= +x 1 wหรอ A− =x 1 wซ�งแสดงใหเหนวา A−x 1น $นม pdf แบบเกาสและน �นทาใหได ( ; )p Ax x เปน

22

1 ( ) ( )( ; ) ( ) exp

2(2 )

T

N Nww

A Ap A p w

σπ σ

− − − = = x w

x 1 x 1x (2.13)

ส�งท�นาสนใจประการหน�งกคอทฤษฎของการประมวลผลสญญาณน $นไมไดถกจากดการใชงานเพยงแตในดานวศวกรรมศาสตรเทาน $น แตยงครอบคลมไปถงศาสตรในสาขาอ�นๆ รวมถงดานเศรษฐศาสตรดวย ในตวอยางตอไปน$แสดงวธการประมาณคาพารามเตอรท�เปนตวกาหนดคาของดชนตลาดหลกทรพย(Stock Exchange Index) ในแบบเชงเสน ดงแสดงในตวอยางตอไปน$


2-10

ตวอยางท! 2.1 ใหดชนตลาดหลกทรพยแหงหน�งมความสมพนธของกราฟดชนของแตละวนมลกษณะดงรปท� 2-9 และหากสมมตวาคาของดชนตลาดหลกทรพยน$ถกประมาณการดวยสมการเสนตรง

( ) ( ), 0,1, ,100x n Mn C w n n= + + = … (2.14)

และ 2( ) (0, )ww n σ∼ N หรอน �นหมายถง

( )( ) ( )x n Mn C w n− + = (2.15)

หรอหมายถง ( )( )x n Mn C− + น $นม pdf เปนเชนเดยวกบ ( )w n กคอเปนแบบเกาสดวย หรอ ( ) 2( ) (0, )wx n Mn C σ− + ∼ N

0 10 20 30 40 50 60 70 80 90 100600

620

640

660

680

700

720

740

760

780

800

Day

SE

T In

dex

รปท! 2-9 กราฟดชนตลาดหลกทรพย(Stock Exchange Index)Stock Exchange Index)Stock Exchange Index)Stock Exchange Index)ในแตละวน

สงเกตวาเรามพารามเตอรท�ตองการประมาณอยสองคาคอM และC ซ�งทาใหนาความรในเร�องของพชคณตเชงเสน(Linear Algebra) มาใชงานได ซ�งหมายถงการโดยเราสามารถเขยนรวมพารามเตอรท $งสองน$ใหเปนพารามเตอรเดยวน �นคอการสรางเปนเวคเตอรθ โดยท�กาหนดให

M

C

=

θ (2.16)

จากน $นเราจะกาหนดเมตรกซสงเกตการณ(Observation Matrix)(Observation Matrix)(Observation Matrix)(Observation Matrix) ซ�งเขยนแทนดวยH ข$นโดยใหH และเวคเตอรของสญญาณรบกวนw เปน


2-11

(0)0 1

1 1 (1)

100 1 ( 1)

w

w

w N

= = −

H w⋮ ⋮ ⋮

(2.17)

โดยท� 2( , )wσw 0 I∼ N ซ�งทาใหเราเขยน ( )x n ในรปของเวคเตอรx ไดเปน

= +x H wθ (2.18)

จากน $นจะไดวา

− =x H wθ (2.19)

ทาใหเราไดวา pdf ของx โดยมพารามเตอรท�เราไมทราบคาเปนθ น $นไดเปน

22

1 ( ) ( )( ; ) exp

2(2 )

T

N Nww

pσπ σ

− − − = x

x H x Hx

θ θθ (2.20)

จากกราฟดชนตลาดหลกทรพยรปท� 2-9 พารามเตอรM และ C ถกแสดงในรปท� 2-10

0 10 20 30 40 50 60 70 80 90 100600

620

640

660

680

700

720

740

760

780

800

Day

SE

T In

dex

Slope = M

C

รปท! 2-10 การประมาณพารามเตอรของสมการเสนตรงของกราฟดชนตลาดหลกทรพย

△

การประมาณคามสองแบบแบงตามชนดของพารามเตอรท�เราตองการประมาณคาคอ

1. การประมาณคาแบบคลาสสก(Classical (Classical (Classical (Classical EEEEstimation)stimation)stimation)stimation):::: ในการประมาณคาแบบน$คาพารามเตอรท�ไมทราบคาเปนแบบเชงกาหนด (Deterministic)


2-12

2. การประมาณคาแบบเบยส(Bayesian Estimation)(Bayesian Estimation)(Bayesian Estimation)(Bayesian Estimation):::: ในการประมาณคาแบบน$คาพารามเตอรท�ตองการประมาณคากจะเปนสญญาณสมดวย ซ�งจะตองทราบคา pdf ของพารามเตอรน $นลวงหนากอนท!จะทราบไดจากการทดลองตามจรงหรอท�เรยกวาเปน pdf แบบเอพรออร(a (a (a (a

priori) priori) priori) priori) 1

ในกรณของการประมาณคาแบบเบยสน $น จากในตวอยางท� 2.1 น $นท $งM และC กจะเปนสญญาณสม ซ�งหากเราจะเขยน pdf ของC หรอ ( )Cp C โดยC มคาการกระจายอยางคงท�อยในชวง 620 ถง 640 เราจะไดกราฟของ ( )Cp C เปนดงรปท� 2-11 และเปนเชนเดยวกนสาหรบ ( )Mp M

ดงน $นในกรณการประมาณคาแบบเบยสเราจะได pdf รวมสาหรบx และθ เปน

( , ) ( | ) ( )p p p=x xθ θ θ (2.21)

รปท! 2-11 pdf pdf pdf pdf ของคาC

โดยท�θน $นเปนพารามเตอรท�ไมทราบคาท�ตองการประมาณ สงเกตเคร�องหมาย“จลภาค”หรอ“,”

ระหวาง x และθ ใน ( , )p x θ น $นจะแตกตางจากเคร�องหมาย“อฒภาค”หรอ“;”ระหวาง x และθใน ( ; )px x θ ในสมการ (2.3) ท�เปนการประมาณคาแบบคลาสสก ท $งน$กเพ�อแสดงความแตกตางกบการประมาณคาท $งสองแบบ เพราะในกรณการประมาณคาแบบเบยสน $นจะถอวาθ เปนสญญาณสม แตในการประมาณคาแบบคลาสสกจะถอวาθ เปนสญญาณเชงกาหนด

ในกรณการหา pdf รวม ของx และC น $นจะไดเปน ( , )p Cx เราจะไดวา

( , ) ( | ) ( )Cp C p C p C=x x (2.22)

และสาหรบการหา pdf รวม ของx และM จะไดคา ( , )p Mx เปน

( , ) ( | ) ( )Mp M p M p M=x x (2.23)

1 หากคา pdf ของพารามเตอรน $นทราบไดภายหลงจากการทดลองตามจรงจะเรยกวาเปน pdf แบบเอโพสทรออไร(a (a (a (a

posterioriposterioriposterioriposteriori))))


2-13

แมวาตวประมาณคาแบบเบยสน $นจะมท�ใชงานอยมากเชนตวประมาณคาแบบคาเฉล!ยกลางกาลงสองนอยสดหรอ Minimum Mean Squared Error (MMSE) EstimatorsMinimum Mean Squared Error (MMSE) EstimatorsMinimum Mean Squared Error (MMSE) EstimatorsMinimum Mean Squared Error (MMSE) Estimators น $นกจะจดอยในประเภทตวประมาณคาแบบเบยส แตในตาราเลมน$เราจะมงความสนใจไปเฉพาะกรณการประมาณคาแบบคลาสสกเพ�อเปนการพฒนาความเขาใจเบ$องตนในเร�องของตวประมาณคาเสยกอน ซ�งเง�อนไขของการประมาณคาแบบคลาสสกกคอพารามเตอรท�เราตองการประมาณคาน $นตองเปนคาเชงกาหนดเทาน $นเชนคาระดบไฟตรงในสญญาณท�มการรบกวนเปนตน

2.3 สมรรถภาพของตวประมาณคา (Performance of Estimators)

เม�อเราไดตวประมาณคาแลว ส�งท�เราตองทาตอกคอการหาสมรรถภาพของมนซ�งขอมลเชงสถตสองคาท�จะใชหาสมรรถภาพของตวประมาณคาน $นคอไบแอสและความแปรปรวน สาหรบตวประมาณคาท�ดแลวตองมลกษณะเปนแบบไรไบแอสและมคาความแปรปรวนนอยท�สด และตวประมาณคาท�ดท�สดในความหมายน$จะเรยกวาเปนตวประมาณคาไรไบแอสความแปรปรวนนอยสด(Minimum Variance Minimum Variance Minimum Variance Minimum Variance UnbiaUnbiaUnbiaUnbiased sed sed sed Estimator)Estimator)Estimator)Estimator) หรอ เรยกยอๆวา MVUE

สมมตวาเรามขอมล ( )x n ท�มาจากชดขอมลจากการวด ( ) { (0), (1), , ( 1)}x n x x x N= −⋯ และมสมการเปน

( ) ( )x n A w n= + (2.24)

โดยท� 2( ) (0, )ww n σ∼ N

หากเราใหตวประมาณคาA เปนคาเฉล!ยแซมเป8 ล (Sample M(Sample M(Sample M(Sample Mean)ean)ean)ean) ของสญญาณ ( )x n เราจะไดวา

1

0

1ˆ ( )N

n

A x nN

−

=

= ∑ (2.25)

ซ�งคาเฉล�ยกลางของ ( )x n กคอ { ( )}E x n หรอ

{ ( )} { } { ( )}

{ }

E x n E A E w n

E A

A

= +

=

=

(2.26)

และหากเรามตวประมาณคาอกหน�งตวท�เราจะใหช�อวา A′ โดยท�A′ จะใชเฉพาะคา (0)x เปนตวประมาณคาของท 8งชดขอมล ( )x n หรอ

ˆ (0)A x′ = (2.27)


2-14

โดยท� ( ) { (0), (1), , ( 1)}x n x x x N= −⋯ ดงน $นเราจะไดวาคาเฉล�ยกลางของ (0)x คอ

ˆ{ }E A A′ = (2.28)

และจะไดตอวาตวประมาณคาท $งA และA′น $นใหคาเฉล�ยกลางเดยวกนหรอ

ˆ ˆ{ } { }E A E A A′ = = (2.29)

แตหากเราพจารณาในแงของความแปรปรวนในกรณของตวประมาณคาAน $นจะเปน

{ }2

21

0

ˆ ˆvar( )

1( )

N

n

A E A

E x nN

−

=

=

= ∑

(2.30)

ซ�งในกรณท� ( )w n น $นเปนIIDจะไดวา

{ }1

22

0

22

2

1ˆvar( ) ( )

1

1

N

n

x

x

A E x nN

NN

N

σ

σ

−

=

=

=

=

∑

(2.30)

โดยเรากาหนดให { }2 2( ) xE x n σ=

สวนกรณของA′น $นมคาความแปรปรวนเปน

{ }{ }

2

2

2

ˆ ˆvar( )

(0)

x

A E A

E x

σ

′ ′=

=

=

(2.31)

น �นหมายความวาคา ˆvar( )A มคานอยกวา ˆvar( )A′ อยN เทาและเม�อเราทาการวาดกราฟการกระจายตวของขอมลท�ไดจากการใชA และA′ เราจะไดเปนดงรปท� 2-12


2-15

รปท! 2-12 เปรยบเทยบการกระจายตวของขอมลจาก A และA′

น �นกหมายความวาAน $นเปนตวประมาณคาท�ดกวาA′ เน�องจากความแปรปรวนต�ากวา อยางไรกตามAกเปนตวประมาณคาท�มความซบซอนในการคานวณ(Computational Complexity)(Computational Complexity)(Computational Complexity)(Computational Complexity)ท�มากกวาA′ ดวยเชนกน

ประเดนท�สาคญของการประมาณคากคอ

1. เน�องจากผลท�ไดมาจากการใชตวประมาณคากบชดขอมลท�ไดจากการวดน $นเปนสญญาณสมดงน $นการทดสอบสมรรถภาพกจะอยในรปแบบสญญาณสมดวย 2. สมรรถภาพของการประมาณคาไดมาจากการคานวณโดยตรงซ�งไมสามารถทาการจาลอง (Simulation) ได 3. สมรรถภาพของการประมาณคาเปนส�งท�แลกมาดวยความซบซอนในการคานวณหรอเปนการแลกมาซ�งกนและกน(Trade-off)

ดงท�ทราบมาแลววาการจะดวาตวประมาณคาตวใดมสมรรถภาพดน $นดไดจากขอมลทางสถต กคอไบแอสและความแปรปรวน ถาหากตวประมาณคาน $นเปนแบบไรไบแอสอยแลวเรากจะพจารณาท!ความแปรปรวนของตวประมาณคาแตเพยงอยางเดยว

เกณฑในการพจารณาวาตวประมาณคามความแปรปรวนนอยท�สดเทาใดจะใชเง�อนไขขอบเขตดานต�า (Lower Bound) ท�เรยกวาขอบเขตดานต!าเครเมอร----เรโอ (Cramer(Cramer(Cramer(Cramer----Rao Lower BoundRao Lower BoundRao Lower BoundRao Lower Bound) ) ) )

หรอ CRLBCRLBCRLBCRLB น �นหมายความวาหากเราไดความแปรปรวนนอยสดของตวประมาณคาใดมาไดแลวเทากบ CRLB เรากจะไดวาตวประมาณคาน $นเปนตวประมาณคาไรไบแอสความแปรปรวนนอยสด (MVUE) ดวย


2-16

จาก เ ร� อ งการหาค าความแปรปรวนของตวประมาณค าท� เ ปนค า เฉล� ยกลางของสญญาณ ( ) ( )x n A w n= + แล ะ ( ) ( )x n A Bn w n= + + โดยท� 2( ) (0, )ww n σ∼ N เ ร าพบวาจะตองไดคา pdf หรอ pdf รวม ( ; )p x θ ออกมาเสยกอนเพ�อท�จะคานวณตวประมาณคาดงกลาวได ดงน $นการจะได MVUE น $นเราตองทราบ pdf เสยกอนเชนกน

แตความเปนจรงกคอบางคร $งเราไมสามารถทราบคา pdf ลวงหนาของสญญาณไดเพราะสวนใหญเราจะทราบไดแตเฉพาะคาเฉล�ยกลางและคาสหสมพนธตวเอง(Auto-correlation) ของสญญาณเทาน $น แตการไดทราบพารามเตอรเทาน $นกเพยงพอแลวสาหรบการประมาณคาดวยตวประมาณคาอกแบบหน�งท�ช�อวาตวประมาณคาไรไบแอสเชงเสนท!ดท!สด ((((Best Best Best Best Linear Linear Linear Linear

Unbiased Estimator) Unbiased Estimator) Unbiased Estimator) Unbiased Estimator) หรอ BLUEBLUEBLUEBLUE โดยเร�องของ BLUE จะแสดงในบทท� 5

หรอ หากเราไมทราบคาทางสถตใดๆของสญญาณเลยแมกระท �งคาเฉล�ยกลางและคาความแปรปรวนรวมของสญญาณดวยเรากยงคงสามารถหาคาตวประมาณคาไดดวยวธการของตวประมาณคาแบบกาลงสองนอยสด ((((Least SquareLeast SquareLeast SquareLeast Squaressss EstimatorEstimatorEstimatorEstimator) ) ) ) หรอ LSELSELSELSE โดยเร�องของ LSE จะแสดงในบทท� 7

อยางไรกตามเราสามารถจะแบงชนดของตวประมาณคาไดตามรปแบบของการใชขอมล ( )x n ในการประมาณคาดงจะไดอธบายในหวขอถดไป

2.4 ชนดของตวประมาณคา (Types of Estimators)

เราสามารถแบงชนดของตวประมาณคาออกตามรปแบบของการใชขอมล ( )x n ในการประมาณไดเปนสองแบบคอ

1. ตวประมาณคาแบบบลอก (Block-based Estimators)

ตวประมาณคาน$เราตองทราบขอมลท 8งหมดกอนท�จะทาการหาคาประมาณตวอยางของตวประมาณคาแบบน$กคอตวประมาณคา µ ท�เปนคาเฉล�ยแซมเป$ลหรอ

1

0

1ˆ ( )

N

n

x nN

µ

−

=

= ∑ (2.32)

2. ตวประมาณคาแบบลาดบ (Sequential-based Estimators)

เปนการประมาณคาปจจบน( )n N= โดยอาศยขอมลเกา( 0,1,..., 1)n N= − หรอเราอาจจะกลาวไดวาคาของชวงเวลาปจจบนn N= น8นเปนฟงกชนของคาประมาณกอนหนาหรอ


2-17

ˆ ˆ( ) ( ( 1))N f Nµ µ= − (2.33)

ตวประมาณคาท $งสองแบบน$มขอดและขอเสยแตกตางกน

ตวอยางเชนสาหรบการหาคาเฉล�ยแซมเป$ล µ ดวยวธของตวประมาณคาแบบบลอกน $น เราหา ˆ( )Nµ ไดเปน

0

1

0

1

0

1ˆ( ) ( )

1

1( ) ( )

1

1 ( )( )

1 1

( )ˆ( 1)

1 1

N

n

N

n

N

n

N x nN

x n x NN

N x Nx n

N N N

N x NN

N N

µ

µ

=

−

=

−

=

=+

= + + = + + +

= − ++ +

∑

∑

∑

(2.34)

สงเกตวาเราไดสมการของ ˆ( )Nµ ในรปของ ( 1)Nµ − แตเพ�อการจดใหอยในรปท�มความหมาย

มากข$นดงน $นเม�อเราใชความสมพนธท�วา 11

1 1

N

N N= −

+ +เราจงไดวา

( )

( )

1 ( )ˆ ˆ( ) 1 ( 1)

1 1

1ˆ ˆ( 1) ( ) ( 1)

1

x NN N

N N

N x N NN

µ µ

µ µ

= − − ++ +

= − + − −+

(2.35)

สงเกตผลตางของ ( )x N และ ( 1)Nµ − จากเทอม ˆ( ) ( 1)x N Nµ− − โดย ( )x N น $นเปนคา

อนพทใหมและ ( 1)Nµ − น $นเปนคาเฉล�ยกลางของเวลากอนหนาโดยคา 1

1N +น $นเปนคา

อตราขยาย((((GGGGainainainain factor)factor)factor)factor)ของผลตางน$ หรอหากเขยนความหมายของแตละพจนใน (2.35) น $นเราจะไดวา

(2.36)

โดยใน (2.36) จะเหนวาความสมพนธน $นมลกษณะท�แสดงถงการปรบปรงคา(Update) โดยคาใหม(New value)จะเทากบคาเกา(Old value) ท�ถกอพเดทจากฟงกชนของคาผดพลาด

(Error term)f ท�มการสเกลคาดวยคาอตราขยาย(Gain Factor)

( )1

ˆ ˆ ˆ( ) ( 1) ( ) ( 1)1

New value = Old value+ Gain factor (Error term)

N N x N NN

f

µ µ µ= − + − −+

×


2-18

ในความหมายของทฤษฎการประมาณคาน $นคาวาฟงกชนของคาผดพลาดหรอ (Error term)f

จะเรยกวาเปนสวนปรบคาใหม(InnovationInnovationInnovationInnovation) และสมการ (2.36) กถอวาเปนสมการพ$นฐานท�สาคญของทฤษฏตวกรองแบบปรบตวได(Adaptive F(Adaptive F(Adaptive F(Adaptive Filteringilteringilteringiltering TheoryTheoryTheoryTheory) ) ) )

อลกอรธม(Algorithms) คอลาดบของการทางานเพ�อจดประสงคหน�ง ในเร�องของการประมาณคาตามทฤษฎตวกรองปรบตวไดน $นจะแบงชนดของอลกอรธมออกไดตามลกษณะของคาอตราขยาย(Gain Factor) ไดเปน

1. อลกอรธมคาเฉล!ยกลางกาลงสองนอยสด หรอ Least Mean Square (LMS) น $น อตราขยายเปนเลขคงตว(Fixed-Number Gain)

2. อลกอรธมคาเฉล!ยกลางกาลงสองนอยสดแบบนอรมลไลซ หรอ Normalised Least

Mean Square (NLMS) อตราขยายเปนสเกลารท�เปล�ยนแปลงไดตามเวลา (Time-Varying Scalar

Gain)

3. อลกอรธมกาลงสองนอยสดแบบวนซ8า หรอ Recursive Least Squares (RLS) อตราขยายเปนเมตรกซท�เปล�ยนแปลงไดตามเวลา (Time-Varying Matrix Gain)

4. ตวกรองคาลมาน หรอ Kalman Filter (KF) อตราขยายเปนเมตรกซท�เปล�ยนแปลงไดตามเวลา(Time-Varying Matrix Gain) และเปนพารามเตอรหน�งของระบบท�เปนแบบถดถอยตวเอง(Auto-Regressive)

2.5 ตวประมาณคาไรไบแอสความแปรปรวนนอยสด (Minimum

Variance Unbiased Estimator)

หากเราพดถงตวประมาณคาแบบไรไบแอสน $นเรากาลงพดถงตวประมาณคาท�มคาเฉล!ยกลางเทากบคาจรง(((( ˆ{ }E θ θ= ))))สาหรบคาจรงท!อยในยานๆหน!ง เชน MVUE ซ�งใหคาประมาณ θสาหรบคาจรงθ ในยานท�คาจรงθ อยในชวงa ถงb โดยจะเขยนสมการคาเฉล�ยกลางเปน

{ }ˆ ,E a bθ θ θ= ≤ ≤ (2.37)

ตวอยางท�จะใชพจารณาถงคาของความแปรปรวนน $นคอการประมาณคาเฉล�ยกลางAของสญญาณ ( )x n ท�เปนสญญาณไฟตรง(DC) โดยท�มสญญาณรบกวนประกอบอยดวย

( ) ( ), 0,1,..., 1x n A w n n N= + = − (2.38)

โดยท�สญญาณไฟตรงAในท�น$คอสญญาณเชงกาหนดท!ไมทราบคา(Unknown Deterministic(Unknown Deterministic(Unknown Deterministic(Unknown Deterministic

SignalSignalSignalSignal)))) ท�ตองการประมาณคา เราไดตวประมาณคาเฉล�ยกลางของAน$วา


2-19

1

0

1ˆ ( )N

n

A x nN

−

−

= ∑ (2.39)

และโดยการใชคณสมบตความเปนเชงเสนของตวกระทาคาคาดหวง(Expectation Operator) เราไดวา

{ }

{ }

1

0

1

0

1

0

1ˆ ( )

1( )

1

N

n

N

n

N

n

E A E x nN

E x nN

AN

A

−

=

−

=

−

=

=

=

=

=

∑

∑

∑

(2.40)

ดงน $นหากเราเขยนลกษณะของ pdf ของตวประมาณคาแบบไรไบแอสเราจะไดรปรางกราฟ pdf

ท�เปนสมมาตรโดยมจดท� pdf มากท!สดตรงคาจรงθ

รปท! 2-13 pdf pdf pdf pdf ของตวประมาณคาแบบไรไบแอส

เน�องจากคาของความแปรปรวนของคาเฉล�ยแซมเป$ลน $นมคาเปน

{ }

12

20

2

1ˆvar( ) ( )

1

N

n

x

A E x nN

Nσ

−

=

=

=

∑ (2.41)

เราจงไดวา 2ˆ ( , / )xA A Nσ∼ N ซ�งหมายความวาคาความแปรปรวนน $นแปรผกผนกบN หรอแสดงวาเม�อN เขาใกล∞คาความแปรปรวนของตวประมาณคาจะลดลงจนเขาใกลศนยหรอหมายถงการท� pdf ของ A เขาใกลลกษณะของโครเนคเคอรเดลตาฟงกชน(Kronecker Delta

Function)


2-20

รปท! 2-14 pdf pdf pdf pdf ของตวประมาณคาแบบไรไบแอสท!เขาใกลเดลตาฟงกชนเม!อN →∞

แตกมตวประมาณคาบางตวท�เปนตวประมาณคาแบบไรไบแอสสาหรบคาของพารามเตอรบางคาแตกลบเปนตวประมาณคาท�มไบแอสสาหรบสาหรบอกคาของพารามเตอรหน�ง ตวอยางเชนม

ตวประมาณคาAɺ ท�ทาหนาท�ประมาณคาดงน$

1

0

1ˆ ( )2

N

n

A x nN

−

=

= ∑ɺ (2.42)

การท�Aɺ จะเปนตวประมาณคาแบบไรไบแอสหรอไมน $นข$นอยกบคาจรง โดยถาหากคาจรงเปน 0 คอ 0A = จะไดวา

{ }1

0

1

0

1ˆ { ( )}2

1

2

10

20

N

n

N

n

E A E x nN

AN

N

−

=

−

=

=

=

=

=

∑

∑

ɺ

(2.43)

ซ�งจะไดวาตวประมาณคา Aɺ กจะเปนตวประมาณคาแบบไรไบแอสแตหากคาจรงไมเปน 0

( 0A ≠ )จะไดวา

{ }1

0

1

0

1ˆ { ( )}2

1

2

1

2

2

N

n

N

n

E A E x nN

AN

NAN

A

−

=

−

=

=

=

=

=

∑

∑

ɺ

(2.44)


2-21

ตวประมาณคาAɺ กจะเปนตวประมาณคาแบบมไบแอส

การประมาณคาพารามเตอรหน�งๆดวยตวประมาณคาแบบมไบแอสจะทาใหเกดความผดพลาดในการประมาณท�เรยกวาความผดพลาดเชงระบบ(Systematic Error)ข$น โดยหากเราดจาก pdf

ของตวประมาณคาแบบมไบแอสเราจะไดดงรปท� 2-15

รปท! 2-15 pdf pdf pdf pdf ของตวประมาณคาแบบมไบแอส

สวนไบแอสของตวประมาณคา θ น $นเราจะหมายถงความแตกตางระหวาง { }Ê θ และคาจรงθ

( ) { }ˆ ˆb Eθ θ θ= − (2.45)

หากเราทาการแบงการประมาณคาออกเปนบลอกและทาการหาคาประมาณของแตละบลอกเราสามารถเฉล�ยคาประมาณเพ�อลดความแปรปรวนลงได จากตวอยางขางลางน$เรามสญญาณสมดงรปท� 2-16 ซ�งกาหนดใหคาประมาณของแตละบลอกจานวน 5 บลอกเปน 1 2 5

ˆ ˆ ˆ, , ,θ θ θ⋯

รปท! 2-16 บลอกของการทาการประมาณคาดวยตวประมาณคาของแตละบลอก


2-22

หากตวประมาณคาทกตวเปนแบบไรไบแอสน �นหมายความวาเราจะได pdf ของคาประมาณ

สาหรบแตละบลอกเปนดงรปท� 2-17

รปท! 2-17 pdf pdf pdf pdf ของตวประมาณคาของบลอก 1 1 1 1 ถง NNNN

หากเราทาการหาคาเฉล�ยของตวประมาณคาของทกบลอกหรอ

1

1ˆ ˆN

T i

iN

θ θ=

= ∑ (2.46)

ซ�งจะทาใหได pdf เปนดงรปท� 2-18

รปท! 2-18 pdf pdf pdf pdf ของคาเฉล!ยของตวประมาณคาของ N N N N บลอก

ดงน $นการเฉล�ยคาบลอกทาใหไดคา Tθ ซ�งจะมความแปรปรวนท�ลดลงแตหากดผลของการเฉล�ย

คาของตวประมาณคาแบบมไบแอส θɺ แลวการเฉล�ยตวประมาณคาจะไมสามารถลดคาของไบแอสลงไปได

2.6 เง!อนไขความแปรปรวนนอยสด (Minimum Variance

Criterion)

เง�อนไข(Criterion)ท�งายท�สดท�จะใชกาหนดตวประมาณคาไดแกคาเฉล!ยคาผดพลาดกาลงสอง((((Mean Square Error) Mean Square Error) Mean Square Error) Mean Square Error) หรอ MSEMSEMSEMSE โดยท�


2-23

( ) ( ){ }2ˆ ˆMSE Eθ θ θ= − (2.47)

หรอท�แทแลวคาเฉล�ยคาผดพลาดกาลงสองกเปนการวดปรมาณการเบ�ยงเบนออกจากคาจรง θของตวประมาณคา θ

การพจารณาจะเปนดงน$ โดยหากเรานาเทอม { } { }ˆ Ê Eθ θ− + แทรกในสมการ ( )ˆMSE θ

(2.47) เราจะไดวา

( ) ( ){ }{ } { }( ){ }{ } { }( ){ }{ } { } { } { }{ }{ }{ } { }{ } { } { }{ }

2

2

2

2 2

2 2

ˆ ˆMSE

ˆ ˆ ˆ

ˆ ˆ ˆ

ˆ ˆ ˆ ˆ ˆ ˆ2

ˆ ˆ ˆ ˆ ˆ ˆ2

E

E E E

E E E

E E E E E

E E E E E E E

θ θ θ

θ θ θ θ

θ θ θ θ

θ θ θ θ θ θ θ θ


= −

= − + −

= − + −

= − + − + − −

= − + − + − − (2.48)

โดยในพจนทายสดของ (2.48) น $น เราจะเหนวาท $ง { }Ê θ และ θ น $นเปนคาเชงกาหนด

(Deterministic Value)ท $งค ดงน $นหากแยกเฉพาะเทอม { } { }{ }ˆ ˆ ˆ2E E Eθ θ θ θ − −

ออกมาแสดงจะไดวา

{ } { }{ } { } { }{ }

{ } { } { }{ }

{ } { } { }

ˆ ˆ ˆ ˆ ˆ ˆ2 2

ˆ ˆ ˆ2

ˆ ˆ ˆ2

0

E E E E E E

E E E E

E E E


θ θ θ θ

θ θ θ θ

− − = − −

= − −

= − − =

(2.49)

ซ�งทาใหสมการ ( )ˆMSE θ จะเหลอเพยงสองพจนแรกเทาน $นคอ

( ) { }{ } { }{ }

( ) ( )

2 2

2

ˆ ˆ ˆ ˆMSE

ˆ ˆvar

E E E E

b

θ θ θ θ θ

θ θ

= − + −

= +

(2.50)

หรอสรปวาคา ( )ˆvar θ น $นมความสมพนธกบ MSE จากการคานวณสมการ (2.50)

พจารณาตวประมาณคาในตวอยางขางลางน$ซ�งเปนการประมาณคาระดบไฟตรง(DC Level Estimation) ในสญญาณท�ประกอบดวย WGN

( ) ( )x n A w n= + (2.51)


2-24

โดยท�ใหA เปนตวประมาณคาท�มฟงกชนเปน

1

0

1ˆ ( )N

n

A a x nN

−

=

= ∑ (2.52)

โดยท�a น $นเปนคาคงท�และเปนตวแปรของตวประมาณคา Aท�จะทาใหคา MSE นอยท�สดจะเหนวาหากใชเง!อนไขความแปรปรวนนอยสด(Minimum Variance CriterionMinimum Variance CriterionMinimum Variance CriterionMinimum Variance Criterion) เราจะไดวา

{ }Ê A aA= (2.53)

และไดความแปรปรวนเปน

( )2 2

ˆvar waA

N

σ= (2.54)

และใชสมการ ( ) ( ) ( )2ˆ ˆ ˆMSE var bθ θ θ= + จะไดวา

( ) ( ) ( )2

2 22

2 22 2

ˆ ˆ ˆMSE var +

( )

( 1)

w

w

A A b A

aaA A

N

aa A

N

σ

σ

=

= + −

= + −

(2.55)

ทาการหาคาอนพนธ(Differentiation) ของ ( )ˆMSE A เทยบกบa ซ�งทาใหได

( )2

22ˆMSE 2 ( 1)wd aA A a

da N

σ= + − (2.56)

และทดสอบความเปนคานอยสดหรอมากสด(Minimum or Maximum) ของฟงกชนไดดวยการหาคาอนพนธอนดบสอง(Second Derivative) ของฟงกชนน $น

( )2 2

22

2ˆMSE 2wdA A

Nda

σ= + (2.57)

หลงจากน $นใหพจารณาวาผลลพธเปนคาบวกหรอคาลบ ในกรณท�เปนคาบวกแสดงวาเปนคานอยสด ในกรณท�เปนคาลบแสดงวาเปนคามากสด ในกรณน$ผลลพธ (2.57) จะไดเปนฟงกชนคาบวกซ�งหมายความวาการหาคาอนพนธของ ( )ˆMSE A เทยบกบa ใน (2.56) จะทาใหไดคา

ผลลพธa ท�ทาให ( )ˆMSE A เปนคานอยสด

เราหาคาa ท�ทาให ( )ˆMSE A เปนคานอยสดไดจากการให ( )ˆMSEd

Ada

มคาเทากบศนย


2-25

22

22 2

2

22

20 2 ( 1)

( )

opt wopt

opt wopt

optw

aA a

N

aa A A

N

Aa

AN

σ

σ

σ

= + −

− = −

=

+

(2.58)

โดยคา opta เปนคาท!เหมาะสมท!สด(Optimal)(Optimal)(Optimal)(Optimal) ของa แตประเดนท�สาคญในเร�องน$กคอจาก (2.58) ทาใหเราพบวาการจะหาคาของ opta เราจะตองทราบคาของAเสยกอนซ!งเปนไปไมได เพราะAเปนพารามเตอรท�เราไมทราบคาและจะตองทาการประมาณคา และเน�องจากการหาคา opta น $นจะมการคานวณสวนของไบแอสดวยจงเหนไดวาวธการของเง�อนไขความแปรปรวนนอยสดแตเพยงอยางเดยวน $นใหตวประมาณคาท�ไมดนกยกเวนแตวาตวประมาณคาน $นเปนแบบไรไบแอสซ�งทาให ( )ˆb A มคาเทากบศนย

จากความจรงท�วาตวประมาณคาแบบความแปรปรวนนอยสดแบบไรไบแอส(MVUE) น $นเปนตวประมาณคาแบบท�ไมข$นกบคาจรงเพราะเน�องจาก MVUE น $นเปนแบบไรไบแอสซ�งทาใหผลลพธการคานวณอยางไรกจะตองเทากบคาจรง ดงน $นสมรรถภาพของตวประมาณคาแบบ MVUE MVUE MVUE MVUE จงข8นกบคาความแปรปรวนแตเพยงอยางเดยวและหากเราทาการหาคานอยสดของคาความแปรปรวนจนกระท �งไดคาเปนศนยกแสดงวาเราไดตวประมาณคาท�ถกตองอยางท�สดแลว

แตกใชวาเราจะสามารถหา MVUE ไดงายๆเสมอไปเพราะอาจไมมตวประมาณคาใดใหคาความแปรปรวนนอยท�สดในตลอดยานท�พจารณา ตวประมาณคาบางตวอาจจะใหคาความแปรปรวนนอยท�สดในยานหน�งแตกลบมตวประมาณคาตวอ�นๆท�ใหคาความแปรปรวนท�นอยกวาแตเปนในยานอ�นๆท�เรากาลงพจารณาดวย ในรปท� 2-19 เปนการแสดงคาความแปรปรวนของตวประมาณคา 1θ , 2θ และ 3θ ซ�งจากรปท� 2-19 จะเหนไดชดวา 3θ น $นมความแปรปรวนต!าท!สดตลอดยานของคาจรงθ ดงน $น 3θ คอ MVUE ในกรณน$ แตหากตวประมาณคา 3θ ใหคาความแปรปรวนไมสม�าเสมอตลอดยานของคาจรงθ ดงแสดงในรปท� 2-20 ในกรณน$จะถอวาไมมตวประมาณคาใด MVUE ในตลอดยานท�พจารณา


2-26

รปท! 2-19 คาความแปรปรวนของตวประมาณคา 1θ ,,,, 2θ และ 3θ โดย MVUE MVUE MVUE MVUE คอ 3θ

รปท! 2-20 คาความแปรปรวนของตวประมาณคา 1θ ,,,, 2θ และ 3θ กรณไมม MVUE MVUE MVUE MVUE

ตวอยางท! 2.2 ในตวอยางตอไปน$เปนการคานวณความแปรปรวนของตวประมาณคาสามตว คอ 1θ , 2θ และ 3θ จากขอมลท�ไดจากคาการวดสองคาคอ { }( ) (0), (1)x n x x= 1

1

2

3

1 1ˆ (0) (1)2 22 1ˆ (0) (1)3 35 4ˆ (0) (1)9 9

x x

x x

x x

θ

θ

θ

= +

= +

= +

(2.59)

กาหนดให (0)x และ (1)x น $นมการกระจายท�แตกตางกน โดยสาหรบ (0)x มความแปรปรวนเทากนสาหรบทกๆคาของคาจรงθ

(0) ( ,1)x θ θ∀∼ N (2.60)

สวน (1)x น $นมความแปรปรวนท�แตกตางกนแลวแตคาจรงθ

( ,1), 0

(1)( ,2), 0

xθ θ

θ θ

≥ <

∼N

N (2.61)

1 เปรยบเทยบการคานวณ MVUE ในตวอยางน$กบตวประมาณคาไรไบแอสแบบดท�สด(BLUE) ในสมการท� (5.60)-(5.61)


2-27

ทาการทดสอบวาตวประมาณคา 1θ , 2θ และ 3θ น $นเปนแบบไรไบแอสหรอแบบมไบแอสดวยการหาคาคาดหวง(Expected Value) ของตวประมาณคา 1θ , 2θ และ 3θ

{ } { } { }11 1ˆ (0) (1)2 2

1 1

2 2Unbiased

E E x E xθ

θ θ

θ

= +

= +

= ⇒

(2.62)

{ } { } { }22 1ˆ (0) (1)3 3

2 1

3 3Unbiased

E E x E xθ

θ θ

θ

= +

= +

= ⇒

(2.63)

{ } { } { }35 4ˆ (0) (1)9 9

5 4

9 9Unbiased

E E x E xθ

θ θ

θ

= +

= +

= ⇒

(2.64)

ซ�งจะพบวาท $ง 1θ , 2θ และ 3θ น $นเปนตวประมาณคาแบบไรไบแอสดงแสดงในสมการ (2.62)

(2.63) และ (2.64) จากน $นพจารณาคาของความแปรปรวนของท $ง 1θ , 2θ และ 3θ

( )

( )

( )

1

2

3

1 1ˆvar var( (0)) var( (1))4 44 1ˆvar var( (0)) var( (1))9 925 16ˆvar var( (0)) var( (1))81 81

x x

x x

x x

θ

θ

θ

= +

= +

= +

(2.65)

ซ�งจะตองคดแยกเปนสองกรณตามคาของคาจรง คอเม�อ 0θ ≥ และ 0θ < โดยกรณแรกน $นจะไดวา

( )

( )

( )

1

2

3

1 1 1ˆvar 1 1 0.5004 4 24 1 5ˆvar 1 1 0.5559 9 925 16 41ˆvar 1 1 0.50681 81 81

θ

θ

θ

= × + × = =

= × + × = ≈

= × + × = ≈

(2.66)

และกรณท�สองเม�อ 0θ <


2-28

( )

( )

( )

1

2

3

1 1 3ˆvar 1 2 0.7504 4 44 1 6ˆvar 1 2 0.6679 9 925 16 57ˆvar 1 2 0.70381 81 81

θ

θ

θ

= × + × = =

= × + × = ≈

= × + × = ≈

(2.67)

ดงน $นจะไดวาสาหรบตลอดยานของคาจรงθ เราจะไดดงแสดงในรปท� 2-21 ซ�งจะเหนวาไมมตวประมาณคาใดเปน MVUE

รปท! 2-21 แสดงความแปรปรวนของท 8ง 1θ ,,,, 2θ และ 3θ สงเกตวาไมมตวประมาณคาใดเปน

MVUEMVUEMVUEMVUE

2.7 การขยายความไปเปนการประมาณคาแบบเวคเตอร (Extension to Vector Parameter Estimation)

หากใหθ เปนคาสมประสทธ Gของแบบจาลองสมการถดถอยตวเอง(Auto(Auto(Auto(Auto----RRRRegressive Model)egressive Model)egressive Model)egressive Model) โดยθ เปนเวคเตอรของคาจรงแบบสเกลาร(Scalar) หรอθ จานวนP ตวหรอ

[ ]1 2, , TPθ θ θ⋯θ = (2.68)

เรากาหนดใหตวประมาณคาของพารามเตอรθ น$ เปนแบบไรไบแอส เราจะไดวา θ คอตวประมาณคาของθ โดยท�

1 2ˆ ˆ ˆ ˆ, , ,

T

Pθ θ θ ⋯θ = (2.69)

และใหตวประมาณคาแตละตวเปนแบบไรไบแอสโดยสาหรบ 1,2, ,i P= … จะไดวาคาคาดหวงของตวประมาณคา ˆ

iθ น $นเปน { }ˆ ,i i i i iE a bθ θ θ= < < (2.70)


2-29

ซ�งจะไดเวคเตอรของคาคาดหวง { }Ê θ เปน

{ } { } { } { }1 2ˆ ˆ ˆ ˆ, , ,

T

PE E E Eθ θ θ = ⋯θ (2.71)

สวนเง�อนไขการเปน MVUE น $นจะมขอกาหนดเพ�มเตมข$นมาอกวาคาความแปรปรวนของ iθ

สาหรบ 1,2, ,i P= … น $นมคานอยท�สดในบรรดาตวประมาณคาทกตว

2.8 สรป

ในบทน$เปนการปพ$นฐานในเร�องของการประมาณคาในการประมวลผลสญญาณท�มความสาคญในการทาความเขาใจถงตวประมาณคาท�จะกลาวถงในบทตอไป ความหมายของตวประมาณคากคอฟงกชนท�กระทากบชดขอมลเพ�อใหไดคาประมาณของคาจรงท�สนใจ ตวประมาณคามท $งแบบไรไบแอสและแบบมไบแอส การประมาณคามท $งแบบด $งเดมซ�งคาพารามเตอรท�ตองการประมาณคาจะเปนคาเชงกาหนดและแบบเบยสท�คาพารามเตอรท�ตองการประมาณคาจะเปนสญญาณสม สมรรถภาพของตวประมาณคาจะวดจากขอมลสถตสองคาคอไบแอสและความแปรปรวนโดยตวประมาณคาท�ดท�สดในแงน$จะตองเปนแบบไรไบแอสและมคาความแปรปรวนนอยท�สดโดยเกณฑในการพจารณาวาตวประมาณคามความแปรปรวนนอยท�สดเทาใดจะใชเง�อนไขท�จะกลาวถงตอไปในบทท� 3 น �นคอเง�อนไขขอบเขตดานต�าเครเมอร-เรโอ (Cramer-Rao

Lower Bound) หรอ CRLB

Appendix 2.A

ch2_Gaussian_plot.m N=200 ;m=3; x=randn(N, 1)+ m; figure( 1) ; clf plot(x) ylabel('x(n)') xlabel('n') hold on plot(m*ones(N, 1) ,':') axis([ 0 N - 1 6]) hold off c=- 1:.01:6 ; figure( 2) p=pdf('Normal',c, 3,1) ; plot(c,p) xlabel('x(n)'); title('p(x(n);\theta)') figure( 3) Hd=im_noise; delta=zeros(N, 1) ; delta(ceil(N/ 3))=10 ; delta(ceil( 2* N/ 3))=10 ;


2-30

z=filter(Hd,delta); im=x+z; subplot( 121) plot(z) ylabel('z(n)'); xlabel('n') title('Impulsive noise') subplot( 122) plot(im+z) ylabel('x(n)'); xlabel('n')

im_noise.m function Hd = im_noise %IM_NOISE Returns a discrete-time filter object % Chebyshev Type I Highpass filter designed using FDESIGN.HIGHPASS. % All frequency values are in Hz. Fs = 48000; % Sampling Frequency N = 3; % Order Fpass = 14400; % Passband Frequency Apass = 1; % Passband Ripple (dB) % For Matlab 7 users, use or uncomment the folowing two % command lines to construct an FDESIGN object and call its % CHEBY1 method. h = fdesign.highpass('N,Fp,Ap', N, Fpass, Apass, F s); Hd = cheby1(h); % For Matlab 6.5 users, use or uncomment the follow ing two % command lines to construct a dfilt object and cal l its % CHEBY1 method. % [b,a] = cheby1(N,Apass,Fpass/Fs,'high'); % Hd = dfilt.df1(b,a);


2.1 จงหาสมการการปรบปรงคา(Update Equation)ของตวประมาณคาแบบลาดบ(Sequential

Estimator) ˆ( )A N เม�อใหสมการของตวประมาณคาท�เวลา 1N − เปน

12

0

1ˆ( 1) ( )N

n

A N x nN

−

=

− = ∑

2.2 หากมขอมลท�ไดจากการวดเปน{ }(0), (1), , ( 1)x x x N −⋯ และเราตองการประมาณคาความแปรปรวนของสญญาณ ( )x n น$โดยท� 2( ) (0, )xx n σ∼ N โดยใชตวประมาณคาเปน


2-31

1

2 2

20

1ˆ ( )

N

x

n

x nN

σ−

=

= ∑

จงหาวาตวประมาณคาน$เปนแบบไรไบแอส(Unbiased Estimator) หรอแบบมไบแอส(Biased

Estimator) และจงหาวาเม�อN → ∞ ผลลพธท�ไดจากการประมาณคาน $นจะเปนอยางไร

2.3 จงหาคาเฉล�ยกลางและความแปรปรวนของสญญาณเอาทพท ( ) ( ) ( ) 10y n h n x n= ∗ +

ของระบบคาเฉล�ยเคล�อนท� MA ท�มผลตอบสนองสญญาณอมพลสเปน

1( ) 1 0.8h n z−= +

( )x n เปนสญญาณสมท�ม pdf แบบเกาส ( ) (0,1)x n ∼ N

2.4 จากการประมาณคาระดบไฟตรงในสญญาณท�ประกอบดวย WGN

( ) ( )x n A w n= +

โดยท�ใหA เปนตวประมาณคาท�มฟงกชนเปน

1

0

1ˆ ( 1) ( )N

n

A a x nN

−

=

= − ∑

โดยท�a น $นเปนคาคงท� จงหาคาa ท�จะทาใหคา MSE นอยท�สด

2.5 จงพสจนวาตวประมาณคาความแปรปรวน

12 2

0

1ˆ ( ( ) )

1

N

n

x nN

σ µ

−

=

= −− ∑

น $นเปนตวประมาณคาแบบไรไบแอสสาหรบทกคาประมาณโดยท� { ( )}E x nµ = คอคาเฉล�ยกลาง

2.6 ในขอน$จะพจารณาการประมาณคาแบบมการแปลงไมเชงเสน(Nonlinear Transformation)

โดยจากสญญาณท�ประกอบดวย WGN ท�มการกระจายตวเปน 2( ) (0, )ww n σ∼ N

( ) ( ), 0,..., 1x n A w n n N= + = −

เราตองการประมาณคาของ 2Aθ = โดยใชตวประมาณคา


2-32

21

2

0

1ˆˆ ( )N

n

A x nN

θ−

=

= = ∑

เราสามารถเรยกตวประมาณคาแบบน$วาเปนแบบไรไบแอสไดหรอไม และหากจานวนขอมลมจานวนมากจนเขาใกลอนนต(N → ∞ )ผลการประมาณคาจะเปนอยางไร

2.7 จากขอ 2.6 แตตองการประมาณคาของความแปรปรวน 2wθ σ= ดวยตวประมาณคา

1

2 2

0

1ˆ ˆ ( )N

w

n

x nN

θ σ−

=

= = ∑

เราสามารถเรยกตวประมาณคาแบบน$วาเปนแบบไรไบแอสไดหรอไม และ หากจานวนขอมลมจานวนมากจนเขาใกลอนนต(N → ∞ ) ผลการประมาณคาจะเปนอยางไร

2.8 สาหรบสญญาณท�มการเปล�ยนแปลงของระดบสญญาณ

, 0,1,..., 1

( ), ,..., 1

a n Ms n

b n M N

= −= = −

โดย ,a b เปนคาคงท� จากสญญาณ

( ) ( ) ( ), 0,1,..., 1x n s n w n n N= + = −

จงหาคาตวประมาณคาแบบไรไบแอสของ ,a b

2.9 สญญาณแบบเบอรนล(Bernoulli) น $น มคาของความนาจะเปน p

1 , ( ) 0( ( ))

, ( ) 1

p x np x n

p x n

− == =

x

จงหาคาเฉล�ยกลางและความแปรปรวนของสญญาณแบบเบอรนลน$



COLLEGE, LONDON,1997

CHILDERS, D., "PROBABILITY AND RANDOM PROCESSES: USING MATLAB WITH APPLICATIONS TO

CONTINUOUS AND DISCRETE TIME SYSTEMS", MC-GRAW HILL, INC., 1997


2-33

KAY, S.M., "INTUITIVE PROBABILITY AND RANDOM PROCESSES USING MATLAB", SPRINGER, NEW

YORK, 2006

KAY, S.M., “FUNDAMENTALS OF STATISTICAL SIGNAL PROCESSING: ESTIMATION THEORY”, PTR

PRENTICE-HALL, NEW JERSEY, 1993

MANOLAKIS, D.G., INGLE, V.K. AND KOGON, S.M. "STATISTICAL AND ADAPTIVE SIGNAL

PROCESSING SPECTRAL ESTIMATION, SIGNAL MODELING, ADAPTIVE FILTERING, AND ARRAY

PROCESSING", ARTECH HOUSE, INC, MA, 2005

PAPOULIS, A. AND PILLAI, S. U., "PROBABILITY, RANDOM VARIABLES, AND STOCHASTIC

PROCESSES", FOURTH EDITION, MC-GRAW HILL, INC. , NEW YORK, 2002

PAPOULIS, A., "PROBABILITY, RANDOM VARIABLES, AND STOCHASTIC PROCESSES", THIRD EDITION,

MC-GRAW HILL, INC., NEW YORK, 1991

ขอบเขตดานต �าเครเมอร-เรโอ

3-1

3 ขอบเขตดานต�าเครเมอร-เรโอ

When a philosopher says something that is true then it is trivial.

When he says something that is not trivial then it is false.

Carl Friedrich Gauss.

ถานกปรชญากลาวบางส �งท �เปนจรง ส �งน �นไรสาระ แตถาเขากลาวถงบางส �งท �มสาระ ส �งน �นไมจรง

คารล ฟรดรก เกาส

3.1 บทนา

ในบทท� 2 น นเราไดศกษาถงแนวความคดของการประมาณคาและการหาตวประมาณคาในการประมวลผลสญญาณโดยประสทธภาพของตวประมาณคาน นวดจากท งไบแอสและความแปรปรวน แตหากเราทราบวาตวประมาณคาท�สนใจน นไดถกกาหนดใหเปนแบบไรไบแอสแลวกจะเหลอเพยงแตคาความแปรปรวนท�เปนส�งท�บอกถงประสทธภาพของตวประมาณคา และเม�อความแปรปรวนท�เราตองการกคอคาท�นอยท�สด ดงน นตวประมาณคาท�ดท�สดในเชงของความแปรปรวนกคอตวประมาณคาแบบไรไบแอสความแปรปรวนนอยสด(Minimum Variance Un-

biased Estimators) หรอ MVUE

วธการตรวจสอบวาตวประมาณคาเปนแบบ MVUE หรอไมน นมไดหลายวธ แตวธงายและตรงไปตรงมาท�สดกคอวธท�ใชการตรวจสอบคาความแปรปรวนของตวประมาณคาวามคาต�าสดหรอไมหรอกคอการคานวณหาขอบเขตดานต�าเครเมอร----เรโอ(Cramer(Cramer(Cramer(Cramer----Rao Lower Bound)Rao Lower Bound)Rao Lower Bound)Rao Lower Bound)

หรอเรยกยอๆวา CRLB ซ�งความหมายของ CRLB กคอเปนการหาขอบเขตของคาแปรปรวนท�ต�าท�สดท�จะเปนไปไดสาหรบตวประมาณคาแบบไรไบแอส

เราทราบวาความแปรปรวนของสญญาณรบกวนน นสงผลกบความแปรปรวนของตวประมาณคาดวย ตวอยางเชนในการประมาณคาเฉล�ยกลางของสญญาณท�ฝงตวอยกบสญญาณรบกวน ( )x n

( )2( ) ( ), ( ) 0, wx n A w n w n σ= + ∼ N (3.1)

คาความแปรปรวนของสญญาณรบกวน 2wσ เปนตวกาหนดรปรางของสญญาณและ pdf เราจะ

เขยนรปรางของ ( )x n และ pdf ของ ( )x n หรอ ( ( ))p x nx ในกรณ 2wσ มคามากดงในรปท� 3-1 a)

และในกรณท�ความแปรปรวน 2wσ มคานอยไดดงในรปท� 3-1 b)


3-2

รปท� 3-1 สญญาณ ( )x n กรณท�ม a) a) a) a) ความแปรปรวนมาก b)b)b)b) ความแปรปรวนนอย

จะเหนวาในกรณท� 2wσ มคามาก กราฟคา pdf ของ ( )x n หรอ ( ( ))p x nx จะมลกษณะ“กวาง”แต

ในทางตรงกนขามหาก 2wσ มคานอย คา ( ( ))p x nx จะ“แคบ”

วธการของ CRLB น นจะอาศยการดท� pdf ของ ( )x n ท�มลกษณะของความโคง(Curve)วามความแคบความกวางเพยงใด โดยตวบงชความกวางความแคบของความโคงใดๆน นจะอาศยคาความโคง((((CurvatureCurvatureCurvatureCurvature)))) ของความโคงน น โดยดตวอยางคาความความโคงของความโคงสองตวอยางเปรยบเทยบกนดงแสดงในรปท� 3-2

รปท� 3-2 คาความโคง(C(C(C(Curvature) urvature) urvature) urvature) ของ pdf pdf pdf pdf กรณท� a) a) a) a) ความโคง b) b) b) b) ความโคงมาก

ความสมพนธของความแปรปรวนและคาความโคงจะเปนแบบผกผนโดยคาความโคงของกราฟ pdf น นมคาแปรผกผนกบคาความแปรปรวนของสญญาณรบกวนหรอ

2 1

Curvatureσ ∝ (3.2)


3-3

สรปกคอย�งความโคงมคามากข%นคาท�ไดจากการประมาณกย�งใกลเคยงกบคาจรงมากข%นดวย

หากเราพจารณาปรมาณในแบบเชงเสนกากบ(AsymptoticAsymptoticAsymptoticAsymptotic)ซ�งเปนการเปรยบเทยบระหวางการท�คาความโคงมคามากจนเขาสคาอนนต(Infinity)อนเน�องมาจากคาความแปรปรวนของสญญาณรบกวนมคาเปนศนยและการท�คาความโคงมคานอยลงจนเขาสศนย อนเน�องจากความแปรปรวนของสญญาณรบกวนมคาเปนอนนตเราจะไดความแตกตางของสองกรณดงในรปท� 3-3 a) และ b)

รปท� 3-3 แสดงคาความโคงกรณเม�อ a) a) a) a) ความแปรปรวนเปนศนย b) b) b) b) ความแปรปรวนเปน

อนนต

การคานวณคาความโคงน นหาไดจากการคานวณคาลบของอนพนธอนดบสอง(Second

Derivative) ของฟงกชนคาความเปนไปไดแบบลอก(Log-Likelihood Function) ณ ตาแหนงคาจรงθ

3.2 ฟงกชนคาความเปนไปได (The Likelihood Function)

ปกตเราจะพจารณาหาความสมพนธของฟงกชนความหนาแนนความนาจะเปน(Probability

Density function) หรอ pdf ( ( ); )p x n θ 1

น นในฐานะท�เปนฟงกชนของผลของการสงเกตการณ

( )x n แตหากพจารณาหาความสมพนธของ ( ( ); )p x n θ ท�เปนฟงกชนกบพารามเตอรท�ไมทราบคา(Unknown Parameter)θ จะทาใหความหมายของ pdf กจะเปล�ยนไป โดยเราจะเรยก ( ( ); )p x n θ ในกรณนวาเปนฟงกชนคาความเปนไปได((((Likelihood FLikelihood FLikelihood FLikelihood Functionunctionunctionunction)))) ดงน นโดยนยามแลวฟงกชนคาความเปนไปไดน นคอ pdf ท�มลกษณะเปนฟงกชนของพาราม เตอรท�ไมทราบคาท�พจารณาขณะเฉพาะผลการสงเกตการณหน� ง เชน ฟงกชนคาความ

1 เพ�อความงายตอการอานสมการ นบจากนเราจะละตวอกษร‘x ’ ใน ()p ⋅x และจะเขยนเพยง ( )p ⋅ เทาน น


3-4

เปนไปไดท�แปรตามคา θ เม�อคดเฉพาะแซมเป ลขอมล ( )x n ณ เวลา 0n = หรอเปนการพจารณาสญญาณท�แซมเปล (0)x เพยงคาเดยว ดงน น ( ( ); )p x n θ จะเขยนไดเปน

ฟงกชนคาความเปนไปได (Likelihood Function) ของ (0)(0)= ( ; )x x

x p x θ = (3.3)

น �นคอเราแทนx ใน ( ; )p x θ ดวยคาท�ไดมาจากการสงเกตการณ (0)x และคา ( ; )p x θ ซ�งขณะนไดกลายเปนฟงกชนคาความเปนไปไดและจะเขยนแทนเปน ( (0); )p x θ ดงแสดงในรปท� 3-4

รปท� 3-4 ฟงกชนคาความเปนไปได(Likelihood function)(Likelihood function)(Likelihood function)(Likelihood function)

ตวอยางกคอ หากให (0) (0)x A w= + โดยท� ( )2(0) 0, ww σN∼ โดยท�เราตองการประมาณคาของA (หรอกคอคา DC Level) ซ�งA ในท�นกคอพารามเตอรท�เราไมทราบคาและเราจะใหตวประมาณคาแบบไรไบแอสเปน ˆ (0)A x= หรอกคอการใชแซมเปล (0)x น นเปนคาประมาณคาเลย ดงน นประสทธภาพการประมาณคากจะขนอยกบความแปรปรวน 2

wσ ของ (0)w แตเพยงอยางเดยว ฟงกชนความหนาแนนความนาจะเปนหรอ pdf ท�เปนฟงกชนของคาท�ตองการประมาณ หรอAท�พจารณาเฉพาะท� (0)x คาใดคาหน�งน นจะเรยกวาเปนฟงกชนคาความเปนไปได

( )222,,

1 1( (0); ) exp (0)

22i

w iw i

p x A x Aσπσ

= − −

(3.3)

โดยเราจะพลอตฟงกชนของ ( (0) 3; )ip x A= เทยบกบพารามเตอรท�ไมทราบคาA โดยสมมตวาคา (0)x ท�ไดมาจากการสงเกตการณเปน (0) 3x = และกาหนดใหคาเบ�ยงเบน

มาตรฐาน(Standard Deviation) มสองกรณกคอ เม�อ 1,2i = โดย ,11

3wσ = และ ,2 1wσ =

ต า ม ล า ดบ ซ� ง เ ม� อ พ ล อ ต ฟ ง ก ชน ค า ค ว า ม เ ป น ไ ป ไ ด ท ง ส อ ง ค อ 1( (0) 3; )p x A=

สาหรบ ,11

3wσ = และ 2( (0) 3; )p x A= สาหรบ ,2 1wσ = เทยบกบA จะไดดงแสดงในรปท� 3-5

a) และ b)


3-5

รปท� 3-5 pdf pdf pdf pdf ท�ข%นกบพารามเตอรท�ไมทราบคาA

a)a)a)a) 1( (0) 3; )p x A= และ b)b)b)b) 2( (0) 3; )p x A=

ฟงกชนคาความเปนไปไดจะแสดงถงความสามารถท�จะแยกคาท�ไมนาจะเปนไปไดออกไปจากการพจารณา หรอ เปนการเปรยบเทยบวาคาพารามเตอรท�ไมทราบคา(ซ�งกคอA ในกรณน)ท�คาตางๆน นวามความเปนไปไดมากนอยตางกนอยางไรโดยอาศยขอมลจากสญญาณท�สงเกตการณได (ซ�งในท�นคอ (0)x ) จากในรปท� 3-5 a) และ b) น นคาของ (0)x ท�สงเกตการณได วาเทากบ 3 น นใหคาฟงกชนคาความเปนไปไดมากสด จงหมายความวาท� 3A = จะมโอกาสท�จะเปนไปไดมากสด สวนคาAอ�นๆ กจะแสดงวาความเปนไปไดท�นอยกวาหรอไมนาจะเปนไปไดท�ลดหล �นกนลงมา แตอยาลมวาท งนเปนการใชการสงเกตการณจาก (0) 3x =

ความแตกตางของฟงกชนคาความเปนไปไดกคอความสามารถแยกคาท�ไมนาจะเปนไปไดท�แตกตางกน โดยในกรณรปท� 3-5 a) และ b) แสดงถงความแตกตางอนเน�องจากคาเบ�ยงเบนมาตรฐาน ในกรณแรกรปท� 3-5 a) ฟงกชนคาความเปนไปไดมคาเบ�ยงเบนมาตรฐานเปน

,11

3wσ = น น มความหมายวาคาAท�อยนอกเหนอจาก 3A = เชน 2A = หรอ 4A = น นจะ

มโอกาสเปนไปไดนอยกวาหากใชฟงกชนคาความเปนไปไดในกรณท�สองรปท� 3-5 b) หรอ กลาวอกอยางกคอ สาหรบกรณท�สองรปท� 3-5 b)น น ความสามารถของฟงกชนคาความเปนไปไดในการแยกคาท�ไมนาจะเปนไปไดน นดอยกวากรณแรกรปท� 3-5 a)

การหาคาความเปนไปไดจะหาไดจากความแคบ-ความกวางของฟงกชนคาความเปนไปได ณ จด (0)x ความแคบ-ความกวางนวดดวยคาความโคงดงท�ไดกลาวถงไปแลวในหวขอ 3.1 ซ�งคาความโคงนจะไดจากคา“ลบ”ของอนพนธอนดบสองของฟงกชนคาความเปนไปไดแบบลอก(Log-

Likelihood Function) โดยเราหาคาลอกของสมการ (3.3) ไดเปน

( ) ( ) ( )222

1ln ( (0); ) ln 2 (0)

2i w

w

p x A x Aπσσ

= − − − (3.4)

เม�อทาการหาอนพนธยอยของ (3.4) เทยบกบA จะได

( ) ( )2

1ln ( (0); ) (0)i

w

p x A x AA σ

∂= −

∂ (3.5)


3-6

และทาการหาอนพนธยอยอกคร งแลวใสคาลบจะไดคาความโคงเปน

คาความโคง (Curvature) ( )2

2 2

1ln ( (0); )i

w

p x AA σ

∂= − =

∂ (3.6)

ซ�งเรากทราบวาคาความแปรปรวนของตวประมาณคา A มคาเปน 2wσ ดงน นจดรปสมการ (3.6)

ใหมเราจะไดวา

( )( )

2

2

1ˆvar

ln ( (0); )i

A

p x AA

=∂

−∂

(3.7)

แตโดยสมการแลวอนพนธอนดบสองของฟงกชนคาความเปนไปไดแบบลอกจะขนอยกบ (0)x

เพยงคาเดยวซ�ง (0)x น นเปนสญญาณสม แตเราตองการคานวณสญญาณท�เปนแบบเชงกาหนด

ซ�งกสามารถทาไดโดยเพยงแตใชตวกระทาคาคาดหวง(Expectation Operator) {}E ⋅ กบคาอนพนธอนดบสองกบฟงกชนคาความเปนไปไดแบบลอกหรอกคอเปนคาเฉล�ยของคาความโคงซ�งอยในรปของฟงกชนคาความเปนไปไดแบบลอกหรอ

คาความโคง(Curvature) ( )2

2 ln ( (0); )iE p x AA

∂ = − ∂ (3.8)

3.3 การคานวณขอบเขตดานต�าเครเมอร-เรโอ (Cramer-Rao Lower Bound Calculation)

ลองมาดกนถงการคานวณขอบเขตดานต�าเครเมอร-เรโอ(Cramer-Rao Lower Bound) หรอ CRLB หรอ CRLB โดยในชวงแรกนเราจะพจารณาเฉพาะพารามเตอรแบบสเกลารเทาน น

สมมตวาเราตองการประมาณคาพารามเตอรหน�งคาเชนคาขนาด(Amplitude) ของสญญาณหน�งท�ฝงตวอยในสญญาณรบกวนเปนตน เราใหพารามเตอรน นเปนαซ�งอาจจะเปนฟงกชนของพารามเตอรแบบไมทราบคา(Unknown Parameter) หรอ เราเขยนไดวา

( )gα θ= (3.9)

โดยท� ( )g ⋅ น นเปนฟงกชนและ θ เปนพารามเตอรท�ตองการทาการประมาณคาโดย θ ม pdf

เปน ( ; )p θx และสมมตวาตวประมาณคา α เปนแบบไรไบแอสน �นหมายถงคาคาดหวงของ αหรอ { }Ê α น นมคาเทากบคาจรงαสาหรบทกๆคาของαหรอ

{ }ˆ ( ),E gα α θ α= = ∀ (3.10)


3-7

จาก { } ( )xE x xp x dx

∞

−∞

= ∫ เราไดวา

ˆ ( ; ) ( )p d gα θ θ

∞

−∞

=∫ x x (3.12)

เม�อทาการหาอนพนธของสมการ (3.12) เทยบกบθ เราจะไดวา

ˆ ( ; ) ( )p d gα θ θθ θ

∞

−∞

∂ ∂=

∂ ∂∫ x x (3.13)

และเม�อสลบลาดบการคานวณของการอนทเกรท(∫ )และการหาอนพนธยอย(θ

∂∂

)จะได

( ; ) ( )ˆp g

dθ θ

αθ θ

∞

−∞

∂ ∂=

∂ ∂∫x

x (3.14)

และเน�องจาก

ln ( ; ) 1 ( ; )

( ; )

p p

p

θ θ

θ θ θ

∂ ∂=

∂ ∂x x

x (3.15)

หรอ

( ; ) ln ( ; )( ; )

p pp

θ θθ

θ θ

∂ ∂=

∂ ∂x x

x (3.16)

ทาใหเราไดวา

ln ( ; ) ( )ˆ ( ; )

p gp d

θ θα θ

θ θ

∞

−∞

∂ ∂=

∂ ∂∫x

x x (3.17)

ซ�งหากเราใชเง�อนไขความเปนปกต(Regularity Condition(Regularity Condition(Regularity Condition(Regularity Conditionssss)))) ซ�งหมายถงกรณท�คาอนพนธยอยของฟงกชนคาความเปนไปไดแบบลอกน นสามารถมผลลพธเปนคาจากดไดท�คาจรง θ ซ�งในกรณนเรากาหนดใหผลลพธคาอนพนธยอยน นเปนศนย

{ }ln ( ; ) 0,E p θ θθ

∂= ∀

∂x (3.18)

และเราทราบวาจากการใชเง�อนไขความเปนปกตนทาใหไดวา

ln ( ; )( ; ) 0

pp d

θθ

θ

∞

−∞

∂=

∂∫x

x x (3.19)


3-8

น �นคอหากคณสมการ (3.19) ดวยคาคงท�ใดๆเราจะไดวา

ln ( ; )( ; ) 0

pp d

θα θ

θ

∞

−∞

∂=

∂∫x

x x (3.20)

ซ�งในท�นเราใชคาจรงα เปนคาคงท�

เม�อนาสมการ (3.20) ไปลบออกจาก (3.17) จะไดวา

( )ln ( ; ) ( )

ˆ ( ; )p g

p dθ θ

α α θθ θ

∞

−∞

∂ ∂− =

∂ ∂∫x

x x (3.21)

จากน นเราใชความสมพนธของอสมการคอช�----ชวารซ((((CauchyCauchyCauchyCauchy----Schwarz InequalitySchwarz InequalitySchwarz InequalitySchwarz Inequality)))) ซ�งมนยามดงนคอ สาหรบฟงกชน ( )w x , ( )y x และ ( )h x ใดๆแลว

2

2 2( ) ( ) ( ) ( ) ( ) ( ) ( )w y h d w y d w h d ≤ ∫ ∫ ∫x x x x x x x x x x (3.22)

เม�อเทยบคาตวแปรระหวางสมการ (3.22) และ (3.21) เราจะไดวา

( )ˆ( )

ln ( ; )( )

( ) ( ; )

y

ph

w p

α α

θ

θ

θ

−

∂∂

x

xx

x x

≜

≜

≜

(3.23)

ซ�งทาใหไดวา

( )2 2

2( ) ln ( ; )ˆ ( ; ) ( ; )

BA

g pp d p d

θ θα α θ θ

θ θ

∞ ∞

−∞ −∞

∂ ∂ ≤ − ∂ ∂

∫ ∫x

x x x x

��

(3.24)

และเน�องจากคาความแปรปรวนของคาประมาณ α เปนคาท�ไดจากการหาคาคาดหวงของคาผลตางกาลงสองของ α และคาจรงαหรอในสวนAของ (3.24) เปน ( ) ( ){ } ( )2 2ˆ ˆ ˆ( ) varp x dx Eα α α α α− ⇒ − ⇒∫ (3.25)

และในสวนB ของ (3.24) คอ

2 2

ln ( ; ) ln ( ; )( ; )

p pp d E

θ θθ

θ θ

∞

−∞

∂ ∂ ⇒ ∂ ∂ ∫

x xx x (3.26)


3-9

จงไดวาเม�อแทน (3.25) และ (3.26) ลงใน (3.24) แลวจะไดวา

( )2 2

( ) ln ( ; )ˆvar

g pE

θ θα

θ θ

∂ ∂ ≤ ∂ ∂

x (3.27)

ซ�งหากใชเง�อนไขความเปนปกตดงในสมการท� (3.18) ซ�งมความหมายวาการทาการหาอนพนธของฟงกชนคาความเปนไปไดแบบลอก(Log-Likelihood Function) ท�ทกๆคาของคาจรงจะให

ผลลพธเปนศนยหรอ { }ln ( ; )0,

pE

θθ

θ

∂= ∀

∂x

และทาการหาอนพนธยอยเทยบกบθ เราจะได

2

2

ln ( ; )0

ln ( ; )( ; ) 0

ln ( ; ) ln ( ; ) ( ; )( ; ) 0

pE

pp d

p p pp d

θ

θ θ

θθ

θ θ

θ θ θθ

θ θθ

∞

−∞∞

−∞

∂ ∂ = ∂ ∂ ∂ ∂

=∂ ∂

∂ ∂ ∂ + = ∂ ∂∂

∫

∫

x

xx x

x x xx x

(3.28)

และเน�องจาก ( ; ) ln ( ; )( ; )

p pp

θ θθ

θ θ

∂ ∂=

∂ ∂x x

x ทาใหไดวา

22

2

2 2

2

ln ( ; ) ln ( ; )0

ln ( ; ) ln ( ; )

p pE E

p pE E

θ θ

θθ

θ θ

θ θ

∂ ∂ + = ∂∂ ∂ ∂ = − ∂ ∂

x x

x x (3.29)

เราจะไดในท�สดวา

2

2

2

( )

ˆvar( )ln ( ; )

g

pE

θ

θα

θ

θ

∂ ∂ ≥

∂ − ∂

x (3.30)

ดงน นหากให CRLB ของ θ เปน 2

2

1CRLB

ln ( ; )pE

θθ

θ

= ∂ − ∂

xดงน น CRLB ของ α หรอ

ˆCRLBα จงเปน

2

ˆ

( )ˆvar( ) CRLB CRLB

gα θ

θα

θ

∂≥ =

∂ (3.31)


3-10

ในกรณเฉพาะหากเราให ( )g θ θ= เราไดวาเทอม ( )g θ

θ

∂∂

เปน 1 หรอ

2

2

1ˆvar( )

ln ( ; )pE

αθ

θ

≥ ∂ − ∂

x (3.32)

ซ�งกคอขอบเขตดานต�าเครเมอร-เรโอหรอ CRLB ของตวประมาณคา α หรอกลาวอกอยางหน�งวาสาหรบตวประมาณคา α ใดๆน นคาความแปรปรวน ˆvar( )α จะมคามากกวาหรอ

เทากบ2

2

1

ln ( ; )pE

θ

θ

∂ − ∂

xเสมอ

นอกจากน นเรายงสามารถหาตวประมาณคาแบบไรไบแอสซ�งอยในขอบเขตดงกลาวได โดยวธการกคอหากเราสามารถเขยนสมการการหาอนพนธของฟงกชนคาความเปนไปไดแบบลอก

เชนในสมการท� (3.5) หรอ ( ) ( )2

1ln ( (0); ) (0)i

w

p x A x AA σ

∂= −

∂หรอเขยนเปนในรปท �วไป

ไดเปน

( )ln ( ; )( ) ( )

pI g

θθ θ

θ

∂= −

∂x

x (3.33)

( )I θ มช�อเรยกวาเปนฟชเชอรอนฟอรเมชน(FisherFisherFisherFisher InformationInformationInformationInformation) หรอกคอคาความโคงของฟงกชนคาความเปนไปไดน �นเอง และ ( )I θ มคาเทากบสวนกลบคาความแปรปรวนต�าสดท�จะได

จากการประมาณดวยตวประมาณคา ( )g x โดยท�คาความแปรปรวนต�าสดจะเปนท� 1

( )I θ น �น

หมายความวาเม�อคานวณท� CRLB CRLB CRLB CRLB เราจะไดตวประมาณคา MVUE MVUE MVUE MVUE โดยสาหรบตวอยางนเราจะไดวา

2

1Fisher Information: ( )

Estimator: ( ) (0)

True Value:

w

I

g x

A

θσ

θ

=

=

=

x

สงเกตวาเน�องจากท� CRLB น นคาฟชเชอรอนฟอรเมชนจะเทากบสวนกลบของคาความแปร ปรวนต�าสดดงน นจงไดวา

1

Fisher Information ( )variance

I θ = (3.34)


3-11

หรอหากมองในเชงความเขาใจกอาจจะแปลความไดวาคาวา“อนฟอรเมชน” ในฟชเชอรอนฟอรเมชนน นเปนส�งท�บอกถง““““ความเปนสารสนเทศ””””ของขอมล ย�งขอมลมความเปนสารสนเทศมากคาความแปรปรวนกย�งนอยและคาขอบเขตดานต�ากจะย�งต�าลง

ตวอยางท� 3.1 ตวอยางนเปนการศกษาเร�องของขอบเขตดานต�าเครเมอร-เรโอในการประมาณระดบคาไฟตรง(DC) ของสญญาณ ( )x n ท�ฝงตวอยในสญญาณรบกวนสขาวแบบเกาสโดยมจานวนขอมลจานวนN แซมเปล เร�มจากโดยมสมการงายๆท�คนเคยคอ

( ) ( ), 0,1,..., 1x n A w n n N= + = − (3.35)

และเราตองการหา CRLB สาหรบระดบไฟตรงA น

จากโจทยเราทราบวา 2( ) (0, )ww n σ∼ N จงทาใหไดวา

( )

12

220

12

22 02

1 1( ; ) exp ( ( ) )

22

1 1exp ( ( ) )

22

N

wn w

N

Nw n

w

p A x n A

x n A

σπσ

σπσ

−

=

−

=

= − −

= − −

∏

∑

x

(3.36)

สงเกตวาเราเปล�ยน pdf pdf pdf pdf เปนฟงกชนคาความเปนไปไดจากการให ( )x n เปนคาเฉพาะจานวนN แซมเป% ลและเม�อเราหาคาลอกของฟงกชนคาความเปนไปไดนจะไดวา

( )1

2 222

0

1ln ( ; ) ln 2 ( ( ) )

2

N N

ww n

p A x n Aπσσ

−

=

= − − −∑x (3.37)

จากการทาการหาอนพนธของฟงกชนคาความเปนไปไดใน (3.37) เทยบกบA เราได

( )

( )

12 22

20

1

20

1

20

2

ln ( ; ) 1ln 2 ( ( ) )

2

1( ( ) )

1 1( )

N N

ww n

N

w n

N

w n

w

p Ax n A

A A

x n A

N x n NAN

Nx A

πσσ

σ

σ

σ

−

=

−

=

−

=

∂ ∂ = − − − ∂ ∂

= −

= −

= −

∑

∑

∑

x

(3.38)


3-12

เม�อ x ทางฝ �งขวามอของ (3.38) คอคาเฉล�ยแซมเปลของ ( )x n หรอ1

0

1( )

N

n

x x nN

−

=

= ∑ น น

เทยบเคยงไดกบรปแบบของ ( )( ) ( )I gθ θ−x โดยท� 2( )w

NI θ

σ= และ ( )g x=x

หากทาการหาคาอนพนธของ ln ( ; )p A

A

∂∂x เทยบกบA อกคร งเราไดวา

2

2 2

ln ( ; )

w

p A N

A σ

∂= −

∂x

(3.39)

สรปกคอเราได MVUE เปนคาเฉล�ยแซมเปลx และได CRLB เปน

( )2

ˆvar wAN

σ≥ (3.40)

△

ตวอยางท� 3.2 ในตวอยางนจะเปนเร�องการหา CRLB ของพารามเตอรท�ไมทราบคา(Unknown

Parameter) ซ�งพารามเตอรท�ไมทราบคาน เปนฟงกชนของพารามเตอรท�ทราบคา(Known

Parameter) และมการกาหนด CRLB มาให โดยสมมตใหมหนยนตตรวจการณตวหน�งซ�งมเซนเซอรตรวจจบตาแหนงของประตได ใหหนยนตเคล�อนท�ในระยะทางระหวางประต 1 และ 2

ซ�งหางกนเทากบD เมตรและทาการจบเวลาไดเปนT วนาทซ�งความแมนยาของการจบเวลาน นถกกาหนดดวยคาขอบเขตดานต�าเครเมอร-เรโอCRLBT จงหาขอบเขตดานต�าเครเมอร-เรโอของการประมาณคาความเรวในการเคล�อนท�ของหนยนตV

รปท� 3-6 หนยนตตรวจการณเคล�อนท�ระยะทางD ในเวลาT

สาหรบกรณนเราทราบวาความสมพนธของความเรวV ระยะทางD และเวลาT น นเปน

/V D T= (3.41)

ดงน นจากความสมพนธ ( )gα θ= ใน (3.9) น นเทยบไดวา


3-13

( )V g T= (3.42)

โดยท� Tθ = ซ�งทราบคา CRLB และจาก (3.31) จะได

2

ˆ

2

2

2

2

4

4

2

ˆvar( ) CRLB CRLB

( / )CRLB

CRLB

CRLB

CRLB

TV

T

T

T

T

VV

T

D T

T

D

T

D

T

V

D

∂ ≥ = ∂

∂ = ∂

= −

=

=

(3.43)

△

จากในตวอยางท� 3.1 เน�องจากเราทราบวาตวประมาณคากคอคาเฉล�ยแซมเปลน นมความ

แปรปรวนเปน2w

N

σ ดวยการท�ตวประมาณคามคาความแปรปรวนเทากบ CRLB นหมายความวา

ตวประมาณคาน นใชขอมลจากการสงเกตการณไดอยางมประสทธภาพ ดงน นเราจะกลาววาตวประมาณคาท�เปนคาเฉล�ยแซมเปลน นมลกษณะท�เรยกวาแบบมประสทธภาพ(Efficient)(Efficient)(Efficient)(Efficient)

รปท� 3-7 แสดงกรณตวประมาณคาเปน MVUE MVUE MVUE MVUE และเปนตวประมาณคาแบบ

a) a) a) a) มประสทธภาพ(Efficient) b) (Efficient) b) (Efficient) b) (Efficient) b) ไมมประสทธภาพ(Not Efficient)(Not Efficient)(Not Efficient)(Not Efficient)


3-14

แตกมบางคร งท�เราไมสามารถหาตวประมาณคาแบบไรไบแอสซ�งมความแปรปรวนเทากบ CRLB ได น �นคอเรากจะไดตวประมาณคาท�มความแปรปรวนนอยท�สด หรอ เปน MVUE MVUE MVUE MVUE แตไมมประสทธภาพ

จากเร�องของฟชเชอรอนฟอรเมชนหรออกนยหน�งกคอคาความโคงน น เราพบวาอนฟอรเมชนหรอความเปนสารสนเทศน นมคณสบตดงนคอ 1. ความเปนสารสนเทศเปนคาท�เปนเลขบวกเสมอ(Non-Negative) 2. หากจานวนแซมเปลมากอนฟอรเมชนกย�งถกบวกรวมกนมาก(Additive Property)

จากคณสมบตท งสองน รวมกนแลวหมายความวาย�งมความเปนสารสนเทศมาก((((ความโคงมาก)))) ความแปรปรวนกย�งนอยซ�ง ( )I θ ท�ไดนจะนาไปใชประโยชนในการหา CRLB เน�องจาก

2

2

ln ( ; )( )

pI E

θθ

θ

∂ = − ∂

x และ CRLB คอ 1ˆvar( )( )I

θθ

≥

โดยท �วไปแลวสญญาณท�เราสนใจมกจะอยในรปของสญญาณท�ถกรบกวนดวยสญญาณรบกวนสขาวแบบเกาสหรอ

( ) ( ; ) ( ), 0,..., 1x n s n w n n Nθ= + = − (3.44)

โดยท� 2( ) (0, )ww n σ∼ N และ ( ; )s n θ น นเปนเชงเสนกบพารามเตอรบางตว เชน ในกรณท� ( ; )s n θ เปนAn B+ , sin 2A fnπ หรอ nAr น น ( ; )s n θ เปนเชงเสนกบA ในทกกรณ

แตบางกรณพารามเตอรท�เราพจารณากอาจจะไมใชพารามเตอรท�เปนเชงเสนกไดเชน

( )sin 2A fnπ φ+ ซ�งจะเหนไดชดวาท ง f และφ น นไมเปนเชงเสนกบ ( ; )s n θ

พารามเตอรท�เราจะทาการประมาณคาน นไมจาเปนตองเปนเชงเสนกไดดงเชนในกรณตวอยางขางลางนในการหา CRLB ของตวประมาณคา θ ของสญญาณ ( ; )s n θ น นมรปแบบท �วๆไปคอ

2

21

0

ˆvar( )( ; )

w

N

n

s n

σθ

θ

θ

−

=

≥ ∂ ∂∑

(3.45)

ทนมาดความหมายสงเกตวาหาก 2wσ หรอความแปรปรวนของ ( )w n มความคงท� สวนท�เปน

ตวหารหรอ ( ; )s n θ

θ

∂∂

กจะทาหนาท�กาหนดคาความแปรปรวนของตวประมาณคาหรอ ˆvar( )θ เรา

จงสรปไดวาหากสญญาณมการเปล�ยนแปลงทนตามคาการเปล�ยนแปลงของพารามเตอรท�จะตองทาการประมาณคา เราจะไดตวประมาณคาท�คอนขางเท�ยงตรง


3-15

ตวอยางท� 3.3 ตวอยางนจะแสดงการแปรเปล�ยนของ CRLB แตละตาแหนงของพารามเตอรท�สนใจคอความถ� 0f หาก θ น นเปน 0f ซ�งหมายถงวาเราจะทาการประมาณคาความถ� 0f ในสญญาณ 0( ; )s n f

0 0 0

1( ; ) cos(2 ), 0

2s n f A f n fπ φ= + ≤ ≤ (3.46)

เม�อคานวณอนพนธยอยของ 0( ; )s n f เม�อเทยบกบ 0f จะไดเปน

00

0

( ; )2 sin(2 )

s n fn f n

fπ π φ

∂= − +

∂ (3.47)

ซ�งจากกาหนดให 0ˆ fθ = หาอนพนธยอยอกคร งตาม (3.31) จะไดวา CRLB ของ 0f จะเปน

( )

0

2

ˆ0 122

00

ˆvar( ) CRLB

2 sin(2 )

wf N

n

f

A n f n

σ

π π φ

−

=

≥ =

+∑ (3.48)

หากเราพลอตรปของ 0var( )f เทยบกบคาของ f เราจะไดความสมพนธของ CRLB และความถ� (นอรมลไลซ) ดงในรปท� 3-8 ด MATLAB Codes“ch3_crlb.m ”ใน Appendix 3.A

0 0.1 0.2 0.3 0.4 0.50.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

0.5

Normalised Frequency

Cra

me

r-R

ao

Low

er B

oun

d

fA

fB

DC Nyquist

รปท� 3-8 ความแปรปรวนของการประมาณคาความถ� 0f ของสญญาณโคซายน 0( ; )s n f


3-16

การแปลความหมายกคอการท�สญญาณ ณ ความถ�ตางๆกนมความแปรปรวนซ�งกคอ CRLB ท�ไมเทากน สงเกตวาท�ความถ� Af น นจะให CRLB ท�ต�าท�สดรองลงมากคอท�ความถ� Bf สวนความถ�ท� CRLB มากท�สดกคอท� DC และท�ความถ�π เรเดยนหรอความถ�ไนควสต(Nyquist Frequency)

ความหมายกคอการเลอกความถ�ท�จะทาการประมาณ 0f น นกมความสาคญเพราะหากเลอก 0f

ไวท� Af กจะไดตวประมาณคาท�มความถกตองสงกวากาหนด 0f ไวท� Bf เพราะ CRLB ต�ากวา

น �นแสดงใหเหนวา CRLB CRLB CRLB CRLB เปนการบอกถงตาแหนงท�ควรจะทาการประมาณความถ� 0f ใน

ยานความถ� 10

2f≤ ≤ เม�อมาดท�กรณ 0 0f = หรอเปนไฟตรง(DC)เราพบวาการเปล�ยนแปลง

ของ 0( ; )s n f เม�อ 0 DCf = หรอ0

0

0 DC

( ; )

f

s n f

f =

∂∂

จาก (3.47) น นมคานอยซ�งแปลวา ( ;DC)s n

น นไมคอยไดรบผลกระทบจากการเปล�ยนแปลงของ 0f เทาใดนกส�งท�ไดกคอการประมาณท�จะใหคาไมคอยเท�ยงตรงซ�งแสดงดวยการท�คาความแปรปรวนของคาประมาณของ 0f หรอ 0var( )f

จาก (3.48) น นใหคาเขาสอนนตหรอ0

0DC

ˆvar( )f

f=

→ ∞ △

3.4 การขยายความการประมาณคาในแบบเวคเตอร (Extension to Vector Parameter Estimation)

เทาท�ผานมาน น การประมาณคาจะกระทาในกรณเฉพาะคาท�เปนสเกลารเทาน น ในตอนนเราจะมาพจารณาการประมาณคาในแบบเวคเตอรกนดบาง

หากตองการประมาณคาของθ ซ�งเปนเวคเตอรพารามเตอรท�มสมาชก pคาหรอ 1 2, , ,

T

pθ θ θ = θ ⋯ (3.49)

คาประมาณของθ จะเขยนเปน θ และจะเปน MVUE และมสมรรถภาพกตอเม�อคาความแปรปรวนของ θ มคาเทากบ CRLBCRLBCRLBCRLB

จากเง�อนไข Regularity ซ�งเปนขอกาหนดของการหา CRLB ซ�งคา pdf ของxหรอ ( );p x θ นกจะเปน

( )ln ;,

pE

∂ = ∀ ∂

x0

θθ

θ (3.50)

สงเกตวาคาθ นจะเปนปรมาณท�เปนเวคเตอร


3-17

เราไดวาคาความแปรปรวนเมตรกซ ˆCθ ของตวประมาณคาไรไบแอส θ ใดๆมความสมพนธกบเมตรกซของฟชเชอรอนฟอรเมชน(Fisher Information M(Fisher Information M(Fisher Information M(Fisher Information Matrix)atrix)atrix)atrix) ( )I θ ดงน

1

ˆ ( )−− ≥C I 0θ

θ (3.51)

หรอหมายความวาผลลพธน นเปนเมตรกซแบบจากดก�งบวก(Positive Semi-definite Matrix) ซ�งทาใหเราเขยนตอไดวา

1

ˆConstant matrix ( )−= −C Iθ

θ (3.52)

โดยเมตรกซคาคงท�(Constant Matrix) นจะเปนเมตรกซแบบจากดก�งบวก

สวนเมตรกซของฟชเชอรอนฟอรเมชนน นมองคประกอบเปน

[ ]2

,

ln ( ; )( )

i ji j

pE

θ θ

∂ = − ∂ ∂

xI

θθ (3.53)

โดยคา ,i j ของ [ ],

( )i j

I θ น นมคาเปน , 1,2,...,i j p= โดยท�p เปนจานวนพารามเตอรท�ตองการ

ทาการประมาณคา โดยเม�อเปรยบเทยบกบกรณของคาฟชเชอรอนฟอรเมชนแบบสเกลารท�เปน

2

2

ln ( [0]; )( )

p xI E

θθ

θ

∂ = − ∂ (3.54)

แลวกจะพบวาในกรณสเกลารน น 1p =

เราจะใช CRLB ในการหา MVUE สาหรบตวประมาณคาท�เปนเวคเตอรหรอ θ ไดอยางมประสทธภาพเพราะสามารถประมาณคาพารามเตอรหลายๆตวไดพรอมๆกน

นอกจากน นแลวสาหรบตวประมาณคาแบบไรไบแอส θ ท�เปนเวคเตอรนจะใหคาเทากบ CRLB กตอเม�อ

( )ln ( ; )( ) ( )

p∂= −

∂x

I g xθ

θ θθ

(3.55)

ซ�งตวประมาณคา ˆ ( )= g xθ นเปน MVUE ดวยและมเมตรกซความแปรปรวนรวม(Covariance

Matrix) เปน 1( )−I θ หรอ

1ˆ ( )−=C Iθ

θ (3.56)


3-18

ตวอยางท� 3.4 ตวอยางนขยายความมาจากตวอยางท� 3.1 ท�เปนการประมาณคาระดบไฟตรงในสญญาณท�ถกรบกวนและเพ�มการประมาณคาในสวนของความแปรปรวนของสญญาณรบกวนดวย โดยในท�นจะไดเวคเตอรคาท�ตองการประมาณเปน

21 2[ ] [ ]T T

wA σ θ θ= =θ (3.57)

ดงน นเราจะไดวา

( )

2 2

2 2

2 2

2 22

ln ( ; ) ln ( ; )

( )ln ( ; ) ln ( ; )

w

w w

p pE E

A A

p pE E

A

σ

σ σ

∂ ∂ − − ∂ ∂ ∂ = ∂ ∂ − − ∂ ∂ ∂

x x

Ix x

θ θ

θ

θ θ

(3.58)

สงเกตวาการสลบตาแหนงของการหาอนพนธของAและ 2wσ จะไมสงผลตอคาการหาอนพนธ

หรอ

2 2

2 2

ln ( ; ) ln ( ; )

w w

p pE E

A Aσ σ

∂ ∂ − = − ∂ ∂ ∂ ∂

x xθ θ (3.59)

ดงน นจากสมการ (3.36)

( )

12

22 02

1 1( ; ) exp ( ( ) )

22

N

Nw n

w

p A x n Aσ

πσ

−

=

= − −

∑x (3.60)

เราไดวาลอกของคาความเปนไปได

( )

12 22

20

12 2

20

1ln ( ; ) ln 2 ( ( ) )

2

1ln2 ln ( ( ) )

2 2 2

N N

ww n

N

ww n

p A x n A

N Nx n A

πσσ

π σσ

−

=−

=

= − − −

= − − − −

∑

∑

x

(3.61)

เม�อคานวณคาอนพนธของลอกของคาความเปนไปไดเทยบกบคาAและ 2wσ จะได

1

20

1

20

ln ( ; ) 2( ( ) ) ( )

2

1( ( ) )

N

w n

N

w n

px n A A

A A

x n A

σ

σ

−

=−

=

∂ ∂= − − −

∂ ∂

= −

∑

∑

x θ

(3.62)


3-19

2 12

2 2 2 20

12

2 40

ln ( ; ) ln 1( ( ) )

2 2

1( ( ) )

2 2

Nw

w w w wn

N

w w n

p Nx n A

Nx n A

σ

σ σ σ σ

σ σ

−

=−

=

∂ ∂ ∂= − − −

∂ ∂ ∂

= − + −

∑

∑

x θ

(3.63)

และคาอนพนธอนดบสองของลอกของคาความเปนไปไดเทยบกบคาAและ 2wσ จะไดเปน

2 1

2 20

1

20

2

ln ( ; ) 1( ( ) )

1( )

N

w n

N

w n

w

px n A

AA

AA

N

σ

σ

σ

−

=−

=

∂ ∂= −

∂∂

∂= −

∂

= −

∑

∑

x θ

(3.64)

2 12

2 2 40

1

20

1

40

ln ( ; ) 1( ( ) )

2 2

2( ( ) )

2

1( ( ) )

N

w w w n

N

w n

N

w n

p Nx n A

AA

x n A

x n A

σ σ σ

σ

σ

−

=

−

=−

=

∂ ∂ = − + − ∂∂ ∂

= −

= − −

∑

∑

∑

x θ

(3.65)

( )

2 2 412

2 2 220

12

4 60

ln ( ; ) 1( ( ) )

2 2

1( ( ) )

2

Nw w

w wnw

N

w w n

p Nx n A

Nx n A

σ σ

σ σσ

σ σ

− −−

=

−

=

∂ ∂ ∂= − + −

∂ ∂∂

= − −

∑

∑

x θ

(3.66)

เม�อแทนคาท งหมดจาก (3.64)-(3.66) ลงไปใน (3.58) จะได


3-20

1

2 40

1 12

4 4 60 0

2 40 0

1( ( ) )

( )1 1

( ( ) ) ( ( ) )2

1{( ( ) )}

N

w w n

N N

w w wn n

N

w w n

NE E x n A

NE x n A E x n A

NE x n A

σ σ

σ σ σ

σ σ

−

=

− −

= =

−

= =

− − − − − = − − − − − −

−

=

∑

∑ ∑I θ

��

2

1

1 12

4 4 60 00

2 2

44 4

1 1{( ( ) )} {( ( ) ) }

2

0 0

0022

w

N N

w w wn n

w w

ww w

NE x n A E x n A

N N

NN N

σσ σ σ

σ σ

σσ σ

− −

= == =

− − − −

= = − −

∑

∑ ∑��

(3.67)

ดงน นเราจงได

21

11

42 1

22

ˆvar( ) ( )

2ˆvar( ) ( )

w

ww

AN

N

σ

σσ

−

−

≥ =

≥ =

I

I

θ

θ

(3.68)

△

ตวอยางท� 3.5 แสดงการหาคาประมาณในรปแบบเวคเตอร θ สาหรบA , 0f และφ จากสญญาณโคไซนท�ประกอบดวยสญญาณรบกวน 0( ) cos(2 ) ( ), 0,..., 1x n A f t w n n Nπ φ= + + = − (3.69)

โดยท� 0A> และ 01

02

f≤ ≤ และจะเปนการประมาณคาพารามเตอรท งสามพรอมๆกนโดย

เราจะเขยนพารามเตอรท งสามรวมอยในเวคเตอรθ เดยวหรอ

1 2 3

0

T

TA f

θ θ θ

φ

= =

θ

(3.70)

ซ�ง เ ราจะหาCRLBจากการหาเมตรกซของฟชเชอรอนฟอรเมชนกอนโดยมเง�อนไข 1

ˆ ( )−≥C Iθ

θ และคานวณ ( )I θ จาก


3-21

2 2 2

20

2 2 2

20 00

2

ln ( ; ) ln ( ; ) ln ( ; )

ln ( ; ) ln ( ; ) ln ( ; )( )

ln ( ; )

p p pE E E

A f AA

p p pE E E

f A ff

pE

φ

φ

∂ ∂ ∂ − − − ∂ ∂ ∂ ∂∂ ∂ ∂ ∂ = − − − ∂ ∂ ∂ ∂∂ ∂

−∂

x x x

x x xI

x

θ θ θ

θ θ θθ

θ2 2

20

ln ( ; ) ln ( ; )p pE E

A fφ φ φ

∂ ∂ − − ∂ ∂ ∂ ∂

x xθ θ

(3.71)

โดยเราใชความสมพนธท�วาแตละองคประกอบ(Element) ของคา ˆCθ ท� i และ j ของ ( )I θ น นสามารถคานวณไดจาก

1

20

1 ( ; ) ( ; )[ ( )]

N

iji jn

s n s n

θ θσ

−

=

∂ ∂=

∂ ∂∑Iθ θ

θ (3.72)

โดยท� 0( ; ) cos(2 )s n A f tπ φ= +θ เราจงสรปไดวา

1 1

2 2 2 22

0 0

212

0

0 02

1( ) 0 2

02

N N

n n

N

n

N

A n A n

NAA n

π πσ

π

− −

= =−

=

=

∑ ∑

∑

I θ (3.73)

เราจะหา CRLB จากคาของความแปรปรวนใน 1( )−I θ โดยท�แกนทแยงมมของ 1( )−I θ จะเปน (ดคาถามทายบทขอ 3.8)

21

1,1

2ˆvar( ) ( )AN

σ− ≥ = I θ (3.74)

1

0 2 22,2

12ˆvar( ) ( )(2 ) ( 1)

fN Nπ η

− ≥ = −I θ (3.75)

1

3,3

2(2 1)ˆvar( ) ( )( 1)

N

N Nφ

η

− − ≥ = −I θ (3.76)

โดยตวแปร η น นเปน

2

22

Aη

σ= (3.77)

หรอ η อยในรปของอตราสวนของคากาลงของสญญาณตอความแปรปรวนของสญญาณรบกวนหรออตราสวนท�เรารจกกนดในช�อของอตราสวนสญญาณตอสญญาณรบกวน((((Signal to Signal to Signal to Signal to

Noise RatioNoise RatioNoise RatioNoise Ratio)))) หรอ SNR SNR SNR SNR


3-22

ดงน นการท� 0var( )f และ ˆvar( )φ แปรผกผนกบ η จงเปนส�งท�ควรจะเปนเชนน นเพราะเม�อดท�สวนกลบของ 0var( )f จะพบวาเปนอนดบของ 3N ในขณะท�สวนกลบของ ˆvar( )φ น นเปนอนดบของ 2N ความหมายกคอการท� 0var( )f น นมความไว(S(S(S(Sensitivity)ensitivity)ensitivity)ensitivity) ตออนดบของแซมเปลขอมลท�สงกวา ˆvar( )φ และแนนอนวามความไวมากกวา ˆvar( )A มากซ�งมสวนกลบเปนN

△

แตในบางคร งการหา ( )I θ จากการคานวณ2 ln ( ; )

i j

pE

θ θ

∂ − ∂ ∂

x θ กไมใชเร�องงายโดยเฉพาะกรณ

ท� pdf มความซบซอนดงน นเราจงมาพจารณากรณสญญาณของกระบวนการท�เปนสถานะน�งเชงกวาง(Wide-Sense Stationary Process)หรอ WSS ซ�งเราจะไดสมการ ( )I θ จากการกาหนดจา นวนแซมเปลN ใหเขาสคาอนนตหรอN → ∞ โดยกระบวนการเชนนเรยกวากระบวนการเชงเสนกากบ(Asymptotic Process)

[ ]12

, 12

ln ( ; ) ln ( ; )( )

2xx xx

i ji j

N P f P fdf

θ θ−

∂ ∂=

∂ ∂∫Iθ θ

θ (3.78)

คาเฉล�ยกลางของ ( )x n มคาเทากบศนยและ ( ; )xxP f θ คอคาความหนาแนนของสเปคตรมกาลง(Power Spectral D(Power Spectral D(Power Spectral D(Power Spectral Density)ensity)ensity)ensity) ของ ( )x n ซ�งสาหรบ WSS แลวพารามเตอรท�สาคญคอคาสหสมพนธตวเองหรอ xxr และ ( ; )xxP f θ น นกคอการทาการแปลงฟรเยร(Fourier Transform) ของ xxr

ลองมาดตวอยางของการหาคาความแปรปรวนของพารามเตอรในโมเดลแบบสมการถดถอยตวเอง(Auto-Regressive Model) โดยเราไดวาคาความหนาแนนของสเปคตรมกาลงจะอยในรปของ

2

2ˆ ( )

( )xxP f

A z

σ= (3.79)

หรอ

2

2

1

ˆ ( )

ˆ1 ( )exp( 2 )

xxp

m

P f

a m j fm

σ

π=

=

+ −∑ (3.80)

ซ�งพารามเตอรท�จะทาการประมาณคากคอ

2[ (1), (2), , ( ), ]Ta a a p σ=θ ⋯ (3.81)

จากสมการของ ( )I θ เราไดวา


3-23

[ ] , 2( ) ( ), , 1,2, ,xxk l

Nr k l k l p

σ= − =I θ … (3.82)

[ ] ,( ) 0, 1,2, , ; 1k l

k p l p= = = +I θ … (3.83)

[ ] , 4( ) , , 1

2k l

Nk l p

σ= = +I θ (3.84)

ดงน นเราเขยน ( )I θ กจะได

2

4

( )

2T

N

N

σ

σ

=

xxR 0I

0

θ (3.85)

ซ�งเราจะหา 1( )−I θ ในรปแบบขางลางน

1

2

ˆvar( (0)) 0 0

ˆ0 var( (1))

( )

ˆvar( ( )) 0

ˆ0 0 var( )

a

a

a p

σ

−

=

I θ

⋯

⋮

⋮ ⋱

⋯

(3.86)

ดงน นสาหรบ ( )a k สาหรบk ใดๆ

[ ]2

1,

ˆvar( ( )) , 1,2,...,k k

a k k pN

σ −≥ =xxR (3.87)

และสาหรบ 2σ

( )4

2 2ˆvar

N

σσ ≥ (3.88)

ซ�งเปน CRLB ของท งสองพารามเตอร △

ตวอยางท� 3.6 เปนตวอยางของการประมาณคา ( )a p ในสมการ (3.81) โดยจะหาคา CRLB ในกรณท� ( )a p มคาแตกตางกนโดยเม�อให 1p = จะไดวาคา CRLB จาก (3.87) จะเปน

2

ˆvar( (1))(0)xx

aNr

σ≥ (3.89)

ซ�งเราทราบวาสาหรบโมเดลแบบสมการถดถอยตวเองแบบอนดบแรก(First(First(First(First----order AR order AR order AR order AR

Model)Model)Model)Model) น น คาสหสมพนธตวเองจะเปน


3-24

2

2(0)1 (1)

xxra

σ=

− (3.90)

ซ�งหมายความวาสาหรบกรณน CRLB คอ

21 (1)

ˆvar( (1))a

aN

−≥ (3.91)

เม�อดท�สวนกลบของเทอมดานขวาของ (3.91) ซ�งเปนคาของจานวนแซมเปลN จะพบวาย�งNมคามากกจะย�งทาให ˆvar( (1))a นอยซ�งน �นกเปนส�งท�เราตองการ

สวน 2(1)a น นเปนตวควบคมตาแหนงของโพล (Pole) หากโพลอยใกลๆ กบขอบของวงกลมหน�งหนวย(Unit Circle) หรอ (1) 1a → ดงแสดงในรปท� 3-9 เราจะไดคาความหนาแนนของสเปคตรมกาลงท�มยอด(P(P(P(Peak)eak)eak)eak)ท�ชดเจนดงในรปท� 3-10 ซ�งทาใหงายตอการประมาณคาของความถ�หากใหโพลเขาใกลศนย (1) 0a →

สวนในรปท� 3-11เราจะไดคาความหนาแนนของสเปคตรมกาลงท�มลกษณะราบเรยบดงเชนรปท� 3-12 ดงน นในกรณนความแปรปรวนจะมคามากและทาใหการประมาณคาเปนไปดวยความลาบากมากขน

รปท� 3-9 ตาแหนงโพลในวงกลมหน�งหนวยเม�อ (1) 1a →

รปท� 3-10 คาความหนาแนนของสเปคตรมกาลงของ ( )x n เม�อ (1) 1a →


3-25

รปท� 3-11 ตาแหนงโพลในวงกลมหน�งหนวยเม�อ (1) 0a →

รปท� 3-12 คาความหนาแนนของสเปคตรมกาลงของ ( )x n เม�อ (1) 0a →

หากเปรยบเทยบระบบท งสองคอเม�อ (1) 0a → และ (1) 1a → โดยการใหอนพทของระบบเปนสญญาณรบกวนเกาสแบบสขาว(White Gaussian Noise) หรอ WGN โดยกรณระบบท� (1) 0a → สญญาณเอาทพทจะมความใกลเคยงกบสญญาณอนพทหรอไมมการเปล�ยนแปลงคณสมบตทางความหนาแนนสเปคตรมกาลงใดๆกบสญญาณ แตกรณเม�อ (1) 1a → สญญาณเอาทพทจะแตกตางกบสญญาณอนพทเน�องจากความหนาแนนสเปคตรมกาลงของเอาทพทน นถกดดแปลงโดยระบบดงแสดงในรปท� 3-13

ซ�งจะเหนวาคา CRLB CRLB CRLB CRLB เปนตวกาหนดความยากงายในการประมาณคาพารามเตอร (1)a

โดยในกรณ (1) 0a → น นคา CRLB จะสงกวาจงทาใหความสามารถในการประมาณคาพารามเตอรดอยกวาเม�อกรณ (1) 1a →


3-26

รปท� 3-13 เปรยบเทยบลกษณะของสญญาณเอาทพท

ระหวางกรณ (1) 0a → และ (1) 1a →

△

3.5 สรป

ในบทนเราไดเรยนรกระบวนการคานวณหาตวประมาณคาไรไบแอสความแปรปรวนต�าสดหรอ MVUE โดยวธหาขอบเขตดานต�าเครเมอร-เรโอหรอ CRLB หากตวประมาณคามหลายตว ตวท�ใหคาความแปรปรวนต�าสดตลอดยานของพารามเตอรท�สนใจกจะเปน MVUE และหาก MVUE

น นใหความแปรปรวนต�าสดเทากบคา CRLB เรากจะเรยกตวประมาณคาน นวาเปนแบบมประสทธภาพ(efficient) แตคาของ CRLB อาจจะไมเทากนตลอดยานพารามเตอรท�สนใจและโครงสรางของระบบท�แตกตางกนกอาจจะสงผลให CRLB แตกตางกนไปซ�ง CRLB จะเปนตวบอกถงสมรรถนะในการประมาณคา โดยจะถอวากรณใดท�คา CRLB ต�ากวายอมใหสมรรถนะในการประมาณคาท�ดกวา

Appendix 3.A ch3_crlb.m % ch3_crlb.m calculates CRLB set(0,'defaultaxesfontsize',14) set(0,'defaultlinelinewidth',1.5) set(0,'defaultaxeslinewidth',0.5) va=1e3; phi=0;

Fs=20; n=[0:9]'; % Record length =10 N=(2*pi*n).^2; A=1;


3-27

V=[]; step=.0526; for f0=1e-6:step:.499*Fs M=sin(2*pi*f0*n/Fs+phi).^2; s= A^2.*N'*M; vf0=va./s; V=[V vf0]; end figure(1) clf subplot(111) half_V=V; lhalf_V=linspace(0,.5,length(V)); plot(lhalf_V,half_V) xlabel('Normalised Frequency ') ylabel('Cramer-Rao Lower Bound') axis([0 .5 .1 .5]);

คาถามทายบท 3.1 สาหรบวงจรท�ประกอบดวยตวตานทานRโอหมและแหลงจายแรงดนคงท� V ดงรป

เราตองการวดคากาลงงาน(Power) P โดยเราทราบคาของขอบเขตดานต�าเครเมอร-เรโอของตวตานทานวาเทากบCRLBRหากใหคาประมาณของกาลงงานคอ P จงหาวาขอบเขตดานต�าเครเมอร-เรโอของคาประมาณของคากาลงงานP หรอ ˆCRLB

Pน นมคาเทาใด

3.2 สาหรบสญญาณ ( )x n เม�อ 0,.., 1n N= − ท�มการกระจายแบบเกาสหรอแบบปกตหรอ 2( ) (0, )x n σ∼ N โดยตองการประมาณคาของความแปรปรวน 2σ จงหาคา CRLB ของความ

แปรปรวนสาหรบตวประมาณคาแบบไรไบแอสใดๆ

3.3 สาหรบสญญาณ ( )x n เม�อ 0,.., 1n N= − ท�มการกระจายแบบลอกนอรมล(Log normal

Distribution) โดยท�มสมการ pdf ดงแสดงขางลาง

( )

12

10 2

1 1exp ln ( ) , ( ) 0, 0

2( ; ) ( )2

0, otherwise

N

n

x n x n

p x n

θθθ πθ

−

=

− ≥ > =

∏x


3-28

โดยตองการประมาณคาของความแปรปรวน 2σ จงหาคา CRLB ของความแปรปรวนสาหรบตวประมาณคาแบบไรไบแอสใดๆ

3.4 หากกาหนดใหตวประมาณคา θ น นเปนแบบมประสทธภาพ(Efficient) จงหาวาสาหรบตวประมาณคา αน นเปนตวประมาณคาท�มสมรรถภาพดวยหรอไม เม�อ

ˆˆ ( )g A Cα θ θ= = +

โดยท�AและC เปนคาคงท�

3.5. กาหนดให 2( , )i µ σx ∼ N โดยท�เราไมทราบคาµ แตทราบคา 2σ และทราบวา ix เปน IID

สาหรบ 0,1,..., 1i N= − ใหหาคา CRLB ของตวประมาณคา 2θ µ= โดยการใชสมการขอบเขตดานต�าเครเมอร-เรโอ (3.32)

2

2

1ˆCRLB var( )ln ( ; )p

E

θθ

θ

= ≥ ∂ − ∂

x

3.6 จากขอ 3.5 จงแสดงวาเราสามารถหา CRLB ของตวประมาณคาไดจากการใชสมการ

2

1ˆCRLB var( )

ln ( ; )E p

θ

θθ

= ≥ ∂ ∂

x

โดยใหแสดงวาคาคาตอบท�ไดน นมคาเทากบคาตอบ CRLB ดงท�ไดในขอ 3.5

3.7 ในทานองเดยวกบขอ 3.6 หากคาความไวของคาการเปล�ยนของ ( ; )p θx อนเน�องมาจากการเปล�ยนแปลงจาก θ หรอ ( )pSθ x น นหาไดจากอตราสวนของการเปล�ยนแปลงของ ( ; )p θ∆ x

เทยบกบ ( ; )p θx ตอการเปล�ยนแปลง θ∆ เทยบกบθ หรอ

( ; )

( )( ; )

p pS

pθ

θ θ

θ θ

∆ ∆ = x

xx

จงแสดงวาเม�อ 0θ∆ → แลว เราไดคา CRLB ท�ถกนอรมลไลซ(Normalised CRLB) เปน

( ){ }2 22

ˆvar( ) 1

( )pE Sθ

θ

θ θ≥

x

3.8 จงแสดงการไดคาตอบ CRLB จากคาของความแปรปรวน 1( )−I θ ในสมการท� (3.61) ดงแสดงในสมการท� (3.62)-(3.64) โดยกาหนดให


3-29

1

0

12

0

( 1)

2

( 1)(2 1)

6

N

n

N

n

N Nn

N N Nn

−

=−

=

−=

− −=

∑

∑

เอกสารอางอง CHAMBERS, J.A., "LECTURE NOTES FOR ADAPTIVE SIGNAL PROCESSING COURSE", IMPERIAL



INC., NEW YORK, 1996


PRENTICE-HALL, NEW JERSEY,1993

แบบจาลองเชงเสน

4-1

4 แบบจาลองเชงเสน

An unsophisticated forecaster uses statistics as a drunken man uses lamp-posts

for support rather than for illumination.

Andrew Lang

นกพยากรณท �ไมรอบร จะใชสถตในทานองเดยวกบท �คนเมาใชเสาไฟฟา กคอใชชวยพยงตว แทนท �จะใชสองทาง

แอนดรว แลง

4.1 บทนา

จากบทท� 3 เราไดเหนวาขอบเขตดานต�าเครเมอร-เรโอหรอ CRLB น �นเปนการตรวจสอบตวประมาณคาไรไบแอสความแปรปรวนนอยสด(MVUE) เพ�อคนหาวา MVUE น �นมอยจรงหรอไม แตถงกระน �นแมวา MVUE จะมอยจรงการไดมาซ�ง MVUE น �นกไมใชวาจะกระทาไดโดยงาย

แตหากอาศยคณสมบตอยางหน�งท�สาคญของสญญาณกคอการท�แบบจาลองสวนใหญในทางการประมวลผลสญญาณสามารถถกจดใหเปนแบบเชงเสนไดอยางลงตว ซ�งทาใหไดใชประโยชนจากทฤษฎพชคณตเชงเสน(Linear Algebra)ไดอยางมากมาย แบบจาลองของการจดรปสญญาณใหมลกษณะเชงเสนน �นจงมช�อเรยกวาแบบจาลองเชงเสน(Linear Models)(Linear Models)(Linear Models)(Linear Models) และมผลทาใหเราสามารถคานวณหาตวประมาณคาแบบ MVUE ไดอยางสะดวก ในบทน�เราจะมาดการใชแบบจาลองเชงเสนในการคานวณ MVUE และประสทธภาพของแบบจาลองเชงเสนท�ไดน �น

4.2 พารามเตอรของแบบจาลองเชงเสน (Parameters of Linear Models)

พารามเตอรของแบบจาลองเชงเสนน �นเปนตวอยางท�ชดเจนกคอการประมาณคาพารามเตอรของสมการเสนตรงจากสญญาณท�วดได ( )x n ท�ถกรบกวนดวยสญญาณรบกวน ( )w n ซ�งเปนสญญาณรบกวนสขาวซ�งมการกระจายตวแบบเกาส หรอเรยกส �นๆวาสญญาณรบกวนเกาสแบบสขาว(White Gaussian Noise)(White Gaussian Noise)(White Gaussian Noise)(White Gaussian Noise) หรอ 2( ) (0, )ww n σ∼ N

( ) ( ), 0 1x n A Bn w n n N= + + ≤ ≤ − (4.1)


4-2

สวนของสมการเสนตรงกคอสวนของA Bn+ หรอน �นกคอเรากาลงทาการประมาณคาของพารามเตอรAซ�งแสดงคาคงท�(Constant) และB ซ�งเปนคาความชน(Slope) ซ�งมสญญาณรบกวน 2( ) (0, )ww n σ∼ N ปะปนอยหากเราเขยนสมการ (4.1) ในรปเมตรกซ-เวคเตอรเราจะไดเปน = +x H wθ (4.2)

โดยท� x เปนเวคเตอรของสญญาณท�ไดจากการวด(Measurement Vector) สวนHน �นคอ เมตรกซสงเกตการณ(Observation matrix) และ θ เปนเวคเตอรของพารามเตอร(Parameter vector) และw เวคเตอรสญญาณรบกวน(Noise vector) สมการท�จดอยในรปของ (4.2) น�จะเรยกวาเปนแบบจาลองเชงเสน(Linear Models)(Linear Models)(Linear Models)(Linear Models)

และจากสมการ (4.1) สญญาณ ( )x n ถกพจารณาในเวลา 0 1n N≤ ≤ − ทาใหเราเขยนเวคเตอรของสญญาณท�ถกสงเกตการณท�มองคประกอบเปนสญญาณ ( )x n ไดเปน

(0) (1) ( 1)T

x x x N = − x ⋯ (4.3)

แ ล ะ เ ว ค เ ต อ ร สญ ญ าณ รบ ก ว น (0) (1) ( 1)T

w w w N = − w ⋯ ส า ห รบ เ มต รก ซ

สงเกตการณH และเวคเตอรของตวประมาณคาθ กสามารถเขยนไดตามลาดบไดเปน

1 0

1 1

1 1N

= −

H⋮ ⋮

(4.4)

[ ]TA B=θ (4.5)

ดงน �นสมการ (4.2) จงเขยนไดใหมเปน

(0) (0)1 0

1 1(1) (1)

1 1( 1) ( 1)

x w

x wA

B

Nx N w N

= + −− −

⋮ ⋮⋮ ⋮ (4.6)

จากสมการ (4.2) เราอาจจะเขยนใหมวา

− =x H wθ (4.7)


4-3

สมการ (4.7) น�ทาใหเราทราบวาเทอม −x Hθน �นมรปแบบของการกระจายตวเปนเชนเดยวกบการกระจายตวของสญญาณรบกวนw ดงน �นจงสรปไดในทานองเดยวกนสาหรบการกระจายตวของ −x Hθ วา จะตองมการกระจายตวในรปแบบของสญญาณรบกวนสขาวแบบเกาสดวย หรอ 2(0, )wσ−x H Iθ N∼ (4.8)

สงเกตวาคาความแปรปรวนของ −x Hθน �นอยในรปของเมตรกซหรอเรยกวาเมตรกซความแปรปรวนรวม (Covariance MatCovariance MatCovariance MatCovariance Matrixrixrixrix) C โดยท� 2

wσ=C Iทาใหเราไดวาคา joint pdf ของx น �นไดมาจาก

( )( ) ( )

( )( )

( )( )

22 2

22 2

22 2

1 1( ; ) exp

22

1 1exp

22

1 1exp 2

22

T

Nw

w

T T T T T TN

ww

T T T T

Nw

w

pσπσ

σπσ

σπσ

= − − −

= − − − +

= − − +

x x H x H

x x x H H x H H

x x x H H H

θ θ θ

θ θ θ θ

θ θ θ

(4.9)

ผลลพธในบรรทดท�สามของ (4.9) น �นไดมาจากการท�เราพบวาเทอม T−x Hθ และ T T− H xθ ในบรรทดท�สองของ (4.9) น �นเปนปรมาณสเกลาร(Scalar) ท �งค ดงน �น

( )( )( )

2

TTT T T T T T T

TT T

T

− − = − −

= − −

= −

x H H x x H x H

x H x H

x H

θ θ θ θ

θ θ

θ

(4.10)

หากเราแทนx ดวยเวคเตอรสญญาณท�ไดจากการวด(Measurement Vector) เราจะไดวา Joint pdf ของx ในสมการ (4.9) น �นกลายเปนฟงกชนคาความเปนไปได(Likelihood Function)

โดยสวนใหญแลวเราจะเขยนฟงกชนคาความเปนไปไดใหอยในรปของฟงกชนคาความเปนไปได แบบลอก(Log-Likelihood Function) หรอ

( ) ( )22

1ln ( ; ) ln 2 2

2 2T T T T

ww

Np πσ

σ= − − − +x x x x H H Hθ θ θ θ (4.11)

ซ�งหากทาการหาอนพนธของสมการ (4.11) เทยบกบθ เราจะไดวา(ดรายละเอยดวธการคานวณคาอนพนธของเวคเตอรและเมตรกซใน Appendix 4.A)


4-4

( )

( )

( )

2

2

2

1ln ( ; ) 2

2

12 2

2

1

T T T T

w

T T

w

T T

w

pσ

σ

σ

∂ ∂= − − +

∂ ∂

= − − +

= −

x x x x H H H

H x H H

H x H H

θ θ θ θθ θ

θ

θ

(4.12)

จากทฤษฎขอบเขตดานต�าเครเมอร-เรโอหรอ CRLB ในบทท� 3 น �นหากเราตองการหาตวประมาณคาท�เปน MVUE เราจะจดรปแบบของสมการใหอยในรปของสมการ (3.51) หรอ

( )ln ( ; )

( ) ( )p∂

= −∂

xI g x

θθ θ

θ (4.13)

ซ�งเม�อใชรปแบบน�แลวทาใหเราจดสมการ ln ( ; )p∂

∂

x θ

θใน (4.12) ไดใหมโดยการดงเทอม TH H

ออกมานอกสมการดานขวามอไดเปน

( )�

( )( )

1

2

ln ( ; ) TT T

wg

I

p

σ

− ∂ = − ∂ x

x H HH H H x

θ

θθ

θ �� (4.14)

และเม�อเทยบตวแปรใน (4.14) กบสมการ (3.33) ทาใหเราไดฟชเชอรอนฟอรเมชน ( )I θ

เปน2

T

wσ

H H และตวประมาณคา MVUE เปน

( )1ˆ ( ) T Tg

−= =x H H H xθ (4.15)

โดย θ หรอ ( )g x น �นคอตวประมาณคา MVUE สงเกตวาการจะหา MVUE ไดน �นจะตองทราบคาของเมตรกซผกผน(Inverse Matrix)( )

1T −H H เสยกอน และการท�จะคานวณเมตรกซผกผน

( )1T −

H H ไดน �นเมตรกซH จะตองเปนเมตรกซแบบอสระเชงเสน(Linearly IndependentLinearly IndependentLinearly IndependentLinearly Independent) ซ�งการเปนเมตรกซแบบอสระเชงเสนของHหมายความถงการท�คอลมนใดๆในHน �นตองไมใช“ผลมาจากการรวมแบบเชงเสน”ของคอลมนอ�นๆ และสาหรบHท�เปนอสระเชงเสนทางคอลมนน�กจะใหแรงคทางคอลมน(Column Rank)เทากบจานวนคอลมนของเมตรกซ1 ซ�งกคอเตมจานวนของคอลมนเทาท�จะเปนไปได ดงน �นเมตรกซแบบท�เปนอสระเชงเสนทางคอลมนน�กจงเรยกวาเปนเมตรกซแบบเตมแรงค(Full R(Full R(Full R(Full Rank)ank)ank)ank)

1 เน�องจากแรงคทางแถว(Row Rank) ของเมตรกซจะเทากบแรงคทางคอลมน(Column Rank)เสมอ ดงน �นเราอาจจะใช

คาเรยกส �นๆวาแรงค(Rank)ของเมตรกซเทาน �น


4-5

ตวอยางของเมตรกซHท�ไมเปนอสระเชงเสนทางคอลมนหรอแบบไมเตมแรงคน�กเชนเมตรกซ Hท�เขยนในรป

1 2

1 2

1 2

1 2

=

H

⋮ ⋮

(4.16)

สงเกตวาน �นคอลมนท �งสองไมเปนอสระเชงเสนทางคอลมน(Column Column Column Column LLLLinearly inearly inearly inearly DDDDependentependentependentependent) เพราะคอลมนท� 2 เปนผลการรวมแบบเชงเสนจากคอลมน 1 คอ

(:,2) 2 (:,1)= ×H H (4.17)

ซ�งสมการ (4.17) ใชสญลกษณการเรยงดชนของแถว(Row) ของเมตรกซตามรปแบบคาส �งของMATLAB ดวยเคร�องหมาย“:”

แตสาหรบกรณท�H เปนอสระเชงเสนทางคอลมน (Column LColumn LColumn LColumn Linearly inearly inearly inearly IIIIndependentndependentndependentndependent) ซ�งแตละคอลมนจะตองไมเปนผลมาจากการรวมเชงเสนของคอลมนอ�นๆเชน

1 1

1 2

1 3

1 10

=

H

⋮ ⋮

(4.18)

จะเหนวาท �งสองคอลมนน �นไมเปนผลมาจากการบวกลบคณหารซ�งกนและกน ในกรณท�H เปนอสระเชงเสนทางคอลมนน�จะไดเมตรกซความแปรปรวนรวมของ θ น �นเปน

( )11 2

ˆˆ( ) T

wσ−− =C I H H

θθ≜ (4.19)

เราจะเขยนทฤษฎการหาคาของ MVUE ของแบบจาลองเชงเสนไดจาก = +x H wθ (4.20)

โดยท�


4-6

Observed vector ( 1)

Observation matrix ( )

Parameter vector ( 1)

Additive Noise Vector ( 1)

N

N P

P

N

= ×

= ×

= ×

= ×

x

H

w

θ

เม�อ θ เปนการแปลงเชงเสนของx ซ�งมการกระจายตวแบบเกาส ดงน �นเราจงไดวา pdf ของ θเปนแบบเกาสดวย

( )12ˆ ( , )T

wσ−

H Hθ θN∼ (4.21)

สงเกตไดอกวาคาเฉล�ยกลางของ θ น �นเทากบคาจรงดงน �น θ จงเปนตวประมาณคาแบบไรไบแอส ตวอยางท( 4.1 ในการวดสญญาณ ( )x n เราพบวาความสมพนธของคาท�วดได ( )x n กบเวลาnเปนแบบควอดราตก(Quadratic Function) และในการวดยงพบวาคาท�วดไดน �นถกรบกวนดวยสญญาณรบกวน ( )w n ดวย โดยหากจะเขยนความสมพนธดงกลาวจะไดเปน

21 2 3( ) ( ), 0,1,..., 1x n n n w n n Nθ θ θ= + + + = − (4.22)

เรากาหนดให ( )w n น �นเปนตวแปรสญญาณสมแบบเกาสท�เปน IID โดยมคาเฉล�ยกลางเปนศนยและมความแปรปรวนเปน 2

wσ หรอ ( )w n น �นเปน WGN น �นเอง ในรปท� 4-1 น �นแสดงถงความสมพนธของขอมลท�วดได( )และคาเวลาn และ การปรบเสนโคง(Curve (Curve (Curve (Curve FFFFitting)itting)itting)itting)สาหรบความ สมพนธแบบไมเชงเสนของขอมล ( )x n และเวลาn

รปท( 4-1 แสดงการปรบเสนโคง(Curve Fitting)(Curve Fitting)(Curve Fitting)(Curve Fitting)สาหรบความสมพนธแบบไมเชงเสนของ

ขอมล ( )x n และเวลาn

สงเกตวาในตวอยางน�โมเดลมความไมเปนเชงเสนกบพารามเตอรn แตโมเดลเปนเชงเสนสาหรบพารามเตอรθดงน �นเราสามารถใชโมเดลแบบเชงเสนในการหา MVUE สาหรบθ ได

หากเราใชรปแบบของเมตรกซ-เวคเตอรในการอธบายคาของความสมพนธดงกลาว เราจะไดวา


4-7

= +x H wθ (4.23)

โดยท�

1 2 3

[ (0) (1) ( 1)]

[ ]

T

T

x x x N

θ θ θ

= −

=

x

θ

⋯ (4.24)

2

2

1 1 1

1 2 2

1 N N

=

H⋮ ⋮ ⋮

(4.25)

แตอยางไรกตามความผดพลาดท�เกดข�นอนเน�องมาจากการวดและสญญาณรบกวนw กทาใหการวดน �นไมตรงตามความสมพนธท�ไมเชงเสนของH และθแตความสมพนธน�ถกประมาณดวยเสนประดงน �นตวอยางน�กจงเปนปญหาของการคานวณการปรบเสนโคง

ตวประมาณคา MVUE θ สาหรบ 1 2 3[ ]Tθ θ θ=θ จะหาไดจากสมการ (4.15)

( )1ˆ T T−

= H H H xθ (4.27)

△

ตวอยางท( 4.2 การประมาณความถ�ของสมประสทธ >ฟรเยรดวยตวประมาณคาเชงเสน ตวอยางน�เปนการประมาณคาขนาดของฮารโมนก(H(H(H(Harmonicarmonicarmonicarmonicssss) ) ) ) ของสญญาณท�กาหนดดวยสมประสทธ >ของฟรเยร ka และ kb

1 1

2 2( ) cos sin ( )

M M

k k

k k

kn knx n a b w n

N N

π π

= =

= + + ∑ ∑ (4.28)

โดยท� 2( ) (0, )ww n σ∼ N สญญาณรบกวนเกาสแบบสขาว(White Gaussian Noise) และฮารโมน

กของ ( )x n คอความถ�ของสญญาณท� 1,...,k M= หรอ k

kf

N=

เราจะทาการเขยนพารามเตอรท�ตองการประมาณคาไดในรปเวคเตอรเปน

1 2 1 2

T

M Ma a a b b b = θ ⋯ ⋯ (4.29)

ซ�งหากเขยนเปนสมการ = +x H wθ จะไดเมตรกซสงเกตการณ(Observation Matrix) H เปน


4-8

1 1 0 0

2 2 2 2cos cos sin sin

2 ( 1) 2 ( 1) 2 ( 1) 2 ( 1)cos cos sin sin

M M

N N N N

N M N N M N

N N N N

π π π π

π π π π

= − − − −

H

⋯ ⋯

⋮ ⋱ ⋮ ⋮ ⋱ ⋮

⋮ ⋯

(4.30)

โดยท�HมมตเปนN P× ซ�ง 2P M= แตสงเกตวาคาของความถ�ในแตละคอลมนน �นเปน

จานวนเทาของ 1N

โดยเง�อนไขท�H จะเปนเมตรกซท�เปนอสระเชงเสนทางคอลมนน �นก

คอ 2N M>

หากเขยนH แยกออกเปนเวคเตอร jh สาหรบแตละคอลมนโดยท� 1,2,...,2j M= จะไดวา

1 2 2M =

H h h h⋯ (4.31)

และหากแตละคอลมนของHน �นเปนออรโธโกนล(Orthogonal)กนแลว จะหมายความวา

0,Ti j i j= ≠h h (4.32)

ลองดตวอยางสาหรบ 1i = และ 2j = จะไดวา

1

2

2 2 (2)1 cos cos

2 2 (2)0 sin sin

T

T

N N

N N

π π

π π

=

=

h

h

(4.33)

หรอหาก 3N = ถาคานวณกรณ 1i j= =

1 1

2 2

2 2 2(2) 2(2)1 cos cos cos cos

3 3 3 3

1 11

2 2

3

2

T π π π π= + +

= + − + −

=

h h

(4.34)

และ 2i j= =


4-9

2 2

2 2

2 2 2(2) 2(2)0 sin sin sin sin

3 3 3 3

3 30

2 2

3

2

T π π π π= + +

= + + −

=

h h

(4.35)

แตหาก i j≠ เชน 1, 2i j= = จะได

1 2

2 2 2(2) 2(2)0 cos sin cos sin

3 3 3 3

1 3 1 30

2 2 2 2

0

T π π π π= + +

= + − + − −

=

h h

(4.36)

ดงน �นหากเขยนในรปท �วไปเราจะไดวาสาหรบ , 1,2,...,2

Ni j M= < จะไดวา

1

0

1

0

1

0

2 2cos cos ,

2

2 2sin sin ,

2

2 2cos sin 0, ,

N

ij

n

N

ij

n

N

n

in jn N

N N

in jn N

N N

in jni j

N N

π πδ

π πδ

π π

−

=

−

=

−

=

=

=

= ∀

∑

∑

∑

(4.37)

และ ijδ คอโครเนคเคอรเดลตาฟงกชน(Kronecker Delta Function)

1,

0,ij

i j

i jδ

== ≠

(4.38)

ดงน �นจากคาของH ใน (4.30) เราจงไดวา

0 02

0 02

2

0 02

T

N

NN

N

= =

H H I

⋯

⋮ ⋱ ⋮

⋯

(4.39)

ซ�งหมายความวา


4-10

( )1 2T

N

−=H H I (4.40)

และจากตวประมาณคา MVUE ในสมการ (4.15) หรอ ( )1ˆ T T−

= H H H xθ น �นเราจะไดวา

( )1

1 1

1 1

1

2

1

2

2ˆ

2 2

ˆ

ˆ

ˆ

ˆ

ˆ

ˆ

T T T

T T

T T

M

M

N

N N

a

a

a

b

b

b

−= =

= =

=

H H H x H x

h h x

x

h h x

θ

⋮ ⋮

⋮

⋮

(4.41)

หรอกคอ

1

0

1

0

2 2ˆ ( )cos

2 2ˆ ( )sin

N

k

n

N

k

n

kna x n

N N

knb x n

N N

π

π

−

=

−

=

=

=

∑

∑ (4.42)

ซ�งกคอตวประมาณคา MVUE ของคาขนาดจรงหรอท�จรงแลวคอคาสมประสทธ >ของการแปลงฟรเยร ka และ kb แตส�งสาคญกคออยาลมวาจะไดผลการคานวณตามท�แสดงในตวอยางน�ไดจะมเง�อนไขควรพจารณาสองขอคอ ขอท�หน�ง การไดสมการ MVUE ใน (4.15) น �นมาจากการคานวณโดยการใชสมมตฐานของการท�สญญาณรบกวนเปนสญญาณรบกวนเกาสแบบสขาว และขอท�สอง คอลมนของHน �นตองเปนออรโธโกนลซ�งกนและกน

เม�อยอนกลบมาดสวนเมตรกซความแปรปรวนรวมของ θบางเราพบวา

( )2

12ˆ

2T ww

N

σσ

−= =C H H I

θ (4.43)


4-11

ซ�งนาจะเปนส�งท�ถกตองเพราะ ˆCθ จะมากข�นเม�อความแปรปรวน 2wσ ของอนพทเพ�มข�นจะเหนวา

ความเปนออรโธโกนลของH เปนส�งสาคญในการหา MVUE △

ตวอยางท( 4-3 ดตวอยางการใชแบบจาลองเชงเสนในการประมาณคาสมประสทธ >ของตวกรองแบบอมพลสจากด(Finite Impulse Response Filter) (Finite Impulse Response Filter) (Finite Impulse Response Filter) (Finite Impulse Response Filter) หรอตวกรอง FIRFIRFIRFIR ของระบบท(ไมทราบคณสมบต(Unknown(Unknown(Unknown(Unknown System) System) System) System) ในเร�องของการหาเอกลกษณของระบบ(System Identification) ซ�งเปนระบบท�เหมอนกบระบบท�แสดงในรปท� 1-25 ของบทท� 1 ท�แสดงบลอกไดอะแกรมของระบบแฮนดฟร(Hands-free) โดยในรปท� 4-2 น �นจะแสดงใหอยในรปของการหาเอกลกษณของระบบท �วไป

รปท( 4-2 การหาเอกลกษณของระบบ(System Identification)System Identification)System Identification)System Identification)

โดยสวนท�เปนตวกรอง FIR น �นเขยนเปนโครงสรางตวกรองทรานสเวอรซล(Transversal Filter) หรอมองคประกอบของตวหนวงเวลา(Delay), ตวคณ(Multiplier) และ ตวบวก(Adder) ท�ประกอบกนเปนดงรปท� 4-3

รปท( 4-3 ระบบท(ไมทราบคณสมบต(Unknown system) (Unknown system) (Unknown system) (Unknown system) ท(ถกจาลองดวยโครงสรางของตวกรอง FIR FIR FIR FIR ในแบบตวกรองทรานสเวอรซล(Transversal Filter) (Transversal Filter) (Transversal Filter) (Transversal Filter)


4-12

สญญาณ ( )u n น �นคออนพทท�เราจะใชตรวจสอบระบบท�ไมทราบคณสมบต(Unknown System) และเราตองการคานวณ MVUE ซ�งกคอ 0 1 1

ˆ ˆ ˆ, ,..., Ph h h − จากเอาทพทของระบบท�ไมทราบคณ-

สมบตหรอ ( )x n

ในทางปฏบตน �นคาเอาทพท ( )x n ท�ไดจะมสญญาณรบกวน ( )w n ถกบวกรวมเขาไปดวยดงน �นเราจะไดแบบจาลองขอมล(Data Model) เปน

1

0

( ) ( ) ( )P

k

k

x n h u n k w n−

=

= − +∑ (4.44)

ดงน �นหากพจารณาสญญาณในชวง 0,1,..., 1n N= − เราจะเขยนระบบในรปแบบเมตรกซ-เวคเตอรไดเปน

0

1

1

(0) 0 0 (0)

(1) (0) 0 (1)

( 1) ( 2) ( ) ( 1)P

u wh

hu u w

hu N u N u N P w N−

= + − − − −

= +

x

H wθ

⋯

⋯

⋮⋮ ⋮ ⋱ ⋮ ⋮

⋯

(4.45)

ซ�งอยในรปของสมการแบบจาลองเชงเสนโดยท� ( )20, wσw IN∼ และจากเร�องของ MVUE เรา

จะไดวา ( )1ˆ T T−

= H H H xθ และ ( )12

ˆT

wσ−

=C H Hθ

จากน�เราจะดวาจะตองกาหนดให ( )u n เปนสญญาณประเภทใดคาตอบกคอจะตองใชสญญาณรบกวนสขาว(White Noise)เทาน �น ซ�งอาจจะสรางข�นมาจากตวสรางสญญาณรบกวนสม(Random Noise Generator)ได โดยสญญาณรบกวนสขาวท�วาน �นไมจาเปนจะตองมการกระจายตวเปนแบบเกาสกได เชน สญญาณไบนารเฟสชฟทคยอ�ง(Binary Phase Shift Keying) หรอ BPSK ท�ประกอบดวยสญญาณท�มเพยง 1+ และ 1− เทาน �น การตองการคณสมบตความเปนสขาวของสญญาณ ( )u n มเหตผลดงตอไปน�

เร�มจากคาของเมตรกซความแปรปรวนรวม ˆCθ

( )12

ˆTσ

−=C H H

θ (4.46)

เราจะพบวาความแปรปรวนของ iθ น �นเปนองคประกอบท�อยบนแกนทแยงมม(Diagonal) ของเมตรกซ ˆCθ หรอ

( ) ˆˆvar i iiθ = C

θ (4.47)


4-13

หากเรากาหนดใหเวคเตอรเลขหน(ง(One vector)(One vector)(One vector)(One vector) ie น �นเปนเวคเตอรท�มเลข“1”อยในตาแหนงท�i [0 0 1 0 0]Ti

i

↑=e ⋯ ⋯ (4.48)

เราจะไดวา

( ) ˆˆvar Ti i iθ = e C e

θ (4.49)

และเน�องจากเมตรกซ ˆCθ เปนเมตรกซแบบจากดบวก(Positive Definite M(Positive Definite M(Positive Definite M(Positive Definite Matrix) atrix) atrix) atrix) ดงน �นคาผกผนของ ˆCθ หรอ 1

ˆ−Cθ

กจงเปนเมตรกซแบบจากดบวกดวย

เมตรกซท�มคณสมบตเปนแบบจากดบวกน �นสามารถแยกองคประกอบเปน TD D ไดโดยท�Dเปนเมตรกซใดๆดงน �นเม�อกาหนดให 1

ˆT− =C D D

θ (4.50)

และเน�องจาก ( )

1T T −=D D I (4.51)

ดงน �น

( )( )21

1 T T Ti i

−= e D D e (4.52)

เราจะใชอสมการคอช(----ชวารซ(Cauchy(Cauchy(Cauchy(Cauchy----SchwarzSchwarzSchwarzSchwarz InequalityInequalityInequalityInequality)))) เพ�อแยกสมการ (4.52) ออกเปนสวนๆโดยหากเรามพารามเตอรท�เปนเวคเตอร 1ζ และ 2ζ ท�เปนองคประกอบของปรมาณกาลงสอง( )

21 2Tζ ζ สามารถเขยนความสมพนธน�ข�นมาใหมเปนอสมการไดดงน�

( )2

1 2 1 1 2 2T T T≤ζ ζ ζ ζ ζ ζ (4.53)

หากเขยนสมการ (4.53) โดยการแทนคา 1 iDeζ ≜ และ ( )1

2T

i−

D eζ ≜ จะไดวา

( )

( ) ( )( )( )( )

21 2

1 1 2 2

11

1ˆ ˆ

1

1

T

T T

T T T Ti i i i

T Ti i i i

−−

−

=

≤

≤

≤

e D De e D D e

e C e e C eθ θ

ζ ζ

ζ ζ ζ ζ (4.54)

หากเราแทนคา ( ) ˆˆvar Ti i iθ = e C e

θใน (4.54) เราจะไดวา


4-14

( ) ( )

( )

1ˆ

2

1ˆ

ˆ1 var

1ˆvar

Ti i i

i T Ti i

ii

θ

σθ

−

−

≤

≥ =

e C e

e C e H H

θ

θ

(4.55)

และหากในกรณท�( )2

1 2 1 1 2 2T T T=ζ ζ ζ ζ ζ ζ น �นจะหมายความวาเปนสถานะความแปรปรวนต�าสด

(Minimum Variance) ซ�งจะเปนไดกตอเม�อ 1 2c=ζ ζ โดยท�c เปนคาคงท� หากแทนคา 1 i= Deζ

และ ( )1

2T

i

−= D eζ จะได

( )1T

i ic−

=De D e (4.56)

หรอหมายความวา , 1,2,...,T

i i ic i P= =D De e (4.57)

และจาก 1ˆ 2

TT

σ

− = =H H

C D Dθ

เราจงไดวา

2

T

i i icσ

=H H

e e (4.58)

ผลคณเมตรกซ TH Hน �นจาเปนอยางย�งท�จะตองเปนเมตรกซแบบทแยงมม(Diagonal Matrix) เพราะถาไมเปนเชนน �นแลวดานซายของสมการจะไมมทางเทากบดานขวาไดเลย ดตวอยางตอไปน�หากสมมตให

2

3 4 5

6 7 8

9 10 11

T

σ

=

H H (4.59)

และกาหนด 2i = ดงน �น [0 1 0]Ti =e ซ�งไดวา

3 4 5 0 0

6 7 8 1

0 09 10 11

4 0

7

010

i

i

c

c

=

≠

(4.60)


4-15

ซ�งกจะเหนไดชดเจนวาสมการแสดงความไมเปนจรง เราจงสรปวา TH Hน �นตองเปนเมตรกซทแยงมมโดยท�

1

22

0 0

0 0

0 0

T

P

c

c

c

σ

=

H H

⋯

⋯

⋮ ⋮ ⋱ ⋮

⋯

(4.61)

เราทราบวา H ซ�งเปนเมตรกซสงเกตการณ(Observation Matrix)น �น เปนผลมาจากสญญาณอนพท ( )u n ดงน �นคณสมบตของ ( )u n จงเปนตวกาหนดวา TH H จะเปนเมตรกซทแยงมมหรอไม

จากองคประกอบท� ,i j ของHน �นเปน [ ] ( )

iju i j= −H (4.62)

ดงน �น

1

( ) ( ), 1,2,..., ,

1,2,...,

NT

ijn

u n i u n j i P

j P

=

= − − =

=

∑H H (4.63)

สมมตวาN มคามากเราจะประมาณไดวา

1

0

( ) ( )N i j

T

ijn

u n u n i j− − −

=

= + − ∑H H (4.64)

ซ�งกคอคาสหสมพนธตวเอง(Auto-Correlation)ของ ( )u n ดงน �น TH H จะเปนเมตรกซแบบโทปลทซสมมาตร(Symmetric Toeplitz) ดวย

(0) (1) ( 1)

(1) (0) ( 2)

( 1) ( 2) (0)

uu uu uu

uu uu uuT

uu uu uu

r r r P

r r r PN

r P r P r

− − = − −

H H

⋯

⋮ ⋮ ⋱

⋯

(4.65)

เม�อ1

0

1( ) ( ) ( )

N k

uu

n

r k u n u n kN

− −

=

= +∑

หากตองการให TH H เ ปนเมตรกซทแยงมมจะตองให ( ) 0uur k = เม�อ 0k ≠ และน �นกหมายความวา ( )u n ตองเปนสญญาณรบกวนสขาว(White Noise)


4-16

และเรากไดตอวา (0)T

uuNr=H H I (4.66)

หรอ

( ) 2

1ˆvar ( ) , 0,1,..., 1(0)/uu

h i i PNr σ

= = − (4.67)

ซ�งเปนความแปรปรวนของ MVUE ของการหาสมประสทธ >ของตวกรอง

สรปกคอในเร�องของการหาเอกลกษณของระบบน �นเราตองใหสญญาณอนพท ( )u n แกระบบเปนสญญาณรบกวนสขาว(White Noise)(White Noise)(White Noise)(White Noise)เทาน �น ซ�งทาใหเราได MVUE เปน

( )1ˆ T T−

= H H H xθ (4.68)

โดยท� θ น �นเปนคาประมาณของสมประสทธ >ของตวกรอง FIR 0 1 1ˆ ˆ ˆ, ,..., Ph h h − ซ�งในแตละคาจะ

เปน

1

0

1

0

1( ) ( ) ( )

(0)

1( ) ( )

(0)

( )

(0)

N

uu n

N i

n

uu

ux

uu

h i u n i x nNr

u n x n iN

r

r i

r

−

=

− −

=

= −

+

=

=

∑

∑ (4.69)

น �นคอ MVUE MVUE MVUE MVUE จะเปนอตราสวนของคาสหสมพนธไขว(Cross(Cross(Cross(Cross----CCCCorrelation)orrelation)orrelation)orrelation)ของอนพทและเอาทพท ( )uxr i กบคาสหสมพนธตวเอง(Auto(Auto(Auto(Auto----CCCCorrelation) orrelation) orrelation) orrelation) ของอนพท ( )uur i เราจะไดวาในกรณน� 1ˆ ˆ −= = uu uxh R rθ โดย T

uuR H H≜ และ Tuxr H x≜ ซ�งจะคานวณเวคเตอรของคา

สมประสทธ >ของระบบ h ท�ทาใหคาผดพลาดนอยสดไดจากผลคณของคาเมตรกซผกผนของสหสมพนธตวเอง ( )

11 T −−uuR H H≜ ของสญญาณอนพท ( )u n กบเวคเตอรสหสมพนธไขว uxr

ของสญญาณท�ตองการ ( )x n กบ ( )u n △

สงเกตวาเม�อเทยบกบหวขอ 1.14 เราพบวาจาก 1−= xx dxh R r น �น ( )x n ในกรณน8กคอสญญาณ ( )d n จากในสมการท( (1.61)(1.61)(1.61)(1.61) น (นเองและในบทท� 7 หวขอ 7.3 ซ�งเปนเร�องของการหา

เอกลกษณของระบบดวยตวประมาณคากาลงสองนอยสด(Least Squ(Least Squ(Least Squ(Least Squaaaares Estimators) res Estimators) res Estimators) res Estimators) หรอ LSELSELSELSE เปรยบเทยบ (4.68) และสมการท� (7.25) กจะพบวาคาตอบของตวประมาณคาท�ไดท �งสองกรณน �นตรงกน


4-17

4.4 กระบวนการทาสญญาณสขาว (Whitening Process)

ในรปแบบท �วไปของแบบจาลองเชงเสนอาจจะเปนการยากท�จะกาหนดใหสญญาณอนพทของระบบเปนสญญาณรบกวนสขาว ดงน �นหากสญญาณอนพทไมใชสญญาณรบกวนสขาวโครงสรางท �วไปของแบบจาลองกจะมการกระจายตวดงแสดงขางลาง

( , )w 0 C∼N (4.70)

โดยท� C น �นเปนเมตรกซความแปรปรวนรวมท�อาจจะไมเปนเมตรกซแบบทแยงมมเหมอนเชนท�ผานๆมา

ในกรณน� การคานวณหาตวประมาณคาแบบ MVUE โดยท�เมตรกซความแปรปรวนรวมไมเปนเมตรกซแบบทแยงมมดวยแบบจาลองเชงเสนน �นกยงคงสามารถใชวธการท�เราไดเชนทาดงในตอนท�แลวหรอใชวธการท�เรยกวากระบวนการทาสญญาณสขาว((((WhiteningWhiteningWhiteningWhitening ProcessProcessProcessProcess) ซ�งหมายถงการทาสญญาณอนพทน �นใหเปนสญญาณรบกวนสขาว

เน�องจากC เปนเมตรกซจากดบวกเพราะฉะน �นคาผกผนของมนคอ 1−C จงเปนเมตรกซจากดบวกดวยและน�กเปนเหตใหเราสามารถแยกองคประกอบของ 1−C เปน

1 T− =C D D (4.71)

โดยท�D เปนเมตรกซขนาดN N× ท�สามารถหาคาอนเวอรสไดโดยเมตรกซD น �นทาหนาท�เปนเมตรกซทาสขาว(Whitening M(Whitening M(Whitening M(Whitening Matrix)atrix)atrix)atrix) ซ�งเม�อนาไปคณกบw แลวจะไดวาเปนDw ซ�งหากหาคาผลคณภายนอกของDw จะไดเปนเมตรกซทแยงมม

( )( ){ }

11

T T

T T

E

−−

=

= =

Dw Dw DCD

DD D D I

(4.72)

และทาใหไดตอไปอกวาสาหรบ = +x H wθ เม�อถกทาสขาวจะได

� � �= +wx H

Dx DH Dwθ⌣ ⌣⌣

(4.73)

ซ�งไดเปนวา ( , )=w Dw 0 I⌣

∼N และทาใหเราสามารถสรางแบบจาลองเชงเสนและหาตวประมาณคาแบบ MVUE ไดเชนเดยวกบท�ไดจากสมการ (4.15)

( )

( )

( )

1

1

11 1

ˆ T T

T T T T

T T

−

−

−− −

=

=

=

H H H x

H D DH H D Dx

H C H H C x

θ⌣ ⌣ ⌣ ⌣

(4.74)


4-18

สวนการหาคาของเมตรกซความแปรปรวนรวมของ θหรอ ˆCθ ในกรณน�กหาไดจาก

( )

( )

( )

�( )

2

2

2

1

2

( )( )

1ln ( ; ) 2

2

12 2

2

1

T T T T

w

T T

w

T T

w

TT T

w

pσ

σ

σ

σ

−

∂ ∂= − − +

∂ ∂

= − − +

= −

= − g xI

x x x x H H H

H x H H

H x H H

H HH H H x

θ

θ θ θ θθ θ

θ

θ

θ

⌣

⌣ ⌣ ⌣⌣ ⌣ ⌣ ⌣

⌣ ⌣ ⌣⌣

⌣ ⌣ ⌣⌣

⌣ ⌣⌣ ⌣ ⌣ ⌣

��

(4.75)

ทาใหเราไดวาฟชเชอรอนฟอรเมชน(Fisher Information) เปน

2( )T

wσ=H H

I θ

⌣ ⌣

(4.76)

และ เน�องจาก ( , )=w Dw 0 I⌣

∼N ดงน �น 2 1wσ = หรอ ˆCθ

( )11

ˆ ( ) T −−= =C I H Hθ

θ⌣ ⌣

(4.77)

หากเราแทนคาของ =H DH⌣

จะไดวา

( )( )

( )

( )

1

ˆ

1

11

T

T T

T

−

−

−−

=

=

=

C DH DH

H D DH

H C H

θ

(4.78)

แตหากยอนกลบมาพจารณาวาสญญาณรบกวนน �นเปนสญญาณรบกวนสขาวเราจะไดวา

( )12

ˆT

wσ−

=C H Hθ

(4.79)

ซ�งจะเทยบกลบไปเปนเมตรกซความแปรปรวนรวมของตวประมาณคา θ

4.5 สญญาณสวนท(ทราบคาในสญญาณท(วดได (Known Signals in Measurement)


4-19

ในบางกรณในสญญาณท�วดไดน �นจะมสญญาณในสวนท�เราทราบคา(Known Signals) เชน มสญญาณเชงกาหนด ( )d n ปะปนมาในสญญาณท�รบได ( )x n ดวยโดยท�

( ) ( ) ( )x n A d n w n= + + (4.80)

ซ�งสวนของ ( )d n น �นเปนคาท�เราทราบซ�งหากเราให ( ) ( ) ( ) ( )x n x n d n A w n′ = − = + (4.81)

และเม�อจดอยในรปเมตรกซ-เวคเตอรจะทาใหไดวา

′ =x H + wθ (4.82)

จะไดตวประมาณคา MVUE เปน

1ˆ ( ) ( )T T− −= H H H x dθ (4.83)

และจะไดวาคาเมตรกซความแปรปรวนคอ

2 1ˆ ( )T

wσ−=C H H

θ (4.84)

ตวอยางท( 4-4 สญญาณ ( )x n มองคประกอบของคาไฟตรงและสญญาณเชงกาหนดท�ทราบคา

คอ 2( ) cos , 0,..., 1of nd n n N

N

π= = − ปะปนมาในสญญาณรบกวนแบบสขาวแบบเกาสหรอ

2

( ) cos ( )of nx n A w nN

π= + + (4.85)

ตองการประมาณคาไฟตรงA ในสญญาณ ( )x n น�เม�อกาหนดให

[ (0) (1) ( 1)]

2 2 ( 1)[1 cos cos ]

[ (0) (1) ( 1)]

T

To o

T

x x x N

f N f

N N

w w w N

π π

= −

−=

= −

x

d

w

⋯

⋯

⋯

(4.86)

ซ�งเม�อเขยนเปนรปแบบของเมตรกซ-เวคเตอรจะไดเปน

= +x H d + wθ (4.87)

โดยท� [1 1 1]T=H ⋯ ซ�งเม�อหาคาตวประมาณคาไฟตรงจะได


4-20

1

1

ˆ ( ) ( )

1(0)1

2cos1 (1)

[1 1 1] [1 1 1]

1 2 ( 1)( 1)cos

T T

o

o

A

xf

x N

N fx N

N

π

π

−

−

= −

= − −−

H H H x d

⋯ ⋯⋮⋮ ⋮

1

0

1 2( ( ) cos )

No

n

f nx n

N N

π−

=

= −∑

(4.88)

และคาความแปรปรวนจะไดเปน

2

ˆvar( ) wAN

σ= (4.89)

△

4.6 สรป

ในบทน�เราพบวาโครงสรางแบบจาลองเชงเสนน �นชวยทาใหสามารถคานวณ MVUE ไดงายข�นโดยอาศยกรรมวธทางพชคณตเชงเสนและเง�อนไขท�สาคญในการหา MVUE จากแบบจาลองเชงเสนในหนงสอเลมน�กคอการจากดขอบเขตการคานวณสาหรบสญญาณรบกวนท�มการกระจายตวเปนแบบเกาสเทาน �น แตเราสามารถขยายการพจารณาในกรณท�สญญาณรบกวนไมเปนแบบสขาวไดโดยการใชกระบวนการทาสขาว

Appendix 4.A

4.A.1 การหาคาอนพนธของเวคเตอร

สมมตวาเรามเวคเตอรb และθ โดยท� 1 2[ ]Tb b=b และ 1 2[ ]Tθ θ=θ ดงน �นผลคณภายใน

(Inner Product) ของb และθ คอ

1 1 2 2T b bθ θ= +b θ (4A.1)

และการหาอนพนธของ Tb θ เทยบกบθ จะไดเปน


4-21

1

2

θ

θ

∂ ∂∂ ∂∂ ∂

θ≜ (4A.2)

ขยายความจากสมการ (4.65) น�ทาใหไดวา

1

2

T

T

θ

θ

∂ ∂∂ ∂ ∂ ∂

b

b

θ

θ θ≜ (4A.4)

1 1 2 2 11 1

( )T b b bθ θθ θ

∂ ∂= + =

∂ ∂b θ (4A.5)

1 1 2 2 22 2

( )T b b bθ θθ θ

∂ ∂= + =

∂ ∂b θ (4A.6)

ซ�งทาให (4.66) เปน

1

2

Tb

b

∂ = = ∂

b bθθ

(4A.7)

4.A.2 การหาคาอนพนธของเมตรกซ

หากกาหนดใหเมตรกซa b

b a

=

A และเวคเตอร 1 2[ ]Tθ θ=θ เราจะไดผลคณภายในของθ

และAθ เปน

1

1 22

1 2

1 21 2

2 21 1 2 22

Ta b

b a

a b

b a

a b a

θθ θ

θ

θ θθ θ

θ θ

θ θ θ θ

=

+

= +

= + +

Aθ θ

(4A.8)

จากน �นทาการหาอนพนธเทยบกบθ


4-22

2 21 1 2 2

1 1

2 21 1 2 2

2 2

1 2

1 2

1

2

2

2

2 2

2 2

2 2

2 2

2

T

T

T

a b a

a b a

a b

b a

a b

b a

θ θ θ θθ θ

θ θ θ θθ θ

θ θ

θ θ

θ

θ

∂ ∂+ +

∂ ∂∂ = ∂ ∂∂ + + ∂ ∂ + = + + = +

=

A

A =

A

A

θ θ

θ θθ

θ θ

θ

(4A.9)

เม�อแทนA ดวย TH H จงไดวา

2T T T∂

∂H H H Hθ θ = θ

θ (4A.10)


4.1 สาหรบสญญาณ ( ) ( ), 0,1,..., 1x n A w n n N= + = −

เม�อ ( )w n น �นเปนสญญาณรบกวนเกาสแบบสขาว 2( ) (0, )ww n σ∼ N จงแสดงวาตวประมาณ

คาท�ไดจากกรรมวธแบบจาลองเชงเสนน �นมคาเปน1

0

1ˆ ( )N

n

x nN

−

=

= ∑θ

4.2 หากสญญาณท�เปนสญญาณโคซายนและสญญาณถกรบกวนดวยสญญาณรบกวนแบบเกาสสขาว 2( ) (0, )ww n σ∼ N

2

( ) cos ( ), 0,1,..., 1n

x n A w n n NN

π = + = −

จงหาตวประมาณคาของคาA โดยวธของแบบจาลองเชงเสน 4.3 สาหรบ

[ ]4

,1

( ) ( ), 0,1,..., 3i n ii

x n A w n n=

= + =∑ H


4-23

โดยท� [ ] ,n iH น �นเปนองคประกอบของฮาดามารดเมตรกซ(Hadamard Mat(Hadamard Mat(Hadamard Mat(Hadamard Matrix)rix)rix)rix) ขนาด 4 x 4 และสญญาณ ( )x n น �นมสญญาณรบกวนแบบเกาสสขาว 2( ) (0, )ww n σ∼ N ปะปนอย

1 1 1 1

1 1 1 1

1 1 1 1

1 1 1 1

− −

= − −

− −

H

จงคานวณหา MVUE เพ�อประมาณคาขนาด iA

4.4 ระบบในขอ 4.3 มท�ใชงานสาหรบการสงขอมล iA ในระบบหลายผใชงาน(Multi-user) 0,1,..., 1i N= − การแยกขอมลสาหรบผใชงานรายท� i จะเปนไปไดโดยใชตวตรวจจบ

สญญาณ(Detector) iq จงแสดงวาตวตรวจจบสญญาณ iq จะเปน MVUEสาหรบขอมล iA น �น

เม�อ 1i iN

=q h

รปท( 4444----4444 ระบบหลายผใชงาน(Multi(Multi(Multi(Multi----user)user)user)user)และตวตรวจจบสญญาณสาหรบผใชงานรายท( i

4.5 สาหรบโครงสรางของการปรบแตงสญญาณ(Equalisation) ในระบบส�อสารดจตอลดงรปท� 4-5 มตวปรบแตงสญญาณ(Equaliser) ท�ทาหนาท�ในการประมาณคาผกผน(Inverse Estimation) ของระบบท�ไมทราบ(Unknown system) ซ�งสญญาณ ( )x n น �นมสญญาณรบกวนแบบเกาสสขาว 2( ) (0, )ww n σ∼ N ปะปนอย

รปท( 4-5 โครงสรางของการปรบแตงสญญาณ

จงแสดงแบบจาลองเชงเสนของระบบและหาตวประมาณคาแบบความแปรปรวนต�าสดของตวปรบแตงสญญาณดวยโมเดลเชงเสน


4-24

4.6 จากขอ 4.5 จงแสดงวาหาก [1 0.8]Tkh = แลวสมการของท�เปนคาประมาณท�เปนคาท�

เหมาะสมท�สดของตวประมาณคาตวปรบแตงคอ ( ) 0.8nq n =

4.7 ในระบบเขาถงหลายทางแบบแบงรหสหรอCode division multiple access (CDMA)Code division multiple access (CDMA)Code division multiple access (CDMA)Code division multiple access (CDMA) น �นประกอบดวยการมอดเลช �น (Modulation) ดวยการคณสญญาณเบสแบนด (baseband) ของแตละผใชดวยรหสแผ(Spreading code) เฉพาะตวซ�งจะทาหนาท�แผขยายแบนดวท สาหรบในกรณของผใชหลายรายซ�งผลการมอดเลช �นน�จะถกนาไปรวมและสงผานชองการส�อสารท�ไมทราบคา(Unknown Channel) ท�จะแกไขผานทางตวปรบแตงสญญาณ(Equaliser) เชนในขอ 4.5 และสญญาณจะถกรบกวนดวยสญญาณรบกวนแบบเกาสสขาว 2( ) (0, )ww n σ∼ N จงแสดงแบบจาลองเชงเสนของระบบ CDMA และแสดงตวประมาณคาแบบความแปรปรวนต�าสดของตวปรบแตงสญญาณน�

รปท( 4-6 ตวปรบแตงสญญาณในระบบเขาถงหลายทางแบบแบงรหส

4.8 หากกาหนดใหเมตรกซสงเกตการณเปน 1.0001 1

1 1.0001

=

H จงอภปรายถงผลท�เกด

ข�นกบการประมาณคาของ θ จาก = +x H wθ วาผลการประมาณคามความนาเช�อถอเพยงใด

4.9 สาหรบการแปลงโคซายนแบบไมตอเน�อง(Discrete Cosine Transform) หรอ DCT น �นมท�ใชงานมากในดานการประมวลผลภาพและเสยงโดยเฉพาะในแงของการลดจานวนขอมล(Data Compression) โดย DCT จะมความคลายคลงกบการแปลงฟรเยรแบบไมตอเน�อง(DFT) แต DCT เปนเพยงการใชสวนจรงของ DFT เทาน �น โดยหากแสดงสญญาณท�มองคประกอบความถ�และสญญาณถกรบกวนดวยสญญาณรบกวนแบบเกาสสขาว 2( ) (0, )ww n σ∼ N ขางลาง

1

0

( 1/2)( ) ( ) ( )cos ( ), 0,1,..., 1

N

k

n kx n k X k w n n N

N

πα

−

=

+ = + = − ∑


4-25

โดยท�

1, 0

( )2, 0

kN

k

kN

α

== ≠

ซ�งจะอยในรปของผลการแปลงผกผนของการแปลงโคซายน

แบบไมตอเน�องหรอ Inverse DCT จงหาตวประมาณคาสมประสทธ >หรอฮารโมนกของสญญาณหรอ ( )X k

4.10 ในรปท� 4-7 แสดงระบบปรบรปแบบของบม(Beam Forming) ของหลายสายอากาศจานวน K ตน โดยมสญญาณขอมลท�ตองการท�เรยกวาสญญาณเบสแบนด(Baseband) คอ ( )u t โดยสญญาณท�ถกมอดเลท(Modulated signal) หรอสญญาณบรอดแบนด(Broadband) ท�สงมาคอ ( ) ( ) cj tx t u t e ω= โดย cω คอสญญาณคล�นพาห(Carrier signal) จงพสจนวาสมการโมเดลเชงเสน

ของสญญาณเบสแบนดจะสามารถแสดงไดเปน

= +x H wθ

โดยท�

2cos

4cos

2 ( 1)cos

1

j d

j d

Kj d

e

e

e

πφ

λ

πφ

λ

πφ

λ

−

=

H

⋮

รปท( 4-7 ระบบปรบรปแบบของบม


4-26




GOLUB, G.H. AND VAN LOAN, C.F.,"MATRIX COMPUTATIONS", THIRD EDITION, THE JOHN HOPKINS

UNIVERSITY PRESS, BALTIMORE,1983

KAY, S.M., “FUNDAMENTALS OF STATISTICAL SIGNAL PROCESSING: ESTIMATION THEORY”,

PTR PRENTICE-HALL, NEW JERSEY,1993

SAYED, A.H.,"FUNDAMENTALS OF ADAPTIVE FILTERING", WILEY-IEEE PRESS, NEW JERSEY, 2003

STRANG, G., "LINEAR ALGEBRA AND IT'S APPLICATIONS", THIRD EDITION, SAUNDERS COLLEGE

PUBLISHING,1988

ตวประมาณคาไรไบแอสเชงเสนท �ดท �สด

5-1

5 ตวประมาณคาไรไบแอสเชงเสนท�ดท�สด

He who seeks for methods without having a definite problem in mind

seeks in the most part in vain.

David Hilbert

ถายงไมรวาปญหาท �กาลงจะแกคออะไร ถงจะไดกระบวนการแกปญหามา กเปนเร �องเปลาประโยชน

เดวด ฮลเบรต

5.1 บทนา

ในบทท�ผานๆมาเราทราบวาคา pdf ของขอมลน �นนอกจากเปนตวกาหนดคณสมบตของขอมลแลวยงเปนเง�อนไขท�สาคญท�จะตองใชในการหาตวประมาณคาความแปรปรวนนอยสด(MVUE)

เพราะหากไมทราบคา pdf เรากไมสามารถหาขอบเขตดานต�าเครเมอร-เรโอ(CRLB) ได

แตกยงมการหาตวประมาณคาอกประเภทหน�งท�ไมจาเปนตองทราบ pdf ของขอมลแตจะใชเพยงแคคาเฉล�ยกลาง(Mean Value)และความแปรปรวน(Variance) หรอท�เรยกวาโมเมนทอนดบท�หน�ง(1

st Moment) และโมเมนทอนดบท�สอง(2

nd Moment) ของขอมลตามลาดบ โดยมขอกาหนด

อยเพยงวาตวประมาณคาตองมความสมพนธเปนเชงเสนกบชดขอมลท�จะใชเพ�อทาการประมาณคาพารามเตอรท�สนใจ ตวประมาณคาแบบน�มช�อเรยกวาตวประมาณคาไรไบแอสเชงเสนท�ดท�สด(Best Linear Unbiased EstimatorBest Linear Unbiased EstimatorBest Linear Unbiased EstimatorBest Linear Unbiased Estimator) หรอ BLUE BLUE BLUE BLUE

5.2 ความเปนเชงเสนของตวประมาณคาแบบไรไบแอส

หากขอมลน �นม pdf เปน ( ; )p θx และมชดของขอมลเปน

{ }(0), (1), , ( 1)x x x N= −x ⋯ (5.1)

รปแบบของตวประมาณคา BLUE ท�ในรปของสมการจะเปน

1

0

ˆ ( )N

n

n

a x nθ−

=

=∑ (5.2)

โดยท�na น �นเปนพารามเตอรท�จะตองทาการคานวณเพ�อใหไดตวประมาณคาท�เปนแบบไร

ไบแอสและมความแปรปรวนต�าสด หรอ MVUE MVUE MVUE MVUE

การประมวลผลสญญาณดจตอลข #นสง

5-2

หากตองการให BLUE น �นเปนตวประมาณคาท�เหมาะสมท�สด(OOOOptimalptimalptimalptimal EstimatorsEstimatorsEstimatorsEstimators) แลวชดขอมล { }(0), (1), , ( 1)x x x N −⋯ น �นตองเปนเชงเสน ตวอยางเชนการประมาณคาไฟตรง(DC) ในสญญาณดวยคาเฉล�ยแซมเป�ล(Sample Mean)

1

0

1ˆ ( )N

n

x x nN

θ−

=

= = ∑ (5.3)

โดยท� x น �นเปนคาเฉล�ยแซมเป� ลของชดขอมล { }(0), (1), , ( 1)x x x N −⋯ จะเหนวาตวประมาณคา θ น,นมความเปนเชงเสนกบชดขอมลเพราะจากรปแบบของตวประมาณคา BLUE (5.3) น �นเม�อเทยบคาของสมประสทธ 8 na ใน (5.2) จะไดเปน

1,na n

N= ∀ (5.4)

แตอยางไรกตามขอบเขตของตวประมาณคาแบบไรไบแอสจะครอบคลมไดท �งตวประมาณคาไรไบแอสแบบเชงเสน(Linear Unbiased Estimator) และตวประมาณคาไรไบแอสแบบไมเชงเสน(Nonlinear Unbiased Estimator) ซ�งความแตกตางของตวประมาณคาท �งสองแบบเกดจากรป

แบบของชดขอมล ตวประมาณคา MVUE น �นเปนเชงเสนกบชดขอมลท�เปนสญญาณรบกวนสขาวแบบเกาส(WGN) แตตวประมาณคา MVUE น �นไมเปนเชงเสนเม�อสญญาณรบกวนม pdf เปนรปแบบอ�นๆ ตวอยางเชนชดขอมลท�มการกระจายตวแบบยนฟอรม (0, )U β ซ�งม pdf เปนดงรปท� 5-1

ในกรณของตวประมาณคาท�เปนเชงเสนน �นเราไดวาตวประมาณคา MVUE มคาเทากบตวประมาณคา BLUE หรอ

ˆ MVUE=BLUExθ = = (5.5)

รปท� 5-1 การกระจายตวแบบยนฟอรมของสญญาณรบกวน(Uniformly Distributed NoiseUniformly Distributed NoiseUniformly Distributed NoiseUniformly Distributed Noise)

ในกรณของตวประมาณคาแบบไมเชงเสน(Nonlinear Estimators) ซ�งเปนการหาคาเฉล�ยแซมเป�ลของชดขอมล{ }(0), (1), , ( 1)x x x N −⋯ ท�มการกระจายตวเปนแบบยนฟอรม หากหาคาของตวประมาณคา BLUE จะเปนการหาคาเฉล�ยแซมเป�ล(Sample Mean)


5-3

1

0

1ˆBLUE ( )N

n

x nN

θ−

=

→ = ∑ (5.6)

สวนกรณ MVUE จะสามารถหาไดเปน

( )1ˆMVUE max ( )

2

Nx n

Nθ

+→ = (5.7)

รปท� 5-2 แสดงการเปรยบเทยบตวประมาณคาระหวางขอมลท�มการกระจายตวเปน

a) a) a) a) แบบเกาสสขาว((((WWWWhite hite hite hite GGGGaussian Distribution)aussian Distribution)aussian Distribution)aussian Distribution) และ b)b)b)b) ยนฟอรม(Uniform Distribution(Uniform Distribution(Uniform Distribution(Uniform Distribution))))

สงเกตวา MVUE น �นเปนตวประมาณคาแบบไมเปนเชงเสนดวยสาเหตท�วาฟงกชนmax()⋅ น �นเปนตวกระทาแบบไมเชงเสน(Nonlinear Operator) ซ�งหากเราแสดงเปนแผนภมภาพจะไดดงรปท� 5-2 ในแผนภาพน�แสดงถงตวประมาณคาไรไบแอส BLUE ท�ไดมาโดยหากวาชดขอมลเปนสญญาณรบกวนสขาวแบบเกาสน �นการได BLUE จะเปนคาตอบของคาท�เหมาะสมท�สด(Optimal

Solution) หรอเทากบตวประมาณคา MVUE

จากน �นลองทาการเปรยบเทยบตวประมาณคาท�เปน BLUE และ MVUE กบคาจรง(True Value)

θ ซ�งไดมาจากชดขอมล{ }(0), (1), , ( 1)x x x N −⋯ เราใชฟงกชน rand()⋅ ในการสรางสญญาณสมแบบท�ม pdf เปนแบบยนฟอรมดงรปท� 5-3 โดยในรปท� 5-3 a) น �นเปนการทาการเฉล�ยอองซามเบ�ล(Ensemble Averaging) เพยง 1 อองซามเบ�ล ในขณะท�รปท� 5-3 b) เปนการเฉล�ย 100 อองซามเบ�ล


5-4

0 100 200 300 400 500 600 700 800 900 100010

-12

10-10

10-8

10-6

10-4

10-2

100

Number of Samples

(est

imat

e-0.

5)2

Error Squared Comparison of BLUE and MVUE

BLUEMVUE

a)a)a)a)

0 100 200 300 400 500 600 700 800 900 100010

-7

10-6

10-5

10-4

10-3

10-2

Number of Samples

(est

imat

e-0.

5)2

Error Squared Comparison of BLUE and MVUE

BLUEMVUE

b)b)b)b)

รปท� 5-3 การเปรยบเทยบความแตกตางคาประมาณระหวาง BLUE BLUE BLUE BLUE และ MVUE MVUE MVUE MVUE ท�ตางคาจานวนการเฉล�ยอองซามเบ,ล

a) 1 a) 1 a) 1 a) 1 อองซามเบ,ล b) 100 b) 100 b) 100 b) 100 อองซามเบ,ล

แตส�งท�เปนไปกคอเน�องจากเราทราบวาการกระจายตวแบบยนฟอรม(Uniform Distribution) น�มคาเฉล�ยท�เปนคาจรง θ เปน 0.5 แตจากการเปรยบเทยบโดยการสรางแบบจาลองดวยMATLAB

โดยอาศยจานวนขอมลเร�มต �งแต 10 แซมเป�ลและเพ�มทละ 10 แซมเป�ลจนกระท �งเปน 1,000

แซมเป�ลน �น เราพบวาตวประมาณคา MVUE น �นมความผดพลาดนอยกวาท�ไดจากตวประมาณคา BLUE อยตลอดยานของชดขอมลแตตวประมาณคาท �งคกสามารถใหคาตอบท�ใกลเคยงกบคา


5-5

จรงคอ 0.5 คอนขางมากโดยมความผดพลาดในระดบ 410− สาหรบ BLUE และ 710− สาหรบ MVUE

ขอสรปน�บอกกบเราวาสาหรบการหา MVUE ซ�งใหคาตอบเปนความสมพนธไมเปนเชงเสนกบชดขอมลท�กาลงพจารณาน �นเราอาจจะใช BLUE BLUE BLUE BLUE แทน MVUE MVUE MVUE MVUE กไดแมวาความถกตองของขอมลจากการใช BLUE จะนอยกวาท�ไดจาก MVUE กตาม

แตในบางสถานการณของการประมาณคากไมเปนการสมควรเปนอยางย�งท�จะใช BLUE

ตวอยางเชนการประมาณคากาลง(P(P(P(Power)ower)ower)ower) ของสญญาณท�ประกอบดวยสญญาณรบกวนเกาสแบบสขาว ( ) ( )x n w n= โดยหากใชตวประมาณคา MVUE ในการหาคากาลงของสญญาณเราจะไดวา

1

2 2

0

1ˆ ( )

N

n

x nN

σ−

=

= ∑ (5.8)

แตหากจะใช BLUE น �น กอนอ�นเราตองพยายามทาใหสมการของตวประมาณคาอยในรปสมการเชงเสน เชนเดยวกบในสมการ (5.2) เสยกอนซ�งจะไดวา

1

2

0

ˆ ( )N

n

n

a x nσ−

=

= ∑ (5.9)

เราจะพบวาเม�อใชตวประมาณคาแบบ BLUE น �นเราจะไดคาจรงเปน“ศนย”เพราะ

{ }

12

0

1

0 0

ˆ{ } ( )

( )

0

N

n

n

N

n

n

E E a x n

a E x n

σ−

=

−

=

=

=

=

∑

∑ �� (5.10)

ซ�งแนนอนวาไมถกตอง!! เพราะอยางไรเสยกาลงของสญญาณรบกวนเกาสสขาวน �นกควรมคามากกวาศนย ซ�งจะเหนไดวาเปนตวอยางท�แสดงใหเหนถงความไมเหมาะสมในการใชงานบางกรณของ BLUE

5.3 ทฤษฎของตวประมาณคาไรไบแอสเชงเสนท�ดท�สด

ในหวขอน�เราจะพจารณาถงทฤษฎของตวประมาณคาไรไบแอสเชงเสนท�ดท�สดหรอ BLUE สมมตวาเรามโมเดลเปน

( ) ( )x n A w n= + (5.11)


5-6

โดยท� ( )w n เปนสญญาณรบกวนแบบเกาสสขาวท�มการกระจายตวเปน 2(0, )wσN และเราตองการประมาณคาของคาจรง Aθ = เพ�อใหไดคาประมาณ ˆˆ Aθ =

กรรมวธการหา BLUE น �นประกอบดวยสองข �นตอน ข �นแรกเปนการกาหนดให θ เปนเชงเสนและเปนแบบไรไบแอสดวย จากน �นข �นตอนถดไปกคอการหา na ท�ทาใหความแปรปรวนของ θ น �นนอยท�สดโดยมรายละเอยดดงน�

5.3.1 กาหนดความเปนเชงเสนและความไรไบแอสของตวประมาณคา BLUE

เราเร�มจากการกาหนดใหตวประมาณคาBLUE เปนแบบไรไบแอสดงน �นคาเฉล�ยกลาง { }( )E x n

จงเปนเชงเสนกบคาจรงθ หรอ

{ ( )} ( )E x n s n θ= (5.12)

โดย ( )s n เปนพารามเตอรท�เราทราบคา(Known Parameter) ซ�งทาหนาท�เปนเพยงการสเกลคา ของคาจรง θ ในการคานวณ { }( )E x n ดงน �นจากสมการโมเดลของสญญาณ (5.11) โดยหากกาหนดให Aθ = คา ( )s n จะเทากบ 1

( ) ( ) ( )x n s n w nθ= + (5.13)

ซ�งไดมาจากสมการ( )

( ) { ( )} [ ( ) { ( )}]

w n

x n E x n x n E x n= + −��

ดงน �นหากหาคาเฉล�ยของ ( )x n หรอ { }( )E x n จาก (5.11) เราได

{ } { } { }

{ }

{ }

( ) ( )

( )

( )

( )

E x n E A E w n

E s n

s n E

s n

θ

θ

θ

= +

=

=

=

(5.14)

และจากการกาหนดให θ เปนแบบไรไบแอสดงน �น ˆ{ }E θ θ= และให na น �นเปนตวสเกลคาของ ( )s n ในแตละคาn หรอ

{ }1

0

1

0

( )

( )

N

n

n

N

n

n

a E x n

a s n

θ

θ θ

−

=

−

=

=

=

∑

∑ (5.15)

หรอหมายความวา


5-7

1

0

( ) 1N

n

n

a s n−

=

=∑ (5.16)

หรอหากเขยน (5.16) ในรปแบบของผลคณภายใน(Inner Product)ของเวคเตอร na และ ( )s n กจะไดเปน

1T =a s (5.17)

เม�อกาหนดให [ ]0 1 1, , ,T

Na a a −=a ⋯ และ [ ](0), (1), , ( 1)T

s s s N= −s ⋯ ซ�งท �งเวคเตอรaและ sจะเปนขอกาหนดในการหา BLUE ตอไป

จากน �นเราหาความแปรปรวนไดจาก

{ }{ }{ }( ){ }{ }( ) { }( ){ }{ }( ) { }( ){ }{ }( ) { }( ){ }

21 1

0 0

2

2

ˆvar( ) ( ) ( )N N

n n

n n

T T

T

T T

TT

TT

T

E a x n E a x n

E E

E E

E E E

E E E

E E E

θ− −

= =

= −

= −

= −

= − −

= − −

= − −

=

∑ ∑

x

a x a x

a x x

a x x a x x

a x x x x a

a x x x x a

a C a

(5.18)

โดย xC น �นคอเมตรกซของความแปรปรวนรวม(Covariance Matrix) ของx

และจากท�ไดกาหนดไววา { }( ) ( )E x n s n θ= ซ�งทาให { }( )E x n เปนการประมาณคาขนาดของสญญาณ ( )s n ท�มสญญาณรบกวน ( )w n ปะปนอยดวยและเปนเชงเสนกบθ

5.3.2 การหาคาความแปรปรวนนอยสดของตวประมาณคา BLUE เปนการลดคาความแปรปรวนของตวประมาณคา ˆvar( )θ ใหนอยท�สดโดยมเง�อนไขบงคบ

(Constraint)(Constraint)(Constraint)(Constraint) เปน 1T =a s หรอ

min subject to 1T T =xaa C a a s (5.19)

ในการหาคาตอบของสมการ (5.19) น �นเราใชวธการท�เรยกวาวธตวคณลากรานจ (Lagrange (Lagrange (Lagrange (Lagrange

MultiplierMultiplierMultiplierMultiplier Method)Method)Method)Method) โดยกาหนดใหฟงกชนเปาหมายJ เปน


5-8

( )1T TJ λ= + −xa C a a s (5.20)

โดยท�λ น �นเรยกวาตวคณลากรานจ สงเกตวาพจน ( )1Tλ −a s ของ (5.20) น �นมคาเปนศนยดงน �นการหาคาต�าสดของฟงกชนเปาหมายJ กเทยบเทาเปนการหาคาต�าสดของ ˆvar( )θ

เราใชการหาอนพนธยอยของJ เทยบกบa จะได

2J

λ∂= +

∂xC a s

a (5.21)

เม�อให 0J∂=

∂aจะไดวา

1

2

λ −=− xa C s (5.22)

เราจะหาตวคณลากรานจλ ไดจากเง�อนไขบงคบ 1T =a s ซ�งจะไดวาจาก (5.22) เราไดคาทรานสโพส(Transpose) ของa เปน

1

2T Tλ −= − xa s C (5.23)

โดยท�( )1 1T− −=x xC C

เม�อคณทางดานหลงสมการ (5.23) ดวย sแลวใชขอบงคบ 1T =a s จะได

1 12

T Tλ −= − =xa s s C s (5.24)

หรอ

1

1

2 T

λ−

− =xs C s

(5.25)

จากน �นเม�อแทนคาของเทอม2

λ− ใน 1

2

λ −= − xa C sจงไดวา

1

1opt T

−

−= x

x

C sa

s C s (5.26)

โดย opta ท�ใหคาของความแปรปรวนท�นอยท�สดหรอโดยความหมายอยางละเอยดกคอ opta เปนคา a ท�เหมาะสมท�สดในแงท�ใหความแปรปรวนนอยท�สด(Optimal in Minimum Variance Sense)

น �นคอเราไดคาสมประสทธ 8a ท�ทาใหคา ˆvar{ }θ นอยท�สดและทาใหเราหาตวประมาณคาเชงเสนไรไบแอสท�ดท�สดหรอ BLUE ไดจาก

ˆ Tθ = a x (5.27)


5-9

เม�อแทนa ดวย opta หรอ ˆ Toptθ = a xจงทาใหไดวาตวประมาณคาแบบ BLUEBLUEBLUEBLUE เปน

1

1ˆ

T

Tθ

−

−= x

x

s C x

s C s (5.28)

และความแปรปรวนของ BLUE เปน

1

ˆvar{ }

1

Topt opt

T

θ

−

=

=

x

x

a C a

s C s

(5.29)

สรปกคอการหาตวประมาณคา BLUE น �น เราตองการเพยงพารามเตอร 2 ตวของขอมลเทาน �น คอ

1. คาเฉล�ยกลางท�ถกสเกลคา(Scaled Mean) s

2. เมตรกซความแปรปรวนรวม (Covariance Matrix) ของxหรอ xC

เราสามารถหาคาตอบไดอกวธการหน�งกคอเน�องจากเราทราบวา

ˆvar{ } Tθ = xa C a (5.30)

โดยท�กาหนดให

2

2

0

0

σ

σ

=

xC 1

2

a

a

=

a (5.31)

ดงน �น

2 2 2 21 2

ˆvar{ } a aθ σ σ= + (5.32)

จะเหนวาหากมองวา ˆvar{ }θ เปนคาคงท�ใดๆเชน 1 2 3, ,c c c จะไดวาสมการ (5.32) เปนสมการวงกลมโดยมแกนท �งสองเปน 1a และ 2a ตามลาดบและเราสามารถเขยนเปนวงกลมของสมการ (5.32) ไดเปนดงรปท� 5-4


5-10

รปท� 5-4 วงกลมของสมการความแปรปรวนท�คาคงท� 1 2 3, ,c c c

ทน�มาดถงความหมายของสมการขอบงคบ 1T =a s ซ�งกคอสมการท�เปนตวบอกถงคาของ ˆvar{ }θ ท�นอยท�สด(Minimum Solution) เทาท�จะเปนไปได

จากรปท� 5-4 เราพบวาหากไมมเง�อนไขบงคบ(Constraint) ใดๆแลวจดท�ใหคา ˆvar{ }θ ท�นอยท�สดเทาท�จะเปนไปไดน �นกคอตาแหนงศนย

แตหากมเง�อนไขกาหนดมาจากขอบงคบ 1T =a s แลวคาคาตอบท�นอยท�สดจะเปล�ยนไปดงน�คอหาก 1 2[ ]Ts s=s ดงน �นจาก 1T =a s เราสามารถหาคาของ 2a ไดดงน�

1 1 2 2

12 1

2 2

1

1

a s a s

sa a

s s

+ =

= − + (5.33)

ซ�งเปนสมการเสนตรงซ�งเสนตรงน�มช�อเรยกวาเสนบงคบ(ConConConConsssstraint Linetraint Linetraint Linetraint Line) ซ�งมจดตดแกน 2a

ท�2

1

sดงในรปท� 5-5


5-11

รปท� 5-5 สมการเสนบงคบ 1

2 1

2 2

1sa a

s s=− +

จากสมการฟงกชนเปาหมาย ( )1T TJ λ= + −xa C a a s พบวาหากกาหนดเง�อนไข 1T =a s จะเหนวา ˆvar{ }J θ= (5.34)

ดงน �น 0J∂=

∂aจงเปนเสนตรงต �งฉากกบผวสมผสของวงกลม

รปท� 5-6 สมการ 0J∂=

∂aกบวงกลมของความแปรปรวน

ดงน �นคาตอบท�ใหคาฟงกชนเปาหมาย(Objective Function) นอยท�สดจะเปนจดท� 0J∂=

∂aและ

สมการเง�อนไข 1T =a s เปนจรงประกอบกนไปดวย


5-12

หากวาดรปแสดงเสนเง�อนไขและ 0J∂=

∂aจะพบวามคาคงท� ˆvar{ }θ เพยงคาเดยวท�จะทาให

เง�อนไขขางตนเปนจรงและจดน �นกคอคาความแปรปรวน ˆvar{ }θ ท�นอยท�สด

รปท� 5-7 การแสดงคาตอบจดต�าสดท�มเง�อนไข 0J∂=

∂aและ 1T =a s

ตวอยางท� 5.1 ปญหาท�สาคญอยางหน�งของระบบเขาถงหลายทางแบบแบงรหส(Code Division

Multiple Access) หรอ CDMA น �นกคอเร�องของการแยกสญญาณของผใชท�ตองการออกจากผใชรายอ�นๆท�ใชงานระบบอยดวยท �งน�เน�องจากจะมการรบกวนของผใชรายอ�นๆท�มระดบสญญาณมากกวาผใชรายท�ตองการ ส�งท�เคร�องรบสญญาณ CDMA (CDMA Receiver) จะตองทาการแกไขปญหาน�กคอการใชการประมวลผลสญญาณเขามาชวยในการสรางอลกอรธมรบสญญาณดงกลาวโดยอลกอรธมน�ทาหนาท�เปนตวกาจดการรบกวน(Interference Suppressor)(Interference Suppressor)(Interference Suppressor)(Interference Suppressor)

มอลกอรธมสาหรบเคร�องรบสญญาณ CDMA ท�ทรงพลงแตเรยบงายอยหน�งอลกอรธมซ�งมช�อเรยกวาแบบอลกอรธมพลงงานเอาทพทนอยท�สด(Minimum Output Energy)(Minimum Output Energy)(Minimum Output Energy)(Minimum Output Energy) หรอ MOE ท�นาเสนอโดย Honig, Madhow และ Verdu ในบทความช�อ “BLIND MULTIUSER DETECTION” ตพมพในวารสาร IEEE Transaction on Information Theory ในป 1995 ซ�งโดยหนาท�ของเคร�องรบสญญาณแบบ MOE กคอ การกคนสญญาณจากผใชรายท�ตองการ(Desired User) ท�ถกรบกวนดวยสญญาณจากผใชรายอ�นๆท�มพลงงานมากกวาหลายเทาตวโดยอาศยเพยงรหสแผ(Spreading code)ของผใชรายท�ตองการเทาน �นและไมตองอาศยสญญาณฝก(Training Signals)

จากผใชรายท�ตองการเลย ซ�งการท�อลกอรธมน�ไมตองการสญญาณฝกและเปนแบบปรบตวได ดงน �นอลกอรธมจงจดอยในหมวดอลกอรธมปรบตวไดแบบไบลนด(Blind Adaptive (Blind Adaptive (Blind Adaptive (Blind Adaptive

Algorithm)Algorithm)Algorithm)Algorithm)

สาหรบระบบเคร�องรบสญญาณแบบ CDMA ท�ใชอลกอรธม MOE น �นมโครงสรางดงแสดงในรปท� 5-8 โดยท�ตวเคร�องรบสญญาณจะประกอบดวยสองสวนคอ


5-13

1 1 1( ) ( )n n= +c s x (5.35)

1s น �นเปนรหสแผ (Spreading code) ของผใชรายท�หน�งซ�งเรากาหนดใหเปนผใชรายท�ตองการสวน 1( )nx น �นเปนสวนของการปรบตวอนเน�องมาจากอลกอรธม MOE

รปท� 5-8 โครงสรางของระบบเคร�องรบสญญาณ CDMA CDMA CDMA CDMA ท�ใชอลกอรธม MOE MOE MOE MOE

สาหรบอลกอรธม MOE น �นมเปาหมายคอตองการหาคาของตวกรองดจตอล 1( )nc ท�ทาใหคาพลงงานของสญญาณเอาทพทมคาต�าสดโดยมเง�อนไขบงคบเปน 1 1( ) 1T n =c s หรอ

21 1min { ( )} subject to ( ) 1T

MOEJ E z n n= =c s (5.36)

ในตวอยางน�จะแสดงถงการใชความรในเร�องของ BLUE ในการหาคาผลลพธของ MOE และจะแสดงวาคาคาตอบสดทายของอลกอรธม MOE น �นคอตวประมาณคาแบบ BLUE

จากรปท� 5-8 และ (5.36) เราทราบวา 1( ) ( ) ( )Tz n n n= c y

{ }

{ }

21

1 1

1 1

1 1

{( ( ) ( ) ) }

( ) ( ) ( ) ( )

( ) ( ) ( ) ( )

( ) ( )

TMOE

T T

T T

T

J E n n

E n n n n

n E n n n

n n

=

=

=

=

c y

c y y c

c y y c

c Rc

(5.37)

โดยเรากาหนดใหคาสหสมพนธของสญญาณอนพทเปน { ( ) ( )}TE n n=R y y จากน �นทาการแปลงกระบวนการหาคาเหมาะสมท�สดแบบใชเง�อนไขบงคบ(Constrained Optimisation) ใหเปนกระบวนการหาคาเหมาะสมท�สดแบบไมใชเง�อนไขบงคบ (Unconstrained Optimisation) ดวยวธการตวคณลากรานจ ((((LagraLagraLagraLagrannnnge Mge Mge Mge Multiplierultiplierultiplierultiplier MethodMethodMethodMethod))))

( )1 1 1 1 1T TMOEJ λ= + −c Rc c s (5.38)

จากน �นหาคาอนพนธไดเปน

1 11

2MOEJλ

∂= +

∂Rc s

c (5.39)


5-14

แลวเทยบศนยกไดคาสมประสทธ 8ท�เหมาะสมท�สด(Optimum Tap Weight Coefficients)ของเคร�อง

รบสญญาณเปน

11, 1

2opt

λ −= −c R s (5.40)

แตคาสมประสทธ 8ดงกลาวกยงตดคาตวคณลากรานจλอยแตกสามารถคานวณคาของตวคณลากรานจλ น�ไดโดยการใชเง�อนไขบงคบ 1, 1 1T

opt =c s ซ�งจะไดวาจาก(5.40) น �นเราได 1,Toptc เปน

1

1, 12

T Topt

λ −= −c s R (5.41)

ซ�งเม�อคณดานหลงสมการดวย 1s จะได

11, 1 1 1

11 1

2

12

T Topt

T

λ

λ

−

−

= −

= −

c s s R s

s R s

(5.42)

ซ�งจะไดผลลพธของตวคณลากรานจλ เปน

1

1 1

2T

λ−

= −s R s

(5.43)

เอาไปแทน (5.39)

11

1, 11 1

opt T

−

−=R s

cs R s

(5.44)

ซ�งกจะพบวาตวกรองสาหรบอลกอรธม MOE น �นท�แทแลวเปนสมประสทธ 8ท�จะใชหาตวประมาณคาแบบ BLUE หรอเปรยบไดเปน opta ในสมการ (5.26) △

5.4 ตวประมาณคาแบบเชงเสนท�ดท�สดสาหรบสญญาณท�ไมทราบ pdf

ในบทท�ผานๆมาเราจะสมมตวาสญญาณรบกวนท�วาม pdf เปนแบบเกาสซ�งเปนการเอ�อประโยชนใหกบการหาตวประมาณคาแบบ MVUE ท�จาเปนตองใช pdf ในการคานวณ แตจากกรรมวธของการหาตวประมาณคา BLUE เรากยงคงสามารถคานวณหาตวประมาณคาไดโดยไมจาเปนตองทราบ pdf pdf pdf pdf โดยการใชเพยงสองพารามเตอรทางสถตคอคาเฉล�ยกลางและความแปรปรวน ตวอยางท� 5.2 แสดงการหาตวประมาณคา BLUE เพ�อประมาณคาระดบสญญาณไฟตรงท�ถกรบกวนดวยสญญาณรบกวนท�ไมทราบ pdfpdfpdfpdf

ตวอยางท� 5.2 กาหนดใหสญญาณท�รบไดเปน


5-15

( ) ( ), 0,1,..., 1x n A w n n N= + = − (5.45)

พารามเตอรท�เราตองการประมาณคาน �นเปนสญญาณ DC คอAสวน ( )w n เปนสญญาณรบกวนสขาวท�ไมทราบคา pdfpdfpdfpdf แตมความแปรปรวนเปน 2

wσ

จากสมการ (5.45) น �นหากหาคาเฉล�ยกลางของ ( )x n จะไดเปน

{ ( )}E x n A= (5.46)

จากขอกาหนดท�วาตวประมาณคาน �นเปนตวประมาณคาแบบไรไบแอสดงน �น

{ ( )} ( )E x n s n θ= (5.47)

ซ�งหมายความวา Aθ = และ ( ) 1,s n = เม�อ 0,1,..., 1n N= − ดงน �นจงเขยน sไดเปน

(0) 1

1(1)

1( 1)

s

s

s N

= = = −

s 1⋮⋮

(5.48)

ดงน �นจาก BLUE เราไดวา

1

1

2

2

ˆ ˆ

1

1

T

T

T

w

T

w

A

σ

σ

−

−= =

=

x

x

s C x

s C s

1 Ix

1 I1

θ

(5.49)

ซ�งจาก

1

1[1 1 1]

1

T N

= =

1 1 ⋯⋮

(5.50)

และ


5-16

2

2

2

2

2 2 2 2

10 0

11

10 01[1 1 1]

11

0 0

1 1 1

w

Tw

w

w

w w w w

N

N

σ

σσ

σ

σ σ σ σ

=

= + + + =

1 I1

⋯

⋯⋯

⋮⋮ ⋮ ⋱ ⋮

⋯

⋯

��

(5.51)

ดงน �นจะไดคาตอบของตวประมาณคาน�เปนคาเฉล�ยแซมเป�ล(Sample Mean)

2 1

02

1

1ˆ ˆ ( )

T

N

w

n

w

A x nN N

σ

σ

−

=

= = = =∑1 x

xθ (5.52)

สวนความแปรปรวนต�าสด(Minimum Variance) สาหรบตวประมาณคา BLUE น�จะเปน

( )2

2

ˆvar1

w

T

w

AN

σ

σ

= =1

1 I1 (5.53)

ซ�งถาหากสญญาณรบกวนน �นมการกระจายตวแบบเกาสแลวตวประมาณคา BLUE น�จะมความแปรปรวนต�าสดหรออกนยหน�งกคอตวประมาณคาน�มประสทธภาพ (EfficientEfficientEfficientEfficient) △

ตอไป เราลองมาดอกตวอยางหน�งท�ซบซอนมากข�นสาหรบสญญาณซ�งประกอบดวยสญญาณรบกวนท�แตละแซมเป�ลน �นมความแปรปรวนท�แตกตางกนหรอเรยกวาสญญาณรบกวนท�ไมมสหสมพนธ(Uncorrelated N(Uncorrelated N(Uncorrelated N(Uncorrelated Noise) oise) oise) oise)

ตวอยางท� 5.3 สมมตวาเราให ( )w n เปนสญญาณรบกวนท�ไมมสหสมพนธตวเองและมคาเฉล�ยเปนศนย(Zero Mean) และความแปรปรวนของ ( )w n น �นคอ

( ) 2var ( ) ( )ww n nσ= (5.54)

ซ�งความหมายในท�น�กคอวาสาหรบแตละแซมเป�ลของ ( )x n น �นจะมคาความแปรปรวนเปน 2nσ

ดวยโดยท�

2 2(0) ( ), 1,2, , 1w w n n Nσ σ≠ = −… (5.55)

ดงน �นเมตรกซความแปรปรวนรวมจะเปน


5-17

2

2

2

(0) 0 0

0 (1) 0

0 0 ( 1)

w

w

w N

σ

σ

σ

= −

xC

⋯

⋮ ⋱ ⋮

⋯

(5.56)

ซ�งทาใหไดเมตรกซความแปรปรวนรวมผกผน(Inverse Covariance Matrix) เปน

2

21

2

10 0

(0)

10 0

(1)

10 0

( 1)

w

w

w N

σ

σ

σ

−

= −

xC

⋯

⋮ ⋱ ⋮

⋯

(5.57)

สงเกตวาเพราะ xC น �นเปนเมตรกซแบบทแยงมม(DiagonalDiagonalDiagonalDiagonal MatrixMatrixMatrixMatrix) ซ�งแสดงถงการท�เมตรกซมองคประกอบเฉพาะแกนทแยงมมเราจงสามารถหาเมตรกซผกผน 1−

xC ไดโดยงายดาย

ดงน �น

1

210

1 1

20

( )

( )ˆ1

( )

N

Twn

T N

wn

x n

nA

n

σ

σ

−

−=

− −

=

= =∑

∑

x

x

1 C x

1 C 1 (5.58)

สงเกตวาในสวนของตวหารน �นเปนการถวงน�าหนก(Weighting) ความหมายกคอถา ( )x n ใดใหคาความแปรปรวน 2( )w nσ มากกจะใหความสาคญของ ( )x n ตวน �นนอยลงโดยการปรบคาถวงน�าหนกเพ�อเปนการลดไบแอสของตวประมาณคา BLUE

สวนความแปรปรวนจะไดเปน

( ) 1

1

20

1ˆvar

1

( )

T

N

wn

A

nσ

−

−

=

=

=

∑

x1 C 1

1 (5.59)

ยอนกลบไปในเร�องของตวประมาณคา MVUE น �นตวอยางท� 2.2 แสดงการหาคาความแปรปรวนของตวประมาณคาสามตวคอ 1θ , 2θ และ 3θ เพ�อหาวาตวใดเปนตวประมาณคาแบบ MVUE เราพบวาเน�องจากตวประมาณคาแตละตวใหความแปรปรวนไมคงท�ตลอดยานของคาจรงθ


5-18

ในตวอยางน�หากให 2N = เราจะไดวา

2 22 2

2 2 2 2

2 2

(0) (1)

(1) (0)(0) (1)ˆ (0) (1)1 1 (0) (1) (0) (1)(0) (1)

w ww w

w w w w

w w

x x

A x xσ σσ σ

σ σ σ σ

σ σ

+

= = ++ ++

(5.60)

ซ�งเราพบวาจากสมการ (2.59) ของตวอยางท� 2.2 ในบทท� 2 น �นเม�อเทยบเคยงสมประสทธ 8ของตวประมาณคาจะไดวา

1

2

3

1 1ˆ (0) (1)2 22 1ˆ (0) (1)3 35 4ˆ (0) (1)9 9

A x x

A x x

A x x

= +

= +

= +

(5.61)

หรอเปนการหาตวประมาณคา Aดวยวธการเดยวกบท�ใชในกรณตวประมาณคาแบบ BLUE

เพราะลกษณะการถวงน�าหนกดวยคาความแปรปรวน ประเดนท�สาคญของการหา BLUE กคอการถวงน�าหนกของความแปรปรวนจากแตละคาของ ( )x n

สงเกตวา 1−xC ท�อยในสมการ (5.28) น �นเปนการทาสญญาณสขาวลวงหนา(PrewhiteningPrewhiteningPrewhiteningPrewhitening)

กอนท�จะทาการหาคาเฉล�ยเพ�อทาใหสญญาณรบกวนเกาสแบบส(Coloured Gaussian Noise)

น �นกลายเปนสญญาณรบกวนเกาสแบบสขาว(White Gaussian Noise) เสยกอน

แตเพราะวาสญญาณรบกวนเปนแบบเกาส(ท �งกรณแบบสและแบบสขาว) ดงน �นตวประมาณคา BLUEBLUEBLUEBLUEท� ไ ดจงใหคาความแปรปรวนต�าสดหรอเรยกวาเปนตวประมาณคาแบบมประสทธภาพน �นเอง

5.5 การขยายความการประมาณคาในแบบเวคเตอร (Extension to Vector Parameter Estimation)

เน�องจากวาตวประมาณคา BLUE น �นจะมความเปนเชงเสนตอชดขอมลดงน �นในกรณท�ชดขอมลเปน ( )x n จะไดตวประมาณคา îθ สาหรบ 1,...,i p= เปน

1

( )

0

ˆ ( ), 1,2,...,N

ii n

n

a x n i pθ−

=

=∑= (5.62)


5-19

โดยท� ( )ina เปนสมประสทธ 8คาน�าหนกตอชดขอมล ( )x n สาหรบแถวท�i และคอลมนท�n ซ�งหากจด

ใหอยในรปของเมตรกซ-เวคเตอรและใหพารามเตอรท�จะทาการประมาณคาน�เปนเวคเตอร θ จะได

(1) (1) (1) (1)0 0 1 1

(2) (2) (2) (2)01 1 1

( ) ( ) ( ) ( )0 11 1

ˆ

ˆ (0)

ˆ (1)

( 1)ˆ

N

N

p p p pN N

a a a x

xa a a

x Na a a

θ

θ

θ

−

−

− −

= − x

Kθ

⋯

⋯

⋮⋮ ⋮ ⋮ ⋱ ⋮

⋯ ��

(5.63)

ดงน �น θ จะมรปแบบเปน ˆ= Kxθ (5.64)

และหากในกรณ θท�เปนแบบไรไบแอสดงน �น ˆ{ } { }E E= =K xθ θ (5.65)

โดยการเปนตวประมาณคาเชงเสนน �น { }E x จะตองเปนเชงเสนตอคาθ หรอ { }E =x Hθ (5.66)

โดยท�H เรยกวาเปนเมตรกซสงเกตการณ(Observation Matrix)(Observation Matrix)(Observation Matrix)(Observation Matrix) เทยบสมการ (5.65) และ (5.66) เราจะพบวาในกรณท�เปนสเกลารจะได { ( )} ( )E x n s n θ= ดงในสมการ (5.47) ซ�งเปรยบเทยบกบ (5.66) ในกรณน�

(0)

(1){ }

( 1)

s

sE

s N

= −

H

x θ⋮

��

(5.67)

และหากแทนสมการ (5.66) ลงใน (5.65) จะไดวา

=KH I (5.68)

จากสมการ (5.63) หากให ( ) ( ) ( )0 1 1

Ti i i

i Na a a − =

a ⋯ จะไดวา


5-20

1

2

T

T

Tp

=

a

aK

a

⋮ (5.69)

และให 1 2 p

= H h h h⋯ (5.70)

จงไดวา

1

2

1 2

1 1 1 2 1

2 1 2 2 2

1 2

1 0 0

0 1 0

0 0 1

1 0 0

0 1 0

0 0 1

T

T

p

Tp

T T Tp

T T Tp

T T Tp p p p

=

=

=

KH I

a

ah h h

a

a h a h a h

a h a h a h

a h a h a h

⋯

⋯⋮ ⋱ ⋮⋮

⋯

⋯ ⋯

⋮ ⋱ ⋮⋮ ⋱ ⋮

⋯⋯ (5.71)

หรอเขยนสรปออกมาในรปของโครเนคเคอรเดลตาฟงกชนไดวา

, 1,2,...,

1,2,...,

Ti j ij i p

j p

δ= =

=

a h (5.72)

ซ�งจะเปนเง�อนไขเดยวกบเง�อนไขบงคบ 1T =a s ของกรณของตวประมาณคาแบบสเกลารในสมการ (5.17)

ดงน �นดวยวธการเดยวกนสาหรบกรณชดขอมลเปนเวคเตอรจงทาใหไดตวประมาณคา BLUE θ เปน

( )11 1ˆ T T−− −= x xH C H H C xθ (5.73)

และเมตรกซความแปรปรวนรวม ˆCθ เปน

( )11

ˆT −−= xC H C H

θ (5.74)


5-21

มขอก าหนดอยว าหากชดขอมลมการกระจายตว เ ปนแบบเกาสหรอ = +x H wθ

เม�อ ( , )xw 0 C∼ N แลว ตวประมาณคา BLUE BLUE BLUE BLUE จะกลายเปนตวประมาณคา MVUE MVUE MVUE MVUE ดวยซ�งการไดตวประมาณคา BLUE ท�ไดจาก (5.73) น�ไดมาจากทฤษฎบทเกาส-มารคอฟ(Gauss-

Markov Theorem) ดงแสดงในทฤษฎบทท� 5.1

ทฤษฎบทท� 5.15.15.15.1 ทฤษฎบทของเกาส----มารคอฟ (Gauss(Gauss(Gauss(Gauss----MarkMarkMarkMarkov Theorem)ov Theorem)ov Theorem)ov Theorem) น �นกลาววาสาหรบชดขอมลท�แสดงในรปของ

= +x H wθ (5.75)

โดยท�H เปนเมตรกซขนาดN p× ท�เราทราบคาθ เปนเวคเตอรขนาด 1p× ของพารามเตอรท�ตองการประมาณคาและw เปนเวคเตอรขนาด 1p× ของสญญาณรบกวนท�มคาเฉล�ยกลางเปนศนยและมเมตรกซความแปรปรวนรวมเปน xC เราจะไดตวประมาณคา BLUE θ เปน

( )11 1ˆ T T−− −= x xH C H H C xθ (5.76)

สงเกตจาก (5.76) เราสามารถหาเมตรกซKท�ใหคาของ BLUE ไดเปน optK หรอ

ôpt= K xθ (5.77)

หรอ

( )11 1T T

opt

−− −= x xK H C H H C (5.78)

และคาความแปรปรวนท�นอยท�สดของแตละองคประกอบของ θ คอ îθ น �นเปน

( )11ˆvar( ) T

iii

θ−−

=

xH C H (5.79)

สวนเมตรกซความแปรปรวนรวมคอ

( )11

ˆT −−= xC H C H

θ (5.80)

5.6 สรป

ในการหาคาของตวประมาณคาแบบความแปรปรวนนอยสดหรอ MVUE น �น เราจะตองทราบวา pdf ของขอมลน �นเปนอยางไร แตสาหรบตวประมาณคาแบบเชงเสนท�ดท�สดหรอ BLUE น �นเราตองการเพยงคาเฉล�ยกลางและคาความแปรปรวนเทาน �นซ�งทาใหลดเง�อนไขความตองการเพ�อจะหาคาพารามเตอรได เง�อนไขหน�งท�สาคญของ BLUE กคอตวประมาณคาน �นตองมความเปนเชงเสนกบพารามเตอรท�ตองการประมาณคา สวนในดานการเปรยบเทยบประสทธภาพในแง


5-22

ความถกตองของการประมาณคาน �นถงแมวาในกรณท �วไป BLUE จะใหประสทธภาพท�ดอยกวา MVUE แต BLUE กสามารถใหประสทธภาพเทยบเทากบ MVUE ไดหากสญญาณน �นมการกระจายตวเปนแบบเกาส

Appendix 5.A

ch5_blue_mvue.m % ch5_blue_mvue.m Tests the MVUE and BLUE Performa nce clear all set(0,'defaultaxesfontsize',16,... 'defaultlinelinewidth',2.5,... 'defaultaxeslinewidth',1.5) uniform=1; % Uniformly distributed =1, Guass else N=[10:10:1000]; itr_num=100; % Number of Ensembles E_b=zeros(length(N),1);E_m=zeros(length(N),1); for i=1:length(N) E_btmp=[];E_mtmp=[]; for iter=1:itr_num if uniform==1 x=rand(N(i),1); % Uniformly distribute d blue=mean(x); mvue=(N(i)+1)/(2*N(i))*max(x); e_b(i)=blue-0.5; e_m(i)=mvue-0.5; else x=randn(N(i),1); % Normal distributed blue=mean(x); mvue=(N(i)+1)/(2*N(i))*max(x); e_b(i)=blue-0; e_m(i)=mvue-0; end E_btmp=[E_btmp e_b(i).^2]; E_mtmp=[E_mtmp e_m(i).^2]; end E_b(i)= mean(E_btmp); E_m(i)= mean(E_mtmp); end figure(1);clf % semilogy(N,e_b.^2) semilogy(N,E_b) hold on % semilogy(N,e_m.^2,':') semilogy(N,E_m,':') hold off legend('BLUE','MVUE') title('Error Squared Comparison of BLUE and MVUE') xlabel('Number of Samples') ylabel('(estimate-0.5)^2')


5-23


5.1 สาหรบสญญาณ

( ) ( ), 0,1,..., 1x n nA w n n N= + = −

พารามเตอรท�เราตองการประมาณคาน �นเปนสญญาณ DC คอAสวน ( )w n เปนสญญาณรบกวนสขาวท�ไมทราบคา pdfpdfpdfpdf แตทราบวามความแปรปรวนเปน 2

wσ จงคานวณหา BLUE สาหรบพารามเตอรA

5.2 จากตวอยางท� 5.3 สมมตวาเราให ( )w n เปนสญญาณรบกวนท�ไมมสหสมพนธกนเองและมคาเฉล�ยเปนศนย (zero mean) และความแปรปรวนของ ( )w n น �นเปน

( ) 2var ( ) ( ) 2 1ww n n nσ= = +

จงหาวาคาความแปรปรวนของ BLUE เม�อN →∞ น �นเปนเทาใด

5.3 จากสมการ (5.78) เมตรกซ Kท�ใหคา BLUE ตามทฤษฎของเกาส-มารคอฟคอ

( )11 1T T

opt

−− −= x xK H C H H C

เม�อนามาคานวณฟงกชนเปาหมาย ( ) HJ = xK KC K เชนดงในเร�องของอลกอรธมแบบพลงงานเอาทพทนอยท�สด(Minimum Output Energy) หรอ MOE ในตวอยางท� 5.1 จงพสจนวา

( ) ( ) ( )T Topt opt opt optJ = − − +x xK K K C K K K C K

น �นมคาเทากบ ( ) TJ = xK KC K

แนะนา: ใหใชความสมพนธของ =KH I

5.4 ในการทาการประมาณคาชองการส�อสารสญญาณ(Channel Estimation) น �นจะเปนการประมาณคาน�าหนก 0 1 1, , , Ph h h −⋯ ซ�งเปนพารามเตอรท�ไมทราบคา(Unknown parameters)

ของชองการส�อสารสญญาณ แตเราทราบคาสญญาณซ�งใชในการสงสญญาณท�เราทราบคา(Known transmitted signals) (0), (1), , ( 1)u u u N −⋯ ดงรปท� 5-9 จงแสดงสมการเพ�อคานวณคาของชองสญญาณท�ไมทราบคา 0 1 1, , , Ph h h −⋯ ดวยตวประมาณคา BLUE


5-24

รปท� 5-9 การประมาณคาชองการส�อสารสญญาณ

5.5 ในการทาการประมาณคาสญญาณ(Signal Estimation) น �น จะเปนการประมาณสญญาณท�เราไมทราบคา(Unknown Parameters) (0), (1), , ( 1)u u u N −⋯ ท�ถกสงผานชองการส�อสารท�มคาน�าหนกของชองการส�อสาร 0 1 1, , , Ph h h −⋯ ซ�งเปนพารามเตอรท�ทราบคา(Known Channel

Weights)ดงรปท� 5-10 กรณน�จงแสดงสมการเพ�อคานวณคาของสญญาณท�ไมทราบคา (0), (1), , ( 1)u u u N −⋯ ดวยตวประมาณคา BLUE

รปท� 5-10 การประมาณคาสญญาณ

5.6 ในการส�อสารสญญาณผานชองการส�อสารสญญาณ(Channel) น �นส�งท�เปนปญหาสาคญกคอมการแทรกสอดสญญลกษณ(Inter(Inter(Inter(Inter----Symbol Interference)Symbol Interference)Symbol Interference)Symbol Interference) หรอ ISIISIISIISI ของขอมลแตละขอมลกอนหนาของท�สงมา ( )u n คอ ( 1), ( 2),u n u n− − ⋯ วธการแกไขกคอจะตองใชการตวปรบแตง

สญญาณ(Equaliser)ดงรปท� 5-11 โดยหนาท�ของตวปรบแตงสญญาณคอการประมาณคาของสญญาณ ( )u n ท�มการหนวงเวลาไป∆แซมเป� ลหรอ ( )u n −∆ โดยวธการของการหาตวปรบแตงสญญาณแบบปรบตวได(Adaptive Equaliser) น �นจะทาการคานวณคาของสญญาณประมาณคาแบบทละแซมเป�ล จงหาตวประมาณคา BLUE ของตวปรบแตงสญญาณแบบปรบตวไดน�


5-25

รปท� 5-11 การประมาณคาตวปรบแตงสญญาณแบบปรบตวได

5.7 สาหรบระบบท�เปนระบบหลายสายอากาศ(Multi-Antenna) มจานวนเทากบN ตนน �นมโครงสรางดงรปท� 5-12 จงแสดงสมการของตวประมาณคา BLUE ของคาสญญาณu และจง

พสจนวาK มคาเทากบ 1

N

รปท� 5-12 ระบบหลายสายอากาศ

5.8 สาหรบสญญาณท�มระดบออฟเซท(Offset) ในสญญาณท�รบมาไดเปนคาคงท�k ท�ทราบคา(Known parameter) ( ) ( ) ( )x n s n k w nθ= + +

โดยท� ( )w n เปนสญญาณรบกวนสขาวและ 2( ) (0, )ww n σ∼N จงหาตวประมาณคา BLUE

สาหรบการประมาณคาθ หากกาหนดใหตวประมาณคา BLUE แบบพเศษน�มสมการในรปแบบของ


5-26

1

0

ˆ ( )N

n

n

a x n Kθ−

=

= +∑

โดยท� K เปนคาคงท� 5.9 จากขอ 5.8 จงหาตวประมาณคา BLUE สาหรบθซ�งเปนสญญาณท�เปนเมตรกซ-เวคเตอร

= + +x H k wθ

โดยท�k เปนเวคเตอรของคาคงท�ขนาด 1N × และ { }E =w 0

5.10 ในระบบการเกบขอมล(Data Acquisition) น �นส�งท�สาคญกคอการเกบขอมลใหครบถวนทกแซมเป�ล โดยสมมตวาในระบบท�สนใจน �นเราจะตองเกบขอมล ( ), 0,...,7u n n = ท�ถกรบกวน

ดวย ( )w n ซ�งเปนสญญาณรบกวนเกาสสขาว 2( ) (0, )ww n σN∼ แตในระหวางการเกบขอมล ขอมลท�แซมเป�ล 1,2n = มการขาดหายไป เราตองการท�จะทราบวาขอมลท�หายไปน �นมคาเทาไร จงแสดงสมการและคานวณการคานวณตวประมาณคา BLUE สาหรบขอมล ( ), 0,...,7u n n =



HONIG, M.L., MADHOW, U. AND VERDU, S., “BLIND MULTIUSER DETECTION”, IEEE TRANSACTION

ON INFORMATION THEORY, VOL. 41, PP. 944-966, 1995


PRENTICE-HALL, NEW JERSEY,1993

SAYED, A.H.,"FUNDAMENTALS OF ADAPTIVE FILTERING", WILEY-IEEE PRESS, NEW JERSEY, 2003

ตวประมาณคาความเปนไปไดสงสด

6-1

6 ตวประมาณคาความเปนไปไดสงสด

Mathematical reasoning may be regarded rather schematically as the exercise of a

combination of two facilities, which we may call intuition and ingenuity.

Alan Turing

เราอาจจะมองไดวากระบวนการทางเหตผลในเชงคณตศาสตรเปนผลพวง มาจากการประสานกนของความหย &งรและความเฉลยวฉลาด

อลน ทวร &ง

6.1 บทนา

จากบทกอนหนาน �น เราทราบวาในการคานวณตวประมาณคาแบบไรไบแอสความแปรปรวนนอยสด หรอ MVUE น �น เราตองการทราบ pdf ของพารามเตอรท&สนใจ ซ&งทาใหเปนการยากท&จะคานวณหา MVUE ในทางปฎบต สวนการหาตวประมาณคาท&ดท&สดของตวประมาณคาไรไบแอสเชงเสนท&ดท&สดหรอ BLUE น �น ถงแมจะไมตองการทราบ pdf ดงกลาว แตกมเง&อนไขวาตวประมาณคาน �นตองเปนเชงเสนตอขอมล และถงแมจะลดความจาเปนในการใชเง&อนไขของพารามเตอรท&จาเปนในการคานวณลงเหลอเพยงการใชคาเฉล&ยและความแปรปรวนของชดขอมลแลว แตกยงพบวา BLUE มขอจากดดวยในแงประสทธภาพของการประมาณคาในรปคาความผดพลาดของการประมาณ

ในบทน� เราจะมาศกษาถงตวประมาณคาอกแบบหน&งท&ใชงานไดจรงในทางปฏบต เพราะตวประมาณคาแบบน�ยงคงสามารถใชงานไดในกรณท&ไมสามารถคานวณ MVUE ได เราเรยกตวประมาณคาแบบน�วาตวประมาณคาความเปนไปไดสงสด(Maximum Likelihood Estimators) หรอ MLE โดยคณสมบตท&นาสนใจของตวประมาณคาแบบ MLE น� กคอ มการใหคาประมาณท&เทยบเทากบ MVUE ในกรณขอมลจากการสงเกตการณมขนาดใหญ

6.2 ทฤษฎของตวประมาณคาความเปนไปไดสงสด (Theory of

Maximum Likelihood Estimators)1

สมมตวาเราตองการการประมาณคาจรง θจากชดขอมล { }(0), (1), , ( 1)x x x N −⋯ โดยคา ฟงกชนความหนาแนนความนาจะเปนรวม (joint pdf) ของเซตของขอมลน �นจะเขยนเปน

1 ดเร&องของฟงกชนคาความเปนไปได(Likelihood Function) ในหวขอ 3.2

การประมวลผลสญญาณดจตอลข ,นสง

6-2

( (0), (1), , ( 1); )p x x x N θ−⋯ (6.1)

โดยสมการ (6.1) น�เปน joint pdf ของ{ }(0), (1), , ( 1)x x x N −⋯ ซ&งข�นอยกบθ ในกรณท&กาหนดใหพารามเตอรท&ไมทราบคา θ เปนคาเฉล&ยกลางเฉพาะของตวแปรสม ( )x n และหากกาหนดให pdf ของ ( ( ); )p x n θ มลกษณะดงในรปท& 6-1 สงเกตวา pdf น�มอยสองยานใหเลอกวาจะใชคาประมาณคาใดจงจะถกตองเหมาะสมกบลกษณะสญญาณจากการวดเฉพาะแซมเป% ลขอมล ( )x n ท'วดได โดยเราทราบวาสญญาณท �งยานบวกและลบน �นตางมการกระจายตวท&เปนแบบเกาสโดยมคาเฉล&ยกลางอยท& 3 และ -3 ตามลาดบ อน&ง ลกษณะของสญญาณท&มการกระจายตวเชนในรปท& 6-1น�จะมช&อเรยกวาเปนแบบหลายโหมด(Multi-Mode pdf) ซ&งตางจากสญญาณมการกระจายตวท&เปนแบบเกาสท& pdf จะเปนแบบโหมดเดยว(Single-Mode pdf)

รปท' 6-1 ตวอยางของ ( ( ); )p x n θ ท'เปนฟงกชนคาความเปนไปไดท'มสองยานใหพจารณาโดยการเลอกตวประมาณคาจะข%นกบชดขอมลสงเกตการณและขอมลท'มจานวนหลายอองซามเบ%ลแสดงความสมพนธของการเกด ( ( ); )p x n θ คาบวกท' (1)x และคาลบท' (8)x


6-3

หากเราทราบวาสญญาณท&วดไดมแต“ดานบวก” เชน กรณท&สญญาณเปน (1)x ความเปนไปได

หรอโอกาสท&จะประมาณคาเฉล&ยกลางสญญาณของดงกลาวดวยการใชคาเฉล&ยกลาง 2θ เปนพารามเตอรท&ยงไมทราบคาซ&งมคาในแดน“บวก” ยอมมความถกตองมากกวาการใชคาเฉล&ยกลาง 1θ ซ&งมคาในแดนลบเปนพารามเตอรท&ยงไมทราบคา

แตหาสญญาณท&พจารณามแต“ดานลบ” เชน กรณท&สญญาณเปน (8)x ความเปนไปไดหรอโอกาสท&จะประมาณคาเฉล&ยกลางสญญาณของดงกลาวดวยการใชคาเฉล&ยกลาง 1θ เปนพารามเตอรท&ยงไมทราบคาซ&งมคาในแดน “ลบ"ยอมมมากกวาการใช 2θ

เราจงไดคาประมาณของคาความเปนไปไดสงสด(Maximum Likelihood Estimate) ท&ข�นอยกบสญญาณท&สงเกตการณเปน

2

1

, for (1)ˆ

, for (8)ML

x

x

θθ

θ

=

(6.2)

โดยหลกของการหาคาประมาณคาความเปนไปไดสงสดกคอการหาคาประมาณ θท&ให ( ( ); )p x n θ เปนคาสงสดกบเฉพาะชดของขอมลท&ไดจากการสงเกตการณน �น ส&งหน&งท&ตองทาความเขาใจกคอท'ผานมาเราพจารณาวาฟงกชนความหนาแนนความนาจะเปนแลว ( ( ); )p x n θ น%นจะเปนฟงกชนของคาท'วดได (1)x แตสาหรบฟงกชนความเปนไปไดแลว ( ( ); )p x n θ น%นจะเปนฟงกชนของθ

การพจารณาดงกลาวทาใหไดวา การหาตวประมาณคาความเปนไปไดสงสด(Maximum

Likelihood Estimator) หรอ MLE จะไดเปน ˆ argmax ( ; )ML p

θ

θ θ= x (6.3)

ตวอยางท' 6.1 จากตวอยางท&เคยผานมาในบทกอนๆซ&งเปนปญหาในการหาคาคงท&Aท&ฝงอยในสญญาณรบกวน ( )w n โดยมขอมลจากการวดเปน ( )x n

( ) ( ), 0,1,..., 1x n A w n n N= + = − (6.4)

โดย ( )w n น �นเปนสญญาณรบกวนเกาสสขาวท&มความแปรปรวนเปน 2wσ หากเราพจารณาวาตว

แ ป ร ( )x n ใ น ส ม ก า ร (6.4) น� เ ป น ส ม า ช ก ห น& ง ข อ ง ข อ ม ล จ า ก ก า ร ว ดเ ฉ พ า ะ [ ](0), (1), , ( 1) Tx x x N= −x ⋯ ด ง น �น ส ม ก า ร ( (0), (1), , ( 1); )p x x x N θ−⋯ จ งกลายเปนฟงกชนคาความเปนไปได(Likelihood Function) และ เน&องจาก ( )x n แตละตวเปนอสระซ&งกนและกนดงน �นเขยน ( (0), (1), , ( 1); )p x x x N θ−⋯ ไดเปน


6-4

( )

112

220 0

( ; ) ( (0), (1), , ( 1); )

1 1exp ( )

22

NN

wi nw

p p x x x N

x n A

θ θ

σπσ

−−

= =

= −

= − − ∑∏

x ⋯

(6.5)

เม&อหาคาลอกของ (6.5) จะไดเปนฟงกชนคาความเปนไปไดแบบลอก(Log-Likelihood Function)

( )1

222

0

1ln ( ; ) ln 2 ( )

2

N

ww n

p A N x n Aπσσ

−

=

= − − −∑x (6.6)

หากแยกสมการ (6.6) ออกแลวจดรปใหมเราจะเหนวา

( )1

2 2 22

0

1 12

2 20 02 2 2

1 12

2 20 02 2 2

1ln ( ; ) ln 2 ( ) 2 ( )

2

( ) ( )

ln 22 2

( ) ( )

ln 22 2

N

ww n

N N

n nw

w w w

N N

n nw

w w w

p A N x n x n A A

x n x nN

N A A

x n x nN

A A N

πσσ

πσσ σ σ

πσσ σ σ

−

=

− −

= =

− −

= =

=− − − +

=− − + −

= − + − +

∑

∑ ∑

∑ ∑

x

(6.7)

สงเกตวาสมการ (6.7) น �นเปนสมการควอดราตกท&เปนฟงกชนของAและเปนฟงกชนแบบคอน

เคฟ (Concave) ซ&งทาใหจดท&คาอนพนธยอยของ ( ; )0

p A

A

∂=

∂

x จะเปนคาสงสดของฟงกชน

1

02 2

( )ln ( ; )

0

N

n

w w

x np A N

AA σ σ

−

=∂= − + =

∂

∑x

(6.8)

เราตองการหาคาตวประมาณคาความแปรปรวนต&าสดไรไบแอสของAดวยกรรมวธของการหาขอบเขตดานต&าเครเมอร-เรโอ(CRLB) ดงในสมการ (3.32) ในบทท& 3

( )ln ( ; )

( ) ( )p

I gθ

θ θθ

∂= −

∂

xx (6.9)

โดยท& ( )I θ เปนฟชเชอรอนฟอรเมชน(Fisher Information) ซ&ง ( )I θ มคาเทากบสวนกลบคาความแปรปรวนต&าสดไรไบแอสท&จะไดจากการประมาณดวยตวประมาณคา ( )g x ซ&งเราจะใชวธเทยบตวแปรเพ&อหาคาของพารามเตอรท&สนใจซ&งกคอ ( )I θ และ ( )g x หรอไดวาตวประมาณคาความเปนไปไดสงสด MLEMLEMLEMLE ในกรณน� เปน


6-5

1

0

1ˆˆ ( )N

ML ML

n

A x nN

θ−

=

= = ∑ (6.10)

ซ&งตวประมาณคาความเปนไปไดสงสดในกรณน�กคอคาเฉล&ยแซมเป�ล(Sample Mean) น &นเอง △

ตวอยางท' 6.2 ตวอยางท& 6.1 น �นเปนปญหาในการหาคาคงท&Aท&ฝงอยในสญญาณรบกวน ( )w n ซ&งมของขอมลจากการวด ( )x n เปนสมการ (6.4) แตในตวอยางท& 6.2 น�มส&งท&ตางออกไปก

ตรงท&วา ( )w n น �นเปนสญญาณรบกวนสขาวแบบเกาสท&มความแปรปรวนเปนคาของระดบ DCDCDCDC ท'ฝงอยใน ( )x n หรอ A แทนท&จะมความแปรปรวนเปนคาคงท&ใดๆ หรอ

2w Aσ = (6.11)

ดงน �นจาก (6.4) จะไดฟงกชนคาความเปนไปได

( )1

2

2 0

1 1( ; ) exp ( )

2(2 )

N

Nn

p A x n AAAπ

−

=

= − − ∑x (6.12)

ซ&งมฟงกชนลอกเปน

( )1

2

2 0

1 1ln ( ; ) ln ( )

2(2 )

N

Nn

p A x n AAAπ

−

=

= − −∑x (6.13)

ซ&งเม&อทาการหาอนพนธยอยของ (6.13) เทยบกบAจะได

( )

( ) ( )

( )

( )

( ) ( )

12

2 0

12

0

12

0

12

0

1

20

ln ( ; ) 1 1ln ( )

2(2 )

1ln 2 ( )

2 2

1ln2 ln ( )

2 2 2

1( )

2

1 1( ) ( )

2 2

N

Nn

N

n

N

n

N

n

N

n

p Ax n A

A A AA

NA x n A

A A A

N NA x n A

A A A A

x n AA A

Nx n A x n A

A A A

π

π

π

−

=

−

=

−

=

−

=

−

=

∂ ∂ = − −

∂ ∂

∂ ∂= − − −

∂ ∂

∂ ∂ ∂= − − − − ∂ ∂ ∂

∂ − − ∂

= − + − + −

∑

∑

∑

∑

∑

x

12

0

( )( ( ) )

N

n

I gθ θ

−

=

≠ −

∑

x

(6.14)

ซ&งในบรรทดสดทายของ (6.14) แสดงใหเหนวา เราพยายามจะเทยบกบวธการหาตวประมาณคา MVUE ดงแสดงใน (3.33) แตจะพบวาเราจะไมสามารถใชวธเทยบตวแปรในบรรทดรองสดทายของ (6.14) กบวธการหาตวประมาณคา MVUE ในสมการ (3.33) ได หรอสรปวาเราไมสามารถหาตวประมาณคาแบบ MVUE MVUE MVUE MVUE ของกรณท'กาลงพจารณาน%ได


6-6

แตกระน �นกตามกอาจจะมวธอ&นๆในการประมาณคาตวประมาณคาแบบ MVUE ดงกลาว หรอหากเราใชการหาตวประมาณคา Aซ&งเปนตวประมาณคาแบบไรไบแอสใดๆท&ไดจากคาคาดหวงแบบมเง'อนไข(Conditional Expectation)(Conditional Expectation)(Conditional Expectation)(Conditional Expectation) ในรปแบบของ

1

2

0

ˆ ( )N

n

E A x n−

=

∑ (6.15)

ซ&งหากเราใหตวประมาณคาAน �นเปนเฉพาะคาของ (0)x หรอ ˆ (0)A x= ดงน �น

1

2

0

(0) ( )N

n

E x x n−

=

∑ (6.16)

ซ&งดเหมอนกบวานาจะทาใหหาตวประมาณคาไดงายข�น แตอยางไรกตามการคานวณคาคาดหวงแบบมเง&อนไขน �นกลบไมไดทาไดโดยงายเชนกน

ประเดนท&สาคญในตวอยางท& 6.2 น� กคอ การช�ใหเหนถงความยากในการคานวณตวประมาณคาไรไบแอสแบบความแปรปรวนต& าสด ส&งท&เปนคาถามกคอ แลวเราจะใชวธใดในการหาตวประมาณคาแบบน�เพ&อหาคาA ตามสมการ (6.4) โดยท&ความแปรปรวนเปนคาคงท& 2

w Aσ = ไดในหวขอถดไป จะเปนการกลาวถงตวประมาณคาท&เหมาะสมกวาท&เรยกวาตวประมาณคาความเปนไปไดสงสด(MLE)(MLE)(MLE)(MLE) ท&จะนามาใชกบปญหาขางตน

6.3 คณสมบตของตวประมาณคาความเปนไปไดสงสด (Properties

of Maximum Likelihood Estimators)

ในทางปฎบตน �น ตวประมาณคาความเปนไปไดสงสด(MLE) จะเปนทางเลอกท&สาคญในการคานวณหาตวประมาณคาไรไบแอสความแปรปรวนนอยสด(MVUE) โดยตวประมาณคาความเปนไปไดสงสด(MLE) น �นเปนวธการเลอกตวประมาณคาA ท'ทาใหฟงกชนความเปนไปไดของ ( ; )p θx มคามากท'สดสาหรบคาxคงท'คาหน'ง หากพจารณาถงกราฟแสดงฟงกชนความเปนไปไดน�จะเหนกราฟท&แสดงไดดงรปท& 6-2 จะเหนวาคา 0( ; )p θx น �นมคามากสดท& 2θ

แตหากใชความสมพนธของกฏจานวนขอมลขนาดใหญ(Law of Large Number)Law of Large Number)Law of Large Number)Law of Large Number) ท&กลาววาเม&อขอมลมจานวนมาก คาเฉล&ยแซมเป�ล(Sample Mean) จะว&งเขาสคาเฉล&ยกลาง(Mean Value)

เม&อN →∞ ในกรณน�คาคาดหวงของAหรอAน �นจะเขาใกลคาจรงA

ˆ{ } NE A A

→∞→ (6.17)


6-7

รปท' 6-2 กราฟแสดงฟงกชนความเปนไปได(Likelihood F(Likelihood F(Likelihood F(Likelihood Function) unction) unction) unction) ของ (0)x

เ รา เรยกการล เขา (Convergence)แบบน� ว าการล เ ขาแบบไ รไ บแอสเ ชง เ ส นกากบ (Asymptotically Unbiased(Asymptotically Unbiased(Asymptotically Unbiased(Asymptotically Unbiased ConvergenceConvergenceConvergenceConvergence)))) สวนการท&ความแปรปรวนของตวประมาณคาน �นลเขาหาขอบเขตดานต&าเครเมอร-เรโอ(CRLB) เม&อชดขอมลมจานวนมาก(N →∞ )น �นเรยกวาตวประมาณคาน �นมประสทธภาพแบบเชงเสนกากบ(Asymptotically Efficient)(Asymptotically Efficient)(Asymptotically Efficient)(Asymptotically Efficient) หรอ

ˆvar( ) CRLBNA

→∞→ (6.18)

จากสมการ (6.12) เราจะพบวา ( ; )p Ax เปนฟงกชนของAจงทาใหสมการ (6.12) ในตวอยาง 6.2 น �นเปนฟงกชนคาความเปนไปได(Likelihood Function) และหลงจากทาแปลงลอกการธมจะไดเปนฟงกชนคาความเปนไปไดแบบลอก(Log-Likelihood Function) และหาผลการทาอนพนธเทยบกบAจงไดเปนดงสมการ (6.14)

( )

( ) ( )

12

2 0

1 12

20 0

ln ( ; ) 1 1ln ( )

2(2 )

1 1( ) ( )

2 2

N

Nn

N N

n n

p Ax n A

A A AA

Nx n A x n A

A A A

π

−

=

− −

= =

∂ ∂ = − −

∂ ∂

= − + − + −

∑

∑ ∑

x

(6.19)

ซ&งหลงจากแทนAซ&งเปนคาประมาณของAในสมการ (6.19) และเทยบใหเทากบศนยจะได


6-8

( ) ( )1 1 2

20 0

1 1 1 12 2

20 0 0 0

1 1 12

20 0 0

2

1 1ˆ ˆ( ) ( ) 0ˆ ˆ 22

1 1 ˆ ˆ( ) ( ) 2 ( ) 0ˆ ˆ ˆ2 2

1 1 1( ) ( ) ( ) 0

ˆ ˆ ˆ ˆ 22 2

1ˆ ˆ22 2

N N

n n

N N N N

n n n n

N N N

n n n

Nx n A x n A

AA A

Nx n N x n Ax n A

A A A

N Nx n N x n x n

A A A A

N Nx

A A

− −

= =

− − − −

= = = =

− − −

= = =

− + − + − =

− + − + − + =

− + − + − + =

− − +

∑ ∑

∑ ∑ ∑ ∑

∑ ∑ ∑1

2

0

12 2

0

12 2

0

( ) 0

ˆ ˆ ( ) 0

1ˆ ˆ ( ) 0

N

n

N

n

N

n

n

A N AN x n

A A x nN

−

=

−

=

−

=

=

+ − =

+ − =

∑

∑

∑

(6.20)

ปรากฏวาเราไดสมการควอดราตก(Quadratic Equation) ของตวแปร Aซ&งหมายความวาเราสามารถเทยบเคยงสมประสทธ Dจาก 2 0ax bx c+ + = ไดจากผลลพธท&ไดจาก

12

0

ˆ

1

1

1( )

N

n

x A

a

b

c x nN

−

=

− ∑

≜

≜

≜

≜

(6.21)

ซ&งหลงจากหาคารากของสมการควอดราตก2 4

2

b b ac

a

− ± − แลวเราจะไดวา

1

2

0

1 1 1ˆ ( )2 4

N

n

A x nN

−

=

= − ± +∑ (6.22)

ซ&งเราเลอกใชคาในพจนของรากท&สองท&ใหคาบวกเปนตวประมาณคาความเปนไปไดสงสด

1

2

0

1 1 1ˆ ( )2 4

N

ML

n

A x nN

−

=

= − + +∑ (6.23)

ตอจากน �น เราจะทดสอบคณสมบตของตวประมาณคาความเปนไปไดสงสดน�

คณสมบตท&เราจะทาการทดสอบกคอไบแอสและความแปรปรวน โดยจาก


6-9

12

0

12

0

1 1 1ˆ{ } ( )2 4

1 1 1( )

2 4

N

ML

n

N

n

E A E x nN

E x nN

−

=

−

=

= − + +

= − + +

∑

∑

(6.24)

แตเพราะการคานวณเฉพาะในสวน1

2

0

1 1( )

4

N

n

E x nN

−

=

+

∑ ของ(6.24)น �น ไมสามารถถก

คานวณได ดงท&จะแสดงดงตอไปน�

( )

{ } { } { }2

1 12 2

0 0

12 2

0

12 2

0 0

12

0 0

1 1 1 1( ) ( )

4 4

1 12 ( ) ( )

4

1 12 ( ) ( )

4

1 1

w

N N

n n

N

n

N

n

N N

n n

E x n E x nN N

E A Aw n w nN

E A AE w n E w nN

A AN N

σ

− −

= =

−

=

−

=

− −

= =

+ ≠ +

≠ + + +

≠ + + +

≠ +

∑ ∑

∑

∑

∑

��

1

2

2

1

4

1

4

1

2

1

2

A A

A

A

+

≠ + +

≠ +

≠ +

∑ (6.25)

ซ&งในบรรทดสดทายน �นแสดงเพ&อท&จะเปนผลทาให ˆ{ }MLE A A= เพราะเม&อแทนสมการ (6.25) ลงใน (6.24) แลว เราจะพบวา ˆ{ }MLE A ใหคาไมตรงกบคาจรงAเน&องจาก

12

0

1 1 1ˆ{ } ( )2 4

1 1

2 2

N

ML

n

E A E x nN

A

A

−

=

= − + +

≠ − + +

≠

∑

(6.26)

หรอมความหมายวาตวประมาณคา ˆMLA ซ&งเปน MLE น �นเปนตวประมาณคาแบบมไบแอส

(Biased Estimator)(Biased Estimator)(Biased Estimator)(Biased Estimator)


6-10

หากใชความสมพนธของกฎจานวนขอมลขนาดใหญ(Law of Large Number) จะไดวาคาเฉล&ยแซมเป�ลจะเขาสคาเฉล&ยกลางเม&อขอมลมขนาดใหญN →∞หรอ

{ }1

2 2 2

0

1( ) ( )

N

n

x n E x n A AN

−

=

≈ = +∑ (6.27)

ซ&งมความหมายวาเม&อจานวนขอมลมมากเทอม1

2

0

1( )

N

n

x nN

−

=∑ จะม pdf เขาใกลคาเฉล&ยกลาง

ท& 2A A+ และหากเราทาการแปลงเชงเสนดวยวธการแตกอนกรมเทยเลอร(Taylor Series)(Taylor Series)(Taylor Series)(Taylor Series)

โดยสาหรบตวแปรu ของฟงกชน ( )g ⋅ ใดๆแลวจะไดวาอนกรมเทยเลอรอนดบท&หน&ง(First-order Taylor Series) สามารถแสดงไดเปน

0

0 0

( )( ) ( ) ( )

u u

dg ug u g u u u

du =

≈ + − (6.28)

หากฟงกชนu น�เขยนแทนดวย1

2

0

1( )

N

n

u x nN

−

=

= ∑ จงไดวาฟงกชน ( )g u น�เทยบเทาตวประมาณ

คาAหรอ

1 1ˆ ( )2 4

A g u u= =− + + (6.29)

และเม&อแทน 20u A A= + เราจะไดวาจาก (6.28)

( )

( )

0

0

0

0 0

12 2 2

0( )

12 2

0

( )ˆ ( ) ( )

1 1

2 41 1 1( )

2 4

1 2 1( )

1

2

u u

N

ng u

u u

N

n

dg uA g u u u

du

d u

A A x n A Adu N

A x n A ANA

=

−

=

=

−

=

≈ + −

− + +

≈ − + + + + − +

≈ + − +

+

∑

∑

�� (6.30)

ซ&งเม&อหาคาเฉล&ยกลางของAจะได

ˆ{ }E A A= (6.31)

ซ&งหากคาเฉล&ยกลางเชงเสนกากบหรอ(Asymptotic Mean)เทากบคาจรงAจงมความหมายวาAน �นเปนตวประมาณคาไรไบแอสแบบเชงเสนกากบ(Asymptotically (Asymptotically (Asymptotically (Asymptotically UUUUnbiased nbiased nbiased nbiased EEEEstimator) stimator) stimator) stimator)


6-11

จากน �นเราจะมาหาความแปรปรวนแบบเชงเสนกากบ(Asympt(Asympt(Asympt(Asymptotic Votic Votic Votic Variance)ariance)ariance)ariance) ของตวประมาณคาA โดยเราทราบวา

�

( )

( )

2

2

12 2

0

221

2 2

0

ˆ ˆ ˆvar( ) ( { })

1 2 1( )

1

2

1 2 1( )

1

2

A

N

n

N

n

A E A E A

E x n A ANA

E x n A ANA

−

=

−

=

= −

= − + + = − + +

=

∑

∑

( )

221

2 2

0

2

12

0

1 2 1( )

1

2

1 2 1var ( )

1

2

N

n

N

n

E x n A ANA

x nNA

−

=

−

=

− + +

= +

∑

∑ (6.32)

โดยจากบรรทดสดทายของ (6.32) เปนเพราะเราทราบวาคาเฉล&ยกลางแบบเชงเสนกากบ

ของ1

2

0

1( )

N

n

x nN

−

=∑ น �นเทากบ( )2A A+ ซ&งเม&อคานวณผลลพธสดทายเรากจะได

( )22

1/4ˆvar( ) var ( )1

2

A x n

N A

= +

(6.33)

ซ&งหลงจากการจดรป เราจะไดวา ( )2 3 2var ( ) 4 2x n A A= +

( )3 22

22

2

1/4ˆvar( ) 4 21

2

1/4 14

21

2

1

2

A A A

N A

A A

N A

A

N A

= + +

= + +

= +

(6.34)


6-12

ซ&งเปนคาความแปรปรวนแบบเชงเสนกากบของตวประมาณคาA

จากเร&องของ CRLB ในบทท& 3 เราหา CRLB ไดจากสมการ (3.31)

2

2

1ˆvar( )

ln ( ; )pE

αθ

θ

≥ ∂ − ∂

x (6.35)

ดงน �นเราจะมาหา CRLB ท&ไดจาก MLE น�

จากสมการ (6.19) เราไดวา

1

22

0

ln ( ; ) 1( )

ˆ ˆ22 2

N

n

p A N Nx n

A A A

−

=

∂= − − +

∂∑

x (6.36)

ดงน �น

2 2 12

2 2 20

1 12 2

2 2 30 0

0 0

12

2 30

ln ( ; ) 1( )

ˆ ˆ22 2

1 2( ) ( )

ˆ ˆ ˆ22 2 2

2( )

ˆ ˆ2 2

N

n

N N

n n

N

n

p A N Nx n

A A A A

N Nx n x n

A AA A A

Nx n

A A

−

=

− −

= =

−

=

∂ ∂ = − − + ∂ ∂

∂ ∂= − + −

∂ ∂

= −

∑

∑ ∑

∑

x

��

(6.37)

ซ&งเม&อหาคาเฉล&ยกลางแลวจะไดวา

{ }

{ }

2 12

2 2 30

12

2 30

22 3

2 22 3

22 3

2 2

ln ( ; ) 2( )

ˆ ˆ2 2

2( )

ˆ ˆ2 2

2( )

ˆ ˆ2 22

var( ( )) ( )ˆ ˆ2 2

2ˆ ˆ2 2

2 2ˆ ˆ2 2

N

n

N

n

p A NE E x n

A A A

NE x n

A A

N NE x n

A A

N Nx n E x n

A A

N NA A

A A

N N N

A A

−

=

−

=

∂ = − ∂

= −

= −

= − +

= − +

= − −

∑

∑

x

2

ˆ21

2ˆ

A

N A

A

− + =

(6.38)


6-13

ดงน �นเม&อแทนคาลงใน (6.35) เราจะได CRLB เปน

2

2

2

ˆ1ˆvar( )

1ln ( ; )2

A

p N AE

αθ

θ

≥ = ∂ + − ∂

x (6.39)

ซ&งจาก (6.34) ซ&งไดคาความแปรปรวนเชนเดยวกบ (6.39) ดงน �นจงมความหมายวา MLE น �น เปนตวประมาณคาแบบมประสทธภาพ(Efficient Estimator) น &นแสดงวาตวประมาณคาความเปนไปได A มประสทธภาพแบบเชงเสนกากบ ((((Asymptotically EfficientAsymptotically EfficientAsymptotically EfficientAsymptotically Efficient) ) ) ) และเขาใกลการประมาณคาของ MVUE โดยกรรมวธของการประมาณคาความเปนไปไดสงสด

6.4 ตวประมาณคาความเปนไปไดสงสดในทางปฎบต (Practical

Maxmimum Likelihood Estimators)

จากขอมลท&เราไดมาท �งหมด เราพบวาถาหากพจารณาในกรณจานวนขอมลขนาดใหญหรอN →∞แลวตวประมาณคาความเปนไปไดสงสดน �นจะเปนตวประมาณคาแบบไรไบแอสและสามารถใหความแปรปรวนนอยสดไดถงระดบ CRLB และมการกระจายตวเปนแบบเกาส ดงน �นตวประมาณคาความเปนไปไดสงสดของคาจรงθหรอ ˆ

MLθ น �นจะมคาแบบเชงเสนกากบเปน

( )1ˆ , ( )a

ML Iθ θ θ−N ∼ (6.40)

โดยท&เคร&องหมาย a∼ น �นมความหมายวา“ดานซายของเคร&องหมาย a

∼ มการกระจายตวในเชงแบบเชงเสนกากบเปนดงดานขวา”และ 1( )I θ − น �นคอคาผกผนของคาฟชเชอรอนฟอรเมชน (Inverse Fisher Information)

เน&องจากการหาคาความเปนไปไดในทางทฤษฎน �นไมไดงายดายนก ดงน �นเราจงหนมาหา กระบวนการทางตวเลขท&สามารถจะทาไดท&เรยกวาวธมอนตคารโล(Monte CarloMonte CarloMonte CarloMonte Carlo MethodMethodMethodMethod) เพ&อใชในการหาคาประมาณของท �งคาเฉล&ยกลางของ ˆ{ }E A และความแปรปรวน ˆvar( )A ของตวอยางท& 6.1 โดย

1

1ˆ{ }M

i

i

E A AM =

= ∑ (6.41)

� ( )2

1

1ˆ ˆ ˆvar( ) { }M

i i

i

A A E AM =

= −∑ (6.42)


6-14

ผลการทดลองของการทางานจะแสดงในรปท& 6-3 เม&อกาหนดใหคาจรง(True Value) ของ A เทากบ 1 จานวนของอองซามเบ�ลเปน 10,000M = และจานวนของN มคาแตกตางกนคอ {5,10,20,25}N = จะสงเกตเหนวาคาของการทดลองสรางตวประมาณความเปนไปไดสงสดและคาท&ไดจากตวประมาณคาความเปนไปไดสงสดในทางทฤษฎท&ไดจากการคานวณ

สมการ (6.23) หรอ1

2

0

1 1 1ˆ ( )2 4

N

n

A x nN

−

=

= − + +∑ เปนตวเปรยบเทยบ กราฟของคาความ

เปนไปไดทางทฤษฎน �นจะใชสมการ (6.12) โดยคาความแปรปรวนซ&งเทากบAใน (6.12) น �นถก

แทนท&ดวยคา2

ˆvar( )1

2

AA

N A

= +

ในสมการ(6.34) สวนการจาลองผลจะใช MATLAB Codes

“ch6_mle.m ” ท&แสดงใน Appendix 6.A

จากรปท& 6-3 สงเกตวาการเพ&มจานวนของN นอกจากจะทาใหคาของความแปรปรวนมคาต&าลงแลวยงมผลตอคาไบแอสของตวประมาณคาดวย เม&อดจากสายตาแลวพบวาท&จานวนขอมลเปน 5N = กราฟของฮสโตแกรมจะมลกษณะเบไปทางซาย ในขณะท& 25N = จะมความใกลเคยงกวาแมวาจะไมมากนกกตาม ดงน �นเพ&อยนยนถงการแปรผนของ ˆ{ }E A ตามคาของNเราจงแสดงผลของ ˆ{ }E A ดงในรปท& 6-4 สงเกตวาคา ˆ{ }E A น �นเขาใกลคาจรง 1A= เม&อจานวนขอมลมากข�นแตสาหรบคาของความแปรปรวน � ˆvar( )N A แลวเรายงไมสามารถกลาวได

วาจะเขาสคาท&เปนจรงตามทฤษฎคอ 2

3หรอประมาณ0.667ได เพราะความไมเท&ยงตรงของตว

สรางสญญาณสม(Random Generator)

0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 20

100

200N=5

0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 20

100

200N=10

0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 20

100

200N=20

0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 20

100

200N=25

Ahat

รปท' 6-3 แสดงคาฮสโตแกรม(Histogram) (Histogram) (Histogram) (Histogram) จากการทดลองของคาA ท'ไดจาก (6.23) (6.23) (6.23) (6.23) เม'อเปรยบเทยบกบคาทางทฤษฎเม'อคาจรง 1A= ,,,, {5,10,20,25}N = และ 10,000M =


6-15

100 200 300 400 500

0.96

0.965

0.97

0.975

0.98

0.985

0.99

0.995

1

1.005

1.01

Number of N

E{Aest}A

0 100 200 300 400 5000.5

0.52

0.54

0.56

0.58

0.6

0.62

0.64

0.66

0.68

0.7

Number of N

N*varest

(Aest)

N*var(Aest)

a) b)

รปท' 6-4 แสดงผลการทดลองเทยบกบคาทฤษฎของคาเชงเสนกากบของ a) a) a) a) คาเฉล'ยกลาง และ b) b) b) b) ความแปรปรวนสาหรบ {5,10,50,100,300,500}N = และ 10,000M =

6.5 การคานวณหาตวประมาณคาความเปนไปไดสงสดโดยกระบวนการเชงตวเลข (Numerical Methods for Maxmimum

Likelihood Estimators Computation)

ขอไดเปรยบท&สาคญอยางหน&งในการทางานกบตวประมาณคาความเปนไปไดสงสดกคอ เราสามารถคานวณหาคาตวประมาณคาแบบน�ไดจากกรรมวธกระบวนการเชงตวเลข (Numerical (Numerical (Numerical (Numerical

Methods)Methods)Methods)Methods) ท&เปนเชนน �นไดกเพราะวา การหา MLE น �นอาศยกระบวนการหาคาเหมาะสมท&สด(Optimisation) ของฟงกชนเปาหมาย(Objective Function)ซ&งเปนสมการคาความเปนไปได กรรมวธการในการหาคาเหมาะสมท&สดมหลากหลาย เชน กรรมวธของนวตน(Newton(Newton(Newton(Newton MethodMethodMethodMethod))))

กรรมวธของนวตน----ฟรเยร(Newton(Newton(Newton(Newton----Fourier Method)Fourier Method)Fourier Method)Fourier Method) หรอกรรมวธของนวตน----ราฟสน(Newto(Newto(Newto(Newtonnnn----

RaphsonRaphsonRaphsonRaphson MethodMethodMethodMethod))))

แตมขอพงสงเกตท&สาคญอยางหน&งวา หากเราต �งคาเร&มตนไวไมเหมาะสม การหาคาตอบตวประมาณคาความเปนไปไดดวยกระบวนการเชงตวเลขเหลาน�อาจจะไมใหคาคาตอบท&เราตองการกได

ในตวอยางขางลางจะแสดงการใชกรรมวธนวตน-ราฟสนในการหาคาคาตอบของคาเฉล&ยกลางท&เปนตวประกอบของเลขช%กาลง((((EEEExponexponexponexponennnntial tial tial tial FFFFactor)actor)actor)actor) ไมใชเปนคาคงท&เหมอนดงตวอยางท&ผานมา


6-16

ตวอยางท' 6.3 หากมสญญาณขอมลจากการสงเกตการณเปน

( ) ( ), 0, , 1nx n r w n n N= + = −… (6.43)

โดยท& 2( ) (0, )ww n σN∼ โดยคาพารามเตอรr น �นเปนตวประกอบเลขช�กาลงท&ตองการประมาณคาและคาท&ความเปนไปไดสาหรบr กคอคาท&มากกวาศนย ตวประมาณคาความเปนไปไดสงสดสาหรบr น� กคอเปนการหาคามากสด(Maximisation) ของฟงกชนคาความเปนไปได (Likelihood Function) ( ; )p rx

( )1

2

2 20

1 1( ; ) exp ( )

(2 ) 2

Nn

w w n

p r x n rπσ σ

−

=

= − −

∑x (6.44)

สงเกตวาเราสามารถหาคาสงสดของฟงกชนคาความเปนไปได ( ; )p rx จากการหาคาต&าสดของ

บางเทอมใน (6.44) ได โดยสงเกตวาคาท&นอยท&สดของเทอม ( )1

2

20

1( )

2

N

w n

x n rσ

−

=

−∑ น �นทาใหคา

ความเปนไปได ( ; )p rx มคามากสด หรอหากเราใหกาหนดฟงกชนเปาหมายของ r (โดยไม

นาเอาคาคงท&2

1

2 wσมารวมดวย) ซ&งกจะมความหมายวา

( )1

2

0

( ) ( )N

n

n

J r x n r−

=

= −∑ (6.45)

ซ&งเม&อทาการหาคาท&นอยท&สดของ ( )J r โดยทาการหาคาอนพนธของ ( )J r เทยบกบr

( )

( ) ( )

( )

12

0

1

0

11

0

( )( )

2 ( ) ( )

2 ( )

Nn

n

Nn n

n

Nn n

n

J rx n r

r r

x n r x n rr

x n r nr

−

=

−

=

−−

=

∂ ∂= −

∂ ∂

∂= − −

∂

= − −

∑

∑

∑

(6.46)

ซ&งเปนสมการแบบไมเชงเสน(Nonl(Nonl(Nonl(Nonlinearinearinearinear EEEEquationquationquationquation) ) ) ) เม&อเทยบกบตวแปรr หากจะหาอนพนธ

ของ ( )0

J r

r

∂=

∂กจะเทยบเทากบการหาคาตอบของสมการขางลาง

( )1

1

0

( ) 0N

n n

n

x n r nr−

−

=

− =∑ (6.47)

ตอมาเราจะใชกระบวนการคนหาคาตอบ โดยการหาคาสงสดของคาลอกของคาความเปนไปได(Log-Likelihood) จากการหาคาของ


6-17

ln ( ; )

0p

r

θ∂=

∂

x (6.48)

ส&งท&จะตองทากคอการหาคาคาตอบแบบวนซ%า(Iterative(Iterative(Iterative(Iterative MethodMethodMethodMethod)))) และเพ&อใหการสรางอลกอรธมสะดวกข�นเรากาหนดให

ln ( ; )

( )p

gθ

θθ

∂=

∂

x (6.49)

หากการกระจายตวเปนแบบเกาสน �นคา ( )g θ หรอความชนกจะเปนฟงกชนเชงเสนทาใหการคานวณหาคา ( ) 0g θ = กจะไมมความยงยากแตประการใดดงเชนท&แสดงดงในรปท& 6-5 ซ&งเปนกรณท&คาเฉล&ยอยท& 0.5 และความแปรปรวนเทากบ 0.2

แตสาหรบกรณท&ความชนไมเปนฟงกชนเชงเสนแลว การคานวณกจะยงยากข�น เราจงนากระบวนการทางตวเลขมาใชในหาคาคาตอบของคาท&ตองการประมาณ ตวอยางของกราฟความชนท&ไมเปนเชงเสนน �นกเชนการกระจายตวแบบเรยลห(Rayleigh Distribution) ท&มสมการเปน

2

2 2( ) exp2

x xp x b

b b

= − (6.50)

ซ&งเม&อคานวณคาความชน ( )g θ แลวจะไดเปนฟงกชนท&ไมเชงเสนโดยคาการกระจายตวดงแสดงในรปท& 6-6 น �นใช 0.5b =

สมมตวาเราทราบคาของคาเร&มตน(Initial Guess) ของθ โดยเราเรยกคาเร&มตนน�วา 0θ จากน �นหาก ( )g θ ท&บรเวณใกลๆ กบ 0θ มคาประมาณเปนเชงเสนแลว เราสามารถประมาณคาของ ( )g θ

โดยใชอนกรมเทยเลอรอนดบท&หน&งไดดงน�คอ

0

0 0

( )( ) ( ) ( )

dgg g

d θ θ

θθ θ θ θ

θ =

≈ + − (6.51)

ซ&งหากใหคาของθณ จดถดไปเปน 1θ

0

1 0 1 0

( )( ) ( ) ( )

dgg g

d θ θ

θθ θ θ θ

θ =

≈ + − (6.52)

ซ&งกคอคาความชน ณ จดถดไป และหากสมมตให ณ ท&ตาแหนงน�คาความชน 1( ) 0g θ = ซ&งเปนไปไดเพราะเราประมาณใหกราฟ ( )g θ บรเวณของ 0θ น �นเปนเชงเสน

0

0 1 0

( )0 ( ) ( )

dgg

d θ θ

θθ θ θ

θ =

≈ + − (6.53)


6-18

0 0.5 1 1.5 2 2.5 3 3.5 40

1

2

θ

p(x

; θ)

0 0.5 1 1.5 2 2.5 3 3.5 4-200

-100

0

100

θ

ln(p

(x; θ

))

0 0.5 1 1.5 2 2.5 3 3.5 4-1

-0.5

0

0.5

θ

g( θ

)

รปท' 6-5 แสดงคาความชน ( )g θ ของคาความเปนไปไดแบบลอกของการกระจายตวแบบเกาส(Gaussian Distribution) (Gaussian Distribution) (Gaussian Distribution) (Gaussian Distribution) ท'เปนฟงกชนเชงเสน

0 0.5 1 1.5 2 2.5 3 3.5 40

0.5

1

1.5

θ

p(x

; θ)

0 0.5 1 1.5 2 2.5 3 3.5 4-40

-20

0

20

θ

ln(p

(x; θ

))

0 0.5 1 1.5 2 2.5 3 3.5 4-0.5

0

0.5

1

θ

g( θ

)

รปท' 6-6 แสดงคาความชน ( )g θ ของคาความเปนไปไดแบบลอกของการกระจายตวแบบเรยล (Rayleigh Distribution)(Rayleigh Distribution)(Rayleigh Distribution)(Rayleigh Distribution) ท'ไมเปนฟงกชนเชงเสน


6-19

และจดรปสมการใหมจะไดวาคาของจดท&ทาให 1( ) 0g θ = น �นคอ

0

01 0

( )

( )

g

dg

d θ θ

θθ θ

θ

θ =

= − (6.54)

และเน&องจาก 1( ) 0g θ = จะเทยบเทากบตาแหนงท&คาลอกของคาความเปนไปไดใหคาสงสดหรอต&าสด แตหากการประมาณยงไมใหคาคาตอบท&ลเขากจะใชการวนซ�ากคอการใหตาแหนงของ

0θ แทนท&ดวย 1θ และตาแหนงของ 1θ จะกลายเปน 2θ

1

12 1

( )

( )

g

dg

d θ θ

θθ θ

θ

θ =

= − (6.55)

และสามารถทาวนซ�าไปเร&อยๆโดยอาศยการเปล&ยนแปลงของคาดชน k

1

( )

( )

k

kk k

g

dg

d θ θ

θθ θ

θ

θ

+

=

= − (6.56)

การวนซ�าจะเกดข�นอยางตอเน&องจนกระท &งมการลเขาซ&งตรวจสอบไดจากการท& 1k kθ θ+ = ซ&งหมายความวาการประมาณเสนกราฟน �นใหจดท&กราฟของความชนเปนศนยซ&งสามารถดไดงายๆจาก ( ) 0kg θ = ในรปท& 6-7 แสดงการหาคา 1k kθ θ+ = โดยวธของนวตน-ราฟสนโดยหากใหกราฟของ ( )g θ เปนดงเสนทบในกราฟและมจดเร&มตนท& 0θ เสนสเทาจะเปนเสนการประมาณเปนเชงเสนของกราฟ ( )g θ ณ จด 0θ ตางๆ

รปท' 6-7 แสดงการวนซ%าเพ'อคานวณคาของ kθ โดยวธของนวตน----ราฟสน

เม&อแทนคาของ ln ( ; )( )

pg

θθ

θ

∂=

∂

x จาก (6.41) จะได


6-20

12

1 2

ln ( ; ) ln ( ; )

k

k k

p p

θ θ

θ θθ θ

θθ

−

+=

∂ ∂ = − ∂∂

x x (6.57)

สงเกตวาการท&เราหาคาลเขาของθ ไดน �น ไมไดเปนการยนยนวาเราจะไดคาสงสดแบบโกล บอล (Global M(Global M(Global M(Global Maximum)aximum)aximum)aximum) แตในทางตรงกนขาม เราอาจจะไดคาของคาต'าสดแบบโกลบอล

(Global M(Global M(Global M(Global Minimum)inimum)inimum)inimum) กเปนได และขณะท&คาเทอม2

2

ln ( ; )p θ

θ

∂

∂

x น �นมคานอยๆเราอาจจะพบวาใน

การลเขาของคาจรงθคาตอบจะมการกระโดดไปมา

การหาคาอนพนธอนดบท&หน&งและอนดบท&สองของ ( ; )p rx จาก (6.44) เทยบกบr จะไดเปน

( )1

12

0

2 1 12 2 2

2 20 0

12

20

( ; ) 1( )

( ; ) 1( 1) ( ) (2 1)

1[( 1) ( ) (2 1) ]

Nn n

w n

N Nn n

w n n

Nn n

w n

p rx n r nr

r

p rn n x n r n n r

r

nr n x n n r

σ

σ

σ

−−

=

− −− −

= =

−−

=

∂= −

∂

∂ = − − − ∂

= − − −

∑

∑ ∑

∑

x

x (6.58)

ซ&งเม&อนา (6.58) ลงไปแทนใน (6.57) โดยให k krθ = เราจะไดวา

( )1

1

01 1

2

0

( )

[( 1) ( ) (2 1) ]

Nn nk k

nk k N

n nk k

n

x n r nr

r r

nr n x n n r

−−

=+ −

−

=

−

= −

− − −

∑

∑ (6.59)

ซ&งหลงจากท&เราทาการจาลองผลปรากฏวาการลเขาของ kr ท& 0r ตางคากนน �นใหผลท&แตกตางกนไปโดยบางคาของ 0r กสามารถลเขาไดในเวลาอนส �น แตบางคากจะมปญหาในการเขาสคาตอบโดยการจาลองน�จะแสดงการคานวณคา kr เม&อ 50N = และมการทาซ�าจานวน 50K = คร �งและใชการคานวณคาเฉล&ย 1,000 คร �ง เพ&อหาคาความเปนไปไดสาหรบแตละการต �งคาเร&มตนแตกตางกนดงแสดงในรปท& 6-8 โดยจาลองดวย MATLAB Codes (ch6_nr.m ) ดงแสดงใน Appendix 6.A


6-21

0 5 10 15 20 25 30 35 40 45 500

0.2

0.4

0.6

0.8

1

1.2

1.4

Iteration k

r k

r0=0.2

r0=0.4

r0=0.8

r0=1

r0=1.2

รปท' 6-8 แสดงวถการลเขาของ kr ท' 0.4945 0.4945 0.4945 0.4945 สาหรบคาเร'มตน 0r ตางๆ

รปท& 6-8 จะแสดงวถการลเขา(Trajectory)ของ kr ท&คาเร&มตน 0r ตางๆซ&งเปนการช�ใหเหนถงความสาคญของตาแหนงคาเร&มตน 0r เพราะเราจะเหนไดชดเจนวาแมวา 0r เปน 0.2, 0.4, 0.8, 1.0 และ 1.2 น �น จะมการลเขาไปสคาสดทายเดยวกน คอ 0.4945 แตจะเปนไปดวยวถการลเขาท&แตกตางกนไป ซ&งสงเกตวาคา 0.4945 น�ยงคงคลาดเคล&อนกบคาท&เปนจรงθท& 0.5r = อยเลกนอย

นอกจากกรรมวธของนวตน-ราฟสนแลวยงมกระบวนการของการคานวณคาท&เปนไปไดแบบวนซ�าอกหน& งวธท&มท&ใชงานกนอยางมากกระบวนการน� เรยกวาการหาคาคาดหวงสงสด (Expectation Maximisation) หรอ EM

6.6 การหาคาคาดหวงสงสด (Expectation Maximisation)

กระบวนการหาคาคาดหวงสงสด(Expectation Maximisation) หรอ EM น�เปนอกหน&งกรรมวธการหาตวประมาณคาความเปนไปไดสงสดแบบวนซ�า(Iterative) โดยอาศยขอมลท&ไดจากการสงเกตการณ โดยเหตผลสาคญในการเลอกใช EM กเพราะ EM น �นเหมาะกบในบางสถาน การณท&ตองการประมาณคาขอมลท&ขาดหายหรอไมสมบรณ ซ&งขอมลน�ถกซอนไวจากการสงเหตการณและตองอาศยการแปลผลผานขอมลตวอ&นๆท&ถกสงเกตการณได หรอ อาจจะเรยกขอม,ท&มลกษณะดงกลาวไดวาเปนตวแปรท'ซอนอย(Latent V(Latent V(Latent V(Latent Variables)ariables)ariables)ariables)


6-22

ตวอยางเชน เราจะพยายามประมาณคาพารามเตอรจากขอมลจากการสงเกตการณy โดยส&งท&เราตองการประมาณและการข�นอยกบคาน �นคอพารามเตอรθ เราจะเร&มพจารณาจากฟงกชนคาความเปนไปได

( ; )p θy (6.60)

ขอมลจากการสงเกตการณyน �นเปนผลท&ไดมาจากการแปลงแบบหลายคาไปยงคาเดยว(Many-

to-one Transformation) ()T ⋅ ของขอมลxหรอ

( )T=y x (6.61)

โดยxน �นเรยกวาขอมลท'สมบรณ(Complete D(Complete D(Complete D(Complete Data)ata)ata)ata) สวนขอมลyท&ไดมาจากการสงเกตการณน �นจะเรยกวาขอมลท'ไมสมบรณ(Incomplete D(Incomplete D(Incomplete D(Incomplete Data)ata)ata)ata) สาหรบฟงกชนคาความเปนไปไดของxท&ข�นกบคาθน �นเปน

( ; )p θx (6.62)

การหาคาθท&ทาใหคาความเปนไปได ( ; )p θx มคามากท&สดน �นสามารถทาไดงายเพราะขอมลมความสมบรณแตสาหรบการหาคาθท&ทาใหคาความเปนไปได ( ; )p θy มคามากท&สดน �นกลบทาไดยากกวามากเน&องจากความไมสมบรณของขอมลจากการสงเกตการณโดยจะแสดงการคานวณคาพารามเตอรในตวอยางขางลาง

ตวอยางท' 6.4 สมมตวาระบบรบสญญาณหน&งดงท&แสดงไวในรปท& 6-9 มสายอากาศท&ทาหนาท&รบสญญาณอยหาตนซ&งแตละตนมความสามารถของการรบสญญาณไมเทากน โดยจะสงเกตไดจากคา joint pdf ของสญญาณท&รบจากสายอากาศโดยมคาคงท&π เปนตวแสดงความไมเทาเทยมกนของสายอากาศแตละตน

รปท' 6-9 แสดงโครงสรางสายอากาศรบขอมลสาหรบสญญาณท'สมบรณx


6-23

เราสามารถหาสมการคาความเปนไปไดของการรบสญญาณรวมจากสายอากาศท �งหาตนน�ไดจากการกระจายตวแบบมลตโนเมยล(Multinomial D(Multinomial D(Multinomial D(Multinomial Distribution)istribution)istribution)istribution) ซ&งอยในรปของ pdf แบบมเง&อนไข(Conditional pdf)

0 0 2 3 4

0 1 2 3 4

0 1 2 3 4

1 1 1 1 1 1 1( )

! ! ! ! ! 2 4 4 4 4 4 4

x x x x xx x x x x

px x x x x

π π π π π+ + + + = − −

x (6.63)

ซ&งหากทาการหาคาอนพนธของ ( )p πx เม&อเทยบกบπ จะไดวา

0 1

2 3 4

0 1 2 3 4

0 1 2 3 4

1 2 3 4

21

( ) 1 1

! ! ! ! ! 2 4

1 1 1 1 1

4 4 4 4 4

1 1 1 1

4 4 4 41 1 1 1 1 1

4 4 4 4 4 41 1

4 4

x x

x x x

p x x x x x

x x x x x

x x x x

xx

ππ

π π π π

π π ππ π π

π π π π

π

∂ ∂ + + + + ∂ ∂ = + + ∂ ∂ ∂ ∂

∂ ∂ ∂ + − + − + ∂ ∂ ∂

= − − +− −

− − =

x

34

1 1

4 4 4 41 1

4 4

xxπ π π

π π

− + − −

(6.64)

และเม&อเทยบเทากบศนยจะได

( ) ( )

2 31 4

1 2 3 4 1 4

( ) 1 1 1 10

4 4 4 4 4 4

0

p x xx x

x x x x x x

ππ π π π

π

π

∂ = − − − + − = ∂

+ + + − + =

x

(6.65)

ซ&งเราหาคาประมาณของ π ท&ทาใหคาความเปนไปได ( )p πx สงสดหรอ ˆmlπ ไดโดยการแกสมการ (6.65) ซ&งจะไดเปน 1 4

1 2 3 4

ˆml

x x

x x x xπ

+=

+ + + (6.66)

จะพบวาหากขอมลมความสมบรณการคานวณหาคาของ ˆmlπ น �นกจะสามารถทาไดโดยงายเชนดงแสดงขางตน

แตหากขอมลท&ไดมาจากการสงเกตการณน �นเปนสญญาณท&ไมสมบรณ เชน สญญาณท&สงเกตการณไดสญญาณหน&งเกดจากการรวมสญญาณจากสายอากาศมากกวาหน&งตนน &นกจะทาใหเราไมสามารถแยกออกไดวาสญญาณท&รบมาจากแตละตนน �นเปนอยางไร โดยเราจะสมมตวาสญญาณท&ไดรบจากสายอากาศสองตนแรกถกสงเกตการณเปนขอมลเดยวกนคอ 0 1x x+


6-24

รปท' 6-10 แสดงลกษณะของสญญาณไมสมบรณyโดยท'เกดการรวมสญญาณของ 0 1x x+ เปน 1y


1 0 1

2 2

3 3

4 4

y x x

y x

y x

y x

= +

=

=

=

(6.67)

สงเกตวาสญญาณ 1y เกดจากการรวมกนของสายอากาศ 2 ตนคอ 0 1,x x แตสญญาณ 2 3,y y

และ 4y น �นยงคงไดมาจาก 2 3,x x และ 4x ตามลาดบโดยมการกระจายตวแบบมลตโนเมยล

1 2 3 4

1 2 3 4

1 2 3 4

1 1 1 1 1 1 1( )

! ! ! ! 2 4 4 4 4 4 4

y y y yy y y y

py y y y

π π π π π+ + + = + − −

y (6.68)

ซ&งเม&อคานวณออกมาพบวาเราได ( ) ( )2

1 2 3 4 1 2 3 4 4ˆ ˆ2 2 2 0ml mly y y y y y y y yπ π+ + + − − − − − = (6.69)

ซ&งกจะสามารถคานวณคาของ ˆmlπ ได แตสงเกตวาน&เปนสมการท&แกไดยากกวาสมการ (6.66) มาก ดงน �นเราจะใชกรรมวธแบบวนซ�าแบบหน&งชวยในการคานวณคาของ ˆmlπ น� โดยเราเรยกวธการน�วาการหาคาคาดหวงสงสด(Expectation Maximis(Expectation Maximis(Expectation Maximis(Expectation Maximisation)ation)ation)ation) หรอ EMEMEMEM

เราเร&มจากการใชทฤษฎของเบยส(Bayes’ Theorem)

( ; ) ( ; ) ( ; )p p pθ θ θ=x x y y (6.70)

เม&อแปลงลอกการธมสมการ (6.70) และจดรปแบบสมการใหมจะได


6-25

ln ( ; ) ln ( ; ) ln ( ; )p p pθ θ θ= −y x x y (6.71)

สงเกตวาทกเทอมใน (6.71) น �นเปนฟงกชนคาความเปนไปได(Likelihood Function) โดยเราจะพจารณาผลลพธสาหรบกรณคาพารามเตอรθ ′ ใดๆโดยหากเราหาคาคาดหวงแบบมเง&อนไขของคาสงเกตการณ yสาหรบคาประมาณของθ ณ ขณะน �นหรอ ˆ{ ; }E θ⋅ y กบทกๆเทอมเราจะไดเปน

{ } { } { }ˆ ˆ ˆln ( ; ) ; ln ( ; ) ; ln ( ; ) ;E p E p E pθ θ θ θ θ θ′ ′ ′= −y y x y x y y (6.72)

ซ&งในเทอมทางดานซายมอน �นไดเปนคาเดมและแทนคาตวแปร (, )U ⋅ ⋅ และ (, )V ⋅ ⋅ กบเทอมดานขวามอ ( ) ( )ˆ ˆln ( ; ) , ,p U Vθ θ θ θ θ′ ′ ′= −y (6.73)

โดยท&เราพจารณาไดวาหากคาประมาณ ณ ขณะน �นเปนคาจรง( θ θ= ) ดงน �นคาลอกของฟงกชนคาความเปนไปได(Log-Likelihood Function) ใดๆจะมคาสงสดเม&อ θ θ′ = ดวย หรอเขยนเปน

ˆ ˆ ˆ( , ) ( , )V Vθ θ θ θ′ ≤ (6.74)

ซ&งจะแปลวาหากหาคาของθ ′ จนกระท &ง

ˆ ˆ ˆ( , ) ( , )U Uθ θ θ θ′ > (6.75)

สาหรบ θ ใดๆแลวจาก (6.73) แสดงวาคาลอกของคาความเปนไปได(Log-Likelihood) คอ ˆln ( ; ) ln ( ; )p pθ θ′ >y y (6.76)

ซ&งกระบวนการ (6.70)-(6.76) น �นเปนทฤษฎพ�นฐานของอลกอรธม EM ซ&งแสดงไดดงข �นตอนขางลางน�

EM Algorithm While M > Epsilon

Expectation step: ( )( ) ( )ˆ ˆ, {ln ( ; ) ; }i iU E pθ θ θ θ′ ′= x y

Maximisation step: ( )( 1) ( )ˆ ârgmax ,i iUθ

θ θ θ+

′

′=

i=i+1 end


6-26

โดยท&เอปซลอน(Epsilon) น �นเปนคาคงท&จานวนเลก สงเกตวาคาอารกวเมนท(Argument) ตวแรกของU หรอ θ ′ น �นเปนตวกาหนดคาความเปนไปไดของขอมลท&สมบรณx สวนอารกวเมนทตวท&สองของU หรอ ( )ˆ iθ น �นเปนเง&อนไขของคาคาดหวงและเปนคาท&จะถกคงคาไวในการคานวณข �นตอนน�

ตอนน�ลองใชขอมลเฉพาะชดหน&งตวเลขเพ&อแสดงการใชอลกอรธม EM ในการหาผลลพธตวประมาณคาความเปนไปไดสงสด โดยขอมลเฉพาะท&ไดจากการสงเกตการณน �นมคาเปน

{ } { }1 2 3 4, , , 175,23, 38,29y y y y = (6.77)

โดยท&เม&อคานวณหาคา ˆmlπ จากสมการ (6.69) แลวไดเปน

24 62056

ˆ 0.5153530

mlπ+

= = (6.78)

เราหาคาลอกของ ( )p πx ท&แสดงในสมการ (6.63) ไดเปน

0 1 2 3 40

0 1 2 3 4

1 2 3 4

1ln ( ) ln ln

! ! ! ! ! 2

1 1 1 1 1 1ln ln ln ln

4 4 4 4 4 4

x x x x xp x

x x x x x

x x x x

π

π π π π

+ + + + = +

+ + − + − +

x

(6.79)

และคานวณคาคาดหวงแบบมเง&อนไข

( )( ) ( ) ( )0 1

0 1

( ) ( )0 1

23 38 29ˆ ˆ ˆ, {ln ( ) ; } ln ;

! !23!38!29!

1 1 1 1ˆ ˆ { ; }ln { ; } ln 23 ln

2 4 4 4

1 1 38 ln

4 4

i i i

i i

x xU E p E

x x

E x E x

π π π π π

π π π π

π

+ + + + ′ ′= =

′ ′+ + + −

′+ −

x y y

y y

129 ln

4π

′+

(6.80)

โดยเราหาคาของ ( )0i

x และ ( )1i

x ไดจาก

( ) ( )00

( )

( )

( ) ( )11

( )

1

2ˆ{ ; } 1751 1

ˆ2 41ˆ

4ˆ{ ; } 1751 1

ˆ2 4

i i

i

i

i i

i

x E x

x E x

π

π

ππ

π

=+

=+

y

y

≜

≜

(6.81)

ซ&งจะเหนวาการจะหาคาของ ( )0i

x และ ( )1i

x ไดเราตองทราบ ( )ˆ iπ เสยกอนเราสามารถคานวณคาของ ( 1)ˆ iπ + ไดจากการหาคาของπ′ท&ทาใหคา ( )( )ˆ, iU π π′ มากสดหรอ


6-27

( )( 1) ( )ˆ ârgmax ,i iUπ

π π π+

′

′= (6.82)

ซ&งในทางปฏบตเราสามารถหาคา ( 1)ˆ iπ + ตาม (6.82) ไดจากการหาอนพนธ ( )( )ˆ, iU π π′ เทยบ

กบπ′แลวเทยบเทาศนย

( )( )ˆ, 0iU π ππ

∂′ =

′∂ (6.83)

เร&มจาก เม&อแทนคา ( )( )ˆ, iU π π′ จาก (6.80) จะไดวา

( )( ) ( )0 1

0 1

( ) ( )0 1

23 38 29ˆ ˆ, ln ;

! !23!38!29!

1 1 1 1 ln ln 23 ln

2 4 4 4

1 1 1 38 ln 29 ln

4 4 4

i i

i i

x xU E

x x

x x

π π ππ π

π ππ π π

π ππ π

∂ ∂ + + + + ′ = ′ ′∂ ∂

∂ ∂ ∂ ′ ′+ + + − ′ ′ ′∂ ∂ ∂

∂ ∂ ′ ′+ − + ′ ′∂ ∂

y

( ) ( )( )1

( )1

1 1 161 29

4 4 41 1 1 1

4 4 4 41 1 1 1 1

61 294 4 4 4 4

1 1

4 4

i

i

x

x

π π π

π π π

π π

−= + +

′ ′ ′−

′ ′ ′ − − + − =

′ ′ − (6.84)

ซ&งกไดวา ( )( )ˆ, 0iU π ππ

∂′ =

′∂

( )( )

( )( 1) 1ˆ,

( )01

29ˆ

90

i

ii

Ui

x

xπ π

π

π π+ ′∂=

′∂

+′= =

+ (6.85)

ซ&งเม&อทาการจาลองผลดวยMATLAB code (ch6_em.m ) ดงแสดงใน Appendix 6.A จะได ผลลพธดงน� >> ch6_em

i=1 x0e=175.000000 x1e=0.000000 p=0.322222 i=2 x0e=150.717703 x1e=24.282297 p=0.466234 i=3 x0e=141.916783 x1e=33.083217 p=0.504400 i=4 x0e=139.754014 x1e=35.245986 p=0.512958 i=5 x0e=139.278069 x1e=35.721931 p=0.514802 i=6 x0e=139.175954 x1e=35.824046 p=0.515196 i=7 x0e=139.154165 x1e=35.845835 p=0.515280 i=8 x0e=139.149521 x1e=35.850479 p=0.515298 i=9 x0e=139.148532 x1e=35.851468 p=0.515302 i=10 x0e=139.148321 x1e=35.851679 p=0.515302


6-28

i=11 x0e=139.148276 x1e=35.851724 p=0.515303 i=12 x0e=139.148266 x1e=35.851734 p=0.515303 i=13 x0e=139.148264 x1e=35.851736 p=0.515303 i=14 x0e=139.148264 x1e=35.851736 p=0.515303 i=15 x0e=139.148264 x1e=35.851736 p=0.515303

ซ&งจะพบวาคาตอบมการลเขาอยางรวดเรวต �งแตการวนซ�า i=9 โดยสงเกตจากการท&คาของπเร&มคงท&ตอเน&อง ในรปท& 6-11 แสดงการพลอตคาของ ( )

0i

x และ ( )1i

x ท&ไดจากการทาซ�าจากกระบวนการ EM ท&ลเขาหาคาตอบท& 139.148264 และ 35.851736 ตามลาดบ โดยท&π จะเปน 0.515303 ดงแสดงในรปท& 6-12

0 5 10 150

20

40

60

80

100

120

140

160

180

Number of Iterations

Val

ues

x0ex1e

รปท' 6-11 แสดงผลลพธของคา ( )

0i

x และ ( )1i

x ท'ไดจากการทาซ%าจากกระบวนการ EMEMEMEM

0 5 10 150.32

0.34

0.36

0.38

0.4

0.42

0.44

0.46

0.48

0.5

0.52

Number of Iterations

π(i

)

รปท' 6-12 แสดงผลลพธของคา ( )iπ


6-29

6.7 สรป

ในบทน� เราไดศกษาถงกรรมวธในการหาตวประมาณคาความเปนไปไดสงสดซ&งเปนผลการคานวณจากฟงกชนคาความเปนไปไดสงสด โดยมเง&อนไขวาหากใชจานวนขอมลขนาดใหญแลว ตวประมาณคาความเปนไปไดสงสดจะเปนแบบไรไบแอสและมความแปรปรวนนอยสดแบบเชงเสนกากบ การคานวณตวประมาณคาความเปนไปไดสงสดน� มขอไดเปรยบท&เหนอกวากรรมวธการหาตวประมาณคาแบบตางๆท&ไดกลาวมาในบทกอนๆ ตรงท&สามารถใชกระบวนการเชงตวเลขในการหาคาตอบ ซ&งทาใหเหมาะสาหรบการคานวณดวยคอมพวเตอร เชน วธนวตน-ราฟสน ท&ใชกรณท&ฟงกชนเปาหมายมความไมเปนเชงเสนหรอกระบวนการ EM ท&เปนกระบวนการวนซ�าท&ใชสาหรบการหาตวประมาณคาในกรณท&ขอมลท&ตองการบางตวซอนอยในขอมลตวอ&นๆหรอเรยกวาขอมลไมสมบรณ

Appendix 6.A

ch6_mle.m % ch6_mle.m simulates MLE clear all clf set(0,'defaultaxesfontsize',16,... 'defaultlinelinewidth',2.5,... 'defaultaxeslinewidth',1.5) %N=[5 10 20 30 50 100]; N=[5 10 50 100 300 500]; M=10000; % M=1000; nbins=200; A_ensm=zeros(size(N)); var_Ahat=zeros(size(N)); Nvar_Ahat=zeros(size(N)); varA=zeros(size(N)); for i=1:length(N) A=1; w=sqrt(A)*randn(N(i),M); % w(n) has variance A x=A+w; % Generates the Monte Carlo mean value using ML E (6.23) A_hat(i,:) = -1/2+sqrt(sum(x.^2)/N(i)+1/4); A_ensm(i) =mean(A_hat(i,:),2) var_Ahat(i) =mean((A_hat(i,:)-... A_ensm(i).*ones(size(A_hat(i,:)))).^2,2) ; % %Theoretical likelihood function of MLE % % Find var(A_hat)of(6.34) as aymptotic var of A _hat varA(i) =(1/N(i))*(A^2/(A+1/2)); Mspace=linspace(min(A_hat(i,:)),max(A_hat(i,:)) ,M/nbins); xs(i,:)=sort(mean(x)); % computes the likelihoof of using varA(i)


6-30

p_th=(1/sqrt(2*pi*varA(i)))*exp(-.5*((xs(i,:)-. .. A).^2)/varA(i)); norm_p_th(i,:)=p_th./max(p_th); Nvar_Ahat(i) =N(i)*var_Ahat(i); % N*var(A_h at) Th_A=A; Th_NvarA=A^2/(A+1/2); [n,xout]=hist(A_hat(i,:),nbins); distance= find((xout.^2 > 0.995) &... (xout.^2 < 1.05)); % Refine the plot maxatone(i)=distance(1); end figure(1) subplot(411) hist(A_hat(1,:),nbins) h = findobj(gca,'Type','patch'); set(h,'FaceColor','w','EdgeColor','k','LineStyle',' -') hold on plot(xs(1,:),norm_p_th(1,:)*n(maxatone(1)),'linewid th',3) axis([0 2 0 200]) text(1.8,150,'N=5','FontSize',14) hold off subplot(412) hist(A_hat(2,:),nbins) h = findobj(gca,'Type','patch'); set(h,'FaceColor','w','EdgeColor','k','LineStyle',' -') hold on plot(xs(2,:),norm_p_th(2,:)*n(maxatone(2)),'linewid th',3) axis([0 2 0 200]) text(1.8,150,'N=10','FontSize',14) hold off subplot(413) hist(A_hat(3,:),nbins) h = findobj(gca,'Type','patch'); set(h,'FaceColor','w','EdgeColor','k','LineStyle',' -') hold on plot(xs(3,:),norm_p_th(3,:)*n(maxatone(3)),'linewid th',3) axis([0 2 0 200]) text(1.8,150,'N=20','FontSize',14) hold off subplot(414) hist(A_hat(4,:),nbins) h = findobj(gca,'Type','patch'); set(h,'FaceColor','w','EdgeColor','k','LineStyle',' -') hold on plot(xs(4,:),norm_p_th(4,:)*n(maxatone(4)),'linewid th',3) axis([0 2 0 200]) text(1.8,150,'N=25','FontSize',14) hold off xlabel('A_{hat}') figure(2) clf subplot(121) plot(N,A_ensm, N,A*ones(size(N)),':') xlabel('Number of N')


6-31

axis([min(N) max(N) min(A_ensm) max(A)*1.01]) legend('E\{Aest\}','A') subplot(122) plot(N,Nvar_Ahat,N, Th_NvarA*ones(size(N)),':') axis([min(N) max(N) min(Nvar_Ahat) max(Nvar_Ahat)*1 .01]) axis([0 500 0.5 .7]) xlabel('Number of N') legend('N*var_{est}(Aest)','N*var(Aest)')

ch6_gradients.m % ch6_gradients.m set(0,'defaultaxesfontsize',16,... 'defaultlinelinewidth',2.5,... 'defaultaxeslinewidth',1.5) r=0:.01:4; p=pdf('Normal',r,.5,.2); % Uncomment the commands below for different distri butions % p=pdf('Poisson',r,3,1); % p=raylpdf(r,0.5); % Rayleigh % p=chi2pdf(r,0.5); % p = gampdf(r,100,10); % p = lognpdf(r,1.0); lnp=log(p); gp =gradient(lnp); figure(1) subplot(311) plot(r,p) xlabel('\theta'); ylabel('p(x;\theta)') subplot(312) plot(r,lnp) xlabel('\theta'); ylabel('ln(p(x;\theta))') subplot(313) plot(r,gp) xlabel('\theta'); ylabel('g(\theta)')

ch6_nr.m % ch6_nr.m clear all set(0,'defaultaxesfontsize',16,... 'defaultlinelinewidth',2.5,... 'defaultaxeslinewidth',1.5) N=50; var=0.01; rtrue=0.5; set(0,'defaultaxesfontsize',14) R0=[];R1=[];R2=[];R3=[];R4=[]; for nesm=1:1000 x0=rtrue+sqrt(var)*randn(1,1); % x(n) n=0 for n=1:N-1 x(n)=rtrue^n+sqrt(var)*randn(1,1); end x=[x0 x];


6-32

%%%%% r=0.2; K=50; r=newtonrlp(x,r,N,K); R0 =[R0;r] ; %%%%% r=0.4; r=newtonrlp(x,r,N,K); R1 =[R1;r] ; %%%%% r=0.8; r=newtonrlp(x,r,N,K); R2 =[R2;r] ; %%%%% r=1.0; r=newtonrlp(x,r,N,K); R3 =[R3;r] ; %%%%% r=1.2; r=newtonrlp(x,r,N,K); R4 =[R4;r] ; end nk=[0:K]; R0av=mean(R0,1); R1av=mean(R1,1); R2av=mean(R2,1); R3av=mean(R3,1); R4av=mean(R4,1); figure(1);clf plot(nk,R0av) hold on plot(nk,R1av,':') plot(nk,R2av,'.-') plot(nk,R3av,'--') plot(nk,R4av,'-.') hold off legend('r_{0}=0.2','r_{0}=0.4','r_{0}=0.8','r_{0}=1 ','r_{0}=1.2') xlabel('Iteration k') ylabel('r_{k}')

newtonrlp.m % function newtonrlp.m calculates the Newton-Ralphs on % Author: peerapol % date: 30/1/08 function r=newtonrlp(x,r,N,K) for k=1:K rnom=0; rden=0; for n=1:N-1 rnom = rnom + (x(n+1)-(r(k)^n))*n*(r(k)^(n- 1)); rden = rden + n*r(k)^(n-2)*((n-1)*x(n+1)-.. . (2*n-1)*(r(k)^n)); end


6-33

r(k+1) = r(k)-rnom/rden; end

ch6_em.m % ch6_em.m estimates the EM algortihm % % set(0,'defaultaxescolororder',[0 0 1 ],... 'DefaultaxesLinestyleorder','-|-.',... 'defaultaxesfontsize',16,... 'defaultlinelinewidth',2.5,... 'defaultaxeslinewidth',1.5) x2 = 23; x3=38; x4=29; y1= 175; y2 = x2; y3=x3; y4=x4; maxsteps = 15; p=0; % initial value of p P=[]; X=zeros(maxsteps,2); for i = 1:maxsteps % E-step x1e = y1*(p/4)/(1/2 + p/4); X(i,2)=x1e; x0e = y1*(1/2 )/(1/2 + p/4); X(i,1)=x0e; % M-step p= (x1e+x4)./(x1e+x2+x3+x4); fprintf(1,'i=%d x0e=%f x1e=%f p=%f\n',i,x0e,x1 e,p); P =[P;p]; end figure(1) plot(X) legend('x0e','x1e') xlabel('Number of Iterations') ylabel('Values') figure(2) plot(P) xlabel('Number of Iterations') ylabel('{\pi}^{(i)}')


6.1 สาหรบสญญาณท&รบได ( )x n 2( ) ( )x n A w n= +

โดยท&A เปนสญญาณไฟตรงท&ไมทราบคาซ&งถกยกกาลงสองกอนถกรวมเขากบ ( )w n ซ&งเปนสญญาณรบกวนเกาสสขาวท&มความแปรปรวนเปน 2

wσ จงหาตวประมาณคาความเปนไปไดสงสด(MLE) ของสญญาณ 2A

6.2 จากคาถามขอ 6.1 จงหาวาหากตองการประมาณคาของพารามเตอรξ โดยท& 2Aξ = จะไดตวประมาณคา MLE ของ ξ เปนเทาใด


6-34

6.3 ในระบบของการทางานของเคร&องรบสญญาณจะตองมการประมาณคาของเฟสสญญาณท&รบได(Phase Estimation) จงหาตวประมาณคาเปนไปไดสงสด MLE สาหรบเฟส φ ในสญญาณ

( )x n

0( ) cos(2 ) ( ), 0,..., 1x n A f n w n n Nπ φ= + + = −

โดยท& ( )2( ) 0, ww n σN ∼ และสมมตวาเราทราบท �งคาขนาดA และความถ&พาห 0f

6.4 จงพสจนวาสาหรบสญญาณท&เปนสญญาณรบกวนสขาวลวนๆ

( ) ( ), 0,..., 1x n w n n N= = −

แตไมทราบคาความแปรปรวน 2wσ ของสญญาณ จงหาตวประมาณคา MLE ของ 2

wσ น� 6.5 สาหรบสญญาณท&รบได ( )x n

( ) ( ), 0,..., 1x n A w n n N= + = −

โดยท& ( )w n เปนสญญาณท&มการกระจายตวแบบลาปลาซ(Laplacian pdf) หรอ

1 1

( ( )) exp ( )4 2

p w n w n = −

จงหาคาของ MLE ของA และจงอภปรายถงการใชกฏจานวนขอมลขนาดใหญ(Law of Large Number) ซ&งเปนกรณท&จานวนขอมลมมาก(N → ∞ ) วาผลท&เกดข�นกบ MLE ท&ไดมาน �นเปนอยางไร

6.6 จากขอ 6.5 สาหรบสญญาณท&รบได ( )x n

( ) ( ) ( ), 0,..., 1x n s n w n n N= + = −

จงหา MLE ของ ( )s n และจงอภปรายถงการใชกฏจานวนขอมลขนาดใหญ(Law of Large

Number)ซ&งเปนกรณท&จานวนขอมลมมาก(N → ∞ ) วาผลท&เกดข�นกบ MLE ท&ไดมาน �นเปนอยางไร 6.8 จงแสดงวาสาหรบสญญาณ

11

2 2

1 1( ; ) exp ( ) ( )

2(2 ) det ( )

TN

p

π

− − − − x = x H C x H

C

θ θ θ

น �นม MLE เปน

1 1 1ˆ ( )T T

ML− − −= H C H H C xθ


6-35

6.9 พจารณาสญญาณ ( )x n แบบ IID จานวนN แซมเป�ล( 0,..., 1n N= − ) ท&มการกระจายตวแบบเบอรนล(Bernoulli Distribution) คอ ( ) {1,0}x n = ซ&งใหคาความนาจะเปนในการเกดเหตการณ ( ) 1x n = เปนq และคาความนาจะเปนในการเกดเหตการณ ( ) 0x n = เปน1 q−

หรอ

1, with prob. ( )

0, with prob. 1 -

qx n

q

=

จงหา MLE ของคาq น�

แนะนา: ฟงกชนคาความเปนไปได(Likelihood Function)ของสญญาณท&มการกระจายตวแบบเบอรนลเปน ( ( ); ) (1 )n nS N Sp x n q q q −= −

โดยท&1

( )n

n

i

S x i=

=∑ คอ จานวนสญญาณ ( ) 1x n = และN เปนจานวนสญญาณท �งหมด

เอกสารอางอง DEMPSTER, A.P., LAIRD, N.M., AND RUBIN, D.B., "MAXIMUM LIKELIHOOD FROM INCOMPLETE

DATA VIA THE EM ALGORITHM", ANN. ROY. STATIST. SOC., VOL. 39, PP. 1-38, 1977



MOON, T.K. AND STIRLING, W.C., “MATHEMATICAL METHODS AND ALGORITHMS FOR SIGNAL

PROCESSING”, PRENTICE HALL, NEW JERSEY, 2000

KAY, S.M., “FUNDAMENTALS OF STATISTICAL SIGNAL PROCESSING: ESTIMATION THEORY”,

PTR PRENTICE-HALL, NEW JERSEY, 1993

ตวประมาณคากาลงสองนอยสด

7-1

7 ตวประมาณคากาลงสองนอยสด

Progress imposes not only new possibilities for the future but new restrictions

Norbert Wiener

ความกาวหนาไมไดเพยงทาใหเกดโอกาสตางๆในอนาคตเทาน �น แตยงนามาซ งขอจากดใหมๆดวย นอรเบรต วนเนอร

7.1 บทนา

จากหลายบททผานมาเรามงหวงในการเสาะหาตวประมาณคาความแปรปรวนนอยสดหรอ MVUE ดวยความทมนเปนตวประมาณคาทเหมาะสมทสดในแงของคาความแปรปรวนทนอยทสด(Optimal in Minimum Variance Estimators) แตในบางคร $งเรากอาจจะไมสามารถหา MVUE ไดเลย ซงอาจจะเนองจากความยากในการคานวณหรอจากการทมนไมมอยจรงตลอดยานของคาจรงของพารามเตอรทกาลงพจารณาได

และถาเราทราบวา MVUE น $นไมสามารถคานวณได เรากอาจจะเลยงมาใชการประมาณคาดวยแบบจาลองเชงเสน(Linear Model) ดงทกลาวไวในบทท 4 และจากน $นเรากพบวามตวประมาณคาอกแบบหนงทตองการเพยงแคคาเฉลยและความแปรปรวนเปนพารามเตอรในการคานวณเทาน $นซงตวประมาณคาน $นกคอ BLUE ดงทกลาวไวในบทท 5

สวนในบทท 6 เราพบวาตวประมาณคาอกแบบหนงทใชเฉพาะขอมลฟงกชนคาความเปนไปได(Likelihood Function) โดยตรงและเราเรยกตวประมาณคาแบบน$วาเปนตวประมาณคาความเปนไปไดสงสด(Maximum Likelihood Estimators) หรอ MLE ซงตวประมาณคาแบบน$มความนาสนใจอยตรงทวาเราสามารถเลอกใชกระบวนการเชงตวเลข(Numerical Methods) ทมประสทธภาพในการหาคาคาตอบไดอยางเชนกรรมวธนวตน-ราฟสน(Newton-Raphson Method) และ ในกรณทขอมลทไดจากการสงเกตการณ(Observation Data) น $นไมสมบรณหรอขาดหายไปกสามารถนากรรมวธการหาคาคาดหวงสงสด(Expectation Maximisation) หรอ EM มาใชในการคานวณตวประมาณคาความเปนไปไดสงสดไดเปนอยางด

ในบทน$เปนเรองของตวประมาณคาแบบสดทายทจะกลาวถงในหนงสอเลมน$ ตวประมาณคาแบบน$มขอดตรงทไมตองการคณสมบตเชงสถตใดๆของชดขอมลท# ไดจากการสงเกตการณเลย ตวประมาณคาแบบน$มชอวาตวประมาณคากาลงสองนอยสด(Least (Least (Least (Least

SquSquSquSquaaaares Estimators) res Estimators) res Estimators) res Estimators) หรอ LSELSELSELSE โดยหลกการของกรรมวธกาลงสองนอยสด(Method of Least Squares) น $นไดถกคนพบโดย คารล ฟรดรก เกาส(Carl Friedrich Gauss) นกคณตศาสตรเลอง


7-2

ชอชาวเยอรมนต $งแตประมาณปค.ศ.1795 โดยการใชงานแรกทสรางชอเสยงและนาทงของกรรมวธคากาลงสองนอยสดจนกระท งปจจบนน$คอการนาไปใชในการคานวณวถการเคลอนทของดาวเคราะหแคระทชอซเรส(Ceres)เพอช$ตาแหนงการปรากฏตวของซเรสไดอยางแมนยาในระดบความผดพลาดเพยงครงองศา และถงแมวาจะเปนอลกอรธมทถกคนพบเมอสองรอยกวาปมาแลวกตาม แตดวยความสวยงามทางคณตศาสตรทไมอาจจะสามารถปฏเสธไดจงทาใหกรรมวธกาลงสองนอยสดน$ยงคงมทใชงานอยางกวางขวางกระท งในปจจบน และยงไปกวาน $นกรรมวธกาลงสองนอยสดยงถกใชเปนตนแบบในการพฒนาอลกอรธมแบบปรบตวได(Adaptive Algorithms)ทเกดข$นภายหลงเปนจานวนมากอกดวย

แตแมวากรรมวธการประมาณคากาลงสองนอยสดจะมขอดกคอความงายในการสรางและประมวลผล แตอยางไรกตามตวประมาณคากาลงสองนอยสดกมขอเสยอยตรงความทเปนตวประมาณคาทไมใชแบบทเหมาะสมทสด(Suboptimal Estimators) จงใหประสทธภาพทไมสงไปกวาตวประมาณคาแบบ MVUE ทเปนตวประมาณคาแบบเหมาะสมทสดในแงทเปนตวประมาณคาทใหความแปรปรวนนอยทสด แตกมขอควรสงเกตวาในกรณทชดขอมลเปนการกระจายแบบเกาสแลวคาตอบทไดจากตวประมาณคากาลงสองนอยสดน$สอดคลองกนกบตวประมาณคาความเปนไปไดสงสด(MLE)

7.2 ตวประมาณคากาลงสองนอยสด (Least Squares Estimators)

ในกรรมวธน$เราตองการหาตวประมาณคาทลดคากาลงสองของความแตกตางของคาจากชดขอมล ( )x n และคาเอาทพททไดจากแบบจาลองสญญาณ ( )s n โดยแบบจาลองของสญญาณและระบบแสดงดงในรปท 7-1

รปท# 7-1 ระบบของแบบจาลองสญญาณ(Data Model) (Data Model) (Data Model) (Data Model) เพ#อใชในการหาตวประมาณคาผดพลาดกาลงสองนอยสด

จากรปแสดงใหเหนวาคาจรงθ ทเราตองการประมาณคาน $นเปนอนพทของแบบจาลองสญญาณโดยเอาทพทจะเปนสญญาณ ( )s n สงเกตวาเนองดวยแบบจาลองสญญาณน $นเปนแบบจาลองเชงกาหนด(Deterministic Model) ดงน $นสญญาณ ( )s n จงเปนคาเชงกาหนด(Deterministic Data)


7-3

และนอกจากน $นกมสญญาณรบกวน ( )w n และความไมถกตองอนๆเชนความผดพลาดในการสรางแบบจาลองหรอสญญาณ ( )nε รวมอยดวย ซงผลรวมสดทายทาใหเราไดสญญาณชดขอมลสงเกตการณ ( )x n

เราตองการคานวณตวประมาณคา θ ทใหคาประมาณใกลเคยงกบคาจรง θ มากทสด โดยมเงอนไขคอการทราบเพยงแตชดขอมลจากการสงเกตการณ ( )x n และสญญาณ ( )s n เทาน $น การประมาณคาจะอาศยคาความแตกตางหรอความผดพลาด(Error)ระหวาง ( )x n และ ( )s n ซงเมอเราเขยนเปนแบบจาลองความสมพนธความแตกตางน$จะไดคาผดพลาดเปน ( ) ( ) ( )e n x n s n= − (7.1)

ความผดพลาดน$จะถกนามาสรางเปนฟงกชนเปาหมาย(Objective Function)ทเปนผลรวมของ คาผดพลาดกาลงสอง(Sum of Squared Errors) จานวนN คาคอn = 0,..., 1N − ของ ( )x n

และ ( )s n โดย ( )s n น $นเปนฟงกชนของคาจรงθ

( )1 1

22

0 0

( ) ( ) ( ) ( )N N

n n

J e n x n s nθ− −

= =

= = −∑ ∑ (7.2)

ดงน $นโดยการหาคาอนพนธยอยของฟงกชนเปาหมาย ( )J θ ทประกอบดวยพารามเตอร ( )s n

เทยบกบθ กจะไดคาตอบของตวประมาณคา θ และจะเรยก θ ททาใหฟงกชนเปาหมาย ( )J θ

นอยสดวาเปนตวประมาณคากาลงสองนอยสด สงเกตวาในการคานวณน $นจะไมปรากฏถงการใชสมมตฐานใดๆในเชงสถตของขอมล ( )x n เลย

วธการกาลงสองนอยสดน$ใชไดกบท $งกรณสญญาณรบกวนเปนแบบเกาสและท $งไมใชแบบเกาส โดยประสทธภาพของตวประมาณคากาลงสองนอยสดน$ข$นกบคณสมบตของสญญาณรบกวนและคาผดพลาดจากแบบจาลองของสญญาณ ซงเราจะไดวารปแบบจาลองของระบบทจะหาคาประมาณของคาจรงθ จะเปนดงในรปท 7-2

รปท# 7-2 ความผดพลาดของกาลงสองนอยสด

สมมตให ในแบบจาลองของสญญาณเปนการหาค าตวประมาณคาระดบไฟตรงในสญญาณ ( ) ( )x n A w n= + เมอ 0,..., 1n N= − ในกรณน$จากแบบจาลองของสญญาณเราจะไดวาคาจรงทตองการประมาณคอ Aθ = และเนองจากแบบจาลองในขณะน$แสดงตวเปนเพยงการสงผานสญญาณโดย“ไมดดแปลง”สญญาณอนพทแตอยางใดหรอเราเรยกวาฟงกชนถายโอน


7-4

(Transfer Function) ของแบบจาลองในกรณน$เปน“1” จงไดวาเอาทพทจากแบบจาลองสญญาณเปน ( )s n θ=

สมการฟงกชนเปาหมายตอนน$จะไดเปน

( )1

2

0

( ) ( ) ( )N

n

J x n s nθ−

=

= −∑ (7.3)

ซงเมอให ( )s n θ= แลว จะไดฟงกชนเปาหมายเปน

( )1

2

0

( ) ( )N

n

J x nθ θ−

=

= −∑ (7.4)

ลองดตวอยางท 7.1 ในการหาคาของตวประมาณคากาลงสองนอยสดจากฟงกชนเปาหมาย (7.4)

ตวอยางท# 7.1 ปญหาในการหาคาคงทAทฝงอยในสญญาณรบกวน ( )w n โดยมขอมลจากการสงเกตการณเปน ( )x n

( ) ( ), 0,1,..., 1x n A w n n N= + = − (7.5)

โดย ( )w n น $นเปนสญญาณรบกวนเกาสแบบสขาว(White Gaussian Noise)ทมความแปรปรวนเปน 2

wσ

ในกรณน$ Aθ = ซงจะทาใหไดจากสมการ (7.4) วา

( )1

2

0

( ) ( )N

n

J A x n A−

=

= −∑ (7.6)

ซงเมอทาการหาอนพนธยอยจะได

( )1

0

( )2 ( )N

n

J Ax n A

A

−

=

∂= − −

∂∑ (7.7)

และเมอใหอนพนธยอยน$เปนศนย ( )0

J A

A

∂=

∂ เราจะไดตวประมาณคา

1

0

1ˆ ( )N

n

A x nN

x

−

=

=

=

∑ (7.8)

ซงจะเหนวาตวประมาณคากาลงสองนอยสดน $นเปนตวประมาณคาแบบคาเฉลยแซมเป$ล(Sample Mean) △


7-5

ขอสงเกตคอตวประมาณคากาลงสองนอยสดทไดน$ ไมไดใหคาทเหมาะสมทสดในเชงคาความแปรปรวนนอยสด(Non-Optimal in MVU Sense) แตใหคาทเหมาะสมทสดในเชงกาลงสองนอยสด(Optimal in Least Squares Sense)

แตหากเราประมาณคาA จาก ( ) ( )x n A w n= + โดยท ( )w n เปนสญญาณรบกวนสขาวแบบเกาสทมคาเฉลยเปนศนยเราจะไดวา MVUE และตวประมาณคากาลงสองนอยสดน $นเปนคาตอบเดยวกน

แตหาก ( )w n น $นมคาเฉลยไมเปนศนยจะทาใหการประมาณคาของAกลายเปน ( ) { ( )} ( )w n E w n w n= + ɶ (7.9)

โดยท ( )w nɶ น $นเปนสญญาณทใหคาเฉลยเปนศนยหรอ { ( )} 0E w n =ɶ ซงจะทาใหในกรณน$ตวประมาณคาจะใหคาเปน ( )A w n+ แทนทจะใหคาเปนA และสมการสาหรบชดขอมลจะเปน ( ) { ( )} ( )x n A E w n w n= + + ɶ (7.10)

ซงเปนสงทควรจะตองระวง! เพราะหากชดขอมลปรากฏวามสญญาณไฟตรงประกอบอยดวยเชน ( ) ( )x n A Bn w n= + + ตวประมาณคากาลงสองนอยสดอาจจะใหผลลพธเปนตวประมาณคาแบบมไบแอส(Biased E(Biased E(Biased E(Biased Estimator) stimator) stimator) stimator) กได

7.3 ทฤษฎการประมาณคากาลงสองนอยสด (Least Squares Estimation Theory)

สาหรบตวแปรทจะทาการประมาณคาθ หากตองการหาคาประมาณของθ โดยใชตวประมาณคากาลงสองนอยสด ( ) ( )s n h nθ= (7.11)

ซงเปนรปแบบของตวประมาณคากาลงสองนอยสดเชนสาหรบ 0( ) cos 2s n A f nπ= จะกาหนดให Aθ = และ 0( ) cos2h n f nπ= เราไดฟงกชนเปาหมาย(Objective Function) เพอจะหาตวประมาณคากาลงสองนอยสดน$ไดเปน

1

2

0

( ) ( ( ) ( ))N

n

J x n h nθ θ−

=

= −∑ (7.12)

หากทาการหาคาอนพนธยอยของ ( )J θ เทยบกบθ เราจะไดวา


7-6

( )

( )

1

0

1

0

1 12

0 0

( ) ( )( )2 ( ( ) ( ))

2 ( ( ) ( )) ( )

2 ( ) ( ) 2 ( )

N

n

N

n

N N

n n

x n h nJx n h n

x n h n h n

x n h n h n

θθθ

θ θ

θ

θ

−

=

−

=

− −

= =

∂ −∂= −

∂ ∂

= − −

= − +

∑

∑

∑ ∑

(7.13)

เมอเทยบ ( )0

J θ

θ

∂=

∂เราจะไดวาตวประมาณคากาลงสองนอยสดหรอเขยนเปนสญลกษณ ˆ

LSθ

จงเปน

1

01

2

0

( ) ( )ˆ

( )

N

nLS N

n

x n h n

h n

θ

−

=−

=

=∑

∑ (7.14)

ซงเปนคาตอบท วไปของตวประมาณคากาลงสองนอยสดสาหรบพารามเตอรแบบสเกลาร

คาผลลพธทไดน $นเปรยบเทยบไดกบการหาตวประมาณคาในเรองการหาเอกลกษณของระบบ(System Identification)(System Identification)(System Identification)(System Identification) โดยทตวเศษ(Numerator)ของสมการ (7.14) น $นแสดงถงคาสหสมพนธไขว (0)xhr ระหวางคาชดขอมล ( )x n และแบบจาลอง ( )h n สวนตวสวน(Denominator)น $นเปนสหสมพนธตวเอง (0)hhr ของแบบจาลอง ( )h n หรออาจจะเขยนไดวา

(0)ˆ(0)

xhLS

hh

r

rθ = (7.15)

ซงเมอคานวณสมการ (7.12) จะไดวา

( )

( )( )

( )

( ) ( )

( )

1 2

0

1

0

1 1

0 0

1 1

0 0

1

0

ˆ ˆ( ) ( ) ( )

ˆ ˆ( ) ( ) ( ) ( )

ˆ ˆ( ) ( ) ( ) ( )

ˆ ˆ ˆ( ) ( ) ( ) ( ) ( ) ( )

ˆ ˆ( ) ( ) ( ) ( )

N

LS LS

n

N

LS LS

n

N N

LS LS

n n

N N

LS LS LS

n n

N

LS LS

n

J x n h n

x n h n x n h n

x n h n x n h n

x n x n h n h n x n h n

x n x n h n h n

θ θ

θ θ

θ θ

θ θ θ

θ θ

−

=

−

=

− −

= =

− −

= =

−

=

= −

= − −

= − −

= − − −

= − −

∑

∑

∑ ∑

∑ ∑

∑1 1

2

0 0

ˆ( ) ( )N N

LS

n n

x n h nθ− −

= =

− ∑ ∑

(7.16)


7-7

( )

( )

1

1 1 120

120 0 0

0

0

1

0

( ) ( )ˆ ˆ ( ) ( ) ( ) ( ) ( ) ( )

( )

ˆ( ) ( ) ( )

N

N N Nn

LS LS Nn n n

n

N

LS

n

x n h n

x n x n h n h n x n h n

h n

x n x n h n

θ θ

θ

−

− − −=−

= = =

=

=

−

=

= − − −

= −

∑∑ ∑ ∑

∑

∑

��

โดยผลลพธของ (7.16) ไดมาจากการแทนคาของ ˆLSθ จาก (7.14) ลงในบรรทดรองสดทายของ

การคานวณ และเมอแทนคา ˆLSθ อกคร $งในบรรทดสดทายของ (7.16) เราจะได

1 12

0 0

21

102

120

0

ˆ ˆ( ) ( ) ( ) ( )

( ) ( )

( )

( )

N N

LS LS

n n

N

Nn

Nn

n

J x n x n h n

x n h n

x n

h n

θ θ− −

= =

−

−=−

=

=

= −

= −

∑ ∑

∑∑

∑

(7.17)

สงเกตในเทอม21

0

( ) ( )N

n

x n h n−

=

∑ ซงเปนสงทแสดงความคลายคลงของ ( )x n และ ( )h n ซงจะ

พสจนไดโดยงายวาหากเราให ( ) ( )x n h n= เราจะไดวา

212

1021

20

0

1 12 2

0 0

( )

ˆ( ) ( )

( )

( ) ( ) 0

N

Nn

LS Nn

n

N N

n n

x n

J x n

x n

x n x n

θ

−

−=−

=

=

− −

= =

= −

= − =

∑∑

∑

∑ ∑

(7.18)

ซงแปลวาหาก ( )x n และ ( )h n มความเหมอนกนมากคาฟงกชนเปาหมาย ( )J θ จะเปนศนยหรอแสดงวาความผดพลาดของการประมาณคาเปนศนย

และในทางตรงกนขามในกรณท ( )x n และ ( )h n ไมมความเหมอนกนเลยเทอม21

0

( ) ( )N

n

x n h n−

=

∑

จะกลายเปนคาศนยแทนและ ( )J θ จะมคาเปน

1

2

0

ˆ( ) ( )N

LS

n

J x nθ−

=

= ∑ (7.19)


7-8

น นแสดงวายานของ ˆ( )LSJ θ ทเปนไปไดกคอ“ต $งแต 0 ถง1

2

0

( )N

n

x n−

=∑ ”หรอเขยนเปน ˆ( )LSJ θ

12

0

0, ( )N

n

x n−

=

∈ ∑

หากเราให s เปนพารามเตอรทไมทราบคาทเปนเชงเสน

[ ](0), (1), , ( 1)T

s s s N= −s ⋯ (7.20)

และเขยน s ในรปของผลคณของเมตรกซสงเกตการณH และเวคเตอรของตวประมาณคาθไดเปน =s Hθ (7.21)

เราหาตวประมาณคากาลงสองนอยสดไดจากการหาคาของθททาให ( )J θ นอยทสด

[ ] [ ]

12

0

( ) ( ( ) ( ))

2

N

n

T

T T T T

J x n s n−

=

= −

= − −

= − +

∑

x H x H

x x x H H H

θ

θ θ

θ θ θ

(7.22)

จากน $นหา ( )J θ

θ

∂

∂ไดจาก

( )

2 2T TJ∂= − +

∂H x H H

θθ

θ (7.23)

เมอเทยบให ( )0

J∂=

∂

θ

θแลวจดสมการใหมเปน

ˆT TLS =H H H xθ (7.24)

จะไดเปนสมการปกต(Normal Equation)(Normal Equation)(Normal Equation)(Normal Equation) ในรป =Ax b โดยคาวาปกต(Normal) มาจากศพทในวชาฟสกสคอเสนปกต(Normal Lines) ทเปนเวคเตอรมการต $งฉากซงกนและกนซงทาใหท $งสองเวคเตอรไมมสหสมพนธกน และหากทาการแกสมการนอรมลโดยวธมาตรฐานเราจะไดตวประมาณคากาลงสองนอยสดเปน

( )1ˆ T T

LS

−= H H H xθ (7.25)


7-9

การทสามารถจดสมการน$ ใหอยในรปของสมการปกตได เปนสงทชวยใหการคานวณมประสทธภาพมากเพราะเราสามารถใชอลกอรธมทมอยอยางแพรหลายในการแกสมการปกตไดโดยงาย เชน อลกอรธมเลวนสน----เดอรบน((((The The The The LevinsonLevinsonLevinsonLevinson----Durbin AlgorithmDurbin AlgorithmDurbin AlgorithmDurbin Algorithm) ) ) ) เปนตน หากเราแทนคาของ ( )

1ˆ T TLS

−= H H H xθ ลงในสมการของ ( )J θ แลวจะไดวา

( ) ( )

( )( ) ( )

( )( ) ( )

( ) ( )

( )

min

1 1

1 1

1 1

1 1

ˆ( )

ˆ ˆ

LS

T

LS LS

TT T T T

TT T T T T

TT T T T T T

T T T T T

T T

J J

− −

− −

− −

− −

=

= − −

= − −

= − −

= − −

= − −

= −

x H x H

x H H H H x x H H H H x

x H H H H x x H H H H x

x x H H H H x H H H H x

x I H H H H I H H H H x

x I H H H

θ

θ θ

21 T−

H x

(7.26)

และเมอทาการขยายความสมการตอไปจะไดวา

( ) ( )( )

( ) ( )

( )

( )

21 1

min

1 1

1

1

2

2

ˆ

T T T T T

T T T T T

T T T

T T T

TLS

J− −

− −

−

−

= − +

= − +

= −

= − = −

x I H H H H H H H H x

x I H H H H H H H H x

x I H H H H x

x x H H H H x

x x Hθ

(7.27)

ในบรรทดทสองของสมการ (7.27) น $นไดมาจากการใชคณสมบตไอเดมโพเทนท(IdempotentIdempotentIdempotentIdempotent) ของเมตรกซซงมความหมายวาสาหรบA ทเปนไอเดมโพเทนทเมตรกซ(Idempotent Matrix) น $น 2=A A หรอ

( )( ) ( )21 1T T T T− −=H H H H H H H H (7.28)


7-10

หากดทสมการ (7.27) เราจะไดวา minˆTLSJ = −

x x Hθ น $นคอคาความผดพลาดทไดจากการ

ใชตวประมาณคากาลงสองนอยสด ( )1ˆ T T

LS

−= H H H xθ

7.4 ตวประมาณคากาลงสองนอยสดแบบถวงน:าหนก (Weighted Least Squares Estimator)

ในบางกรณของการประมาณคากาลงสองนอยสดน $น เราตองการประมาณคาจากชดขอมลแตละแซมเป$ลโดยใหคาความสาคญในแตละคาแซมเป$ลไมเทากน เราเรยกวธการน$วาเปนการใชตวประมาณคากาลงสองนอยสดแบบถวงน:าหนก(Weighted Least Squares Estimator(Weighted Least Squares Estimator(Weighted Least Squares Estimator(Weighted Least Squares Estimator) ) ) )

โดยใชการคานวณจากฟงกชนเปาหมายจาก (7.12) ทปรบปรงเพมสวนการถวงน$าหนกเราจะได

1

2

0

( ) ( ( ) ( ))N

n

n

J d x n h nθ θ−

=

= −∑ (7.29)

โดยท nd น $นเปนองคประกอบถวงน:าหนก (Weighting(Weighting(Weighting(Weighting FFFFactor)actor)actor)actor) ซงเมอเขยนในรปของเวคเตอร-เมตรกซแลวจะไดวา ( ) ( )( )

TJ = − −x H D x Hθ θ θ (7.30)

โดยทDน $นคอเมตรกซถวงน:าหนก (W(W(W(Weeeeighighighightttted Med Med Med Matrix)atrix)atrix)atrix) ซงมคาในแกนทแยงมมเปนคาขององคประกอบถวงน$าหนก nd

0

1

1

0 0

0 0

0 0 N

d

d

d −

=

D

⋯

⋮ ⋱ ⋮

⋯

(7.31)

โดยวธการเดยวกบขางตนจาก (7.22) เราจะไดวา

( ) ( )( )

2

T

T T T T T T

T T T T T

J = − −

= − − +

= − +

x H D x H

x Dx H Dx x DH H DH

x Dx H Dx H DH

θ θ θ

θ θ θ θ

θ θ θ

(7.32)

และทาการหาอนพนธยอย ( )J∂

∂

θ

θจะได


7-11

( )2 2T TJ∂

= − +∂

H Dx H DHθ

θθ

(7.33)

และเมอเทยบ ( )J∂

∂

θ

θเทากบศนยจะได

( )1ˆ T T−

= H DH H Dxθ (7.34)

ตวอยางท# 7.2 การประมาณคาของระดบไฟตรงA ในสญญาณ ( ) ( )x n A w n= + โดยท ( )w n

น $นเปนสญญาณรบกวนแบบไมมสหสมพนธ(Uncorrelated Noise)ทมความแปรปรวนเปน 2wσ

หากเราให nd มคาเทาๆกนคอ 21/ ( )n wd nσ= กจะทาใหไดวาตวประมาณคาแบบกาลงสองนอยสดน$มคาเปน

1

20

1

20

( )

ˆ1

( )

N

wnN

wn

x n

A

n

σ

σ

−

=−

=

=∑

∑ (7.35)

ซงจะเปนตวประมาณคาแบบ BLUE ทไดกลาวถงไปแลวในบทท 5 △

และเมอแทนคาของ θแบบถวงน$าหนกจาก (7.34) ลงในสมการของ ( )J θ ใน (7.32)

( ) ( )

( ) ( )

( )( ) ( )

( ) ( )( ) ( )

( ) ( )

min

1 1

1 1

1 1

1 1

ˆ( )

ˆ ˆ

WLS

T

WLS WLS

TT T T T

TT T T T T

TTT T T T T

T T T T T T

J J

− −

− −

− −

− −

=

= − −

= − −

= − − = − −

= − −

x H D x H

x H H DH H Dx D x H H DH H Dx

x H H DH H Dx Dx DH H DH H Dx

x Dx H H DH H Dx DH H H H Dx

x I D H H DH H D DH H DH H D

θ

θ θ

( ) ( )

( ) ( )

( ) ( )

( )

( )

1 1

1 1

1 1

1

1

[

]

2 (*)

T T T T T T

T T T T T

T T T T T T T

T T T T

T T T

− −

− −

− −

−

−

= − −

+

= − +

= −

= −

I

x

x D D H H DH H D DH H DH H D

D H H DH H DH H DH H Dx

x D D H H DH H D D H H DH H D x

x D D H H DH H D x

x D DH H DH H D x

��

(7.36)


7-12

โดยในบรรทดทแสดงเครองหมาย(*) และบรรทดสดทายของ (7.36) เราใชคณสมบตสมมาตรของ T =D D เพราะความเปนทแยงมมของเมตรกซ

7.5 การแปลความในเชงเรขาคณตของตวประมาณคากาลงสองนอยสด (Geometric Interpretation of Least Sqaures Estimators)

ตอนน$เราจะมาดกนถงโครงสรางกรรมวธทางดานการหาตวประมาณคาแบบกาลงสองนอยสดดวยวธทแตกตางออกไปท $งน$กเพอใหเกดมมมองใหมเพอนาไปสความเขาใจอกหนงแนวทางทมความสาคญอยางยงเกยวกบตวประมาณคาแบบน$ วธการน$เรยกวาการแปลความในเชงเรขาคณต(Geometrical Interpretation) (Geometrical Interpretation) (Geometrical Interpretation) (Geometrical Interpretation) ของตวประมาณคากาลงสองนอยสด

ในการแสดงความเปนเชงเสนของแบบจาลองน $นเราใหโครงสรางแบบจาลองของสญญาณเปน =s Hθ (7.37)

ซงจะแยกออกมาไดดงน$

1

2

1 2

1

p

p

p

i i

i

θ

θ

θ

θ=

=

=∑

s h h h

h

⋯⋮

(7.38)

ซงจะเหนไดวาแบบจาลองของสญญาณน$แสดงการรวมกนแบบเชงเสน(Linear Combination) ของเวคเตอรของสญญาณ ih โดยมตวอยางของการวเคราะหสญญาณความถดงแสดงขางลาง

ตวอยางท# 7.3 หากเรามสญญาณสองสญญาณทมความถเดยวกนแตเฟสตางกน 90 องศา ปะปนกนอยเราตองการประมาณคาขนาดของสญญาณท $งสองโดยแบบจาลองของสญญาณผลรวมเปน

0 0( ) cos2 sin2 , 0,1,..., 1s n a f n b f n n Nπ π= + = − (7.39)

โดยพารามเตอรทเราตองการประมาณคากคอa และb เราสรางรปแบบของแบบจาลองสญญาณเปนดงสมการ (7.37) คอ =s Hθ ซงกาหนดให


7-13

1 2

0 0

0 0

[ ]

1 0

cos2 sin2

cos2 ( 1) sin2 ( 1)

f f

f N f N

π π

π π

=

= − −

H h h

⋮ ⋮

(7.40)

โดยท 1 0 01 cos2 cos2 ( 1)T

f f Nπ π = − h ⋯

และ 2 0 00 sin2 sin2 ( 1)T

f f Nπ π = − h ⋯ ซงจะทาใหเราได

1 2a b= +s h h (7.41)

คาความผดพลาดกาลงสองนอยสดจะอยในรปแบบมาตรฐานท วไปคอ ( ) ( )( )

TJ = − −x H x Hθ θ θ (7.42)

△

วธการแปลความทางดานเรขาคณตน $นเราจะใชวธการของระยะทางระหวางเวคเตอรโดยตววดคาระยะทางของเวคเตอรทใชกนท วไปกคอความยาวยคลด(Euclidean L(Euclidean L(Euclidean L(Euclidean Length)ength)ength)ength) โดยหากกาหนดเวคเตอร [ ]1 2, , ,

TNx x x=x ⋯ จะไดความยาวยคลดของx เปน

2

1

N

i

i

T

x=

=

=

∑x

x x

(7.43)

หรอซงกคอเปนคารากทสองของผลคณภายใน(Inner Product) ของx เอง ความยาวยคลดของเวคเตอรใดอาจจะเรยกไดอกชอวานอรมท#สอง(2(2(2(2----NNNNorm)orm)orm)orm) ของเวคเตอรน $นดงน $นเราจะไดวาจาก (7.42) เขยนไดเปน

2

2

1

( )

N

i i

i

J

hθ=

= −

= −∑

x H

x

θ θ

(7.44)

น นหมายความวากรรมวธกาลงสองนอยสดน $นเปนการลดคากาลงสองของระยะทางระหวาง

ชดขอมลxและผลรวมของสญญาณ1

N

i iihθ

=∑


7-14

ซงจะเหนชดเจนวาการใชกรรมวธกาลงสองนอยสดน$เทยบเทากบการพยายามลดคาระยะทางท

แตกตางจากเวคเตอรสญญาณ1

N

i iihθ

=∑ หรอกคอผลรวมเชงเสนในแตละคอลมนของH อาจจะมองไดวาการรวมเชงเสนเปนการแสดงรปเวคเตอรในปรภมขนาดN มตซงมชอวา NR และการรวมของเวคเตอรจะอยในบรเวณใดกไดของปรภม NR น $น สวนผลจากการรวมของเวคเตอรจานวน p เวคเตอรโดยท pจะเปนคาท นอยกวาNหรอ( )p N< น $นจะอยไดในปรภมยอย(Subspace)(Subspace)(Subspace)(Subspace) ทเปนของ NR โดยปรภมยอยน$มชอวา pS

และการทHมคณสมบตเปนแบบเตมแรงค(Full rank)(Full rank)(Full rank)(Full rank)เปนสงยนยนวาแตละคอลมนของHน $นเปนอสระเชงเสนตอกนซงมผลทาใหปรภมยอยน $นมมตเปนpจรง

เพอใหเกดความเขาใจในการมองภาพเวคเตอรปรภม NR และปรภมยอย pS มตทเหมาะสมตอการพลอตรปของปรภม NR น $นกคอ 3N = และมตของ pS จะเปน 2p = ดงน $นเมตรกซHน $นจะมเวคเตอร 1h และ 2h เปน

1 2

11 12

21 22

31 32

h h

h h

h h

=

=

H h h

(7.45)

ซงเราจะไดวาสาหรบตวเลอกโดยท วไปของ 1θ และ 2θ น $นไมวาจะเปนคาเทาใดกจะมขอบเขตอยในบรเวณของปรภมยอย pS และโดยท วไป x จะไมอยในปรภมยอย pS น$ โดยโครงสรางของปรภมทรองรบเมตรกซHน $นดงแสดงในรปท 7-3

แผนภมทแสดงในรปท 7-3 แสดงบรเวณแรเงาท 1h และ 2h ทาการแผ((((SSSSpan)pan)pan)pan) ปรภมยอย 2S

รปท# 7-3 แสดงเวคเตอร 1h และ 2h ท#แผปรภมยอย 2S


7-15

เมอการประมาณคาสญญาณดวยแบบจาลองˆ=s Hθ ซงจะอยในปรภมยอย 2S ดวยเพราะมองคประกอบจากเวคเตอร 1h และ 2h ซงจะได sดงแสดงในรปท 7-4

สงทเราจะใชในการคานวณดวยวธกาลงสองนอยสด ( )J θ น $นไดมาจากการหาคากาลงสองของคาผดพลาดของสญญาณชดขอมล xทอยในปรภม 3R และเวคเตอรคาประมาณของแบบจาลองของสญญาณ s ในปรภมยอย 2S หรอ ˆ= −e x s (7.46)

ซงเมอนามาเขยนดงรปท 7-5 เราจะไดวา e น $นเปนออรโธโกนล(Orthogonal)(Orthogonal)(Orthogonal)(Orthogonal)กบ sหรอทกๆเวคเตอรในปรภมยอย 2S ซงเราอาจจะกลาวไดในอกอยางหนงวา sน $นเปนผลมาจากการฉายแบบออรโธโกนล(Orthogonal Projection)(Orthogonal Projection)(Orthogonal Projection)(Orthogonal Projection) ของx ลงบนปรภมยอย 2S

รปท# 7-4 แสดงเวคเตอรแบบจาลองของสญญาณˆ=s Hθ ท#อยในปรภมยอย 2S

รปท# 7-5 แสดงเวคเตอรคาผดพลาด ˆ= −e x s โดยท# s น:นเปนผลมาจากการฉายแบบ

ออรโธโกนล(Orthogonal Pr(Orthogonal Pr(Orthogonal Pr(Orthogonal Projection) ojection) ojection) ojection) ของxลงบนปรภมยอย 2S

การทe น $นเปนออรโธโกนลกบทกๆเวคเตอรในปรภมยอย 2S น $นทาใหเราเขยนไดวา


7-16

( ) 2ˆ S− ⊥x s (7.47)

โดย⊥ คอเครองหมายแสดงความเปนออรโธโกนลซงการท 2S น $นถกแผดวย 1h และ 2h ทาใหเราสามารถเขยนตอไดวา

( )

( )

1

2

ˆ

ˆ

− ⊥

− ⊥

x s h

x s h (7.48)

และการทสองเวคเตอรใดเปนออรโธโกนลกน จะเทยบเทากบผลคณภายในของสองเวคเตอรน $นเปนศนยหรอ

( )

( )

1

2

ˆ 0

ˆ 0

T

T

− =

− =

x s h

x s h (7.49)

ซงเมอ 1 1 2 2ˆ θ θ= +s h h เราจะไดวา

( )

( )

1 1 2 2 1

1 1 2 2 2

0

0

T

T

θ θ

θ θ

− − =

− − =

x h h h

x h h h (7.50)

หรอเขยนในเชงเมตรกซ-เวคเตอรˆ=s Hθ เราไดวา

( )

( )

1

2

0

0

T

T

− =

− =

x H h

x H h

θ

θ

(7.51)

และเมอทาการรวบสมการ (7.51) เปนสมการเดยวเราจะไดวา

( )

( )

1 2T T

T T

T T T T

T T T

T T

− =

− =

− =

=

=

x H h h 0

x H H 0

x H H H 0

x H H H

H x H H

θ

θ

θ

θ

θ

(7.52)

ซงเมอจดรปแบบสมการ (7.52) ใหมจะไดวาตวประมาณคาแบบกาลงสองนอยสด(LSE) น $นไดเปน

( )1ˆ T T−

= H H H xθ (7.53)

และเน องจากเวคเตอรคาผดพลาดสามารถเขยนไดเ ปน = −e x Hθ ดงน $นบรรทดทสอง( )T T− =x H H 0θ ในสมการ (7.52) น $นจะกลายเปน


7-17

T T=e H 0 (7.54)

หรอแสดงวาทแทแลวเวคเตอรคาผดพลาดกออรโธโกนลตอคอลมนของHดวยและนคอทมาของทฤษฎหรอหลกการออรโธโกนล(Orthogonality P(Orthogonality P(Orthogonality P(Orthogonality Principle) rinciple) rinciple) rinciple) หากดจากรปท 7-5 เราจะไดวาฟงกชนเปาหมาย 2

( )J = −x Hθ θ จาก (7.44) จะเปน 2ˆ−x s โดยเมอθถกแทนดวยคาประมาณ θ เราจะไดวา

( ) ( )

( )

( )

2ˆ ˆ( )

ˆ ˆ

ˆ ˆ ˆ ˆ

ˆ ˆ ˆ

ˆ ˆ

ˆ

ˆ

T

T T T T T T

T T T T

T T T T

T T

T

J

=

= −

= − −

= − − +

= − − −

= − −

= −

= −

0

x H

x H x H

x x x H H x H H

x x x H H x H

x x x H H e

x x x H

x x H

θ θ

θ θ

θ θ θ θ

θ θ θ

θ θ

θ

θ

(7.55)

โดยเมอแทนคา ( )1ˆ T T−

= H H H xθ ทไดจาก (7.53) เราจะไดวา

( )( )( )( )

1

min

1

ˆ( ) T T T

T T T

J−

−

= −

= −

x x H H H H x

x I H H H H x

θ

(7.56)

จรงๆแลววธการกาลงสองนอยสดน $นอาจจะแปลความไดวาเปนการประมาณคาเวคเตอรx ในปรภม NR ดวยเวคเตอร sซงไดมาจากการรวมเชงเสนของเวคเตอร 1 2, ,..., ph h h ทแผปรภมยอยขนาดpมต pS

การหาคาตอบของสมการกคอการหาคาของเวคเตอร sทไดมาจากการฉายแบบออรโธโกนลของเวคเตอรx ลงในปรภมยอย pS

สวนทเปน Tih x น $นเทยบเทากบความยาวของเวคเตอรxตามทศทางของเวคเตอร ih โครงสราง

ของ 1 2, ,..., ph h h เองกมสวนชวยใหเปนประโยชนในการสรางระบบเชนการท ih มความเปนออรโธโกนลทาใหการหาคาของเวคเตอรสญญาณ s เปนไปไดอยางสะดวกมากข$นท $งน$เนองจากองคประกอบของ sทอยใน ih หรอîs จะไมมความเกยวของใดๆกบองคประกอบของ sทอยใน jh

หรอˆjs โดยทi j≠

สาหรบเวคเตอร ih และ jh ทเปนออรโธโกนลกนน $นมความหมายของผลคณภายในเปน


7-18

,

0,Ti j

k i j

i j

== ≠

h h (7.57)

โดยทk เปนคาคงทใดๆและความยาวยคลดของ ih (หรอ jh )น $นสามารถเขยนในรปของผลคณภายในไดเปน

2

1

( )N

Ti i i i

n

h n=

= =∑h h h (7.58)

ซงมกรณพเศษคอหากเวคเตอร ih ใดม 1i =h หรอ 1k = หรอ

1,

0,Ti j

i j

i j

== ≠

h h (7.59)

เราจะเรยก ih ดงกลาวน$วาเปนออรโธนอรมล(Or(Or(Or(Orthonormal)thonormal)thonormal)thonormal)

ตวอยางในกรณท ih น$เปนออรโธนอรมลเชนเมอกาหนดใหปรภมยอยมขนาดเทากบ 2 มตหรอ 2p = กจะไดวา 1 2ˆ ˆ ˆ= +s s s (7.60)

และโดยทเราทราบแลววา îθ น $นเปนความยาวของ ix ในทศทางของเวคเตอร ih หรอ

ˆ Ti i iθ = h x (7.61)

ซงทาใหเราไดวาสมการ (7.60) จงเปน

( ) ( )1 1 2 2ˆ T T= +s h x h h x h (7.62)

ในกรณน$หากให 1h และ 2h เปนออรโธโกนลเราจะไดรปเชงเรขาคณตดงแสดงในรปท 7-6


7-19

รปท# 7-6 กรณ 1h และ 2h เปนออรโธโกนลแสดงองคประกอบของ s คอ 1s และ 2s ท#อยในแกน 1h และ 2h ตามลาดบ

จากสมการ (7.62) เราเขยนใหมในรปเวคเตอร-เมตรกซไดวา

1

1 2

2

1

1 2

2

ˆ

T

T

T

T

T

=

=

=

h xs h h

h x

hh h x

h

HH x

(7.63)

และเมอเราเขยน îθ ซงเปนความยาวของ ix ในทศทางของเวคเตอร ih ในรปของเวคเตอรθจะได

1 2

1

1 2

2

ˆ ˆ ˆT

TT

T T

T

T

θ θ =

= =

=

hh x h x x

h

H x

θ

(7.64)

ซงทาใหเขยนสมการ (7.63) ไดเปน ˆˆ =s Hθ (7.65)

หาก 1h และ 2h ถกกาหนดใหเปนออรโธนอรมลแสดงวาผลคณภายในของเมตรกซHน $นเปนเมตรกซเอกลกษณ(Identity Matrix) หรอ

T =H H I (7.66)

และเนองจากคาผกผนของเมตรกซเอกลกษณกจะเปนเมตรกซเอกลกษณดวยเราจงได

วา( )1T −

H H เปน

( ) ( )1 1T − −= =H H I I (7.67)

ซงทาใหการคานวณคาของ θจะไดเปน

( )1ˆ T T

T

−=

=

H H H x

H x

θ (7.68)

ในตวอยางขางลางจะแสดงถงการใชงานการแปลความทางเรขาคณตกบตวอยางท 7.3


7-20

ตวอยางท# 7.4 จากตวอยางท 7.3 เราไดวาจากสมการ (7.39) น $นเมอใหความถ 0f เปน 0

kf

N=

และกาหนดให 1,2, , 12

Nk = −… ดงน $น 1h และ 2h จงเขยนไดเปน

1

2

1 cos2 cos2 ( 1)

0 sin2 sin2 ( 1)

T

T

k kN

N N

k kN

N N

π π

π π

= −

= −

h

h

⋯

⋯

(7.69)

ซงจะไดวา

1

1 20

cos 2 sin 2 0N

T

n

k kn n

N Nπ π

−

=

= = ∑h h (7.70)

และ

12

1 10

12

2 20

cos 22

sin 22

NT

n

NT

n

k Nn

N

k Nn

N

π

π

−

=

−

=

= =

= =

∑

∑

h h

h h

(7.71)

ซงจะเหนวา 1h และ 2h น $นเปนออรโธโกนล(แตไมเปนออรโธนอรมล)และเมอทาการรวมผลลพธท $งสองคาเราไดวา

2

T N=H H I (7.72)

และไดตอเนองวาตวประมาณคากาลงสองนอยสดจะเปน

( )1

1

0

1

0

ˆ

2

2( )cos 2 ˆ

ˆ2( )sin 2

T T

T

N

n

N

n

N

kx n n aN N

bkx n n

N N

π

π

−

−

=

−

=

=

=

= =

∑

∑

H H H x

H x

θ

(7.73)

ซงในกรณทตองการใหคอลมนของH เปนออรโธนอรมลเราจะตองกาหนดตวแปร 1′h และ 2′h โดยท


7-21

1 1

2 2

2

2

N

N

′ =

′ =

h h

h h

(7.74)

และ 1 2 ′ ′ ′=

H h h จะไดวา

1 1 1 1

2 2 2 2

21

21

T T

T T

N

N

′ ′ = =

′ ′ = =

h h h h

h h h h

(7.75)

และ

2T T

N′ ′ = =H H H H I (7.76)

และ

( )

1

1

0

1

0

ˆ

( )cos 2 ˆ

ˆ( )sin 2

T T

T

N

n

N

n

kx n n

aN

bkx n n

N

π

π

−

−

=

−

=

′ ′ ′ ′=

′=

′ = = ′

∑

∑

H H H x

H x

θ

(7.77)

ดงน $นสมการสญญาณทเกยวเนอง ( )s n′ จงจะตองอยในรปตอไปน$

2 2

( ) cos 2 sin 2k k

s n a n b nN N N N

π π ′ ′ ′= +

(7.78)

เพอใหคอลมนของH เปนออรโธนอรมล △

แตโดยท วไปแลว 1h และ 2h จะไมเปนออรโธโกนลดงแสดงในรปท 7-7 กรณ 1h และ 2h ไมเปนออรโธโกนลแสดงองคประกอบของ sคอ 1s และ 2s ทไมอยในแกน 1h และ 2h ตามลาดบ น นทาใหเราไมสามารถใชประโยชนเชงเรขาคณตเพอชวยใหการหาคาตอบสมการงายลงได

ในกรณน$คาประมาณของสญญาณจะอยในรป

1

ˆˆ

( )T T−

=

=

s H

H H H H x

θ (7.79)

โดยท T ≠H H I เหมอนดงในกรณท 1h และ 2h เปนออรโธนอรมลกน


7-22

รปท# 7-7 กรณ 1h และ 2h ไมเปนออรโธโกนลแสดงองคประกอบของ s คอ 1s และ 2s ท#ไมอยในแกน 1h และ 2h ตามลาดบ

แตเมอพจารณาสมการ (7.79) แลวเราจะพบวาคาประมาณของสญญาณหรอ sน $นเปนคาทไดจากการฉายของเวคเตอรx ลงบนปรภมยอยขนาดpมตหรอเทากบมองสมการ (7.79) ไดวา ˆ=s Px (7.80)

โดยทเมตรกซ 1( )T T−=P H H H H น $นมชอเรยกวาเมตรกซการฉายแบบออรโธโกนล(Orthogonal Projection Matrix)(Orthogonal Projection Matrix)(Orthogonal Projection Matrix)(Orthogonal Projection Matrix) หรอเรยกส $นๆวาเมตรกซการฉาย(Projection Matrix)(Projection Matrix)(Projection Matrix)(Projection Matrix) และมคณสมบตดงน$ 1. P มความสมมาตรหรอ T=P P

2. P เปนไอเดมโพเทนท(Idempotent) หรอ 2 =P P

ในคณสมบตขอ 2 ทP ตองเปนไอเดมโพเทนทน$มความสาคญมากเพราะการฉายของPx ในปรภมน $นอกคร $ง(หรอหลายคร $ง)ดวยPน $นควรไดผลทไมแตกตางจากผลการฉายเดม

อกสงหนงทเพมเตมกคอP จะตองเปนซงกลารเมตรกซ(Singular Matrix)(Singular Matrix)(Singular Matrix)(Singular Matrix) หรอเปนเมตรกซทไมสามารถมคาผกผน 1−P ไดเพราะหากมฉะน $นแลวเราจะสามารถคานวณหาคา xมาจากการคานวณกลบจาก sหรอ 1ˆ−=x P sซงในทางความเปนจรงแลวเปนไปไมได! ! ! ! เนองจาก xมไดหลายคาจาก sคาเดยวดงแสดงในรปท 7-8 แสดงการฉายของ 1 2,x x และ 3x ลงบนปรภมยอยดวยออรโธโกนลการฉายเมตรกซP และทใหคา s เดยวกนแสดงการฉายของ 1 2,x x และ 3x ลงบนปรภมยอยดวยออรโธโกนลการฉายเมตรกซP ทใหคา s เดยวกน


7-23

รปท# 7-8 แสดงการฉายของ 1 2,x x และ 3x ลงบนปรภมยอยดวยออรโธโกนลการฉายเมตรกซP และท#ใหคา s เดยวกน

สาหรบเวคเตอรคาผดพลาดระหวางx และ sหรอ ˆ= −e x s น $นจะสามารถเขยนไดเปน

( )

ˆ= −

= −

e x s

I P x (7.81)

กคอการฉายของx ลงไปยงปรภมยอยทเปนปรภมยอยทออรโธโกนลกบ 2S เมตรกซหรอเรยกวาเปนปรภมยอยคอมพลเมนท(Complement(Complement(Complement(Complement SubspaceSubspaceSubspaceSubspace)))) ดวยเมตรกซการฉายอกหนงเมตรกซคอ

⊥ = −P I P (7.82)

ซงมคณสมบตดานความสมมาตรและการเปนไอเดมโพเทนทเหมอนดงเชนเมตรกซการฉายPดงน $นสมการ (7.81) จงเขยนไดเปน ⊥=e P x

คาผดพลาดแบบกาลงสองนอยสดน $นไดเปน

min

2

T

T

T

T T

J

⊥

⊥ ⊥

⊥ ⊥

⊥

=

=

=

=

=

x e

x P x

x P P x

x P P x

P x

(7.83)

หรอเทากบ 2e โดยบรรทดทสามของสมการ (7.83) น $นแยก ⊥P โดยใชความเปนไอเดมโพเทนทคอ ⊥ ⊥ =P P Pและบรรทดทสน $นใชคณสมบตของ ⊥P ในแงความสมมาตรหรอ T⊥ ⊥=P P


7-24

7.6 การหาตวประมาณคากาลงสองนอยสดแบบอนดบวนซ:า (Order-recursive Least Squares Estimators)

โดยท วไปแลวการหาอนดบของตวประมาณคาน $นไมใชเรองงาย วธการโดยท วไปเราจะใชการเปรยบเทยบประสทธภาพของตวประมาณคาในกรณทอนดบทแตกตางกนโดยเลอกอนดบทตาทสดทใหคาทเหมาะสม

ดงน $นตวอยางกคอสมมตวาเรามขอมล ( )x n ทตองการหาคาแบบจาลองโดยไมทราบอนดบของแบบจาลองโดยเราทราบแตเพยงลกษณะของขอมลเปนดงรปท 7-9

0 10 20 30 40 50 60 70 80 90 100-50

0

50

100

150

200

250

n

x(n)

รปท# 7-9 ขอมล ( )x n ท#ตองการหาคาแบบจาลองโดยไมทราบอนดบของแบบจาลอง

หากเราจะตองการทาใหระบบมความสามารถในการประมาณคาและสมมตวาเราไมทราบคาของอนดบของสญญาณสาหรบ 0,1,..., 1n N= − เปน

1

2

( )

( )

s n A

s n A Bn

=

= + (7.84)

ดงน $นการหาคาของตวประมาณคากาลงสองนอยสดน $นจะได

1 1 1

2 2 2

ˆˆ

ˆˆ

=

=

s H

s H

θ

θ

(7.85)


7-25

โดยทเมตรกซสงเกตการณขนาดN K× โดยท 1

1

1

1

=

H⋮

และ 2

1 0

1 1

1 1N

= −

H⋮ ⋮

ซงK เปน

อนดบของตวประมาณคา θ

หากเราทาการประมาณคา ( )s n ดวย 1 1 1ˆ =s H θ และ 2 2 2ˆ =s H θ ซงเฉพาะคาของ 1( )s n ทไดจากคาของตวประมาณคากาลงสองนอยสดน $นจะไดเปน

( )1

1 1 1 1ˆ ( ) T Ts n−

= H H H x (7.86)

ในสวนของ 1 1

1

11 1 1

1

T N

= =

H H ⋯⋮

และ1

10

( )N

T

n

x n−

=

= ∑H x ดงน $น

1

10

1ˆ ( ) ( )

N

n

s n x nN

−

=

= ∑ (7.87)

และสาหรบคาของ

( )1

2 2 2 2ˆ ( ) T Ts n−

= H H H x (7.88)

ดงน $น

11 1

0 02 1 1 1

2

0 0 0

( )

ˆ ( )

( )

N N

n n

N N N

n n n

N n x n

s n

n n nx n

−− −

= =

− − −

= = =

=

∑ ∑

∑ ∑ ∑ (7.89)

เราไดวา

1 1

20 0

1 1

2 20 0

2(2 1) 6ˆ ( ) ( )( 1) ( 1)

6 12ˆ ( ) ( )( 1) ( 1)

N N

n n

N N

n n

NA x n nx n

N N N N

B x n nx nN N N N

− −

= =

− −

= =

−= −

+ +

= − ++ −

∑ ∑

∑ ∑ (7.90)

ซงจากรปท 7-10 น $นแสดงการไดคาประมาณทตวประมาณคามคาอนดบเปน 1 และ 2 โดยเราจะไดวาคาประมาณทไดเปน 1 1

ˆˆ ( )s n A= และ 2 2 2ˆ ˆˆ ( )s n A B n= + ตามลาดบซงคาประมาณจาก


7-26

ระบบทใชพารามเตอร 2 คาหรอ 2( )s n น $นใหคาทถกตองมากกวาทไดจากระบบทมพารามเตอรเดยวหรอ 1( )s n จากกรรมวธของการไดตวประมาณคากาลงสองนอยสดในแตละอนดบน $นเราใชการคานวณ

จาก ( )1ˆ T T−

= H H H xθ ในการคานวณแตละคร $ง

0 10 20 30 40 50 60 70 80 90 100-50

0

50

100

150

200

250

n

x(n)s

1(n)

s2(n)

รปท# 7-10 แสดงการไดคาประมาณโดยใชวธกาลงสองนอยสดโดยท#อนดบของตวประมาณคาเปน 1 (1 (1 (1 ( 1( )ns ))))และ 2 (2 (2 (2 ( 2( )ns ))))

7.6.1 การวนซ:าคาอนดบ (Order–Recursive Method)

ในกรรมวธการวนซ$าคาอนดบ(Order–Recursive) น $นเราจะทาการปรบปรงคา(Update)ของตวประมาณคากาลงสองนอยสดตามคาอนดบซงโดยทแทแลวเราคานวณตวประมาณคากาลงสองนอยสดจากคาเมตรกซสงเกตการณHทมต ( )1N k× + ซงตอไปเราจะใหชอวา 1k+H จากคาตอบทไดมาจากการใชเมตรกซสงเกตการณHทมตN k× ซงตอไปเราจะใหชอวา kH โดยkน $นแสดงจานวนคอลมนหรอมตของH

ต ว อ ย า ง ใ น ก ร ณ ข อ ง 1k = ส ง ท เ ร า จ ะ ท า ต อ ก ค อ ก า ร ข ย า ย ช ว ง จ า น ว น ข อ ม ลสญญาณ0 1n N≤ ≤ − คอมจานวนขอมลN คาโดย 1H และ 2H เดมจาก

[ ]dim1

1

11

1

N

= → ×

H⋮

[ ]dim2

1 0

1 12

1 1

N

N

= → × −

H⋮ ⋮

(7.91)


7-27

เปนชวงขอมล M n M− ≤ ≤ คอ2 1M + ขอมลโดยทM เปนเลขจานวนเตมบวกน นทาใหจากเดมHทมตN k× กลายเปน

[ ]dim1

1

12 1 1

1

M

= → + ×

H⋮

, [ ]dim2

1

1 12 1 2

1

M

MM

M

− − +

= → + ×

H⋮ ⋮

(7.92)

ตามลาดบและทาใหผลคณภายในของปรากฏเปนเมตรกซทแยงมม

2 2 2

2 1 0

0

T M

n M

M

n=−

+ =

∑H H (7.93)

และไดคาตอบวาสาหรบกรณ 1k = น $นเปนเชนเดยวกบ (7.86) คอ 1 1ˆs A= โดยท

1

1ˆ ( )2 1

M

n M

A x nM =−

=+∑ (7.94)

สวน 2k = จะไดจาก (7.88) วาสาหรบ 2 1 2ˆ ˆs A B= + โดยท

2

22

1ˆ ( )2 1

( )ˆ

M

n M

M

n MM

n M

A x nM

nx n

B

n

=−

=−

=−

=+

=

∑

∑

∑

(7.95)

สงเกตอยางหนงวาในขณะทอนดบk เพมจาก1 เปน2 น $นพารามเตอรอนดบแรกจะไมเปลยนไปหรอกคอ 1A ไมเปลยนแปลง การเปลยนแปลงเกดข$นเฉพาะอนดบถดไปคอ 2k = เทาน $นน นแสดงวาการทาใหเปนออรโธโกนลชวยทาใหการเพมอนดบสามารถกระทาไดอยางสะดวก

แตทวาโดยสวนใหญแลวองคประกอบของคอลมนของเมตรกซสงเกตการณH จะไมเปนออรโธโกนลซงกนและกนซงกจะทาใหเราไมสามารถปรบปรงคาHดวยกรรมวธดงกลาวแตเรากจะมกรรมวธทจะเปนการทาใหสามารถสรางเมตรกซสงเกตการณHทมคอลมนเปนออรโธโกนลได

7.6.2 การทาออรโธโกนลแบบแกรม-ชมดท (Gram-Schmidt Orthogonalisation)

โดยความหมายแลว การทาออรโธโกนลแบบแกรม-ชมดท(Gram-Schmidt Orthogonalisation) น $นเปนการสรางเวคเตอรท#ออรโธโกนลกนกบเวคเตอรท#มอยแลว โดยหากมเวคเตอร


7-28

สญญาณ 2h ทไมออรโธโกนลกบเวคเตอรสญญาณ 1h แตเรากสามารถสรางเวคเตอรสญญาณทออรโธโกนลกบ 1h ไดโดยเวคเตอรใหมน$คอ 2′h ดงในรปท 7-11 และโดยอาศยโครงสรางเชงเรขาคณตและการฉายสามารถทาใหเกดการเวคเตอรทเปนออรโธโกนลกบ 2′h ไดเพราะการฉาย 2h ลงบนแกน 2 จะไดเปนเวคเตอรสเทา

รปท# 7-11 แสดงเวคเตอรออรโธโกนล 2′h ท#เกดจากการฉาย 2h ลงบนแกน 2222

ซงแปลวาหากเราใหเวคเตอรสเทาเปนเวคเตอรทอยในทศทางของแกน 1 กจะไดเวคเตอรในแกนท 1 ออรโธโกนลกบ 2′h ได และในข $นตอนน$เรากาหนดใหเวคเตอรดงกลาวน$เปน 1h

รปท# 7-12 แสดงการสรางเวคเตอรออรโธโกนล 2′h ดวยวธแกรม----ชมดท

เราพบวาเราสามารถกาหนดใหเวคเตอร 1q ซงเปนเวคเตอรขนาดหนงหนวย(Unit Vector)

หรอ 1 1=q อยในทศทางของแกน 1 การคานวณเวคเตอร 1q น $นไมเปนปญหาเพราะ

11

1

=h

qh

(7.96)

และสามารถสรางเวคเตอร 2′h ได ( )2 2 1 2 1

T′ = −h h q h q (7.97)


7-29

ในพจน ( )1 2 1Tq h q น $นแสดงถงเวคเตอรทม“ขนาด”เปนผลคณภายในของ 1q กบ 2h และม

“ทศทาง”ในแกน 1q กรรมวธทไดมาซง 2′h แบบน$เรยกวาการทาออรโธโกนลแบบแกรม----ชมดท(Gram(Gram(Gram(Gram----Schmidt OrthogonalisSchmidt OrthogonalisSchmidt OrthogonalisSchmidt Orthogonalisation) ation) ation) ation)

เมอเราสามารถสรางเวคเตอรออรโธโกนลดวยวธแบบแกรม-ชมดทไดดงน $นถงแมวาคอลมนของHคอ 1h และ 2h น $นไมออรโธโกนลกนกจะไมมปญหาใดๆ

กรณ 1 1 1ˆˆ =s H θ เราไดวา

1 1 1ˆˆ θ=s h (7.98)

โดยท 1 1=H h

ตวอยางเชนกรณ 2 มตน $น เราจะมการสรางภาพฉายของมตทเพมข$นมาโดยคอลมนใหมทเกด

จากการเพมมตของ 2 1 2 ′=

H h h น $นจะถก“ฉาย”ลงบนปรภมยอยทออรโธโกนลกบคอลมน

เดมจากมตทนอยกวาทเรยกวา 2′h ดงน $นจงแปลวา 1 2′⊥h h ซงแปลวาสญญาณกาลงสองนอยสดน $นเปน 2 1 1 2 2

ˆ ˆˆ θ θ′ ′= +s h h (7.99)

โดยท 1θ และ 2θ′ น $นเปนคาทไดสาหรบปรภมยอยตามทศทางของ 1h และ 2′h ตามลาดบดงแสดงในรปท 7-13

รปท# 7-13 แสดง 2′h ซ#งออรโธโกนลกบ 1h พรอมท :ง 1θ และ 2θ′

ในกรรมวธของการทาอนดบวนซ$าสาหรบกรณอนดบk ใดๆเราจะไดคาตอบเปน

( )1ˆ T T

k k k k

−= H H H xθ (7.99)

และคาผดพลาดกาลงสองนอยสดสาหรบอนดบk จะเปน


7-30

( ) ( )minˆ ˆ

k

T

k k k kJ = − −x H x Hθ θ (7.100)

ดงน $นโดยการเพมอนดบเปน 1k + จะแสดงถงการเพมคอลมนสาหรบเมตรกซสงเกตการณ kH

ซงหากตองการหาคาปรบปรงของ ˆkθ ใน (7.99) เราจะตองคานวณเทอม( )

1Tk k

−H H กอนซงจาก

คาของ 1k+H

1 1k k k+ + =

H H h (7.101)

เราไดวา

( )

1

1

1 1 1

1

1

1

1 1 1

TkT

k k k kTk

T Tk k k k

T Tk k k k

−

−

+ + +

+

−

+

+ + +

=

=

HH H H h

h

H H H h

h H h h

(7.102)

เราใชสมการความสมพนธของการหาคาผกผนของเมตรกซดวยวธการแบงสวนของเมตรกซ(Inversion by P(Inversion by P(Inversion by P(Inversion by Partitioning) artitioning) artitioning) artitioning) คอหากA เปนเมตรกซขนาดk k× b เปนเวคเตอรขนาด 1k× และc เปนสเกลารเราจะไดวา

1 1

1

1

1

1

1 1

T T

TT

TT

c c c

c

c c c

− −

−

−

−

− − = − − −

bb bbA A b

A b

b bbb A

b A b

(7.103)

หากเราให

1

1 1

Tk k

Tk k

Tk kc

+

+ +

A H H

b H h

h h

≜

≜

≜

(7.104)

ซงเมอเทยบกบสมการ (7.101) แลวเราพบวา (7.101) เขยนไดเปน

( )1

1 1 11 1

11 1 1 1 1 1

1

1 1

Tk kT

k kTk k

Tk kT T T T

k k k k k k k k

+− + +

+ +

++ + + + + +

= − −

T TH hh h

H H

h H Th h h h h H TH h

(7.105)


7-31

โดยท 1

1 1

1 1

T TT k k k kk k T

k k

−

+ +

+ +

= −

H h h HT H H

h h

จากนยามเอกลกษณของวดเบอร#((((WoodWoodWoodWoodbury’s Identity)bury’s Identity)bury’s Identity)bury’s Identity) เพอแยกสวนของพจนของการหาคาผกผนออกจากกนเปน 2 พจน

1 1 1

11

T T

Tc c

− − −−

−

− = + −

bb A bb AA A

b A b (7.106)

กจงไดตอวาเมตรกซ T จาก(7.105) และA , b และ c ใน (7.104) เรากสามารถเขยน (7.105) เปน

( )1

1 1 11 1

11 1 1 1 1 1

1

1 1

Tk kT

k kTk k

Tk kT T T T

k k k k k k k k

+− + +

+ +

++ + + + + +

= − −

D DH hh h

H H

h H Dh h h h h H DH h

(7.107)

โดยท ( )( ) ( )

( )

1 11 1 1

1

1 1 1 1

T T T Tk k k k k k k kT

k kT T T Tk k k k k k k k

− −− + +

−

+ + + +

= +−

H H H h h H H HD H H

h h h H H H H h

หรอหากกาหนดให

( )1T

k k k

−

G H H≜ (7.108)

ดงน $นเราจะไดการปรบคาของ ( )1

1 1 1T

k k k

−

+ + +G H H≜ เปนฟงกชนของ kG ดงแสดงขางลาง

( )

11 1

11

1 1 1 1

11 1

11 1 1 1

1

1 1

1

1 1

k

Tk kT

k k

Tkk kT T T

k k k k k k

Tk kT

k k

Tk kT T

k k k k k

⊥

++ +

++

+ + + +

=

++ +

+ ⊥+ + + +

−

=− −

−

= −

P

D DH hh h

Gh H D

h h h I H DH h

D DH hh h

h H Dh h h P h

��

ɶ ɶ

ɶ

(7.109)

โดยท ( )

1 1

1 1

T Tk k k k k k

k T Tk k k k k

+ +

+ +

= +−

G H h h H GD G

h I H G H h และ 1 1

1 1

T Tk k k k k k

k Tk k k

+ +⊥

+ +

= +G H h h H G

D Gh P h

ɶ


7-32

และจาก (7.109) น $นสวนทนอกแกนทแยงมม(Off(Off(Off(Off----DDDDiagonal) iagonal) iagonal) iagonal) คอ 1

1 1

Tk k

Tk k

+

+ +

DH h

h hจะสามารถเขยน

แยกสวนไดเปน

( )

( )

1 1 1 1 1

1 1 1 1 1 1 1 1 1 1

1 1 1 1

1 1 1 1 1 1

1 1

1 1

T T T T Tk k k k k k k k k k k k k

T T T T T Tk k k k k k k k k k k k k

T T T Tk k k k k k k k k k kT T T Tk k k k k k k k k

T Tk k k k k k kTk k

+ + + + +

+ + + + + + + + + +

+ + + +

+ + + + + +

+ +

+ +

= +−

= +−

= +

DH h G H h G H h h H G H h

h h h h h h h H G H h h h

G H h G H h h H G H h

h h h I H G H h h h

G H h G H h h

h h

( )

1 1

1 1 1 1

1 1 1 1 1 1

1 1 1 1

1 1 1 1 1

1 1 1 1

1 1 1 1( )

T Tk k k k

T Tk k k k k

T T T T Tk k k k k k k k k k k k k k

T Tk k k k k

T T T Tk k k k k k k k k k k

T Tk k k k k

T T Tk k k k k k k k

+ +⊥

+ + + +

⊥+ + + + + +

⊥+ + + +

⊥+ + + + +

⊥+ + + +

⊥ ⊥+ + + +

+=

+=

+ −=

H G H h

h P h h h

G H h h P h G H h h H G H h

h P h h h

G H h h P h h H G H h

h P h h h

G H h h P h h I P h( )

( )

1

1 1 1 1

1 1 1 1 1 1 1

1 1 1 1

1 1 1

1 1 1 1

1

1 1

k

T Tk k k k k

T T T Tk k k k k k k k k k k

T Tk k k k k

T Tk k k k k

T Tk k k k k

Tk k k

Tk k k

+

⊥+ + + +

⊥ ⊥+ + + + + + +

⊥+ + + +

+ + +⊥

+ + + +

+⊥

+ +

+ −=

=

=

h P h h h

G H h h P h h h h P h

h P h h h

G H h h h

h P h h h

G H h

h P h(7.110)

ซงเมอนาไปแทนใน (7.107) แลวจะได

1 1 1

1 1 1 11

1

1 1 1 1

1

T T Tk k k k k k k k k

k T Tk k k k k k

k Tk k k

T Tk k k k k k

+ + +⊥ ⊥

+ + + ++

+⊥ ⊥

+ + + +

+ − =

−

G H h h H G G H hG

h P h h P hG

h H G

h P h h P h

(7.111)

ซงเมอพจารณาจากสมการการหาตวประมาณคากาลงสองนอยสด (7.98) ไดเปน


7-33

1 1 1

1

1

1 1 1 1

1 1 1 1

1 1

1 1 1 1

1 1

ˆ

ˆ

Tk k k

Tk

k Tk

T T T T TT k k k k k k k k k k k

k k T Tk k k k k k

T T Tk k k k kT Tk k k k k k

T Tk k k k k k k

k

+ + +

+

+

+ + + +⊥ ⊥

+ + + +

+ +⊥ ⊥

+ + + +

+ +

=

=

+ − =

− +

−−

=

G H x

HG x

h

G H h h H G H x G H h h xG H x

h P h h P h

h H G H x h x

h P h h P h

G H h h x H G H

θ

θ( )

( )1 1

1

1 1

1 1

1 1

1

1 1

ˆ

T

Tk k k

T T Tk k k k k k k

Tk k k

T Tk k k k k

k Tk k k

Tk k

Tk k k

⊥+ +

+

⊥+ +

⊥+ +⊥

+ +

⊥+⊥

+ +

−

− =

x

h P h

h x H G H x H G H x

h P h

G H h h P x

h P h

h P x

h P h

θ

(7.112)

ซงขอดของวธการดงกลาวน$กคอการทไมตองทากระบวนการหาคาผกผนของเมตรกซ

จากตว อย า งของการ ใช วธก า รวนซ$ าค าอนดบน $นท า ให เ ร า ได ว า จาก 1 1ˆˆ ( )s n A=

และ 2 2 2ˆ ˆˆ ( )s n A B n= + เมอ 0,1,..., 1n N= − เราไดวา

1 1 1 1T = =

H 1⋯ (7.113)

2 1 2 =

H H h (7.114)

โดยท 2h น $นเปน 2 0 1 1T

N = − h ⋯ และได

( )

( )

( )

1

1 1 1 1 1

1

11

0

ˆ ˆ

( )

T T

T T

N

n

A

N x n

x

θ−

−

−−

=

= =

=

=

=

∑

H H H x

1 1 1 x (7.115)

และได1minJ เปน


7-34

( ) ( )

( )

( )

1min 1 1 1 1

21 1 1 1 1 1 1

2 21 1 1

1 1 12 2

1 10 0 0

12 2

1 10

1 2

10

ˆ ˆ

ˆ ˆ ˆ

ˆ ˆ( ) 2

ˆ ˆ( ) 2 ( )

ˆ ˆ( ) 2 ( )

ˆ( )

T

T T T T

T

N N N

n n n

N

n

N

n

J

Nx n N

x n x n

x n x n

x n

θ θ

θ θ θ

θ θ

θ θ

θ θ

θ

− − −

= = =

−

=

−

=

= − −

= − − +

= − +

= − +

= − +

= −

∑ ∑ ∑

∑

∑

x H x H

x x x H H x H H

H x

(7.116)

ถดจากน $นเมอใช 2k = เราไดวา

2 1 2ˆˆ ˆ

T

A B = θ (7.117)

เมอ

( )1

1 1 1 2 2 11

2 1 22

2 1

2 1 2

ˆ

ˆ

T T T

T T

T

T T

θ

− ⊥

⊥

⊥

⊥

−

=

H H H h h P x

h P h

h P x

h P h

θ (7.118)

กอนจะทาการคานวณตอไปเราจะกาหนดความหมายของแตละพจนเพอใหงายในการหาคาตอบเสยกอนดงน$

( )1

1 1

1T

N

−=H H (7.119)

( )

1

1 1 1 1 1

1

T T

T

N

−⊥ = −

= −

P I H H H H

I 11 (7.120)

1

1 T

N

x

⊥ = −

= −

P x x 11 x

x 1

(7.121)

( )2 1 2

1 1

0 0

( )

T T

N N

n n

x

nx n x n

⊥

− −

= =

= −

= −∑ ∑

h P x h x 1

(7.122)


7-35

( )

2 1 2 2 2 2 2

2

2 2 2

21 12

0 0

1

1

1

T T T T

T T

N N

n n

N

N

n nN

⊥

− −

= =

= −

= −

= − ∑ ∑

h P h h h h 11 h

h h h 1 (7.123)

ซงเมอเราแทนคาของสมการ (7.119) ถง (7.123) ใน (7.118) เราจะได

1 1 1

0 0 021 1

2

0 02 1 1

0 021 1

2

0 0

1( )

1

ˆ

( )

1

N N N

n n n

N N

n n

N N

n n

N N

n n

n nx n x nN

x

n nN

nx n x n

n nN

− − −

= = =

− −

= =

− −

= =

− −

= =

− − − =

−

−

∑ ∑ ∑

∑ ∑

∑ ∑

∑ ∑

θ (7.124)

ซงทาใหเราไดอกวา

1

202

2

1 ˆˆ

ˆ

N

n

x nBN

B

−

=

− =

∑θ (7.125)

และเมอ 2B เปนการแทนคามาจาก

1 1

0 02 21 1

2

0 0

( )ˆ

1

N N

n n

N N

n n

nx n x n

B

n nN

− −

= =

− −

= =

−

= −

∑ ∑

∑ ∑

(7.126)

และเราทราบวา

12

0

1

0

( 1)(2 1)

6

( 1)

2

N

n

N

n

N N Nn

N Nn

−

=

−

=

− −=

−=

∑

∑ (7.127)

เมอแทนคาในตวสวนของ (7.126) จะได


7-36

[ ]

2 21 12

0 0

2 2 2

2

2

2

1 ( 1)(2 1) 1 ( 1)

6 2

2 ( 1)(2 1) 3 ( 1)

12

( 1) (4 2) (3 3)

12

( 1)( 1)

12

( 1)

12

N N

n n

N N N N Nn n

N N

N N N N N

N

N N N N

N

N N N

N

N N

− −

= =

− − − − = −

− − − −=

− − − −=

− +=

−=

∑ ∑

(7.128)

และเมอแทนคาลงใน (7.126) จะได 2B เปน

1 1

0 02 2

1

02

1

02

1

02

1 1

20 0

2

( )ˆ

( 1)

12

( 1)( )

2

( 1)

12

12 ( ) 6 ( 1)

( 1)

12 ( )6

( 1)( 1)

12 6 1( ) ( )

( 1)( 1)

6 12( ) (

( 1) ( 1)

N N

n n

N

n

N

n

N

n

N N

n n

nx n x n

BN N

N Nnx n x

N N

nx n x N N

N N

nx nN

xN NN N

Nnx n x n

N N NN N

x n nx nN N N N

− −

= =

−

=

−

=

−

=

− −

= =

−

=−

−−

=−

− −

=−

= −+−

= −+−

=− ++ −

∑ ∑

∑

∑

∑

∑ ∑1 1

0 0

)N N

n n

− −

= =∑ ∑

(7.129)

และไดคาของ 2A เปน


7-37

1

2 20

2

1 1

20 0

1 1

20 0

1 1

20 0 0

1ˆ ˆ

1 ˆ2

1 6 12( ) ( )

2 ( 1) ( 1)

6( 1) 6( 1)( ) ( )

2 ( 1) ( 1)

1 6( 1) 6( 1)( ) ( ) ( )

2 ( 1) ( 1)

N

n

N N

n n

N N

n n

N N N

n n n

A x nBN

Nx B

Nx x n nx n

N N N N

N Nx x n nx n

N N N N

N Nx n x n nx n

N N N N N

−

=

− −

= =

− −

= =

− −

= = =

= −

−= −

− = − − + + −

− −= + −

+ −

− −= + −

+ −

∑

∑ ∑

∑ ∑

∑ ∑1

1 1

20 0

2(2 1) 6( 1)( ) ( )

( 1) ( 1)

N N

n n

N Nx n nx n

N N N N

−

− −

= =

− −= −

+ −

∑

∑ ∑

(7.130)

หรอไดเปน

2

2

2

1 1

20 0

1 1

20 0

ˆˆ

ˆ

2(2 1) 6( 1)( ) ( )

( 1) ( 1)

6 12( ) ( )

( 1) ( 1)

N N

n n

N N

n n

A

B

N Nx n nx n

N N N N

x n nx nN N N N

− −

= =

− −

= =

= − − − + − = − +

+ −

∑ ∑

∑ ∑

θ

(7.131)

สงทเราตองหาตอกคอคาของ2minJ โดยเราสามารถคานวณ

1minkJ

+มาจากการหาคา mink

J โดยทเราใชวธการเดยวกบทไดใน (7.54) คอจาก

( ) ( )

( )

1

2

min 1 1

1 1 1 1

1 1 1 1 1 1 1 1

1 1 1 1 1 1

1 1 1 1

1 1

ˆ

ˆ ˆ

ˆ ˆ ˆ ˆ

ˆ ˆ ˆ

ˆ ˆ

ˆ

k k k

T

k k k k

T T T T T Tk k k k k k k k

T T T Tk k k k k k

T T T Tk k k k

T Tk k

J+ + +

+ + + +

+ + + + + + + +

+ + + + + +

+ + + +

=

+ +

= −

= − −

= − − +

= − − −

= − −

= −

0

x H

x H x H

x x x H H x H H

x x x H H x H

x x x H H e

x x x H

θ

θ θ

θ θ θ θ

θ θ θ

θ θ

θ

��

(7.132)

ซงเปนการใชเงอนไขของ T T=e H 0 ใน (7.53) และโดยการใช minˆ

k

T Tk kJ = −x x x H θ และ

แทน 1ˆk+θ ทไดจาก (7.112) ใน (7.132) จะไดตอวา


7-38

1

min

min 1 1

1 1

1 11

1

1 1

1 1 1 1

1 1

ˆ

ˆ

ˆ

k

k

T Tk k

T Tk k k k k

k Tk k kT T

k k Tk k

Tk k k

T T T T TT T k k k k k k k k k

k k Tk k kJ

J+ + +

⊥+ +⊥

+ ++ ⊥

+⊥

+ +

⊥ ⊥+ + + +

⊥+ +=

= −

− = −

= − − −

x x x H

G H h h P x

h P hx x x H h

h P x

h P h

x H G H h h P x x h h P xx x x H

h P h h

θ

θ

θ��

( )

1 1

1 1 1 1min

1 1

1 1 1 1min

1 1

1 1min

1 1

1 1min

1

k

k

k

k

Tk k k

T T T T Tk k k k k k k k k

Tk k k

T T T T Tk k k k k k k k k

Tk k k

T T Tk k k k k k

Tk k k

T Tk k k kTk k

J

J

J

J

⊥+ +

⊥ ⊥+ + + +

⊥+ +

⊥ ⊥+ + + +

⊥+ +

⊥+ +

⊥+ +

⊥ ⊥+ +

+

+= −

−= −

−= −

= −

P h

x H G H h h P x x h h P x

h P h

x h h P x x H G H h h P x

h P h

x I H G H h h P x

h P h

x P h h P x

h P

( )1

2

1min

1 1k

k

Tk k

Tk k k

J

⊥+

⊥+

⊥+ +

= −

h

h P x

h P h

(7.133)

ซงทาใหได2minJ โดยจากใชคาจาก (7.122) และ (7.123) จงได

( )2 1

1

1

2

2 1min min

2 1 2

21 1

0 0min 21 1

2

0 0

21 1

0 0min 2

( )

1

( )

( 1) 12

T

T

N N

n n

N N

n n

N N

n n

J J

nx n x n

J

n nN

nx n x n

JN N

⊥

⊥

− −

= =

− −

= =

− −

= =

= −

− = −

−

− = −

−

∑ ∑

∑ ∑

∑ ∑

h P x

h P h

(7.134)

7.7 ตวประมาณคากาลงสองนอยสดแบบเปนลาดบ (Sequential Least Squares Estimator)

จากทผานมาเราพบวาคาตอบของตวประมาณคาแบบกาลงสองนอยสด θน $นไดมาจากการคานวณสมการ (7.52) ซงเปนการคานวณโดยใชแซมเป$ลขอมล ( )x n จานวนN คาทเรยงอยใน


7-39

เวคเตอรxหรอ { }(0), (1), , ( 1)x x x N= −x ⋯ ท $งหมดในคร $งเดยววธการแบบน$เรยกวาเปนกรรมวธแบบแบทช(Batch(Batch(Batch(Batch ProcessProcessProcessProcess))))

แตการทางานดานการประมวลผลสญญาณดจตอลโดยท วไปจะมลกษณะการรบขอมลเขามาทละแซมเป$ล ดงน $นการคานวณโดยการใชกรรมวธแบบแบทชจงจาเปนจะตองรอขอมลท $งหมดใหครบถวนกอนเพอจะคานวณ ซงเปนการเสยเวลาในการรอขอมล แตเรากสามารถคานวณคาตวประมาณคาโดยใชขอมล ( )x n ทละแซมเป$ลไดโดยอาศยเฉพาะคาทเพมเขามาเฉพาะตาแหนงทn N= หรอ ( )x N โดยไมตองคานวณสมการ (7.52) ใหมทกๆคร $ง

กรรมวธททาใหไดคาของ θ โดยวธน$จะเรยกวาเปนวธการหาตวประมาณคากาลงสองนอยสดแบบเปนลาดบ(Sequential Least Squares(Sequential Least Squares(Sequential Least Squares(Sequential Least Squares Estimation)Estimation)Estimation)Estimation)

ตวอยางทเราพจารณากคอการประมาณคาของระดบไฟตรงA ในสญญาณ ( ) ( )x n A w n= +

โดยทเราไดวาสาหรบ { }(0), (1), , ( 1)x x x N= −x ⋯ แลวตวประมาณคาแบบกาลงสองนอยสดทเวลา 1n N= − จะไดเปน

1

0

1ˆ( 1) ( )N

n

A N x nN

−

=

− = ∑ (7.135)

โดยทคา 1n N= − แสดงถงคาดชนของขอมลทเราพจารณาในเวลาลาสด

และเมอมแซมเป$ลขอมลใหมเขามาทเวลาn N= แลวกจะพบวาเราได

0

1

0

1

0

ˆ( 1)

1( ) ( )

1

1( ) ( )

1

1 1( ) ( )

1 1

1( 1) ( )

1 1

N

n

N

n

N

n

A N

A N x nN

x n x NN

Nx n x N

N N N

NA N x N

N N

=

−

=

−

=

= −

=+

= + +

= ++ +

= − ++ +

∑

∑

∑��

(7.136)

ซงจะเหนวาในเทอมแรกน $นเปนผลลพธการคานวณของตวประมาณคากาลงสองนอยสดในกรณท 1n N= − หรอไดวา ( )A N น $นไดมาจาก ( 1)A N − ทจะนาไปประมวลผลรวมกบแซมเป$ลใหมทไดจากคา ( )x N หรอหากเขยนใหมกจะไดวา


7-40

( )

1ˆ ˆ( ) ( 1) ( )1 1

1 1 1( 1) ( )

1 1

1 1ˆ ˆ( 1) ( 1) ( )1 1

1ˆ ˆ( 1) ( ) ( 1)1

NA N A N x N

N N

NA N x N

N N

A N A N x NN N

A N x N A NN

= − ++ +

+ −= − +

+ +

= − − − ++ +

= − + − −+

(7.137)

หรอเขยนไดเปนในรปแบบทแสดงถงการปรบปรงคาของคาใหม(New Value)จากคาเกา(Old Value)

( )New value Old value ErrorGain

1ˆ ˆ ˆ( ) ( 1) ( ) ( 1)1

A N A N x N A NN

= − + − −+��

(7.138)

สงเกตวาตวประมาณคาใหม ( )A N น $นเปนคาทไดจากตวประมาณคาเกา ( 1)A N − ในขณะทมสวนของการปรบปรงคาทไดจากการคานวณความแตกตางจากแซมเป$ลขอมลลาสด ( )x N และคาประมาณคาเกา ( 1)A N −

ซงคาประมาณคาเกา ( 1)A N − น $นเปนการทานายผลของคาจรงA จากชดขอมลต $งแตเวลาเรมจนถง 1N − และการหาคาผดพลาด ˆ( ) ( 1)x N A N− − น $นเปนการแสดงการปรบคาของ

( 1)A N − จาก ( )x N ซงหากคาผดพลาดน$เปนศนยกจะไมมการปรบคาน$อกตอไป ในสวนของอตราขยายสาหรบสวนคาผดพลาดน$ทเปนสวนกลบของ 1N + น $นแสดงวาการแกไขคาน$จะลดลงตามคาของN ซงแสดงวาการใหน$าหนกในการปรบไปอยทคาประมาณ ( 1)A N − มากกวาสวนท เ ปนคาผดพลาด ˆ( ) ( 1)x N A N− − ซงสมเหตสมผลเพราะ ( 1)A N − เ ปนผลการประมาณทไดมาจากการสะสมขอมลทมจานวนมากข$นตามลาดบมากกวาคาผดพลาดทไดขอมลใหมมาจากขอมลตาแหนงลาสดเพยงตาแหนงเดยวหรอ ( )x N

7.7.1 การหาฟงกชนเปาหมายคาผดพลาดกาลงสองนอยสดแบบลาดบ

สวนของฟงกชนเปาหมายคาผดพลาดกาลงสองนอยสดแบบลาดบกสามารถใชวธเดยวกบการหาตวประมาณคากาลงสองนอยสดแบบลาดบเชนกนสาหรบแซมเป$ลขอมลจนกระท งถง 1N −

น $นจะไดคาผดพลาดเปน min( 1)J N − และกรณทแซมเป$ลขอมลเปนจานวนN

( )

( )

1 2

min0

2

min0

ˆ( 1) ( ) ( 1)

ˆ( ) ( ) ( )

N

n

N

n

J N x n A N

J N x n A N

−

=

=

− = − −

= −

∑

∑ (7.139)


7-41

และสาหรบเมอเวลาN จะได

( )

( ) ( )

( ) ( )

( )

min

2

min0

1 2 2

0

21 2

0

1 12

0 0

0( 1)

ˆ( ) ( ) ( )

ˆ ˆ( ) ( ) ( ) ( )

1ˆ ˆ ˆ( ) ( 1) ( ) ( 1) ( ) ( )1

2ˆ ˆ( ) ( 1) ( ) ( 1)1

N

n

N

n

N

n

N N

n n

J N

J N x n A N

x n A N x N A N

x n A N x N A N x N A NN

x n A N x n A NN

=

−

=

−

=

− −

= =

=−

= −

= − + −

= − − − − − + − +

= − − − − − +

∑

∑

∑

∑ ∑��

( )( ) ( )

1 2 2

20

ˆ( ) ( 1)

1 ˆ ˆ( ) ( 1) ( ) ( )1

N

n

x N A N

x N A N x N A NN

−

=

− −

+ − − + −+

∑

��

(7.140)

สงเกตวาในพจนแรกของดานขวาของสมการท (7.140) น $นมความหมายเปน min( 1)J N − สวน

ในพจนทสองทเปนศนยน $นเนองจากหากแทนคาของ1

0

1ˆ( 1) ( )N

n

A N x nN

−

=

− = ∑ จาก (7.135) ลง

ไปในแลวจะพบวาพจนทสองน$ไดเปนศนยเนองจาก

1 1 1 1

0 0 0 0

1 1

0 0

0

1ˆ ˆ ˆ( ) ( 1) ( ) ( 1) ( ) ( ) ( ) ( 1)

ˆ( ) ( ) ( ) ( 1)

0

N N N N

n n n n

N N

n n

x n A N x N A N x n x n x N A NN

Nx n x n x N A N

N

− − − −

= = = =

− −

= =

=

− − − − = − − −

= − − −

=

∑ ∑ ∑ ∑

∑ ∑��

และเทอมสดทายของ (7.140) จะไดเปน

( ) ( )

( )( ) ( )( )( )

( )( )

22

2

2

22

2

1ˆ ˆ ˆ( ) ( ) ( ) ( 1) ( ) ( 1)1

ˆ ˆ1 ( ) ( 1) ( ) ( 1)

1

ˆ( ) ( 1)

1

x N A N x N A N x N A NN

N x N A N x N A N

N

N x N A N

N

− = − − − − − +

+ − − − − −=

+

− −=

+

(7.141)

ซงเมอนาไปแทนใน (7.140) จะไดวา


7-42

( )( )

( )( )

( )( )

( )( )

( )( )

( )

1 2

min min 20

22

2

2

min 2

22

2

2 2

min 2

2

min

1 ˆ( ) ( 1) ( ) ( 1)1

ˆ( ) ( 1)

1

ˆ( ) ( 1)( 1)

1

ˆ( ) ( 1)

1

ˆ( 1) ( ) ( 1)1

ˆ( 1) ( ) ( 1)1

N

n

J N J N x N A NN

N x N A N

N

N x N A NJ N

N

N x N A N

N

N NJ N x N A N

N

NJ N x N A N

N

−

=

= − + − −+

− −+

+

− −= − +

+

− −+

+

+= − + − −

+

= − + − −+

∑

(7.142)

เปนทนาสงเกตวาในเรองของตวประมาณคากาลงสองนอยสดแบบลาดบน $นคาของ min( )J N น $นจะมคาเทากบหรอมากกวา min( 1)J N − น นเปนเพราะการหาคาประมาณ min( )J N น $นมพารามเตอรเทาเดมสาหรบจานวนแซมเป$ลขอมลทมากกวา min( 1)J N −

7.7.2 การหาตวประมาณคากาลงสองนอยสดถวงน:าหนกแบบลาดบ

จากเรองการประมาณคากาลงสองนอยสดแบบถวงน$าหนกใน (7.28) น $นเราใชฟงกชนเปาหมายเปน

1

2

0

( ) ( ( ) ( ))N

n

n

J d x n h nθ θ−

=

= −∑ (7.143)

ซงทาใหเราไดคาตอบของตวประมาณคาเปนดง (7.34) โดยให2

1

( )n

w

dnσ

= ซงจะไดเมตรกซ

ของคาถวงน$าหนกเปน

2

0

1 2

1

2

10 0

(0)0 01

0 0 0 0(1)

0 01

0 0( 1)

w

w

N

w

d

d

d

N

σ

σ

σ

−

= = −

D

⋯⋯

⋮ ⋱ ⋮⋮ ⋱ ⋮

⋯⋯

(7.144)

โดยเมอเราใหคาเปนการประมาณทเวลา 1N − จะไดเปน


7-43

1

201

20

( )

( )( 1)

1

( )

N

wnN

wn

x n

nA N

n

σ

σ

−

=−

=

− =∑

∑ (7.145)

และเมอเราใชวธการเดยวกบทผานมาเราจะไดดงน$วา

20

20

1

2 20

20

1

2 20

2 20 0

2 2 20

20

( )

( )( )

1

( )

( ) ( )

( ) ( )

1

( )

1 ( )( 1)( ) ( )

1 1

( ) ( )

1 1 ( )( 1)( ) ( ) ( )

1 1

( )

N

wnN

wn

N

w wnN

wn

N

wn wN N

w wn n

N

w wn wN

wn

x n

nA N

n

x n x N

n N

n

x NA N

n N

n n

x NA N

n n N

n

σ

σ

σ σ

σ

σ σ

σ σ

σ σ σ

σ σ

=

=

−

=

=

−

=

= =

=

=

=

+

=

− = +

− − = +

∑

∑

∑

∑

∑

∑ ∑

∑

∑ 20

2 2

2 20 0

( )

1 ( )( 1)

( ) ( )ˆ( 1)1 1

( ) ( )

N

wn

w wN N

w wn n

n

x NA N

n NA N

n n

σ σ

σ σ

=

= =

−

= − − +

∑

∑ ∑

(7.146)

ซงเมอจดรปแบบใหมเราไดวา

( )2

20

1

( )ˆ ˆ ˆ( ) ( 1) ( ) ( 1)1

( )

wN

wn

NA N A N x N A N

n

σ

σ=

= − + − −

∑ (7.147)

ซงจะเหนไดในทนทวาหาก 2 2( )w wnσ σ= สาหรบทกๆคาของn แลว เราจะไดวา


7-44

( )

( )

2

2

1

ˆ ˆ ˆ( ) ( 1) ( ) ( 1)1

( 1)

1ˆ ˆ( 1) ( ) ( 1)1

w

w

A N A N x N A N

N

A N x N A NN

σ

σ

= − + − −+

= − + − −+

(7.148)

ซงเปนคาเดยวกบทไดจากสมการ (7.137) ซงหมายความวาการใชประมาณคาแบบกาลงสองนอยสดแบบถวงน$าหนกน $นเปนการขยายความจากการประมาณคาแบบทไมมการใชน$าหนกถวง

ยอนกลบไปดทสมการ (7.147) สงเกตคาอตราขยายทคณกบสวนของคาผดพลาดน $นหากใหมคาเปน

2

20

1

( )( )

1

( )

wN

wn

NG N

n

σ

σ=

=

∑ (7.149)

กจะแสดงถงวาคาของสวนอตราขยาย ( )G N น$ข$นกบความแปรปรวน 2 ( )w Nσ ของแซมเป$ลขอมลลาสด ( )x N ทไดเขามา อยาลมวาขณะน$เรากาลงตองการประมาณคาของระดบไฟตรงA ในสญญาณ ( ) ( )x n A w n= + โดยท ( )w n น $นเปนสญญาณรบกวนแบบทแตละแซมเป$ลไมมสหสมพนธในตวเองและมความแปรปรวนเปน 2 ( )w nσ สงเกตวาหากเราแบงระดบกาลงของความแปรปรวนของ ( )x N เปน 2 กรณคอ

1 กรณแซมเป: ลขอมลลาสด ( )x N มกาลงสญญาณรบกวนมาก หรอ 2 ( )w Nσ →∞

กรณน$ ( )x N ใหคาความแปรปรวนมากหรอมความนาเชอถอนอยจงไมควรนา ( )x N มาใชเพอหาตวประมาณคากาลงสองนอยสดและตวประมาณคาทไดจาก (7.147) จงเปน

( )1

20

0ˆ ˆ ˆ( ) ( 1) ( ) ( 1)1

0( )

ˆ( 1)

N

wn

A N A N x N A N

n

A N

σ

−

=

= − + − −

+

= −

∑ (7.150)

หรอกคอการทตวประมาณคาเดมไมเปลยนแปลง

2 กรณแซมเป: ลขอมลลาสด ( )x N มสญญาณรบกวนนอยหรอ 2 ( ) 0w Nσ →

กรณน$ ( )x N ใหคาความแปรปรวนนอยแสดงวา ( )x N เขาใกลคาจรงมากข$นมความนาเชอถอมาก ดงน $นจงควรใช ( )x N เพอหาตวประมาณคากาลงสองนอยสด


7-45

( )

( )

1

20

ˆ ˆ ˆ( ) ( 1) ( ) ( 1)1

( )

ˆ ˆ( 1) ( ) ( 1)

( )

N

wn

A N A N x N A N

n

A N x N A N

x N

σ

−

=

∞= − + − −

+∞

= − + − −

=

∑

(7.151)

น นคออตราขยายในทน$ทาหนาทปรบปรงคาตามความนาเชอถอของแซมเป$ลลาสด ( )x N

ในตวอยางท 5.2 ในบทท 5 น $นเราไดแสดงใหเหนวาตวประมาณคาแบบ BLUE น $นใหคาตวประมาณสาหรบไฟตรงในสญญาณทถกรบกวนดวยสญญาณรบกวนทไมทราบคา pdf ไดจากสมการ (5.46)

1

210

1 1

20

( )

( )ˆ1

( )

N

Twn

T N

wn

x n

nA

n

σ

σ

−

−=

− −

=

= =∑

∑

x

x

1 C x

1 C 1 (7.152)

ซงเมอเทยบกบสมการตวประมาณคาแบบตวประมาณคากาลงสองนอยสดใน (7.145) จะเหนวาตวประมาณคาแบบกาลงสองนอยสดน $นกคอตวประมาณคา BLUE น นเอง

ดงน $นเราจงสามารถไดคาความแปรปรวนของตวประมาณคากาลงสองนอยสดจาก BLUE ไดเปนดงใน (5.47)

( ) 1

20

1ˆvar1

( )

N

wn

A

nσ

−

=

=

∑ (7.153)

และเราไดอตราขยายสาหรบขอมลแซมเป$ลทN เปน

( )

( )( )

2

20

2

2

2

1

( )( )

1

( )

1

( )1 1

ˆ( ) var ( 1)

ˆvar ( 1)

ˆvar ( 1) ( )

wN

n w

w

w

w

nG N

n

n

N A N

A N

A N N

σ

σ

σ

σ

σ

=

=

=+

−

−=

− +

∑

(7.154)


7-46

ซงจาก (7.154) น $นแสดงวาอตราขยาย ( )G N น $นมคาแปรตามคาความแปรปรวนโดยในกรณ 2 ( ) 0w Nσ → น $นมความหมายวา 2 ( )w Nσ น $นนอยลงเขาใกล 0 และเราสามารถใชประโยชนจากขอมลแซมเป$ลใหม ( )x N ทเขามาและจะได ( )G N เขาใกล 1 แตหาก 2 ( )w Nσ →∞มความหมายวา 2 ( )w Nσ น $นมคามากเมอเทยบกบความแปรปรวนของตวประมาณคา ( 1)A N − คอ ( )ˆvar ( 1)A N − คาของ ( )G N จะเขาใกล 0

ความแปรปรวนสาหรบ ( )A N จะไดเปน

( )

( )

( )( )

( ) ( )( )

( )

( )( )

20

1

2 20

2

2

2

2

2

2

1ˆvar ( )1

( )

1

1 1

( ) ( )

11 1

ˆ ( )var ( 1)

ˆ( )var ( 1)

ˆvar ( 1) ( )

ˆ ˆvar ( 1) ( ) var ( 1)ˆvar ( 1)

ˆvar ( 1) ( )

ˆvar ( 1)1

ˆvar ( 1) ( )

N

wn

N

w wn

w

w

w

w

w

w

A N

n

n N

NA N

N A N

A N N

A N N A NA N

A N N

A N

A N N

σ

σ σ

σ

σ

σ

σ

σ

σ

=

−

=

=

=

+

=+

−

−=

− +

− + − − = −− +

−= − − +

∑

∑

( )

[ ] ( )

ˆvar ( 1)

ˆ1 ( ) var ( 1)

A N

G N A N

−

= − − (7.155)

ซงแสดง ( )ˆvar ( )A N ในรปของ ( )ˆvar ( 1)A N − ผานทางอตราขยาย ( )G N

จากขอพจารณาขางตนท $งหมดทาใหเราสรปการปรบปรงคาของพารามเตอรไดวาการปรบปรงคาของคาประมาณจะเปน

( )ˆ ˆ ˆ( ) ( 1) ( ) ( ) ( 1)A N A N G N x N A N= − + − − (7.156)

โดยทคาอตราขยาย ( )G N มการปรบปรงคาเปน

( )( ) 2

ˆvar ( 1)( )

ˆvar ( 1) ( )w

A NG N

A N Nσ

−=

− + (7.157)


7-47

ความแปรปรวนมการปรบปรงคาเปน

( ) [ ] ( )ˆ ˆvar ( ) 1 ( ) var ( 1)A N G N A N= − − (7.158)

โดยมคาเรมตน (Initial values) ของการวนซ$าคอ

( ) 2

ˆ(0) (0)

ˆvar (0) ( )w

A x

A nσ

=

= (7.159)

ดตวอยางของการใชกรรมวธการปรบปรงคาตวประมาณคาแบบวนซ$าของการประมาณคาไฟตรงในสญญาณรบกวนโดยอาศยMATLAB Codes(ch7_2.m) ทแสดงใน Appendix 7.A เมอใหคาจรงของไฟตรง 10A = และความแปรปรวน 2 ( ) 100w nσ = และใชจานวนอองซามเบ$ลเทากบ 100

0 10 20 30 40 50 60 70 80 90 1000

2

4

6

8

10

12

Current Sample N

Est

imat

e an

d T

rue

Val

ue o

f A

EstimateTrue Value

รปท# 7-14 แสดงการลเขาของการวนซ:าเพ#อประมาณคาของคาไฟตรงท#มคาจรง

เปน 10A =

0 10 20 30 40 50 60 70 80 90 1000

20

40

60

80

100

120

Current Sample N

Var

(Aes

t(N))


7-48

รปท# 7-15 แสดงความแปรปรวนท#ลดลงจากการวนซ:า

0 10 20 30 40 50 60 70 80 90 1000

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

0.5

Current Sample N

Gai

n(N

)

รปท# 7-16 แสดงอตราขยายท#ลดลงจากการวนซ:า

สงเกตดความเรวในการลเขาหาคาตอบ(Convergence R(Convergence R(Convergence R(Convergence Rate) ate) ate) ate) ของตวประมาณคาจากการวนซ$าทถงแมความแปรปรวนเรมตนจะมากถง 100 กตามกยงคงใหการลเขาทรวดเรวโดยจะประมาณวาการลเขาจะเกดข$นทประมาณแซมเป$ลท 40

สงเกตวาในกราฟความแปรปรวน ( )ˆvar ( )A N และอตราขยาย ( )G N มการลดลงตามแซม

เป$ลN ทเพมข$นท $งน$เปนเพราะจาก (7.155) เมอ 2 ( ) 100w nσ =

( )2

0 0

1 1 100ˆvar ( )1 1 1

( ) 100

N N

n nw

A NN

nσ= =

= = =+

∑ ∑ (7.160)

และเมอ 100N = เราจะได ( )ˆvar (100) 0.9901A = สวนอตราขยายจาก (7.157) เราจะไดวา

( )( ) 2

ˆvar ( 1)( )

ˆvar ( 1) ( )

1001

100 1100

w

A NG N

A N N

N

NN

σ

−=

− +

= =++

(7.161)

ซงกปรากฏเปนการลดคาลงตามคาของN ทเพมข$น

สาหรบ minJ แลวเราไดจาก (7.140) วา


7-49

( )

( ) ( )

( )( ) ( )

( )

2

min0

1 2 2

0

1 2 2

0

1 12

0 0

0

ˆ( ) ( ) ( )

ˆ ˆ( ) ( ) ( ) ( )

ˆ ˆ ˆ( ) ( 1) ( ) ( ) ( 1) ( ) ( )

ˆ ˆ ˆ( ) ( 1) 2 ( ) ( ) ( 1) ( ) ( 1)

N

n

N

n

N

n

N N

n n

J N x n A N

x n A N x N A N

x n A N G N x N A N x N A N

x n A N G N x n A N x N A N

G

=

−

=

−

=

− −

= =

=

= −

= − + −

= − − − − − + −

= − − − − − − −

+

∑

∑

∑

∑ ∑��

( ) ( )1 2 2

2

0

ˆ ˆ( ) ( ) ( 1) ( ) ( )N

n

N x N A N x N A N−

=

− − + −∑

(7.162)

และเฉพาะเทอมสดทายจะเปน

( ) ( )( )

( ) ( )

22

22

ˆ ˆ ˆ( ) ( ) ( ) ( 1) ( ) ( ) ( 1)

ˆ1 ( ) ( ) ( 1)

x N A N x N A N G N x N A N

G N x N A N

− = − − − − −

= − − −

(7.163)

เมอแทนคาลงใน (7.162) แลวเราจะได

( )

( ) ( )

( )

( ) ( )

( ) ( )

1 22min min

0

22

22min

22

222min

ˆ( ) ( 1) ( ) ( ) ( 1)

ˆ1 ( ) ( ) ( 1)

ˆ( 1) ( ) ( ) ( 1)

ˆ1 ( ) ( ) ( 1)

ˆ( 1) ( ) 1 ( ) ( ) ( 1)

N

n

J N J N G N x N A N

G N x N A N

J N NG N x N A N

G N x N A N

J N NG N G N x N A N

−

=

= − + − −

+ − − −

= − + − −

+ − − −

= − + + − − −

∑

(7.164)

แลวแทนคา ( )( ) 2

ˆvar ( 1)( )

ˆvar ( 1) ( )w

A NG N

A N Nσ

−=

− +จาก (7.157) ได

( ) ( )

( )

( )( )

222min min

2 42

min 22

ˆ( ) ( 1) ( ) 1 ( ) ( ) ( 1)

ˆvar ( 1) ( )ˆ( 1) ( ) ( 1)

ˆvar ( 1) ( )

w

w

J N J N NG N G N x N A N

N A N NJ N x N A N

A N N

σ

σ

= − + + − − −

− += − + − −

− +

(7.165)

จากเรองของตวประมาณคากาลงสองนอยสดแบบถวงน$าหนกซงมฟงกชนเปาหมายเปนดงในสมการ (7.29) โดยหากเรากาหนดใหเมตรกซถวงน$าหนก(Weighted Matrix) ซงมคาเปนDน $น


7-50

เปนคาผกผนของเมตรกซความแปรปรวนรวมหรอ 1−=D C จะไดวาจาก (7.29) จะไดฟงกชนเปาหมายเปน ( ) ( )1T

J −= − −x H C x Hθ θ (7.166)

ซงจะใหรปแบบของสมการของตวประมาณคาเปนเชนเดยวกบทไดจากตวประมาณคา BLUE ใน (5.61) ดงน $นเราไดตวประมาณคากาลงสองนอยสดแบบถวงน$าหนกจาก (7.33) เปน

( )11 1ˆ T T−− −= H C H H C xθ (7.167)

และเนองจากC เปนเมตรกซความแปรปรวนรวมของสญญาณรบกวนทมคาเฉลยเปนศนยเราจะไดความแปรปรวนรวมของตวประมาณคา θจากวธการในการหา BLUE ไดตาม (5.62) เปน ( )

11ˆ

T −−=C H C Hθ

(7.168)

หากในกรณทC เปนเมตรกซทแยงมมซงมความหมายวาสญญาณรบกวนน $นไมมสหสมพนธในเชงเวลากนระหวางแซมเป: ลซงทาใหกจะสามารถใชการคานวณแบบลาดบเพอคานวณตวประมาณคาใน (7.166) ได ดงน $นเราจะเรมการคานวณโดยกาหนดใหเมตรกซความแปรปรวนรวม ( )nC เมตรกซสงเกตการณ ( )nH และเวคเตอรของชดขอมล ( )nx เปนฟงกชนของเวลาn ดงแสดงในสมการขางลางน$

( ) ( ) ( )[ ]

( )[ ]

dim2 2 2

dim

dim

( ) diag (0), (1), , ( ) 1 1

( 1)( )

1( )

( ) (0) (1) ( ) 1 1

w w w

T

T

n n n n

n pnn

pn

n x x x n n

σ σ σ= → + × +

×− = → ×

= → + ×

C

HH

h

x

⋯

⋯

(7.169)

ซงสงเกตวาตวประมาณคากาลงสองนอยสดแบบถวงน$าหนก θน $นข$นอยกบ ( )nx หรอหากพดใหถกตองกคอแซมเป$ลชดขอมล ณ เวลาท 1n + ดงน $นเมอใชกรรมวธแบบแบทชเราจะไดวา

( )11 1

11

2

1

2

( ) ( ) ( ) ( ) ( ) ( ) ( )

( 1) ( 1)( 1) ( )

( ) ( )

( 1) ( 1)( 1) ( )

( )( )

T T

T

T Tw

T

Tw

n n n n n n n

n nn n

n n

n nn n

x nn

σ

σ

−− −

−−

−

=

− − = −

− − ⋅ −

H C H H C x

C 0 HH h

0 h

C 0 xH h

0

θ

(7.170)


7-51

ท $งน$เนองจากการเปนเมตรกซทแยงมมของ ( )nC ทาใหสามารถทาใหหาคาผกผนไดงาย

1

12

12

1( ) ( 1) ( 1) ( 1) ( ) ( )

( )

1( 1) ( 1) ( 1) ( ) ( )

( )

T T T

w

T

w

n n n n n nn

n n n n x nn

σ

σ

−

−

−

= − − − +

⋅ − − − +

H C H h h

H C x h

θ

(7.171)

หากใหเมตรกซของความแปรปรวนรวมของ ( 1)n −θ เปน

( )11( 1) ( 1) ( 1) ( 1)Tn n n n

−−− = − − −H C HΣ (7.172)


1

12

12

1( ) ( 1) ( ) ( )

( )

1( 1) ( 1) ( 1) ( ) ( )

( )

T

w

T

w

n n n nn

n n n n x nn

σ

σ

−

−

−

= − +

⋅ − − − +

h h

H C x h

θ Σ

(7.173)

หากใหเมตรกซของความแปรปรวนรวมของ ( )nθ เปน ( )nΣ เปนสวนของพจนแรกของดานขวาของสมการโดยวธการเอกลกษณของวดเบอรรเชนใน (7.106)

( )

1

12

12

1( ) ( 1) ( ) ( )

( )

( 1) ( ) ( ) ( 1)( 1)

( ) ( ) ( 1) ( )

( ) ( ) ( 1)

T

w

T

Tw

T

n n n nn

n n n nn

n n n n

n n n

σ

σ

−

−

−

= − +

− −= − −

+ −

= − −

h h

h h

h h

I K h

Σ Σ

Σ ΣΣ

Σ

Σ

(7.174)

โดยท

2

( 1) ( )( )

( ) ( ) ( 1) ( )Tw

n nn

n n n nσ

−=

+ −

hK

h h

Σ

Σ (7.175)

และจาก (7.170) เราไดวา

( )

11 1

1

( 1) ( 1) ( 1) ( 1) ( 1) ( 1) ( 1)

( 1) ( 1) ( 1) ( 1)

T T

T

n n n n n n n

n n n n

−− −

−

− = − − − − − −

= − − − −

H C H H C x

H C x

θ

Σ

(7.176)

ซงเมอคณทางดานซายของสมการ (7.176) ดวย 1( 1)n− −Σ จะได

1 1ˆ( 1) ( 1) ( 1) ( 1) ( 1)Tn n n n n− −− − = − − −H C xθΣ (7.177)

ซงเมอแทนคาจาก (7.174) และ (7.177) ลงใน (7.173) เราไดวา


7-52

( )

12

( ) ( ) ( ) ( 1)

1ˆ( 1) ( 1) ( ) ( )( )

T

w

n n n n

n n n x nnσ

−

= − −

⋅ − − +

I K h

h

θ

θ

Σ

Σ

(7.178)

ซงเปนสมการของ ( )nθ ทอยในรปของ ( 1)n −θ ซงเมอทาตอจะได

( )

12

2

2

( ) ( 1) ( ) ( ) ( 1)

1ˆ( 1) ( 1) ( ) ( )( )

1ˆ ˆ( 1) ( ) ( ) ( 1) ( 1) ( ) ( )( )

1( ) ( ) ( 1) ( ) ( )

( )

T

w

T

w

T

w

n n n n n

n n n x nn

n n n n n n x nn

n n n n x nn

σ

σ

σ

−

= − − −

⋅ − − +

= − − − + −

− −

K h

h

K h h

K h h

θ

θ

θ θ

Σ Σ

Σ

Σ

Σ

(7.179)

เราทราบจาก (7.175) วา

2( 1) ( ) ( ) ( ) ( ) ( 1) ( )Twn n n n n n nσ − = + − h K h hΣ Σ (7.180)

ดงน $นแทนคา (7.180) ลงในพจนทสามของ (7.179)

( )

22

2

ˆ ˆ ˆ( ) ( 1) ( ) ( ) ( 1)

1( ) ( ) ( ) ( 1) ( ) ( )

( )

1( ) ( ) ( 1) ( ) ( )

( )

ˆ ˆ( 1) ( ) ( ) ( 1) ( ) ( )

ˆ ˆ( 1) ( ) ( ) ( ) ( 1)

T

Tw

w

T

w

T

T

n n n n n

n n n n n x nn

n n n n x nn

n n n n n x n

n n x n n n

σσ

σ

= − − −

+ + −

− −

= − − − +

= − + − −

K h

K h h

K h h

K h K

K h

θ θ θ

θ θ

θ θ

Σ

Σ (7.181)

ซงอยในรปแบบทคาประมาณคาใหมเปนผลมาจากคาประมาณเดมรวมกบผลคณของอตราขยายและคาผดพลาดจากการประมาณคาเดมและคาจากแซมเป: ลชดขอมลในเวลาใหมซงกรรมวธของการปรบปรงคาตวประมาณคากาลงสองนอยสดแบบลาดบน$จะแสดงในตารางท 7-1

การต $งคาเรมตน (1) [0,0,..., 0]T=θ , (1) α= IΣ


7-53

การปรบปรงคาตวประมาณคา

( )ˆ ˆ ˆ( ) ( 1) ( ) ( ) ( ) ( 1)Tn n n x n n n= − + − −K hθ θ θ

การปรบปรงคาอตราขยาย

2

( 1) ( )( )

( ) ( ) ( 1) ( )Tw

n nn

n n n nσ

−=

+ −

hK

h h

Σ

Σ

การปรบปรงคาเมตรกซความแปรปรวนรวม

( )( ) ( ) ( ) ( 1)Tn n n n= − −I K hΣ Σ

ตารางท# 7-1 ตารางแสดงการปรบปรงคาของตวประมาณคากาลงสองนอยสดแบบลาดบ

สงเกตวาจะไมมการหาคาผกผนของเมตรกซใดๆเกดข$นในกระบวนการปรบปรงคา จากรปท 7-17 เปนไดอะแกรมการปรบปรงคาของตวประมาณคากาลงสองนอยสดแบบลาดบ โดยเราเรมตนการปรบปรงคาจากการกาหนดคาเรมตนสาหรบ ( 1)n −θ และ ( 1)n −Σ ในรปน $น เสนหนาจะแสดงปรมาณเมตรกซหรอเวคเตอรและเสนบางแสดงปรมาณสเกลาร

รปท# 7-17 แสดงไดอะแกรมการปรบปรงคาของตวประมาณคากาลงสองนอยสดแบบ

ลาดบ

ตวอยางท# 7.5 จากตวอยางท 7.3 และ 7.4 น $นเราพจารณาสญญาณทเปนผลรวมของสญญาณสองสญญาณทความถเดยวกนแตมเฟสตางกน 90 องศา 0 0( ) cos2 sin2 , 0,1,..., 1s n a f n b f n n Nπ π= + = − (7.182)

จากน $นเราสามารถพจารณาใหพารามเตอรคาจรงa และb ทตองการประมาณถกจดอยในรปเวคเตอร [ ]Ta b=θ และจะใชการประมาณโดยวธการของกาลงสองนอยสดซงเมตรกซ

สงเกตการณ ( )nH สาหรบ 1n = โดยท


7-54

0 0

1 0(1)

cos2 sin2f fπ π

=

H (7.183)

จาก (7.170) เมอ 1n = จะไดตวประมาณคากาลงสองนอยสดแบบแบทชเปน

1

2 2

1

1 1(1) (1) (1) (1) (1)

(1) (1) (1) (1)

T T

w w

T T

σ σ

−

−

=

=

H I H H I x

H H H x

θ

(7.184)

สงเกตวายงคงมการทาการผกผนเมตรกซในตอนเรมตนซงเราอาจจะหลกเลยงการผกผนเมตรกซโดยต $งคาเรมตนของตวประมาณคาน$เปน

(1) [0 0]T=θ (7.185)

สวน เมตรกซผกผนของความแปรปรวนรวมจาก (7.172) จะไดเปน

1

2

12

1(1) (1) (1)

(1) (1)

T

w

Tw

σ

σ

−

−

=

=

H I H

H H

Σ

(7.186)

และสงเกตวายงคงมการทาผกผนเมตรกซอยซงในทางปฏบตเราสามารถกาหนดให (1) α= IΣ (7.187)

โดยทα มคามากๆเพอใหกรรมวธการวนซ$ามเสถยรภาพ จากน $นเรากาหนด (2)θ โดยเรมตนจากการคานวณเวคเตอรคาขยายจาก (2)K กอนดวย (7.175)

2

(1) (2)(2)

(2) (1) (2)Twσ

=+

hK

h h

Σ

Σ (7.188)

เมอ (2)Th น $นแสดงแถวใหมของเมตรกซ (2)H โดยท

0 0

0 0

(0) 1 0

(2) (1) cos2 sin2

cos 4 sin 4(2)

T

T

T

f f

f f

π π

π π

= =

h

H h

h

(7.189)

ซงเมอคานวณเวคเตอรอตราขยายไดแลวเราจะไดวา


7-55

( )ˆ ˆ ˆ(2) (1) (2) (2) (2) (1)Tx= + −K hθ θ θ (7.190)

และเมตรกซผกผนของความแปรปรวนรวมกจะมการปรบปรงคา (7.181) และ (7.174)

( )(2) (2) (2) (1)T= −I K hΣ Σ (7.191)

ในรปท 7-18 แสดงอลกอรธมของการหาตวประมาณคากาลงสองนอยสดแบบลาดบผานสญลกษณของ MATLAB ในรปท 7 -19 แสดงลกษณะของสญญาณ 0cos(2 )a f nπ ,

0sin(2 )b f nπ , ( ) ( ) ( )x n s n w n= + แ ล ะ 0 0( ) cos(2 ) sin(2 )s n a f n b f nπ π= + ท ใ ช ใ นต ว อยางการประมาณคาของขนาดสญญาณ a และb ทเปน 10 และ 20 ตามลาดบ

( )

2

2

:

, , (:,1) (1,:);

:

(1)(1) ;

(1) (1)

(:,:,1) (:, ) (:, ) ;

(1) [0, 0,..., 0] ;

n=2:

(:, ) ( ,:);

(:,:, 1) (:, )(:, )

(:, ) (:,:, 1

Tinit

initT T

w init

Tinit

T

T

Tw

N

n n

N

n n

n nn

n n

α

σ

σ

= =

=+

= −

=

=

−=

+ −

Initialisation

I h H

Recursion

hK

h h

I K h

for

h H

hK

h

θ

Σ

Σ

Σ

Σ Σ

Σ

Σ

( )

;) (:, )

(:,:, ) (:, ) (:, ) (:,:, 1);

(:, ) (:, 1) (:, ) ( ) (:, ) (:, 1) ;

T

T

T

n

n n n n

n n n x n n n

= − −

= − + − −

h

I K h

K h

end

θ θ θ

Σ Σ

รปท# 7-18 อลกอรธมในการหาตวประมาณคากาลงสองนอยสดแบบลาดบ


7-56

0 20 40 60 80 100-10

-5

0

5

10

n

acos(2πfon)

0 20 40 60 80 100-20

-10

0

10

20

n

bsin(2πfon)

0 20 40 60 80 100-40

-20

0

20

40

n

s(n)=acos(2πfon)+bsin(2πf

on)

0 20 40 60 80 100-40

-20

0

20

40

n

x(n)=s(n)+w(n)

รปท# 7-19 แสดงสญญาณ 0cos(2 )a f nπ ,,,, 0sin(2 )b f nπ ,,,, ( ) ( ) ( )x n s n w n= +

และ 0 0( ) cos(2 ) sin(2 )s n a f n b f nπ π= + ตามลาดบ

และในรปท 7-20 แสดงการปรบตวของตวประมาณคากาลงสองนอยสดแบบลาดบในการประมาณคาของขนาดสญญาณa และb ซงสงเกตวาการลเขาสคา 10a = และ 20b = เปนไปอยางรวดเรวโดยการลเขาจะเกดข$นทประมาณ 25n = แซมเป$ล

0 10 20 30 40 50 60 70 80 90 100-10

0

10

20

30

40

50

60

70

80

90

n

θes

t(n)

aest

best

รปท# 7-20 การปรบตวของคาประมาณa และb ท#ไดจากอลกอรธมกาลงสองนอยสดแบบลาดบ

△


7-57

7.8 การกาจดสญญาณรบกวนแบบปรบตวไดสาหรบสญญาณคล#นไฟฟาหวใจ (Adaptive Noise Cancellation in Electrocardiogram)

ในหวขอน$จะเปนอกหนงตวอยางของการใชการประมาณคาแบบกาลงสองนอยสดในเรองของระบบกาจดสญญาณรบกวนแบบปรบตวได(Adaptive Noise Cancellation) หรอ ANC เราสรางแบบจาลองการทางานของระบบกาจดสญญาณรบกวนแบบปรบตวไดน$ดงแสดงในรปท 7-21 เราพจารณาการใชตวประมาณคากาลงสองนอยสดในการประมาณคาของสญญาณคลนไฟฟาหวใจ(Electrocardiogram) หรอ ECG ทมปญหาอนเนองมาจากการรบกวนของสญญาณไฟสลบ 220 V 50Hz ทเรยกวาไฟบานททาใหการแปรผลของแพทยคลาดเคลอนหรอไมสะดวกเพราะแพทยจะตองอาศยรายละเอยดของคลนตางๆคอ P, Q, R, S และ T ทประกอบอยในรปคลน ECG เพอการวนจฉยโรค โดยตาแหนงและรปรางของคลน P, Q, R, S และ T ของคลนไฟฟาหวใจจะแสดงในรปท 7-22

รปท# 7-21 แสดงการออกแบบระบบกาจดสญญาณรบกวนแบบปรบตวได

รปท# 7-22 แสดงตาแหนง P, Q, R, S P, Q, R, S P, Q, R, S P, Q, R, S และ TTTT ของคล#นไฟฟาหวใจ((((ECGECGECGECG))))

ดงน $นการไดสญญาณรปคลนไฟฟาหวใจทไรสญญาณรบกวนน $นเปนสงทตองจดการ การวดสญญาณไฟฟาหวใจชดขอมลทไดจากการวดทไดมาจากตวตรวจจบ(Sensors) สญญาณทวดได


7-58

ประกอบดวยสญญาณคลนไฟฟาหวใจทถกรบกวนดวยสญญาณทมาจากไฟบานทมความถ 50 Hz แตสญญาณรบกวนทแทจรงน $นคอไฟบานทถกเหน#ยวนาผานมาจากผวหนงกอนเขาสตวตรวจจบดงน $นสญญาณไฟบานจงถกดดแปลงเพราะผวหนงทาหนาท#เปนตวกรองสญญาณ(Filter)(Filter)(Filter)(Filter) ซ#งมฟงกชนถายโอนเปน ( )H z ดงแสดงในรปท 7-23

คาผลตอบสนองของตวกรองสญญาณดงกลาวจะสงผลตอขนาด(Amplitude)และเฟส(Phase) ของสญญาณไฟสลบ 50 Hz ซงจะกลายเปนสญญาณรบกวนทมการเปลยนแปลงตามเวลาอนเนองจากฟงกชนสงผาน(Transfer Function)(Transfer Function)(Transfer Function)(Transfer Function)ของตวกรองสญญาณน $นอาจมผลตอบสนองแบบแปรเปลยนตามเวลา(Time-Varying Response) ได

อนเนองมาจากสญญาณอางอง(Reference Signal)ซงเปนสญญาณไฟสลบน $น เมอนามาสรางเปนระบบ ทาใหเราไดวาบลอกไดอะแกรมของระบบจงเปนดงแสดงในรปท 7-24 โดยสญญาณคลนไฟฟาหวใจ ECG ทถกรบกวนดวยสญญาณไฟสลบ 50 Hz น $นแสดงดงในรปท 7-25

รปท# 7-23 แสดงการรบกวนจากสญญาณไฟสลบกบสญญาณคล#นไฟฟาหวใจ


7-59

รปท# 7-24 แสดงแบบจาลองระบบกาจดสญญาณรบกวนแบบปรบตวได ANC ANC ANC ANC สาหรบตดสญญาณรบกวน 50 Hz 50 Hz 50 Hz 50 Hz ออกจากสญญาณคล#นไฟฟาหวใจ

0 500 1000 1500 2000

-0.4

-0.2

0

0.2

0.4

0.6

Time (ms)

EC

G

0 500 1000 1500 2000-0.5

0

0.5

Time (ms)

EC

G+

50H

z

รปท# 7-25 แสดงสญญาณ ECECECECG G G G ท#ไมมสญญาณรบกวนและสญญาณ ECG ECG ECG ECG ท#มสญญาณรบกวน 50 Hz50 Hz50 Hz50 Hz

ในรปท 7-24 น $นเราใชตวประมาณคา ( )nθ ในการสรางสญญาณประมาณ ( )x n ทเปนสญญาณจาลองของ ( )x n โดยสรางจาก ( )Rx n ซงผลของการประมาณคาระหวางจะไดวา


7-60

ˆ( ) ( ) ( ) ( )n s n x n x nε = + − (7.192)

สงเกตวา ( )nε เปนความแตกตางจากการประมาณคาทตองการกาจด ( )x n ซงเปนสญญาณรบกวนแตยงคงคา ( )s n ซงเปนสญญาณ ECG ไวโดยจะเหนไดชดเจนวาหาก ( )x n เทากบ ( )x n

แลว ( ) ( )n s nε =

การคานวณตวประมาณดวยวธกาลงสองนอยสดในระบบน$จะแตกตางไปจากระบบเดมทตองการลดคาฟงกชนเปาหมายใหเหลอศนย

( )

2

0

2

0

( ) ( )

ˆ( ) ( ) ( )

n

k

n

k

J n k

s k x k x k

ε=

=

=

= + −

∑

∑

ɶ

(7.193)

ซงหากกาหนดใหสญญาณ

[ ]( )

[ ] [ ]( )

[ ] [ ]

2

0

22

0

22

0 0 0

ˆ( ) ( ) ( ) ( )

ˆ ˆ( ) ( ) ( ) 2 ( ) ( ) ( )

ˆ ˆ( ) ( ) ( ) 2 ( ) ( ) ( )

n

k

n

k

n n n

k k k

J n s k x k x k

s k x k x k s k x k x k

s k x k x k s k x k x k

=

=

= = =

= + −

= + − + −

= + − + −

∑

∑

∑ ∑ ∑

ɶ

(7.194)

ซ ง เม อพจ า รณาว า ( )s k น $นไมมสหสมพนธกบ ( )x k และ ( )x k ดงน $น เทอมใน (7.194)

[ ]

0

ˆ2 ( ) ( ) ( )n

k

s k x k x k=

−∑ จงเปนศนยและเทอมทมผลตอการคานวณจงเหลอเพยงสองเทอมแรก

เทาน $นคอ

[ ]22

0 0

ˆ( ) ( ) ( ) ( )n n

k k

J n s k x k x k= =

= + −∑ ∑ɶ (7.195)

และคาประมาณ ( )x n น $นหาไดจาก1

0

ˆ( ) ( ) ( )p

n R

l

x n h l x n l−

=

= −∑ ซง ˆ ( )nh l น $นคอคาประมาณของ

สมประสทธ Nของฟงกชนสงผาน ( )nh l ทเวลาn และ ( )Rx n เปนสญญาณอนพทของตวประมาณคาหรอสญญาณอางองซงไดมาจากสญญาณไฟสลบ 50 Hz

เปาหมายกคอการพฒนาอลกอรธมสาหรบตวกรอง ANC ดวยวธกาลงสองนอยสดโดยสงทเราตองการทราบกคอ ˆ ( )nh l โดยท 0,..., 1l p= − โดยจะจดใหตวประมาณกาลงสองนอยสดแบบลาดบของ ˆ ( )nh l ของตวกรอง ANC อยในรปของเวคเตอร


7-61

ˆ ˆ ˆ ˆ( ) (0) (1) ( 1)T

n n nn h h h p = − θ ⋯ (7.196)

และเพอความคลายคลงกบอลกอรธมทพฒนาข$นมากอนหนาน$เรากาหนดใหเวคเตอร ( )nh เปนเวคเตอรของชดขอมล ( )Rx n ทเวลา 0n = ถง 1p − หรอ

( ) ( ) ( 1) ( 1)T

R R Rn x n x n x n p = − − + h ⋯ (7.197)

ซง ( )T nh จะเปนคาในแตละแถวของเมตรกซสงเกตการณ ( )nH หรอ

(0)

(1)( )

( )

T

T

T

n

n

=

h

hH

h

⋮ (7.198)

เรากาหนดใหสญญาณคลนไฟฟาหวใจ ECG ทไมมการถกรบกวนใดๆ ณ เวลาn น $นเปน ( )s n

ซงเมอจดอยในรปของเวคเตอร ( )ns จะไดเปน

( ) (0) (1) ( )T

n s s s n = s ⋯ (7.199)

และหากใหสญญาณรบกวนทเกดจากไฟสลบ 50 Hz ผานฟงกชนสงผาน ( )nh l น $นเปน ( )x n จดอยในรปเวคเตอร ( )nx จะเปน

( ) (0) (1) ( )T

n x x x n = x ⋯ (7.200)

เมอนาเอา (7.196) ถง (7.200) มาจดรปแบบฟงกชนเปาหมาย (7.194) ใหอยในรปเวคเตอร-เมตรกซจงจะไดวา

( ) ( )

0

ˆ ˆ( ) ( ) [ ( ) ( ) ( )] ( ) [ ( ) ( ) ( )]

ˆ ˆ ˆ( ) ( ) [ ( ) ( ) ( )] [ ( ) ( ) ( )] 2 ( )[ ( ) ( ) ( )]

ˆ ˆ( ) ( ) [ ( ) ( ) ( )] [ ( ) ( ) ( )]

T

T T T

T T

J n n n n n n n n n

n n n n n n n n n n n n

n n n n n n n n

=

= + − + −

= + − − + −

= + − −

s x H s x H

s s x H x H s x H

s s x H x H

θ θ

θ θ θ

θ θ

ɶ

��

(7.201)

ซงพจนสดทายในบรรทดทสองของ (7.201) น $นไดมาจากขอกาหนดทวาสญญาณ ( )ns น $นไมมสหสมพนธกบสญญาณรบกวน ( )nx และ ˆˆ( ) ( ) ( )n n n=x H θ และจะพบวาพจนแรกคอ

( ) ( )T n ns s น $นไมเปนฟงกชนของ ( )nθ ดงน $นการหาคากาลงสองนอยสดน $นจะเกยวของเฉพาะ


7-62

สวน ˆ ˆ[ ( ) ( ) ( )] [ ( ) ( ) ( )]Tn n n n n n− −x H x Hθ θ ทจะตองถกลดคาดงน $น (7.201) จงลดรปเหลอเพยง

2

ˆ ˆ( ) [ ( ) ( ) ( )] [ ( ) ( ) ( )]

( )

TJ n n n n n n n

e n

= − −

=

x H x Hθ θɶ

ɶ (7.202)

ซงหากใชการคานวณแบบแบทชเพอคานวณตวประมาณคากาลงสองนอยสด ( )nθ จะทาใหไดวา

( )1

( ) ( ) ( ) ( ) ( )T Tn n n n n−

= H H H xθ (7.203)

ซงจะเปนรปแบบเดยวกบทไดใน (7.170) โดยท 1−C เปนเมตรกซทแยงมมซงมความหมายวาสญญาณรบกวนน $นไมมสหสมพนธในเชงเวลากนระหวางแซมเป$ล

แตเราจะใชวธของการหาคา ( )nθ ในแบบลาดบโดยเราจะใชคาจาก ( 1)n −θ ซงเปนคาประมาณ ณ เวลา 1n − เปนขอมลสาหรบหาคาผดพลาด ณ เวลาn

ˆ( ) ( ) ( ) ( 1)Te n x n n n= − −h θ (7.204)

สงเกตวาคา ( )e n น$ไมใชคาเดยวกบ ( )e nɶ ใน (7.202) ตรงทจะใชตวประมาณคา ( 1)n −θ แทนทจะเปน ( )nθ คอเปนการใชคาประมาณของเวลากอนหนาเพอหาคาผดพลาด ณ เวลาปจจบน ดงน $นสมการ (7.202) จงมการเปลยนแปลงเปน

2

ˆ ˆ( ) [ ( ) ( ) ( 1)] [ ( ) ( ) ( 1)]

( )

TJ n n n n n n n

e n

= − − − −

=

x H x Hθ θ

(7.205)

ดวยเหตทวาการเปลยนแปลงของขอมลอาจจะเกดข$นตามเวลาทเปลยนแปลงไปดงน $นเราจงควรลดความสาคญของสญญาณกอนหนาทผานไปแลวหรอพดอกอยางกคอควรจะจดระบบใหมการ“ลม(forget)”คาผดพลาดของลาดบทผานไปแลวโดยใหความสาคญกบสญญาณลาสด(Most Recent) มากทสดโดยเราจะดดแปลง (7.205) เปน

ˆ ˆ( ) ( ) ( ) ( 1) ( ) ( ) ( ) ( 1)T

J n n n n n n n n = − − − − x H x Hθ Γ θ (7.206)

โดยท ( ) [1 1/ 1/ ]nn diag γ γ=Γ ⋯ น $นเปนเมตรกซของคาตวประกอบการลม

(Forgetting Factor)(Forgetting Factor)(Forgetting Factor)(Forgetting Factor) โดยท0 1γ< < และคาโดยปกตจะเขาใกล 1 เชน 0.99γ = ซงจะเหนวารปแบบสมการเปนเชนเดยวกบการหาตวประมาณคาแบบกาลงสองนอยสดแบบลาดบถวงน$าหนกดงแสดงใน (7.166)


7-63

ซงหากใชการคานวณแบบแบทชตามวธของการคานวณตวประมาณคากาลงสองนอยสดแบบถวงน$าหนกในหวขอ 7.7.2 จะทาใหไดวา

( )1

( ) ( ) ( ) ( ) ( ) ( ) ( )T Tn n n n n n n−

= H H H xθ Γ Γ (7.207)

ซงเมอเทยบกบ (7.170) จะไดวา ( )nΓ น $นเทยบเทากบ 1( )n−C และเมอใชกรรมวธการหาคาตวประมาณกาลงสองนอยสดแบบเปนลาดบจะทาใหไดอลกอรธมสาหรบ ANC ดงในรปท 7-26 ซงเปนกรรมวธทคลายคลงกบอลกอรธมในรปท 7-18

( )

:

, , (:,1) (1,:);

:

(1)(1) ;

(1) (1)

(:,:,1) (:, ) ( ) ;

(1) [0,0,..., 0] ;

=2:

( ) ( ) ( 1) ( 1) ;

(:,:, 1) ( )(:, )

Tinit

initn T T

init

Tinit

T

T

R R R

n T

N

n n

n N

n x n x n x n p

n nn

α

γ

γ

= =

=+

= −

=

= − − +

−=

+

Initialisation

I h H

Recursion

hK

h h

I K h

for

h

hK

h

θ

⋯

Σ

Σ

Σ

Σ Σ

Σ

( )

;( ) (:,:, 1) ( )

(:,:, ) (:, ) ( ) (:,:, 1);

(:, ) (:, 1) (:, ) ( ) ( ) (:, 1) ;

T

T

T

n n n

n n n n

n n n x n n n

−

= − −

= − + − −

h

I K h

K h

end

θ θ θ

Σ

Σ Σ

รปท# 7-26 อลกอรธมในการหาตวประมาณคากาลงสองนอยสดแบบลาดบซ#งมตวประกอบการลม ( )nλ

ตวอยางทใชการจาลองน $นจะเปนดงน$คอเราตองการกาจดสญญาณรบกวนของสญญาณคลนไฟฟาหวใจ ECG ซงเปนสญญาณไฟสลบ 50Hz ทถกดดแปลงดวยฟงกชนถายโอนซงมจานวนคาสมประสทธ Nสองคา ( )2p = คอ [1 0.4]T=θ และสญญาณทรบกวนน $นมการ

เปลยนแปลงดานขนาด ณ เวลาเปน 1,000 มลลวนาท สญญาณ ECG ทไมมสญญาณรบกวนและสญญาณรบกวนทมการเปลยนแปลงขนาดของสญญาณรบกวน 50 Hz เมอเวลา 1,000 มลลวนาทและผลรวมของสญญาณคลนไฟฟาหวใจและสญญาณรบกวนดงรปท 7-27 กาหนดคาเรมตนเปน ( 1)− = 0θ และ 10init = IΣ


7-64

รปท 7-28 แสดงสญญาณคาประมาณของสญญาณ ( )x n สญญาณคลนไฟฟาหวใจ ECG ( )s n

และสญญาณคาผดพลาด ( )e n หลงจากการปรบตวอยางรวดเรวจนทาใหสญญาณเหลอเพยงสญญาณ ECG ( )s n สวนในรปท 7-20 น $นแสดงคาประมาณ ( )nθ ซงสงเกตการลเขาสคาจรง [1 0.4]T=θ ของ ( )nθ และสงเกตการเกดการเปลยนแปลงของ ( )nθ สงเกตวาแม

สญญาณคลนไฟฟาหวใจมการเปลยนแปลงขนาดของสญญาณรบกวน 50 Hz เมอเวลา 1,000 มลลวนาทกจะพบวาหลงจากทตวประมาณคา ( )nθ ลเขาสคาตอบของคาประมาณทเปนคาตอบแลวแมมการเปลยนแปลงขนาดของสญญาณรบกวนเดมกจะไมสงผลกระทบตอการประมาณคาคาตอบ(ดคาถามทายบทขอ 7.11 ในกรณสญญาณรบกวนมการเปลยนแปลงของความถ)

0 200 400 600 800 1000 1200 1400 1600 1800 2000-0.5

0

0.5

Time (ms)

EC

G

0 200 400 600 800 1000 1200 1400 1600 1800 2000

-0.5

0

0.5

Time (ms)

Noi

se

0 200 400 600 800 1000 1200 1400 1600 1800 2000-1

0

1

Time (ms)

EC

G+

Noi

se

รปท# 7-27 แสดงสญญาณคล#นไฟฟาหวใจ ECG ECG ECG ECG ท#ไมมสญญาณรบกวนและสญญาณ ECG ECG ECG ECG ท#มการเปล#ยนแปลงขนาดของสญญาณรบกวน 50 Hz50 Hz50 Hz50 Hz เม#อเวลา 1,000 1,000 1,000 1,000 มลลวนาท


7-65

0 200 400 600 800 1000 1200 1400 1600 1800 2000

-0.5

0

0.5

Time (ms)

x est(n

)

0 200 400 600 800 1000 1200 1400 1600 1800 2000-0.4-0.2

00.20.4

Time (ms)

s(n)

0 200 400 600 800 1000 1200 1400 1600 1800 2000-0.4-0.2

00.20.4

Time (ms)

e(n)

รปท# 7-28 แสดงสญญาณคาประมาณของสญญาณ ( )x n คาสญญาณคล#นไฟฟาหวใจ ( )s n

และสญญาณคาผดพลาด ( )e n หลงจากการปรบตวเขาหา ( )s n ท#มการเปล#ยนแปลงขนาดของสญญาณรบกวน 50 Hz50 Hz50 Hz50 Hz เม#อเวลา 1,000 1,000 1,000 1,000 มลลวนาท

0 200 400 600 800 1000 1200 1400 1600 1800 2000-0.2

0

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

Time (ms)

θes

t(n)

θest

(1)

θest

(2)

รปท# 7-29 แสดงการปรบตวของคาประมาณ ( )nθ ซ#งสงเกตการลเขาสคา [1 0.4]T=θ ท#

เปนสมประสทธE ของฟงกชนถายโอนท#ตองการประมาณ

7.9 สรป

ในบทน$เราไดเรยนรถงตวประมาณคากาลงสองนอยสดทใชในการประมาณคาโดยไมตองอาศยคณสมบตเชงสถตใดๆของขอมลจากการสงเกตการณเลย เพยงอาศยแตการคานวณคาความ


7-66

ผดพลาดของการประมาณคายกกาลงสองเทาน $น แตกระบวนการคานวณตวประมาณคาแบบน$จะเปนรปแบบการกระทาเชงคากาหนดแทนทจะเปนแบบเชงสมเหมอนทผานมาในบทกอนๆซงนาไปสสงทนาสนใจกคอ การใชคณสมบตการแปลความทางเรขาคณตของตวประมาณคาและการใชทฤษฎการวเคราะหดานพชคณตเชงเสนทมประสทธภาพในการหาคาคาตอบ นอกจากน $นเรายงไดพบวาการประมวลคาแบบอนดบวนซ$าถกนามาใชเพอคานวณอนดบของพารามเตอรทจะทาการประมาณคา เนองจากจานวนของพารามเตอรทเรยกวาอนดบของตวประมาณคาน $นเปนตวช$วดถงประสทธภาพและความถกตองในการประมาณคา และทายสดเรายงไดเหนถงการใชงานอลกอรธมของการประมาณคาแบบกาลงสองนอยสดแบบลาดบในการหาเอกลกษณของระบบซงนบเปนพ$นฐานทสาคญทจะทาใหนาไปสเรองตวประมาณคาทใชงานสาหรบระบบการประมวลผลสญญาณแบบปรบตวไดทมประสทธภาพมากข$นตอไป

Appendix 7.A

ch7_1.m % ch7_1.m % set(0,'defaultaxesfontsize',16,... 'defaultlinelinewidth',2.5,... 'defaultaxeslinewidth',1.5) N=100; n=[0:N-1]; randn('state',0) % To fix the state of random gener ator w=20*randn(size(n)); x = 2*n+1+w; kon= 5*ones(size(n)); %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% s1_hat =mean(x).*ones(size(x)); %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% A2= (2*(2*N-1)/(N*(N+1)))*sum(x)-(6/(N*(N+1)))*sum( n.*x); B2= (-6/(N*(N+1)))*sum(x)+(12/(N*(N^2-1)))*sum(n.*x ); s2_hat= A2+B2.*n; figure(1) plot(n,x) hold on plot(n,s1_hat,'k:') plot(n,s2_hat,'r--')


7-67

hold off legend('x(n)','s_{1}(n)','s_{2}(n)') xlabel('n')

ch7_2.m % ch7_2.m Tests Least Squares Estimation % % Date: 18-04-08 % peerapol clear all; set(0,'defaultaxesfontsize',16,... 'defaultlinelinewidth',2.5,... 'defaultaxeslinewidth',1.5) N=100; A=10; ampw=10; % Amplitude of w(n) N_ensemble=100; A_plot= A*ones(N,1); % Estimator Update for nesm =1:N_ensemble n=[0:N-1]; w=ampw*randn(size(n)); x = A+w; sigma_n=var(w); A_hat(nesm,1)=0; var_x(nesm,1) = sigma_n; G(nesm,1) = var_x(nesm,1)./(var_x(nesm,1)+sigma _n) ; for n=2:N; G(nesm,n)=var_x(nesm,n-1)./(var_x(nesm,n-1) +sigma_n); A_hat(nesm,n)=A_hat(nesm,n-1)+G(nesm,n)*(x( n)-...A_hat(nesm,n-1)); var_x(nesm,n)=(1-G(nesm,n))*var_x(nesm,n-1) ; end end AA_hat = mean(A_hat); GG = mean(G); Var_X = mean(var_x); N_plot=[0:N-1]; figure(1) subplot(111) plot(N_plot,AA_hat) hold on plot(N_plot,A_plot,'--') axis([0 100 0 12]) hold off xlabel('Current Sample N') ylabel('Estimate and True Value of A') legend('Estimate','True Value') figure(2) subplot(111) plot(N_plot,GG) xlabel('Current Sample N') ylabel('Gain(N)') figure(3)


7-68

subplot(111) plot(N_plot,Var_X) xlabel('Current Sample N') ylabel('Var(A_{est}(N))')

ch7_lse.m % ch7_lse.m % clear all; set(0,'defaultaxesfontsize',16,... 'defaultlinelinewidth',2.5,... 'defaultaxeslinewidth',1.5) a=10; b=20; f0=.01; N=100; alpha=10e3; sigma2w=20; n=[0:N-1]; s1=a*cos(2*pi*f0*n); s2=b*sin(2*pi*f0*n); s=s1+s2; w=sqrt(sigma2w)*randn(size(s)); x=s+w; h=[cos(2*pi*f0); sin(2*pi*f0)]; %%%%%% LSE %%%%%%%%%%%%%% theta=zeros(2,1); ICOV=alpha*eye(2); K(:,1)=(ICOV*h(:,1))./(sigma2w+h(:,1)'*ICOV*h(:,1)) ; ICOV =(eye(2)-K(:,1)*h(:,1)')*ICOV; for i=2:N h(:,i)=[cos(2*pi*f0*(i));sin(2*pi*f0*(i))]; K(:,i)=(ICOV(:,:,i-1)*h(:,i))./(sigma2w+h(:,i)'*ICOV(:,:,i-1)*h(:,i)); ICOV(:,:,i) =(eye(2)-K(:,i)*h(:,i)')*ICOV(:,:,i -1); theta(:,i) =theta(:,i-1) + K(:,i)*(x(i)-h(:,i)' *theta(:,i-1)); end N_plot=[0:N-1]; figure(1) clf subplot(221) plot(N_plot,s1) xlabel('n') title('acos(2\pif_{o}n)') subplot(222) plot(N_plot,s2) xlabel('n') title('bsin(2\pif_{o}n)') subplot(223) plot(N_plot,s) xlabel('n') title('s(n)=acos(2\pif_{o}n)+bsin(2\pif_{o}n)') subplot(224)


7-69

plot(N_plot,x) xlabel('n') title('x(n)=s(n)+w(n)') figure(2) plot(N_plot,theta(1,:),'-'); hold on plot(N_plot,theta(2,:),'-.'); hold off xlabel('n') ylabel('\theta_{est}(n)') legend('a_{est}','b_{est}')

ch7_anc_nonstationary.m % ch7_anc_nonstationary.m % % clear all; set(0,'defaultaxesfontsize',16,... 'defaultlinelinewidth',2.5,... 'defaultaxeslinewidth',1.5) load ecg_6sec; ecg_6sec = ecg_6sec(1000:end); % Cut the first 1000 samples off necg_6sec=ecg_6sec./max(ecg_6sec); % normalised to unit peak f0=50; % 50Hz Hum T=6; % 6 seconds amp=.2; % Amplitude of 50 Hz Noise N=100; alpha=10; t=[0:.001:T]; xR=amp*sin(2*pi*f0*t); xR=xR(1:length(ecg_6sec)); lxR =length(xR); xR=[xR(1:floor(lxR/5)) 5*xR(floor(lxR/5):lxR-1)]; %%%%%%% Change to 0.2*f0 %%%%%%%%%%%%%%%%%%%%%%%% xR1=amp*sin(2*pi*0.2*f0*t); xR1=xR1(1:length(ecg_6sec)); xR=[xR(1:floor(lxR/5)) 2*xR1(floor(lxR/5):lxR-1)]; % necg_6sec =ecg_6sec; % s=necg_6sec+x2; necg_6sec =necg_6sec-mean(necg_6sec); % remove the offset intf = filter([1 .4],1,xR); % Simulate the h(z) of human skin r=intf+necg_6sec; %%%%% LSE for ANC %%% Nsim=2000; gamma=.99; %forgetting factor ntap=2; % number of LSE tap-weight XR=convmtx(xR,ntap);


7-70

h = XR(:,1) ; % Data vector i.e. sine 50Hz theta=zeros(ntap,1); % Theta i.e. estimated transfe r function e(1) = r(1)-h'*theta; ICOV=alpha*eye(ntap); K(:,1)=(ICOV*h(:,1))./(gamma.î+h(:,1)'*ICOV*h(:,1) ); for i=2:Nsim h(:,i)= XR(:,i); K(:,i)=(ICOV(:,:,i-1)*h(:,i))./(gamma.î+h(:,i)'*ICOV(:,:,i-1)*h(:,i)) ; ICOV(:,:,i) =(eye(ntap)-K(:,i)*h(:,i)')*ICOV(:, :,i-1); xest(i)=h(:,i)'*theta(:,i-1); e(i)=r(i)-xest(i); theta(:,i) =theta(:,i-1) + K(:,i)*e(i); end figure(1) subplot(311) plot(necg_6sec) xlabel('Time (ms)') ylabel('ECG') axis([0 2000 -.5 .7]) subplot(312) plot(intf) % h xlabel('Time (ms)') ylabel('Noise') axis([0 2000 -.7 .7]) subplot(313) plot(r) xlabel('Time (ms)') ylabel('ECG+Noise') axis([0 2000 -1 1.2]) figure(2) subplot(311) plot(xest) axis([0 2000 -.75 .75]) % axis([0 4000 -.4 .6]) xlabel('Time (ms)') ylabel('x_{est}(n)') subplot(312) plot(necg_6sec) axis([0 2000 -.4 .6]) % axis([0 4000 -.4 .6]) xlabel('Time (ms)') ylabel('s(n)') subplot(313) plot(e) axis([0 2000 -.4 .6]) xlabel('Time (ms)') ylabel('e(n)') figure(3) set(0,'defaultaxesLinestyleorder','-|--') plot(theta') legend('\theta_{est}(1)','\theta_{est}(2)') xlabel('Time (ms)')


7-71

ylabel('{\theta}_{est}(n)')


7.1 มขอมลจากการสงเกตการณเปน ( )x n ทมคาคงทAทไมเทากบศนยทฝงอยในสญญาณรบ กวน ( )w n แตสญญาณ ( )x n ทรบไดน $นเปน

2( ) ( ), 0,1,..., 1x n A w n n N= + = −

จงหาคาตวประมาณคากาลงสองนอยสด LSE ของA

7.2 สาหรบสญญาณทมการเปลยนแปลงของระดบสญญาณ

, 0,1,..., 1

( ), ,..., 1

a n Ms n

b n M N

= −= = −

โดย ,a b เปนคาคงทจากสญญาณ

( ) ( ) ( ), 0,1,..., 1x n s n w n n N= + = −

จงหาคาตวประมาณคากาลงสองนอยสดของ ,a b

7.3 จงพสจนวาท $งเมตรกซการฉาย ( )1T T−

=P H H H H และเมตรกซการฉายออรโธกอ นล ⊥ = −P I Pน $นสมมาตร( T =P P )และเปนไอเดมโพเทนทเมตรกซ(Idempotent matrix) ( 2 =P P )

7.4 สาหรบสญญาณทวดได [1 2 3 4]T=x และมเมตรกซสงเกตการณเปน

1 3

2 1

1 2

3 3

=

H

จงคานวณคาของตวประมาณคากาลงสองนอยสดของสญญาณ(LSE) เวคเตอรคาผดพลาด eและทดสอบวา [0 0]T =e H และคาผดพลาดแบบกาลงสองนอยสด minJ

7.5 จงพสจนวาหากการกระจายตวของเวคเตอรคาผดพลาด = −e x Hθน $นเปนแบบเกาสโดยมคาเฉลยกลางเปนศนยและมคาความแปรปรวนรวมเปน 2

eσ=C Iตวประมาณคาแบบกาลงสองนอยสด(LSE) น $นจะมคาเทากบตวประมาณคาความเปนไปไดสงสด(MLE)


7-72

7.6 การประมาณคาชองการสอสารสญญาณ(Channel Estimation) น $นจะเปนการประมาณคาน$าหนก 0 1 1, , , Ph h h −⋯ ซงเปนพารามเตอรทไมทราบคา(Unknown parameters) ของชองการสอสารสญญาณ แตเราทราบคาสญญาณซงใชในการสงสญญาณทเราทราบคา(Known transmitted signals) (0), (1), , ( 1)u u u N −⋯ จงแสดงสมการเพอคานวณคาของชองสญญาณทไมทราบคา 0 1 1, , , Ph h h −⋯ ดวยตวประมาณคากาลงสองนอยสด LSE

รปท# 7777----30303030 การประมาณคาชองการส#อสารสญญาณ

7.7 ในการทาการประมาณคาสญญาณ(Signal Estimation) น $น จะเปนการประมาณสญญาณทเราไมทราบคา(Unknown parameters) (0), (1), , ( 1)u u u N −⋯ ทถกสงผานชองการสอสารทมคาน$าหนกของชองการสอสาร 0 1 1, , , Ph h h −⋯ ซงเปนพารามเตอรททราบคา(Known Channel weights) ดงรปท 7-31 กรณน$จงแสดงสมการเพอคานวณคาของสญญาณทไมทราบคา (0), (1), , ( 1)u u u N −⋯ ดวยตวประมาณคากาลงสองนอยสด LSE

รปท# 7777----31313131 การประมาณคาสญญาณ

7.8 สาหรบตวรวมสญญาณเชงเสนแบบปรบตวได หรอ Adaptive Linear Combiner (ALC) ทใชมากในระบบนวรลเนทเวรค(Neural Networks) จะมโครงสรางเปนดงรปท 7-32 โดยเราตองการ


7-73

ประมาณเวคเตอรคาถวงน$าหนก(Weight Vector parameters) 0 1 1, , , Ph h h −⋯ ซงเปนพารามเตอรทไมทราบคา(Unknown parameters) แตเราทราบคาสญญาณ ซงใชในการสงสญญาณทเราทราบคา(Known parameters) (0), (1), , ( 1)u u u N −⋯ จงหาตวประมาณคากาลงสองนอยสด LSE ของ 0 1 1, , , Ph h h −⋯

รปท# 7777----32323232 ตวรวมสญญาณเชงเสนแบบปรบตวได

7.9 จากคาถามขอ 7.8 หากโครงสรางตวรวมสญญาณเชงเสนแบบปรบตวไดน $นถกเปลยนเปนแบบการนาขอมลเขาแบบอนกรม (Serial Inputs) จงแสดงการหาตวประมาณคากาลงสองนอยสด LSE ของ 0 1 1, , , Ph h h −⋯

7.10 จากระบบของตวทานายคาแบบเชงเสน(Linear Predictor) ในรปท 7-33 ซงจะทาการประมาณคาของสมประสทธ Nสญญาณเพอทาการเขารหส(Coding) โดยจะมการใชงานมากในการเขารหสเสยงพดโดยสมประสทธ Nกคอจะเปนฟงกชนถายโอนของกลองเสยงของผพด ซงมกจะเปนโครงสราง Auto-regressive (AR) 1 2, , , Ph h h⋯ ทมโครงสรางเปนดงรป สญญาณอนพท

( )u n และ ไดสญญาณทวดไดเปนสญญาณแบบ IID จงหาตวประมาณคาสาหรบ 1 2, , , Ph h h⋯ แบบ LSE ของระบบ

แนะนา: สงเกตวาตวตวทานายคาแบบเชงเสนน $นจะมคาของตวหนวงเวลาหนงหนวยประกอบอยดวย

รปท# 7777----33333333 การประมาณคาของสมประสทธE สญญาณเพ#อทาการเขารหส


7-74

ของตวทานายคาแบบเชงเสน

7.11 จากขอ 7.10 หากเปนกรณสาหรบ 2P = และสญญาณ ( )x n ทวดไดเปน

( ) 2 sin(2 /8)x n nπ=

จงหาคาของตวประมาณคา LSE ของ 1h และ 2h

7.12 จงดดแปลง MATLAB codes “ch7_anc_nonstationary.m . เพอเปลยนความถ#และขนาดของสญญาณรบกวนทเวลา 1000 มลลวนาท จาก 50 Hz ขนาด 0.2 V เปน 10 Hz และมขนาดเปน 0.4 V จงอภปรายผลการทดลองทไดในแงการปรบตวของตวประมาณคากาลงสองนอยสด LSE


COLLEGE, 1997


INC., NEW YORK, 1996

KAILATH, T., SAYED, A.H. AND HASSIBI, B., "LINEAR ESTIMATION", PRENTICE HALL, NEW JERSEY,

2000


PRENTICE-HALL, NEW JERSEY, 1993

LJUNG, L. AND SÖDERSTRÖM, T.,“THEORY AND PRACTICE OF RECURSIVE IDENTIFICATION”, THE MIT

PRESS, 1983

SAYED, A.,"FUNDAMENTALS OF ADAPTIVE FILTERING", WILEY-IEEE PRESS, NEW JERSEY, 2003

STEARNS, S.D., "DIGITAL SIGNAL PROCESSING WITH EXAMPLES IN MATLAB", CRC PRESS,

FLORIDA, 2003

ดชน

8-1

8 ดชน

ก

กฎความนาจะเปน, 1-2

กฏจานวนขอมลขนาดใหญ, 6-6, 6-10

กรรมวธในการหาคาเหมาะสมท�สด, 6-15

กรรมวธของนวตน, 6-15

กรรมวธของนวตน-ฟรเยร, 6-15 กรรมวธของนวตน-ราฟสน, 6-15

การหาคาคาดหวงสงสด, 6-21, 6-24

คาต�าสดแบบโกลบอล, 6-20

คาสงสดแบบโกลบอล, 6-20

กรรมวธแบบแบทช, 7-39

กระบวนการเชงตวเลข, 6-15, 7-1

กระบวนการเชงเสนกากบ, 3-22

กระบวนการทาสญญาณสขาว, 1-54, 4-17

กระบวนการสโตแคสตก, 1-2

กระบวนการหาคาเหมาะสมท�สด, 6-15

แบบใชเง�อนไขบงคบ, 5-13

แบบไมใชเง�อนไขบงคบ, 5-13

การกระจายตว, 1-3

การกระจายตวในเชงแบบเชงเสนกากบ, 6-13

การกระจายตวแบบเกาส, 1-6, 2-2, 2-4

การกระจายตวแบบนอรมล, 1-6

การกระจายตวแบบเบอรนล, 6-35

การกระจายตวแบบปกต, 1-39, 2-4

การกระจายตวแบบมลตโนเมยล, 6-23

การกระจายตวแบบยนฟอรม, 1-4, 5-2, 5-4

การกระจายตวแบบเรยลห, 6-17

การกระจายตวแบบลาปลาซ, 6-34

การกาจดสญญาณรบกวนแบบปรบตวไดสาหรบสญญาณคล�นไฟฟาหวใจ, 7-57

การเขารหส, 1-38, 7-73

การเขารหสทานายคาเชงเสน, 1-49

การฉายแบบออรโธโกนล, 7-15

การถอดรหส, 1-38

การทาสญญาณสขาวลวงหนา, 5-18

การแทรกสอดสญญลกษณ, 5-24

การนอรมลไลซ, 1-30

ความถ�นอรมลไลซ, 1-30

ความถ�ไนควสต, 1-30

การนาขอมลเขาแบบอนกรม, 7-73

การประมาณคา, 2-1

กระบวนการคณตศาสตรของการประมาณคา, 2-4

การขยายความไปเปนการประมาณคาแบบเวคเตอร, 2-28, 3-16 การประมาณคาแบบคลาสสก, 2-11

การประมาณคาแบบเบยส, 2-12

การประมาณคาระดบไฟตรง, 2-23 การประมาณคาชองการส�อสารสญญาณ, 5-23, 5-24, 7-72

การประมาณคาผกผน, 4-23

การประมาณคาสญญาณ, 5-24, 7-72

การประสาน, 1-24, 1-33

ตวกระทาการประสาน, 2-8

การปรบแตงสญญาณ, 4-23

การปรบปรงคา, 2-17, 7-26, 7-40, 7-45, 7-52

การปรบเสนโคง, 4-6 การแปลงโคซายนแบบไมตอเน�อง, 4-24

การแปลงผกผนของ, 4-25 การแปลงแซด, 1-30

การแปลงฟรเยร, 3-22 การแปลงฟรเยรผกผน, 1-32

การแปลงฟรเยรแบบไมตอเน�อง, 4-24 การแปลงฟรเยรแบบไมตอเน�องทางเวลา, 1-29

การแปลงไมเชงเสน, 2-31

การรวมกนแบบเชงเสน, 7-12

การลดจานวนขอมล, 1-38

การลเขา, 6-7

แบบไรไบแอสเชงเสนกากบ, 6-7

การหาคาคาดหวงสงสด, 7-1

การหาคาคาตอบแบบวนซ 4า, 6-17

การหาคานอยท�สด, 1-27

การหาคาผกผนของเมตรกซดวยวธการแบงสวนของเมตรกซ, 7-30

การหาคาอนพนธของเมตรกซ, 4-21

การหาคาอนพนธของเวคเตอร, 4-20 การหาเอกลกษณของระบบ, 1-25, 4-11, 7-6

ข

ขอบเขตดานต�า, 2-15

ขอบเขตดานต�าเครเมอร-เรโอ, 2-15, 3-1, 3-10, 4-1, 4-4, 6-4, 6-7,

6-12

การคานวณขอบเขตดานต�าเครเมอร-เรโอ, 3-6

ขอมลท�ไมสมบรณ, 6-21, 6-22

ขอมลท�สมบรณ, 6-22


8-2

ค

คล�นพาห, 4-25

ความชน

เปนฟงกชนเชงเสน, 6-17

ไมเปนฟงกชนเชงเสน, 6-17

ความซบซอนในการคานวณ, 2-15

ความถ�ไนควสต, 3-16

ความถ�ฟอรแมนท, 1-49

ความนาจะเปน, 1-1

ความเปนสารสนเทศ, 3-11, 3-14

ความเปนออรโธโกนล, 1-18

ความเปนออรโธโกนลของเวคเตอร, 7-15 ความเปนออรโธนอรมลของเวคเตอร, 7-18 ความเปนอสระตอกน, 1-17, 1-18

เปนอสระตอกนและกระจายตวอยางเทาเทยมกน, 1-39, 1-40,

2-4

ความแปรปรวน, 1-16, 2-3, 5-1

ความแปรปรวนรวม, 1-16

เมตรกซความแปรปรวนรวม, 1-17, 3-17, 4-3, 5-9

แบบเชงเสนกากบ, 6-11, 6-12

ความผดพลาดเชงระบบ, 2-21

ความไมมเสถยรภาพ, 1-51

ความยาวยคลด, 7-13

ความเรวในการลเขาหาคาตอบ, 7-48

ความไว, 3-22

ความเสถยร, 1-45 ความหนาแนนของสเปคตรมกาลง, 3-22 คาเกา, 2-17

คาความโคง, 3-2, 3-5, 3-10 คาความนาจะเปน, 1-3

คาความแปรปรวน, 1-6

คาคาดหวง, 2-27 คาคาดหวงแบบมเง�อนไข, 6-6

ตวกระทาคาคาดหวง, 1-13, 2-19, 3-6 ความเปนเชงเสน, 1-13

คณสมบตของตวกระทาคาคาดหวง, 1-13 คาจรง, 2-1 คาเฉล�ยกลาง, 1-6, 1-13, 1-33, 2-1, 5-1, 6-6

คาเฉล�ยกลางของคายกกาลงสอง, 1-14 คาเฉล�ยกลางท�ถกสเกลคา, 5-9

คายกกาลงสองของคาเฉล�ยกลาง, 1-14 แบบเชงเสนกากบ, 6-10

คาเฉล�ยคาผดพลาดกาลงสอง, 2-22 คาอนพนธของ, 2-24 คาอนพนธอนดบสองของ, 2-24

คาเฉล�ยเคล�อนท�, 1-45 คาเฉล�ยแซมเป4ล, 1-11, 2-2, 2-13, 5-2, 5-16, 6-5, 6-6

ความแปรปรวนของคาเฉล�ยแซมเป4ล, 2-19

คาเฉล�ยทางเวลา, 1-11, 1-13

คาเฉล�ยอองซามเบ 4ล, 1-11

คาเชงกาหนด, 2-23, 7-2

คาท�เหมาะสมท�สด, 2-25, 5-3

คาท�เหมาะสมท�สดในเชงกาลงสองนอยสด, 7-5

คาเบ�ยงเบนมาตรฐาน, 1-6, 2-5

คาประมาณ, 2-1

คาประมาณของคาความเปนไปไดสงสด, 6-3

คาประมาณของเสยงสะทอน, 1-26

คาสมประสทธ9ท�เหมาะสมท�สด, 5-14

คาใหม, 2-17

โครเนคเคอรเดลตาฟงกชน, 1-39, 1-52, 2-19, 4-9, 5-20

ง

เง�อนไขความเปนปกต, 3-7, 3-9

เง�อนไขความแปรปรวนนอยสด, 2-22, 2-24

เง�อนไขบงคบ, 5-10

ช

ชวงการสมสญญาณ, 1-30

ชองการส�อสารสญญาณ, 1-38, 5-24

ซ

ซงกลารเมตรกซ, 7-22

ด

ดสครมแนนท, 1-22

ดเทอรมแนนท, 1-42

ต

ตวกรองคาลมาน, 2-18

ตวกรองต�าผาน, 1-46

ตวกรองแถบผาน, 1-36

ตวกรองทรานสเวอรซล, 4-11

ตวกรองทาใหเกดส, 1-54

ตวกรองทาใหสขาว, 1-54

ตวกรองแบบอมพลสจากด, 4-11

ตวกรองผลตอบสนองอมพลสจากด, 1-23, 1-44

ตวกรองผลตอบสนองอมพลสไมจากด, 1-44

ตวกรองสญญาณ, 1-37, 7-58

ดชน

8-3

ตวกระทาการประสาน, 1-33

ตวกระทาแบบไมเชงเสน, 5-3

ตวกาจดการรบกวน, 5-12

ตวกาจดเสยงสะทอน, 1-25

ตวทานายคาแบบเชงเสน, 7-73

ตวทานายคาแบบไปขางหนา, 1-49

ตวประกอบการลม, 7-62

ตวประกอบของเลขช 4กาลง, 6-15 ตวประมาณคา, 2-1

คาเฉล�ยกลาง, 4-6 ชนดของตวประมาณคา, 2-16

ตวประมาณคาแบบบลอก, 2-16

ตวประมาณคาแบบลาดบ, 2-16, 2-30

ตวประมาณคาท�เหมาะสมท�สด, 5-2

ตวประมาณคาแบบคาเฉล�ยกลางกาลงสองนอยสด, 2-13

ตวประมาณคาแบบมไบแอส, 2-3

ตวประมาณคาแบบไรไบแอส, 2-3

pdf ของตวประมาณคาแบบไรไบแอส, 2-19

ท�ไมใชท�เหมาะสมท�สด, 7-2

ท�เหมาะสมท�สดในแงของคาความแปรปรวนท�นอยท�สด, 7-1

แบบมไบแอส, 2-21, 6-9, 7-5

แบบมประสทธภาพ, 3-13, 5-16

แบบไมเชงเสน, 5-2

มประสทธภาพแบบเชงเสนกากบ, 6-7

เมตรกซความแปรปรวนรวม, 4-5

ไรไบแอสแบบเชงเสน, 5-2

ไรไบแอสแบบเชงเสนกากบ, 6-10

ไรไบแอสแบบไมเชงเสน, 5-2

สมรรถภาพของตวประมาณคา, 2-13

ตวประมาณคากาลงสองนอยสด, 2-16, 4-16, 7-1, 7-8

การแปลความในเชงเรขาคณต, 7-12

การหาฟงกชนเปาหมายคาผดพลาดกาลงสองนอยสดแบบลาดบ, 7-40

ถวงน 4าหนกแบบลาดบ, 7-42

แบบถวงน 4าหนก, 7-10

เมตรกซถวงน 4าหนก, 7-10

องคประกอบถวงน 4าหนก, 7-10

แบบเปนลาดบ, 7-38, 7-39

การปรบปรงคา, 7-46

คาเร�มตน, 7-47

แบบวนซ 4า

การทาออรโธโกนลแบบแกรม-ชมดท, 7-27, 7-29

การวนซ 4าคาอนดบ, 7-26

แบบวนซ 4าคาอนดบ, 7-24

หลกการออรโธโกนล, 7-17

ตวประมาณคาความเปนไปไดสงสด, 6-1, 6-5, 6-6, 7-1, 7-71

การคานวณหาตวประมาณคาความเปนไปไดสงสดโดยกระบวนการเชงตวเลข, 6-15

คณสมบตของ, 6-6, 6-8 ตวประมาณคาความเปนไปไดสงสดในทางทฤษฏ, 6-14

ตวประมาณคาความเปนไปไดสงสดในทางปฏบต, 6-13

ทฤษฎของ, 6-1 ตวประมาณคาไรไบแอสความแปรปรวนนอยสด, 2-3, 2-13, 2-15,

2-18, 3-1, 5-1, 6-6, 7-1

ตวประมาณคาไรไบแอสเชงเสนท�ดท�สด, 2-16, 5-1, 5-3

การหาคาความแปรปรวนนอยสด, 5-7

ความเปนเชงเสน, 5-6

ความไรไบแอส, 5-6

เง�อนไขบงคบ, 5-7

ตวคณลากรานจ, 5-8

ทฤษฎของ, 5-5 วธตวคณลากรานจ, 5-7, 5-13

ตวปรบแตงสญญาณ, 4-23, 5-24

ตวปรบแตงสญญาณแบบปรบตวได, 5-24

ตวแปรท�ซอนอย, 6-21 ตวแปรสญญาณสม, 1-2, 2-1, 2-4

ตวรวมสญญาณเชงเสนแบบปรบตวได, 7-72

ท

ทรานสโพส, 5-8

ทฤษฎของเบยส, 6-24

ทฤษฎบทเกาส-มารคอฟ, 5-21

ทฤษฏตวกรองแบบปรบตวได, 2-18

ท�เปนเหตเปนผล, 1-45

ท�เหมาะสมท�สดในแงท�ใหความแปรปรวนนอยท�สด, 5-8

โทปลทซ, 1-22, 1-23

น

นอกแกนทแยงมม, 7-32

นอรมท�สอง, 7-13 นวรลเนทเวรค, 7-72

บ

แบบจาลองขอมล, 4-12

แบบจาลองเชงกาหนด, 7-3

แบบจาลองเชงเสน, 4-1

แบบจาลองสมการถดถอยตวเอง, 2-28 แบบเชงเสนกากบ, 3-3, 6-13

แบบเตมแรงค, 7-14

แบบหลายโหมด, 6-2


8-4

แบบโหมดเดยว, 6-2

ป

ปรภมยอย, 7-14

ปรภมยอยคอมพลเมนท, 7-23

ผ

ผลคณภายใน, 1-23, 2-9, 4-20, 5-7

ผลตอบสนองแบบแปรเปล�ยนตามเวลา, 7-58

ผลรวมของคาผดพลาดกาลงสอง, 7-3

พ

โพล, 3-24

ฟ

ฟงกชนของคาผดพลาด, 2-17

ฟงกชนความหนาแนนความนาจะเปน, 1-2, 3-3

ฟงกชนความหนาแนนความนาจะเปนแบบไมตอเน�อง, 1-4 ฟงกชนความหนาแนนความนาจะเปนรวม, 1-9, 4-3, 6-1

ฟงกชนความหนาแนนสะสม, 1-7

ฟงกชนคาความเปนไปได, 3-3, 4-3, 6-3, 6-5, 6-7, 6-25, 7-1

การหาคามากสด, 6-16

คาสงสด, 6-4

ฟงกชนแบบคอนเคฟ, 6-4

ฟงกชนคาความเปนไปไดแบบลอก, 3-3, 3-11, 3-18, 4-3, 6-4, 6-7

อนพนธของ, 3-9, 3-18 อนพนธอนดบสองของ, 3-5, 3-19

ฟงกชนเชงกาหนด, 1-1

ฟงกชนถายโอน, 1-43, 7-4

ฟงกชนเปาหมาย, 1-27, 5-11, 6-15, 7-3, 7-5

ฟงกชนสงผาน, 7-58

ฟชเชอรอนฟอรเมชน, 3-10, 3-14, 4-4, 4-18, 6-4

คาผกผนของ, 6-13 เมตรกซของฟชเชอรอนฟอรเมชน, 3-17, 3-20

ม

มอดเลเตอร, 1-14 มประสทธภาพแบบเชงเสนกากบ, 6-13

เมตรกซการฉายแบบออรโธโกนล, 7-22

เมตรกซการฉายออรโธกอนล, 7-71

เมตรกซความแปรปรวนรวม

ไมเปนแบบไดแอกอนล, 4-17

เมตรกซคาคงท�, 3-17

เมตรกซจากดบวก, 4-17

เมตรกซถวงน 4าหนก, 7-49

เมตรกซทแยงมม, 1-40

เมตรกซทาสขาว, 4-17

เมตรกซแบบจากดก�งบวก, 1-23, 3-17

เมตรกซแบบจากดบวก, 4-13

เมตรกซแบบไดแอกอนล, 4-14

เมตรกซผกผน, 1-40

เมตรกซสงเกตการณ, 2-10, 4-2, 4-7, 4-15, 5-19, 7-8

แบบอสระเชงเสน, 4-4

เปนออรโธโกนล, 4-8

เปนอสระเชงเสนทางคอลมน, 4-5

ไมเปนอสระเชงเสนทางคอลมน, 4-5

เมตรกซเอกลกษณ, 1-40, 7-19

คาผกผน, 7-19

โมเมนท, 1-19

อนดบท�สอง, 1-19, 5-1 อนดบท�หน�ง, 1-19, 5-1

ไมแปรเปล�ยนตามการเล�อน, 1-23

ร

ระบบกาจดสญญาณรบกวนแบบปรบตวได, 7-57

ระบบกาจดเสยงสะทอน, 1-25

ระบบเขาถงหลายทางแบบแบงรหส, 4-24, 5-12

การมอดเลช�น, 4-24

รหสแผ, 4-24, 5-12, 5-13

สญญาณเบสแบนด, 4-24

ระบบคาเฉล�ยเคล�อนท�, 1-51, 1-53, 2-8 ระบบเชงเสน, 1-43

ระบบถดถอยตวเอง, 1-53 ระบบท�ไมทราบคณสมบต, 4-11

ระบบแบบเฟสนอยสด, 1-45

ระบบปรบรปแบบของบม, 4-25

ระบบเฟสนอยสด, 1-46, 1-51

ระบบเฟสผสม, 1-46, 1-51

ระบบเฟสมากสด, 1-46

ระบบหลายสายอากาศ, 5-25

ระบบแฮนดฟร, 4-11

ว

วถการลเขา, 6-21

วธมอนตคารโล, 6-13

เวคเตอรของคาท�ไดจากการวด, 4-2

เวคเตอรของพารามเตอร, 4-2 เวคเตอรเลขหน�ง, 4-13

ดชน

8-5

เวคเตอรสญญาณรบกวน, 4-2

ส

สถานะน�ง, 1-19 สถานะน�งเชงกวาง, 1-19, 3-22 สถานะน�งเชงแคบ, 1-19

สเปคตรมกาลง, 1-29, 1-43 ความหนาแนนของสเปคตรมกาลง, 3-22 คณสมบตของสเปคตรมกาลง, 1-32 ฟงกชนค, 1-33 ฟงกชนเลขจรง, 1-32 ฟงกชนสมมาตร, 1-33 ระบบเชงเสน, 1-33

สเปคตรมกาลงกบตวเขารหสเสยงพด, 1-37

สมการการปรบปรงคา, 2-30

สมการควอดราตก, 6-4, 6-8

สมการคาเฉล�ยเคล�อนท�, 1-44, 1-49 สมการถดถอยตวเอง, 1-43, 1-50, 3-22 สมการถดถอยตวเองแบบอนดบแรก, 3-23

สมการถดถอยตวเองและคาเฉล�ยเคล�อนท�, 1-45 สมการนอรมล, 1-28

สมการแบบไมเชงเสน, 6-16

สมการปกต, 7-8

สวนปรบคาใหม, 2-18

สหสมพนธ, 1-15

กระบวนการกาจดคาสหสมพนธ, 1-54

การใชงานสหสมพนธตวเองและสหสมพนธไขว, 1-25

ความไมมสหสมพนธ, 1-17, 1-18

สหสมพนธไขว, 1-15, 1-27, 4-16, 7-6

คณสมบตของคาสหสมพนธไขว, 1-28

เวคเตอรสหสมพนธไขว, 1-28

สหสมพนธตวเอง, 1-15, 1-27, 1-29, 2-16, 4-15, 4-16, 7-6 คณสมบตของคาสหสมพนธตวเอง, 1-20 เมตรกซผกผนของสหสมพนธตวเอง, 1-28 เมตรกซสหสมพนธตวเอง, 1-16 สหสมพนธตวเองแบบเชงกาหนด, 1-36

สญญาณคล�นไฟฟาหวใจ, 7-57, 7-63

สญญาณโคซายน, 3-20, 4-22

สญญาณเชงกาหนด, 1-1

สญญาณเชงกาหนดท�ไมทราบคา, 2-18

สญญาณท�ไดจากการวด, 2-1

สญญาณท�มความทรงจา, 1-41

สญญาณท�ไมมความทรงจา, 1-41

สญญาณบรอดแบนด, 4-25

สญญาณเบสแบนด, 4-25

สญญาณแบบเบอรนล, 2-32

สญญาณไบนารเฟสชฟทคยอ 4ง, 1-4, 4-12 สญญาณฝก, 5-12

สญญาณมารคอฟแบบอนดบแรก, 1-41

สญญาณรบกวนเกาส, 4-7

สญญาณรบกวนเกาสแบบส, 5-18

สญญาณรบกวนเกาสแบบสขาว, 2-4, 3-25, 4-1, 4-10, 4-22, 5-5,

5-18, 6-3

สญญาณรบกวนท�บวกเพ�มเขามา, 2-4

สญญาณรบกวนท�ไมมสหสมพนธ, 5-16

สญญาณรบกวนแบบไมมสหสมพนธ, 7-11

สญญาณรบกวนแบบอมพลส, 2-5

สญญาณรบกวนสขาว, 1-37, 1-38, 4-12

สญญาณลาสด, 7-62

สญญาณสวนท�ทราบคาในสญญาณท�วดได, 4-18

สญญาณสม, 1-1, 1-2

การสรางแบบจาลองของสญญาณสม, 1-43

สญญาณสมในเชงความถ�, 1-29 สญญาณสมในเชงเวลา, 1-29

สญญาณสมแบบเกาส, 1-41

สญญาณสมแบบเวลาไมตอเน�อง, 1-2 สญญาณอางอง, 7-58 เสนบงคบ, 5-10

อ

อนกรมเทยเลอร, 6-10 อนกรมเทยเลอรอนดบท�หน�ง, 6-10, 6-17

อสมการคอช�-ชวารซ, 3-8, 4-13

อองซามเบ 4ล, 1-11

อตราขยาย, 2-17

อตราขยายไฟตรง, 1-34 อตราสวนสญญาณตอสญญาณรบกวน, 3-21

อลกอรธม, 2-18

อลกอรธมกาลงสองนอยสดแบบวนซ 4า, 2-18

อลกอรธมคาเฉล�ยกลางกาลงสองนอยสด, 2-18

อลกอรธมคาเฉล�ยกลางกาลงสองนอยสดแบบนอรมลไลซ, 2-18

อลกอรธมแบบพลงงานเอาทพทนอยท�สด, 5-12, 5-23

อลกอรธมปรบตวไดแบบไบลนด, 5-12

อลกอรธมเลวนสน-เดอรบน, 7-9

อนทเกรทกาลงสอง, 1-29 เอกลกษณของวดเบอร�, 7-31 เอพรออร, 2-12 เอโพสทรออไร, 2-12 เออรโกดกในคาเฉล�ยกลาง, 1-12 ไอเดมโพเทนท, 7-9


8-6

ไอเดมโพเทนทเมตรกซ, 7-71

ฮ

ฮาดามารดเมตรกซ, 4-23

ฮารโมนก, 4-7

ฮสโตแกรม, 6-14

Advanced Digital Signal Processing Digital Signal Processing: Fundamentals of Estimation Theory การประมวลผลส ญญาณด จ ตอลข นส ง พ

Documents