รายงานการวิจัย - ssruir.ssru.ac.th(7) สารบัญ (ต่อ) หน้า บทที่ 4 ผลการวิจัย 26 4.1...

รายงานการวจย เรอง

การคนหาเทคนคเหมองขอมลเพอสรางโมเดลการวเคราะหโรคอตโนมต

โดย

นายนเวศ จระวชตชย

ไดรบทนอดหนนจากมหาวทยาลยราชภฏสวนสนนทา ปงบประมาณ 2553

http://www.ssru.ac.th

(6)

สารบญ

หนา กตตกรรมประกาศ (1) บทคดยอภาษาไทย (2) ABSTRACT (4) สารบญ (6) สารบญตาราง (8) สารบญภาพ (11) บทท 1 บทนา 1 1.1 ความเปนมาและความสาคญของปญหา 1 1.2 วตถประสงค 2 1.3 ขอบเขตของงานวจย 2

1.4 เครองมอทใชในงานวจย 3 1.5 ประโยชนทคาดวาจะไดรบ 3

บทท 2 ทฤษฎและงานวจยทเกยวของ 4 2.1 เหมองขอมล 4 2.2 เทคนคการทาเหมองขอมล 7 2.3 อลกอรทมการแบงประเภท 9 2.4 การลดมตขอมล 15 2.5 การประเมนโมเดล 16

2.6 งานวจยทเกยวของ 18 บทท 3 วธดาเนนงานวจย 20 3.1 การคนควาและทาการวจย 20 3.2 แบบจาลองการวเคราะหโรคอตโนมต 21 3.3 กลมขอมลและประเภทขอมล 21 3.4 การวดประสทธภาพ 25


(7)

สารบญ (ตอ) หนา

บทท 4 ผลการวจย 26 4.1 ผลการวเคราะหเปรยบเทยบประสทธภาพ โดยไมลดคณลกษณะ 27 4.2 ผลการวเคราะหเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Bagging 41 4.3 ผลการวเคราะหเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Boosting 55

4.4 ผลการวเคราะหเปรยบเทยบประสทธภาพเมอลดคณลกษณะดวยวธ CFS 69 4.5 ผลการวเคราะหเปรยบเทยบประสทธภาพเมอลดคณลกษณะดวยวธ FCBF 83 4.6 ผลการวเคราะหเปรยบเทยบประสทธภาพวธ Single กบ Multiple learning 97 4.7 ผลการวเคราะหเปรยบเทยบประสทธภาพลดคณลกษณะวธ CFS และ FCBF 103 บทท 5 สรปผลและขอเสนอแนะ 109 5.1 สรป 109 5.2 อภปรายผล 115 5.3 ขอเสนอแนะ 116 บรรณานกรม 117 ประวตผวจย 118


(8)

สารบญตาราง

ตาราง หนา 3.1 ตารางสรปชดขอมล 24 4.1 ประสทธภาพของการสงเคราะหโมเดลดวยอลกอรทม Naïve Bayes 27 4.2 ประสทธภาพของการสงเคราะหโมเดลดวยอลกอรทม Multilayer Perceptron 28 4.3 ประสทธภาพของการสงเคราะหโมเดลดวยอลกอรทม Radial Basis Function 29

4.4 ประสทธภาพของการสงเคราะหโมเดลดวยอลกอรทม Support Vector Machine 30 4.5 ประสทธภาพของการสงเคราะหโมเดลดวยอลกอรทม K-Nearest Neighbor 31 4.6 ประสทธภาพของการสงเคราะหโมเดลดวยอลกอรทม Decision Tree 32 4.7 ประสทธภาพของการสงเคราะหโมเดลดวยอลกอรทม Ripper 33 4.8 การเปรยบเทยบประสทธภาพดาน TP Rate 34 4.9 การเปรยบเทยบประสทธภาพดาน Precision 35 4.10 การเปรยบเทยบประสทธภาพดาน Recall 36 4.11 การเปรยบเทยบประสทธภาพดาน F-Measure 37 4.12 การเปรยบเทยบประสทธภาพดาน Accuracy 38 4.13 ประสทธภาพเมอเรยนรดวยวธ Bagging ดวยอลกอรทม NaiveBayes 41 4.14 ประสทธภาพเมอเรยนรดวยวธ Bagging ดวยอลกอรทม MultilayerPerceptron 42 4.15 ประสทธภาพเมอเรยนรดวยวธ Bagging ดวยอลกอรทม Radial Basis Function 43 4.16 ประสทธภาพเมอเรยนรดวยวธ Bagging ดวยอลกอรทม Support Vector Machine 44 4.17 ประสทธภาพเมอเรยนรดวยวธ Bagging ดวยอลกอรทม K-Nearest Neighbor 45 4.18 ประสทธภาพเมอเรยนรดวยวธ Bagging ดวยอลกอรทม Decision Tree 46 4.19 ประสทธภาพเมอเรยนรดวยวธ Bagging ดวยอลกอรทม Ripper 47 4.20 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Bagging ดาน TP Rate 48 4.21 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Bagging ดาน Precision 49 4.22 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Bagging ดาน Recall 50 4.23 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Bagging ดาน F-Measure 51 4.24 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Bagging ดาน Accuracy 52


(9)

สารบญตาราง (ตอ)

ตาราง หนา 4.25 ประสทธภาพเมอเรยนรดวยวธ Boosting ดวยอลกอรทม NaiveBayes 55 4.26 ประสทธภาพเมอเรยนรดวยวธ Boosting ดวยอลกอรทม MultilayerPerceptron 56 4.27 ประสทธภาพเมอเรยนรดวยวธ Boosting ดวยอลกอรทม Radial Basis Function 57 4.28 ประสทธภาพเมอเรยนรดวยวธ Boosting ดวยอลกอรทม Support Vector Machine 58 4.29 ประสทธภาพเมอเรยนรดวยวธ Boosting ดวยอลกอรทม K-Nearest Neighbor 59 4.30 ประสทธภาพเมอเรยนรดวยวธ Boosting ดวยอลกอรทม Decision Tree 60 4.31 ประสทธภาพเมอเรยนรดวยวธ Boosting ดวยอลกอรทม Ripper 61 4.32 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Boosting ดาน TP Rate 62 4.33 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Boosting ดาน Precision 63 4.34 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Boosting ดาน Recall 64 4.35 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Boosting ดาน F-Measure 65 4.36 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Boosting ดาน Accuracy 66 4.37 ประสทธภาพเมอลดคณลกษณะดวย CFS และอลกอรทม NaiveBayes 69 4.38 ประสทธภาพเมอลดคณลกษณะดวย CFS และอลกอรทม MultilayerPerceptron 70 4.39 ประสทธภาพเมอลดคณลกษณะดวย CFS และอลกอรทม Radial Basis Function 71 4.40 ประสทธภาพเมอลดคณลกษณะดวย CFS และอลกอรทม Support Vector Machine 72 4.41 ประสทธภาพเมอลดคณลกษณะดวย CFS และอลกอรทม K-Nearest Neighbor 73 4.42 ประสทธภาพเมอลดคณลกษณะดวย CFS และอลกอรทม Decision Tree 74 4.43 ประสทธภาพเมอลดคณลกษณะดวย CFS และอลกอรทม Ripper 75 4.44 การเปรยบเทยบประสทธภาพดาน TP Rate เมอลดคณลกษณะดวย CFS 76 4.45 การเปรยบเทยบประสทธภาพดาน Precision เมอลดคณลกษณะดวย CFS 77 4.46 การเปรยบเทยบประสทธภาพดาน Recall เมอลดคณลกษณะดวย CFS 78 4.47 การเปรยบเทยบประสทธภาพดาน F-Measure เมอลดคณลกษณะดวย CFS 79 4.48 การเปรยบเทยบประสทธภาพดาน Accuracy เมอลดคณลกษณะดวย CFS 80 4.49 ประสทธภาพเมอลดคณลกษณะดวย FCBF และอลกอรทม NaiveBayes 83 4.50 ประสทธภาพเมอลดคณลกษณะดวย FCBF และอลกอรทม MultilayerPerceptron 84


(10)

สารบญตาราง (ตอ)

ตาราง หนา 4.51 ประสทธภาพเมอลดคณลกษณะดวย FCBF และอลกอรทม Radial Basis Function 85 4.52 ประสทธภาพเมอลดคณลกษณะดวย FCBF และอลกอรทม Support Vector Machine 86 4.53 ประสทธภาพเมอลดคณลกษณะดวย FCBF และอลกอรทม K-Nearest Neighbor 87 4.54 ประสทธภาพเมอลดคณลกษณะดวย FCBF และอลกอรทม Decision Tree 88 4.55 ประสทธภาพเมอลดคณลกษณะดวย FCBF และอลกอรทม Ripper 89 4.56 การเปรยบเทยบประสทธภาพดาน TP Rate เมอลดคณลกษณะดวย FCBF 90 4.57 การเปรยบเทยบประสทธภาพดาน Precision เมอลดคณลกษณะดวย FCBF 91 4.58 การเปรยบเทยบประสทธภาพดาน Recall เมอลดคณลกษณะดวย FCBF 92 4.59 การเปรยบเทยบประสทธภาพดาน F-Measure เมอลดคณลกษณะดวย FCBF 93 4.60 การเปรยบเทยบประสทธภาพดาน Accuracy เมอลดคณลกษณะดวย FCBF 94 4.61 การเปรยบเทยบประสทธภาพดาน Accuracy ของ Single กบ Multiple learning 97 4.62 การเปรยบเทยบประสทธภาพดาน Accuracy ลดคณลกษณะดวย CFS และ FCBF 103


(11)

สารบญภาพ

ภาพ หนา 2.1 ขนตอนกระบวนการคนความรจากฐานขอมล 6 2.2 ขนตอนกระบวนการทาเหมองขอมล (Data Mining) 6 2.3 ตนไมตดสนใจ 10 2.4 ซพพอรทเวกเตอรแมชชน 11 2.5 เนอฟเบย 11 2.6 เคเนยเรสเนเบอร 12 2.7 เครอขายฟงกชนฐานรศม 13 2.8 เพอรเซปตรอนหลายชน 15 2.9 K - fold Cross Validation ( K = 5) 17


(1)

กตตกรรมประกาศ งานวจยเรอง การคนหาเทคนคเหมองขอมลเพอสรางโมเดลการวเคราะหโรคอตโนมตสาเรจลลวงไปไดดวยดนน ผวจยตองขอขอบคณผ เชยวชาญดานฐานขอมลทางการแพทยและ ขอบพระคณ อาจารยเสถยร จนทรปลา ผ อานวยการสานกวทยบรการและเทคโนโลยสารสนเทศ และผ ชวยศาสตราจารย สวรย ยอดฉม รองผ อานวยการฝายวจย ทกรณาใหคาแนะนาและขอเสนอแนะเกยวกบงานวจย จนทาใหงานวจยสาเรจลลวงไปไดดวยด นเวศ จระวชตชย


(2)

บทคดยอ ชอรายงานการวจย : การคนหาเทคนคเหมองขอมลเพอสรางโมเดลการวเคราะหโรคอตโนมตชอผวจย : นายนเวศ จระวชตชย ปททาการวจย : 2553

....................................................................................................

งานวจยนมวตถประสงคเพอคนหาเทคนคดานเหมองขอมล เพอสรางโมเดลการวเคราะหโรคอตโนมตทดสอบประสทธภาพในการจาแนก (Classification) สาหรบขอมลทางการแพทย โดยทดลองกบ 7 อลกอรทม ซงประกอบดวย Naïve Bayes,Multilayer Perceptron,Radial Basis Function Network, Support Vector Machine, K-Nearest Neighbor, Decision Tree, Ripper ทาการศกษาเปรยบเทยบวธลดคณลกษณะทเหมาะสมดวยวธ Correlation-based Feature Subset Selection (CFS) และวธ Feature selection method based on correlation measure and relevance & redundancy analysis (FCBF) รวมถงทดสอบอลกอรทมประเภท Single learning และ Multiple learning และทาการเพมประสทธภาพการจาแนกดวยวธ Bagging และ Boosting ผลจากการวจยพบวาทกโมเดลทสรางขน มประสทธภาพในการจาแนกประเภทของโรคในระดบ 80 % ขนไป เมอไมลดคณลกษณะ และเมอเรยงคาความถกตอง (Accuracy) แยกตามประเภทของขอมลพบวา กลมขอมล Hypothyroid การสรางโมเดลดวยอลกอรทม Decision Tree ใหประสทธภาพดทสด 99.57% กลมขอมล Leukemia การสรางโมเดลดวยอลกอรทม Naive Bayes กบ Support Vector Machine ใหประสทธภาพดทสด 98.61% กลมขอมล Breast-w การสรางโมเดลดวยอลกอรทม Support Vector Machine ใหประสทธภาพดทสด 96.99% กลมขอมล Lymphography การสรางโมเดลดวยอลกอรทม Support Vector Machine ใหประสทธภาพดทสด 86.48% กลมขอมล Hepatitis การสรางโมเดลดวยอลกอรทม Radial Basis Function กบ K-Nearest Neighbor ใหประสทธภาพดทสด 85.80% กลมขอมล Heart-c การสรางโมเดลดวยอลกอรทม Support Vector Machine ใหประสทธภาพดทสด 84.15% กลมขอมล Heart-statlog การสรางโมเดลดวยอลกอรทม Radial Basis Function กบ Support


(3)

Vector Machine ใหประสทธภาพดทสด 84.07% ตามลาดบ ซงการสรางโมเดลดงกลาวมคณภาพในระดบทยอมรบได และสามารถนาไปพฒนาเปนซอฟตแวรในการวนจฉยโรคอตโนมตได การเพมประสทธภาพดวยวธ Multiple Learning ดวยอลกอรทม Bagging และ Boosting สงผลใหคาความถกตองเพมขนเฉพาะบางกลมขอมลเทานน โดยมขอสงเกตวาสดสวนของกลมตวอยางในแตละคลาสจะตองมปรมาณใกลเคยงกนหรอเทากน กรณทการกระจายของของกลมตวอยางในแตละคลาส มสดสวนทแตกตางกนมาก สงผลใหเทคนค Bagging และ Boosting ไมชวยเพมประสทธภาพการจาแนกขอมล การลดคณลกษณะดวยวธ Correlation-based Feature Subset Selection (CFS) และวธ Feature selection method based on correlation measure and relevance & redundancy analysis (FCBF) สงผลใหประสทธภาพความถกตอง (Accuracy) ในการจาแนกประเภทของโรคใกลเคยงกบการไมลดคณลกษณะ แตการลดมตของขอมลดงกลาวทาใหประหยดทรพยากรของระบบคอมพวเตอรและระยะเวลาในการเรยนรเพอสรางโมเดลไดเปนอยางด


(4)

Abstract Research Title : Data Mining Techniques for Automatical Disease Analysis Author : Mr. Nivet Chirawichitchai Year : 2010

................................................................................................. The objective of this research was to find the data mining techniques to create a model of efficiency in the automated analysis of disease classification for medical dataset by experiments with 7 algorithms, including Naïve Bayes, Multilayer Perceptron, Radial Basis Function Network, Support Vector Machine, K-Nearest Neighbor, Decision Tree, Ripper. Comparative study of feature selection methods with Correlation-based Feature Subset Selection (CFS) and Feature selection method based on correlation measure and relevance & redundancy analysis (FCBF) including test algorithms on Single learning and Multiple learning by increasing the efficiency, and enhance the classification by Bagging and Boosting. From the experimental results of this research showed all models were built with efficiency in the classification of the disease in up to 80% when the feature is not reduced. And when sorting accuracy (Accuracy) by type of dataset found that information Hypothyroid dataset on Decision Tree for the best performance is 99.57%, Leukemia dataset on Naive Bayes or Support Vector Machine for best performance is 98.61%, Breast-w dataset on Support Vector Machine for best performance is 96.99%, Lymphography dataset on Support Vector Machine for best performance is 86.48%, Hepatitis dataset on Radial Basis Function or K-Nearest Neighbor for best performance is 85.80%, Heart-c dataset on Support Vector Machine for best performance is 84.15%, Heart-statlog dataset on Radial Basis Function or Support Vector Machine for best performance is 84.07% respectively. The models that has an acceptable quality level and to develop software for the automatic diagnosis.


(5)

Optimization with Multiple learning methods using Bagging and Boosting algorithm that result is increased accuracy for some datasets. The observations that proportion of samples in each class must be similar or equal. If the distribution of samples in each class is very different proportions. Bagging and Boosting the performance does not improve. Reducing features with Correlation-based Feature Subset Selection (CFS) and Feature selection method based on correlation measure and relevance & redundancy analysis (FCBF) resulted in performance accuracy to similar non-reducing features. But to reduce the dimensions of the features, saving resources of the computer system and the time to learn to build models as well.


บทท 1

บทนา

1.1 ความเปนมาและความสาคญของปญหา ปจจบนในยคของขอมลขาวสาร องคกรสวนใหญมขอมลทตองจดเกบอยเปนจานวนมากมาย เชนระบบรานคาปลก จะเกบขอมลพนกงานในองคกร , ขอมลการซอขาย ขอมลสนคา ขอมลลกคา เปนตน จะเหนไดวา ยงองคกรหรอรปแบบธรกจมขนาดใหญเทาไร ยอมทาใหการเกบสะสมขอมลสาหรบองคกรตางๆมจานวนมากขน การเกบขอมลจานวนมากเหลาน ลงในฐานขอมล เปนวธทนยมใชในหลายองคกร แตระบบการจดการฐานขอมลทวไปไมสามารถจดการกบขอมลเหลานไดอยางมประสทธภาพ เนองจากใชเวลานานในการดงขอมลทมความสาคญออกมาวเคราะห ดงนนจงไดเกดเทคโนโลยในการวเคราะหขอมลทมความสาคญออกมาจากแหลงเกบขอมลขนาดใหญ เรยกเทคโนโลยนวา "การทาเหมองขอมล" หรอ การขดคนขอมล (data mining)

การทาเหมองขอมล (Data Mining) หรออาจจะเรยกวา การคนหาความรในฐานขอมล (Knowledge Discovery in Databases – KDD) เปนเทคนคเพอคนหารปแบบ (pattern) ของจากขอมลจานวนมหาศาลโดยอตโนมต โดยใชขนตอนวธจากสถต การเรยนรของเครอง และ การรจาแบบ หรอในอกนยามหนง การทาเหมองขอมล คอ กระบวนการทกระทากบขอมลทมจานวนมาก เพอคนหารปแบบ แนวทางและความสมพนธทซอนอยในชดขอมลนน โดยอาศยหลกสถต การรจา การเรยนรของเครอง และหลกคณตศาสตร ซงเปนเทคโนโลยใหมของการประยกตใชขอมลทเกบอยในฐานขอมล ใหเกดประโยชนสงสดแกหนวยงานทเปนเจาของขอมล การประยกตใชขอมลทกลาวถงนมไดหลายแนวทาง แตโดยทวไปมกจะเปนการสรปภาพรวมของขอมลในฐานขอมล การวเคราะหแนวโนมการเปลยนแปลงของขอมล การคนหาความสมพนธทซอนอยภายในกลมของขอมล หรอ การคนหาขอมลทมความสาคญโดยทไมทราบมากอน แตมความหมายโดยนย และคาดวาจะมประโยชนจากขอมลในฐานขอมล ปจจบนมการประยกตใชงาน Data Mining ในธรกจหลากหลายประเภท เชน ดานการขายปลกและขายสง ดานการเงนการธนาคาร ดานการประดษฐและการผลต ดานการประกนภย ดานความปลอดภย ดานการตลาด และดานการแพทย


2

หวใจสาคญของกระบวนการ Data mining คอสวนของโปรแกรมททาหนาทสงเคราะหความรขนมาจากขอมลจานวนมากในฐานขอมล สวนสงเคราะหความรนเรยกวา Learning algorithm ซงมผ เสนอแนวคดและพฒนาอลกอรทมสวนนขนเปนจานวนมาก ไดแก อลกอรทมทใชหลกการของการสรางตนไมตดสนใจ (Decision Tree) อลกอรทมทใชหลกการทางสถตและทฤษฎของเบยส (Naïve Bayes) อลกอรทมทใชหลกการของโครงขายประสาทเทยม (Neural Network) และอลกอรทมอนๆ อกมาก ปจจบนไดมนกคอมพวเตอรทดสอบเปรยบเทยบความสามารถของอลกอรทมแตละประเภท เพอคนหาวาอลกอรทมใดมความสามารถสงทสด ผลการทดสอบสวนใหญ ปรากฏวาไมมอลกอรทมใดททางานไดดทสดในขอมลทกประเภท ทงนเนองจากขอมลแตละประเภทมลกษณะเฉพาะตวทตางกน เชน ขอมลทางการแพทย จะตางจากขอมลดานกฎหมาย และตางจากขอมลดานธรกจ ดงนนจงไมมอลกอรทมใดทดทสดสาหรบขอมลทกประเภท

จากปญหาดงกลาวผ วจยจงมแนวคด ทจะศกษา คนหาลกษณะ และเปรยบเทยบประสทธภาพ อลกอรทมสงเคราะหความร ทเหมาะสมกบขอมลดานการแพทย เพอศกษาเปรยบเทยบอลกอรทมกลมใดหรอประเภทใด ทมประสทธภาพการสงเคราะห หรอ การเรยนรทดทสดสาหรบการจาแนกประเภทของโรคทางการแพทย และศกษาวธการปรบปรงประสทธภาพอลกอรทมนนดวยเทคนคตางๆ เพอจะเพมขดความสามารถการวเคราะหโรคใหแมนยามากขน รวมถงศกษาเปรยบเทยบวธการลดคณลกษณะทเหมาะสมกบขอมลทางการแพทย 1.2 วตถประสงค

1.2.1 เพอศกษาและวเคราะหอลกอรทมทมประสทธภาพในการจาแนกประเภทของโรค ทเหมาะสมกบโมเดลการวเคราะหโรคอตโนมต

1.2.2 เพอศกษาวธการเรยนรแบบ Single learning กบ Multiple learning ทสงผลตอประสทธภาพในการจาแนกประเภทของโรค ทเหมาะสมกบโมเดลการวเคราะหโรคอตโนมต

1.2.3 เพอศกษาวธการลดคณลกษณะ ทสงผลตอประสทธภาพในการจาแนกประเภทของโรค ทเหมาะสมกบโมเดลการวเคราะหโรคอตโนมต

1.3 ขอบเขตของการวจย งานวจยนมงเนนการคนหาเทคนคดานเหมองขอมล เพอสรางโมเดลการวเคราะหโรคอตโนมต เพอคนหาอลกอรทมทเหมาะสมทสดสาหรบฐานขอมลทางการแพทย โดยใชอลกอรทมพนฐาน 7 อลกอรทม ซงประกอบดวย Naïve Bayes, Multilayer Perceptron, Radial Basis


3

Function Network, Support Vector Machine, K-Nearest Neighbor, Decision Tree, Ripper รวมถงการศกษาเปรยบเทยบการลดคณลกษณะทเหมาะสมดวย วธ Correlation-based Feature Subset Selection (CFS) และวธ Feature selection method based on correlation measure and relevance & redundancy analysis (FCBF) รวมถงทดสอบกบอลกอรทมประเภท Single learning กบ Multiple learning โดยเพมประสทธภาพดวยวธ Bagging และ Boosting โดยทดสอบกบขอมลทางการแพทยทง 13 ชด ซงประกอบดวย breast-cancer,breast-w,diabetes,heart-c,heart-statlog,hepatitis,hypothyroid,leukemia,liver-disorders,lung-cancer,lymphography,postoperative-patient,primary-tumor เทานน

1.4 เครองมอทใชในงานวจย

1.4.1 เครองคอมพวเตอร PC PentiumCore2 Duo 2.4 GHz หนวยความจาหลก 4 GB 1.4.2 ซอฟตแวร Java JDK 1.6 และ Weka-3-6-2 1.4.3 กลมขอมลทางการแพทยของมหาวทยาลยแหงรฐแคลฟอรเนยเมองเออรไวน

1.5 ประโยชนทคาดวาจะไดรบ การคนหาเทคนคเหมองขอมลเพอสรางโมเดลการวเคราะหโรคอตโนมตนน ผลทไดจาก

งานวจยน สามารถใชเปนแนวทางในการพฒนาซอฟตแวรเฉพาะทาง ดานการแพทยทเกยวของกบการวนจฉยและตรวจรกษาโรค เพอทดแทนบคลากรทางการแพทยทขาดแคลนไดเปนอยางด ตอไปในอนาคต


บทท 2

ทฤษฎและงานวจยทเกยวของ

งานวจยเรอง การคนหาเทคนคเหมองขอมลเพอสรางโมเดลการวเคราะหโรคอตโนมตผวจยไดศกษาคนควาขอมลทเกยวของเพอใหไดขอมลสาหรบนามาพฒนางานวจย โดยแบงขอมลในดานตางๆ ดงน 2.1 เหมองขอมล การทาเหมองขอมล (Data Mining) หรออาจจะเรยกวา การคนหาความรในฐานขอมล (Knowledge Discovery in Databases - KDD) เปนเทคนคเพอคนหาภาพแบบ (pattern) ของจากขอมลจานวนมหาศาลโดยอตโนมต จดเปนขบวนการของการดงเอาความรออกมาจากขอมลขนาดใหญ โดยใชขนตอนวธจากวชาสถต การเรยนรของเครอง และ การรจาแบบ หรอในอกนยามหนง การทาเหมองขอมล คอ กระบวนการทกระทากบขอมลจานวนมาก เพอคนหาภาพแบบ แนวทาง และความสมพนธทซอนอยในชดขอมลนน โดยอาศยหลกสถต การรจา การเรยนรของเครอง และหลกคณตศาสตร

Data Mining ตามศพททราชบณฑตยสถานกาหนดไวหมายถง การสกดหรอวเคราะห คนหาขอมลทตองการจากขอมลจานวนมากได หรอกลาวอกนยหนง Data Mining คอ ชด Software วเคราะหขอมลทไดถกออกแบบมาเพอระบบสนบสนนความตองการของผใชในการคนหาขอมลทตองการจากขอมลจานวนมากได

การทาเหมองขอมล มขนตอนหลกอย 3 ขนตอน (อกฤษ ปจฉม,2546) คอ 1. Preprocessing คอขนตอนการจดเตรยมขอมล ซงการจดเตรยมขอมลนนจะตองทา

การคดขอมลทไมเกยวของหรอขอมลเสย (Noise Data) ออกจากแหลงขอมลดบเพอใหไดขอมลทสมพนธกน ในขนตอนนสามารถแบงเปนขนตอนยอยดงน

Data cleaning เปนขนตอนในการกาจดขอมลทเราไมตองการ หรอขอมลทไมเปนประโยชนตอการใชงานหรอขอมลทมความผดพลาด

Data integration เปนขนตอนในการรวบรวมขอมลทงหมดทมจากแหลงขอมลตางๆ มาไว ดวยกน


5

Data selection คอการคดเลอกขอมลทเกยวของกบขอมลทจะใชวเคราะห เลอกขอมลทม ความสมพนธกน สงผลตอกนและเปนประโยชนตอการทานาย

Data transformation เปนการจดภาพแบบขอมลทไดจากขนตอนการคดเลอกขอมล ใหมความเหมาะสมตอการทานาย เชน การจดระเบยนขอมลทสมพนธกนมาไวในระเบยนชดเดยวกน หรอการแปลงคาตวเลขใหอยในชวงทกาหนด (Normalization) เปนตน

จากขนตอนทงหมดจะเหนวาในขนตอนเบองตนน เปนเพยงแคขนตอนในการจดเตรยมขอมลเพอจะนาไปใชเทานน ยงไมใชการใชขอมลเพอวเคราะหแบบจาลอง ซงในขนตอนนจะเปนขนตอนทใชเวลาในการดาเนนงานนานทสด หากจดภาพแบบขอมลไดไมเหมาะสมแลวในการทานายกจะไมมความแมนยา ผ ททาการเตรยมขอมลจงตองมความรเกยวกบขอมลเหลาน เชน การวเคราะหโรคอตโนมต จาเปนจะตองทราบเกยวกบตวแปรทมอทธพลตอการจาแนกประเภทของโรค เปนตน การทราบถงปจจยทสงผลตอการทานายจะทาใหวเคราะหขอมลไดถกตองและการทานายจะมความแมนยา

2. Data Mining เปนขนตอนทใชในการนาขอมลทพรอมแลวมาสรางแบบจาลอง โดยขนแรกจะตองทาการเลอกเทคนคทเหมาะสมกบภาพแบบชดขอมล พจารณาปญหาเชน ตองการทานายประเภทของโรค หรอ ตองการแบงประเภทขอมลของโรค หรอตองการหาปจจยทเกยวของ เปนตน หลงจากไดเทคนคทเหมาะสมแลว จะทาการสอน (Train) ใหแบบจาลองเรยนรลกษณะของขอมลวา ชดขอมลทงหมดมความสมพนธกนอยางไร และทศทางในการวเคราะหเปนอยางไร โดยในการสอนใหแบบจาลองเรยนรนน จาเปนตองมการกาหนดพารามเตอร (Parameter) หรอคาตวแปรตางๆ ใหเหมาะสม ซงในการพจารณาคาพารามเตอรนนขนอยกบเทคนคทเลอกใช ประสบการณในการวเคราะหและการลองผดลองถก จากนนจงนาแบบจาลองทไดไปทดสอบหาคาความผดพลาดของแบบจาลอง โดยการนาขอมลจรงทเตรยมไวสาหรบการทดสอบมาปอนลงในแบบจาลองแลวดผลของการทานายทได

3. Post processing คอขนตอนสดทายของการทาเหมองขอมล เปนขนตอนการประเมนผลและนาสงทไดมานาเสนอในภาพแบบของการใชงาน ซงในขนตอนนหากผลการทดสอบ (Test) ไมเปนทนาพอใจแลว จะตองทาการจดภาพแบบขอมลใหม (หรอเตรยมขอมลใหม) เพอใหได คาความถกตอง (Accuracy) มากทสด หรอคาความคลาดเคลอนในการทานายนอยทสด (Error) หากคาความถกตองยงนอยอย หรอความผดพลาดยงคงมอย หลงจากเตรยมขอมลใหม อาจจาเปนตองเลอกเทคนคในการทาเหมองขอมลใหม ซงการเพมคาความถกตองและลดคาความคลาดเคลอนจะใชวธใดนน ขนกบปญหาทเกดขนและในสวนของขนตอนนแบงเปนขนตอน


6

ยอยๆ ดงน 1.Pattern evaluation คอขนตอนการประเมนผลของแบบจาลองทไดวา เกดความผดพลาดมากนอยเพยงใด ภาพแบบการทานายทไดนนเปนไปตามความตองการหรอไม 2.Knowledge presentation คอการแสดงผลของการทานายทไดจากแบบจาลอง โดยการนาไปทาเปนภาพแบบทสามารถนาไปใชไดงาย สะดวกตอการใชงาน เชน การปอนขอมลเขา และการแสดงผลลพธ เปนตน

จากขนตอนทงหมดน ขน Post processing กคอการแสดงผลของสงทไดจากการทาเหมองขอมลนนเอง ซงผลทไดจากการทาเหมองขอมลนจะนาไปใชในการทานายจากเหตการณทเกดขนจรง ดงภาพท 2.1 ซงสามารถแสดงขนตอนในการทาเหมองขอมล ระบรายละเอยดขนตอนทงหมดเปนแผนภาพไดดงภาพท 2.2

ภาพท 2.1 ขนตอนกระบวนการคนความรจากฐานขอมล

ภาพท 2.2 ขนตอนกระบวนการทาเหมองขอมล (Data Mining)


7

เราสามารถสรปขนตอนของการคนหาความรใหม จากกระบวนการทาเหมองขอมลไดดงน 1. เรยนรและศกษาเกยวกบฐานขอมลและโปรแกรมทจะใชในการทาเหมองขอมล 2. การกรองขอมลและประมวลผล (Data cleaning and preprocessing) ขอมลทเกบรวมรวมมามจานวนมากจะตองนามากรอง เพอเลอกขอมลทตรงประเดน เพราะบางขอมลอาจจะไมเปนประโยชนกบเรา ในขนตอนนเปนขนตอนทเราจะไดมาซงคณภาพของขอมล ทจะนาไปวเคราะห 3. คดเลอกขอมล (Data selection) เปนการระบถงแหลงขอมลทจะนามาทา mining รวมถงการนาขอมลทตองการออกจากฐานขอมล เพอสรางกลมขอมลสาหรบพจารณาในเบองตน และทาการแปลงภาพแบบขอมล (Data transformation) ลดภาพและจดขอมลใหอยในภาพแบบ เดยวกนมภาพแบบ (Format) ทเปนมาตรฐานและเหมาะสมทจะนาไปใชกบ Algorithm และแบบจาลองทใชทา Data Mining 5.เลอกภาพแบบของการทาเหมองขอมลเชน Summarization, Classification, Regression, Association และ Clustering เปนตน และเลอก Algorithm ทเหมาะสมกลบลกษณะของงาน 6. ทาการคนหา Patterns ทเราสนใจ และประเมนผล Pattern และนาเสนอองคความร ในขนตอนนจะเปนการวเคราะหผลลพธทได และแปลความหมาย และประเมนผลวาผลลพธนนเหมาะสมหรอตรงวตถประสงคหรอไม 7. ใชองคความรทคนพบ (Use of discovered knowledge) 2.2 เทคนคการทาเหมองขอมล เนองจากการทาเหมองขอมลเปนเทคนคในการคนความรจากขอมลขนาดใหญ การทาเหมองขอมลจงเปนการรวมเอาศาสตรตางๆ หลายแขนงมารวมไวดวยกนโดยไมจากดวธการทจะใช ตวอยางศาสตรทใชเชน เทคโนโลยฐานขอมล (Database technology) วทยาศาสตรสารสนเทศ (Information science) สถต (Statistics) และระบบการเรยนร (Machine learning) เปนตน ซงศาสตรตางๆ เหลานจะทาใหเกดกระบวนการคนความรในแบบตางๆ โดยภาพแบบการคนความรหลกมดงน (อกฤษ ปจฉม,2546)

1.การแบงประเภทและการทานาย (Classification and Prediction) จดเปนกระบวนการทใชในการหาภาพแบบของชดขอมลทมความใกลเคยงกน หรอ

เหมอนกนมากทสด เพอใชในการทานายชดขอมลวาอยในประเภทใดของชดขอมลทไดทาการแบง


8

ไวแลว ซงชดขอมลทแบงไวเกดจากการเรยนรจากชดขอมลทมอยแลว (Training data) แบบจาลองทเกดจากการเรยนร สามารถแสดงไดหลายภาพแบบ เชน กฎการแบง (Classification rules, IF-THEN) การคานวณแบบตนไมวเคราะห (Decision Tree) การใชสตรทางคณตศาสตร (mathematical formula) หรอโครงขายใยประสาทเทยม เปนตน ในสวนของการทาตนไมวเคราะห จะแสดงออกมาในลกษณะของแผนภมโครงสรางตนไม ซงกานของตนไมจะแสดงถงความรทได และใบไมจะแสดงถงประเภทชดขอมลทถกแบงออกมา แผนภมตนไมสามารถแปลงเปนกฎการแบงไดงายเพราะลกษณะของแผนภมสามารถเขาใจไดงาย ในสวนของโครงขายใยประสาทเทยมนน จะแสดงในลกษณะของการเชอมตอระหวางหนวยทเกดขน การทาการแบงประเภทนนมกจะใชประโยชนรวมกบการทานายโดยเฉพาะขอมลทเปนตวเลข เราจงอาจมองไดวาการทานายเปนการบอกถงคาตวเลขและการบงบอกประเภทของขอมลนนในลกษณะของการดแนวโนม (trends) ทจะเกดขน ตวอยางเทคนคของการแบงประเภทและการทานายไดแก การคานวณแบบพนธกรรม (Genertic Algorithm) การคานวณแบบตนไมวเคราะห และโครงขายใยประสาทเทยม (Neural Network) เปนตน

2.การวเคราะหเพอจดกลม (Clustering Analysis) การวเคราะหเพอจดกลม จะแตกตางกบการทาการแบงประเภทและการทานายซง

วเคราะหกลมขอมลทมความคลายกนมากทสด ซงจะเปนการจดกลมทแบงประเภทโดยไมมการระบชอกลมในชวงของการสอน แบบจาลองโดยทวไปแลววธแบบนจะใชกบการจดการแบงขอมลทไมรวาจะจดประเภทไวดวยกนอยางไรด และการทาการวเคราะหนจะสามารถทาการบงบอกถงชอของกลมทแบงขนไดดวย ในการทาการวเคราะหเพอจดกลมนนจะอาศยพนฐานของความเหมอนกนมากทสดและความเหมอนกนนอยทสดของกลม นนคอขอมลทถกจดไวในกลมเดยวกนจะมความคลายกนสงมาก แตจะแตกตางกนกบขอมลทถกจดไวคนละกลม และตวอยางของการวเคราะหเพอจดกลมไดแก การหาคาเฉลย K (K-mean Algorithm) การรวมและการแบงกลมโดยจดลาดบชน (Agglomerative and Divisive Hierarchical Clustering) และการลาดบตาแหนงเพอแสดงโครงสรางการจดกลม (Ordering Points To Identify the Clustering Structure) เปนตน

3. การวเคราะหความสมพนธ (Association Analysis) การวเคราะหความสมพนธเปนภาพแบบการคนความรโดยการหาสงทเรยกวา “กฎความ

ของสมพนธ (Association rules)” ซงจะแสดงความสมพนธของคาทมความสมพนธและมเงอนไขทตรงกบขอกาหนดและลกษณะของขอมลทมการเรยนรในภาพของตะกราจายตลาด (Market Basket) หรอการซอขาย (Transaction) ในการทาการวเคราะหความสมพนธกฎทเกดขนนจาเปน


9

ทจะตองกาหนดคา สนบสนน (Support) และคาความมนใจ (Confidence) ซงจะเปนตวกาหนดวากฎทเกดขนนนมความสมพนธกนในระดบใด และยงเปนการชวยยบยงการเกดกฎทไมจาเปนหรอกฎทมความเกยวของกนนอยมาก ตวอยางเทคนคของการวเคราะหความสมพนธไดแก การวเคราะหแบบตะกราสนคา (Market Basket Analysis) การคานวณแบบแอพพรออร (The Apriori Algorithm) และกฎความสมพนธแบบหลายระดบ (Multilevel Association Rules) เปนตน

2.3 อลกอรทมการแบงประเภท (Classifier Algorithm) 2.3.1 ตนไมตดสนใจ (Decision Tree) ตนไมจะประกอบดวยโหนดแทนคณลกษณะ และโหนดลางสดแทนหมวดหม การสรางกงสาขาจะพจารณาจากคาความจรงของคณลกษณะ โดยคาทใชจะมาจากการคานวณจากคา Information Gain การสรางตนไมตดสนใจ C4.5 ใชคามาตรฐานอตราสวนเกน (Gain Ratio) เพอเลอกคณลกษณะทจะใชเปนรากหรอโหนด ถาใหชดขอมล M ประกอบดวยคาทเปนไปได คอ {m1, m2, …, mn} และใหความนาจะเปนทจะเกดคา m1 มคาเทากบ P(mi) จะไดวาคาเกนสารสนเทศ (Information Gain) ของ M เขยนแทนดวย I(M) คานวณไดดง (พรพล ธรรมรงครตน,2008) สมการ ถาใหขอมลสอน คอ T และคณลกษณะทเปนโหนด คอ x และมคาทงหมดทเปนไปได n คา โหนดปจจบนจะแบงตวอยาง T ออกตามกงเปน {t1, t2, …, tn} ตามคาทเปนไปไดของ x ดงนนจงสามารถคานวณคาเกนสารสนเทศหลงจากแบงตามคณลกษณะและคามาตรฐานเกน(GAIN)ของคณลกษณะ x ไดดงสมการ จากนนคานวณคาสารสนเทศของการแบงแยก (Split Information) ของคณลกษณะแตละตว ถาให T คอ ชดของตวอยาง เมอแบงตวอยางนตามคณลกษณะ x จะไดชดของตวอยางยอยในแตละกง คอ {t1, t2, …, tn} จานวน n ชด ตามคาทเปนไปไดในคณสมบต x เมอคานวณคาสารสนเทศของการแบงแยกไดดงสมการ


10

คานวนคามาตรฐานอตราสวนเกน (Gain ratio) ไดจาก Gain Ratio = Gain – Split Information ทายสดจงเลอกคา Gain ratio สงสดเปนคณลกษณะเรมตน และเลอกคณสมบตถดไปตามคา Gain ratio นอยลงตามลาดบ

ภาพท 2.3 ตนไมตดสนใจ

2.3.2 ซพพอรทเวกเตอรแมชชน (Support Vector Machine) หลกการของวธการน ใชเพอหาระนาบการตดสนใจในการแบงขอมลออกเปนสองสวน โดยใชสมการเสนตรงเพอแบงเขตขอมล 2 กลมออกจากกน โดยมวตถประสงคทจะพยายามทจะทาการลดความผดพลาดจากการทานาย (Minimize error) พรอมกบเพมระยะแยกแยะใหมากทสด (Maximized Margin) ซงตางจากเทคนคโดยทวไปเชน โครงขายประสาทเทยม (ArtificialNeural Network: ANN) ทมงเพยงทาใหความผดพลาดจากการทานายใหตาทสดเพยงอยางเดยว โดยจะใชฟงกชนแมปขอมลจาก Input Space ไปยง Feature Space และสรางฟงกชนวดความคลายทเรยกวาเคอรเนลฟงกชน (Kernel Function) บน Feature Space เหมาะใชสาหรบขอมลทมลกษณะมตของขอมลทมปรมาณมาก โดยกาหนดให (xi,yi),…,(xn,yn) เปนตวอยางทใชสาหรบการสอน n คอ จานวนขอมลตวอยาง m คอ จานวนมตขอมลเขา และ y คอ ผลลพธมคา + 1 หรอ -1 (พรพล ธรรมรงครตน,2008) ดงสมการ (xi,yi),…,(xn,yn) เมอ x Є Rm , y Є {+1,-1} สาหรบปญหาเชงเสน มตขอมลขนาดสงไดถกแบงเปน 2 กลม โดยระนาบตดสนใจ ซงคานวณไดดงสมการ และเมอ w คอ คานาหนกและ b คอคา bias สมการ ใชสาหรบจาแนกประเภทของขอมล (w*x)+b=0 โดย (w*x)+b>0 ถา yi = +1 และ (w*x)+b<0 ถา yi = -1 อยางไรกตามซพพอรทเวกเตอรแมชชนมเคอรเนลฟงกชน (Kernel Function) ทผสามารถประยกตใชในการแกปญหาไดหลายวธโดยผวจยตองเลอกเคอรเนลใหเหมาะสมกบลกษณะขอมล


11

ภาพท 2.4 ซพพอรทเวกเตอรแมชชน

2.3.3 เนอฟเบย (Naïve-Bayes) หลกการของวธการน ใชการคานวณความนาจะเปนซงถกใชในการทานายผล จดเปนเทคนคในการแกปญหาแบบ classification ทสามารถคาดการณผลลพธไดและสามารถอธบายไดดวย มนจะทาการวเคราะหความสมพนธระหวางตวแปร เพอใชในการสรางเงอนไขความนาจะเปนสาหรบแตละความสมพนธ การเรยนร เบย อย างง ายเป นวธจาแนกประเภทข อมลทมประสทธภาพวธหนง ทการทางานทไม ซบซ อน เหมาะกบกรณของเซตตวอย างมจานวนมากและคณสมบต (Attribute) ของตวอย างไม ขนต อกน โดยกาหนดให ความน า จะเป นของข อมลทจะเป น (บญเสรม กจศรกล,2546) ดงสมการ กล ม vj สาหรบข อมลทมคณสมบต n ตว X={ a1, a2, …, an } หรอ ใช สญลกษณ ว า P( a1, a2, …, an | vj) โดยท Π หมายถง ผลคณของค า P( ai | vj) ทงหมด i = 1,2,3,…,n และ j = 1,2,3,…,n ดงนนเราจะได ว า วธการจาแนกประเภทแบบเบย อย างง าย ดงสมการ

ภาพท 2.5 เนอฟเบย


12

2.3.4 เคเนยเรสเนเบอร (K-Nearest Neighbor) หลกการของวธการน จะจาแนกประเภทขอมลโดยขนกบขอมลทมคณสมบตใกลเคยงทสด K ตวจากขอมลบนชดขอมลตวอยาง ทางานโดยขนกบระยะทางนอยสดจากสมาชกใหม หรอขอมลทปอนถาม (input query instance) กบขอมลตวอยางฝกฝน จะคานวณหาเพอนบานทใกลทสด K ตว หลงจากนนเราจะรวบรวมสมาชกทใกลเคยงทสด K ตวแลวเลอกคลาสทสมาชกสวนใหญทในกลม K ดงกลาวสงกดอยมากทสดใหกบสมาชกใหม ขอมลการจาแนกโดยใชขอมลขางเคยง K ตว ประกอบดวยแอททรบวตหลายตวแปร Xi ซงจะนามาใชในการแบงกลม Yi โดยระบคาตวเลขจานวนเตมบวกใหกบ K ซงคานจะเปนตวบอกจานวนของกรณ (case) ทจะตองคนหาในการทานายกรณใหม อลกอรทมแบบ K-NN ไดแก 1-NN , 2-NN , 3-NN , ………. K-NN ตวอยาง 2-KNN หมายถง อลกอรทมนจะคนหา 2 กรณทมลกษณะใกลเคยงกบกรณใหม ( 2 Nearest Cases ) การนาระยะทางทหาไดจากสมาชกใน ขอมลตวอยางฝกฝน มาเรยงลาดบจากนอยไปหามากแลวเลอกสมาชกทมระยะทาง (Distance) ใกลเคยงทสดออกมา K ตวโดยใชการวดระยะทางแบบ Euclidean distance มหลกการคอ การวดระยะทางระหวางสองวตถ ถาวตถหางกนมากแสดงวาวตถนนมความคลายกนนอย ถามคานอยกแสดงวามความคลายคลงกนมาก (บญเสรม กจศรกล,2546)

ภาพท 2.6 เคเนยเรสเนเบอร 2.3.5 กฎของรปเปอร หลกการของวธการประกอบดวย 2 เฟส คอ เฟสแรกทาการระบกฎเรมตน และเฟสทสองจะระบคา Post-process rule optimizationโดยขอมลทถกการเรยนร (Training) จะถกแบงไปเปน growing set และ pruning set โดยอลกอรทมนจะสรางกฎความสมพนธใน greedy ในขณะทสรางกฎรปเปอรนน จะหาคาทดทสดสาหรบ growing set ใน rulespace ซงจะอธบายไดจาก BNF หลงจากได growing set กจะทาการ pruning ขอมล เมอเสรจจะไดกลมตวอยางทเหมอนกนออกมาทครอบคลมกฎของ training set จากนนกจะลบทง ซง


13

training data ทเหลอจะถกแบงใหมอกครงหลงจากเรยนรตามกฎแลว เพอชวยแกปญหาทเกดมาจากการแบงแยกกลมทผดพลาด ซงกระบวนการนจะกระทาซาจนกระทงผลเปนทนาพอใจ 2.3.6. เครอขายฟงกชนฐานรศม (Radial Basis Function Network หรอ RBF network) เปนเครอขายไปขางหนาประเภทหนง ทไดรบการยอมรบวามประสทธภาพสงเครอขายหนง เครอขาย RBF แตกตางไปจากเครอขายเพอรเซพตรอนแบบหลายชน (multi-layer perceptron) ตรงทเครอขาย RBF นนมชนซอนเรนเพยงชนเดยว เครอขายฟงกชนฐานรศม สามารถพจารณาเปนฟงกชนการสง (Mapping function) ของความสมพนธระหวางคภาพแบบอนพตและเอาตพตได โดยการเรยนรของเครอขายเปนการปรบคานาหนกประสาทใหไดฟงกชนการสงทเหมาะทสด RBF Neural Network ประกอบดวยชนขอมลเขา (Input Layer) ขนซอน (Hidden Layer) และชนขอมลออก (Output Layer) ซงมเกาซเชยนฟงกชน (Gaussian Function) เปนฟงกชนกระตนในชนซอน (พรพล ธรรมรงครตน,2008) ดงสมการ เมอ j=1, 2, ..., n โดยท คอ ขอมลออกของนวรอลท j ในชนซอน x คอเวกเตอรขอมลเขา cj และ σj คอ ศนยกลางและชวงกวางของนวรอลท j ตามลาดบ ขอมลออกของโครงขาย RBF คานวนดงสมการ โดยท n คอจานวนของนวรอลในชนซอน wj คอนาหนกระหวางชนซอนและชนขอมลออก และ y คอผลลพธ

ภาพท 2.7 เครอขายฟงกชนฐานรศม


14

2.3.7 เพอรเซปตรอนหลายชน (Multi-Layer Perceptron) โครงขายประสาทเทยมแบบ Multi-Layer Perceptron เปนภาพแบบหนงของโครงขาย

ประสาทเทยมทมโครงสรางเปนแบบหลายๆ ชน ใชสาหรบงานทมความซบซอนโดยมกระบวนการฝกฝนเปนแบบมผสอน (Supervise) และใชขนตอนการสงคายอนกลบ (Back propagation) สาหรบการฝกฝนกระบวนการสงคายอนกลบ ประกอบดวย 2 สวนยอยคอ การสงผานไปขางหนา (Forward Pass) การสงผานยอนกลบ (Backward Pass) สาหรบการสงผานไปขางหนา ขอมลจะผานเขาโครงขายประสาทเทยมทชนขอมลเขา และจะสงผานจากอกชนหนงไปสอกชนหนงจนกระทงถงชนขอมลออก สวนการสงผานยอนกลบคานาหนกการเชอมตอ จะถกปรบเปลยนใหสอดคลองกบกฎการแกขอผดพลาด (Error-Correction) คอผลตางของผลตอบทแทจรง (Actual Response) กบผลตอบเปาหมาย (Target Response) เกดเปนสญญาณผดพลาด (Error Signal) ซงสญญาณผดพลาดนจะถกสงยอนกลบเขาสโครงขายประสาทเทยมในทศทางตรงกนขามกบการเชอมตอ และคานาหนกของการเชอมตอจะถกปรบจนกระทงผลตอบทแทจรงเขาใกลผลตอบเปาหมายสญญาณทมโครงขายประสาทเทยมแบบ MLP ม 2 ประเภทคอ Function Signal และ Error Signal Function Signal เปนสญญาณเขาทมาจากโหนดในชนกอนหนา และจะสงผานไปขางหนาจากโหนดหนงไปสอกโหนดหนง Error Signal เปนสญญาณยอนกลบทเกดขนทโหนดในชนขอมลออกของโครงขายประสาทเทยม และถกสงผานยอนกลบจากชนหนงไปสอกชนหนง

หลกการทางานของ Multi-Layer Perceptron คอในแตละชนของชนซอนตว (Hidden Layer) จะมฟงกชนสาหรบคานวณเมอไดรบสญญาณ (Output) จากโหนดในชนกอนหนา เรยกวา Activation Function โดยในแตละชนไมจาเปนตองเปนฟงกชนเดยวกนกได ชนซอนตวนนมหนาทสาคญคอ จะพยายามแปลงขอมลทเขามาในชน (Layer) ใหสามารถแยกแยะความแตกตางโดยใชเสนตรงเสนเดยว (Linearly Separable) และกอนทขอมลจะถกสงไปถงชนขอมลออก (Output Layer) ในบางครงอาจจาเปนตองใชชนซอนตวมากกวา 1 ชนในการแปลงขอมลใหอยในภาพ Linearly Separable ในการคานวณหา Output ในปญหาการจาแนกทาไดโดยการใสขอมล Input เขาไปในโครงขายประสาทเทยมทเราไดทาการหาไวแลว จากนนใหทาการเปรยบเทยบคาของ Output ใน Output Layer และใหทาการเลอกคาของ Output ทมคาสงกวา (Neuron ทมคาสงกวา) และทาการรบคาของพยากรณทตรงกบ Neuron ทเลอก และใหนาคาของ มาเปรยบเทยบกบคาทยอมรบได หากคาของ อยในชวงทรบได (Error นอยกวา Error ทเรากาหนด) กใหทาการรบขอมลชดถดไป แตหากคาของ มากกวาคาทยอมรบได ใหทาการปรบคานาหนกและ Biased ตามขนตอนทไดกลาวไวขางตน เมอทาการปรบนาหนกเรยบรอยแลว ใหทาการรบขอมลชดถดไปและ


15

ทาตามขนตอนซาอกรอบจนกระทงถงขอมลชดสดทาย และเมอทาขอมลชดสดทายเสรจ จะนบเปน 1 รอบของการคานวณ (1 Epoch) จากนนจะทาการหาคาผดพลาดรวมเฉลย จากคาเฉลยของ ทไดเกบคาเอาไว เพอใชในการตรวจสอบวาคาโดยเฉลยในการจาแนกนน มคานอยกวาคาผดพลาดทยอมรบไดหรอไม ถาใชแสดงวาโครงขายประสาทเทยมทสรางขนนนสามารถใหผลลพธทถกตองของทกๆขอมลแลว จงทาการจบการเรยนรได แตถาไมใช ใหกลบไปทาตามขนตอนแรก โดยเรมรบขอมลชดท 1 ใหม

ภาพท 2.8 เพอรเซปตรอนหลายชน

2.4 การลดมตขอมล (Feature Selection) เนองจากกลมตวอยางของขอมลการแพทย มแนวโนมทจะเพมปรมาณสงขนทกวน ทาให

ขอมลการแพทยบางประเภทมจานวนคณลกษณะมากขน ซงจานวนคณลกษณะมผลตอประสทธภาพของการจาแนกประเภทของโรค เนองจากอลกอรทมทใชในการเรยนรเพอสรางตวโมเดลการวเคราะหโรคอตโนมต โดยทวไปไมสามารถรองรบการทางานกบจานวนคณลกษณะของขอมลการแพทยทสงมากไดด การลดขนาดขอมลจงเปนขนตอนหนงทจะตองทากอนการเรยนรดวยเครองจกรการเรยนร (Machine learning) แตการลดขนาดของคณลกษณะขอมลการแพทย ตองพจารณาดวยความระมดระวง เนองจากมความเสยงในการทจะกาจดคณลกษณะทสาคญตอการจาแนกประเภทของโรคออกไป จากการศกษาพบวาวธการลดคณลกษะมหลากหลายวธ ซงอยบนพนฐานของการวเคราะหความสมพนธระหวางตวแปรกบกลมเปาหมาย (Class) รวมถงการสรางคณลกษณะใหมจากคณลกษณะเดม อาจจะนาคณลกษณะพนฐานเหลานมารวมกนเพอใหเปนคณลกษณะใหม (นเวศ จระวชตชย,2553)


16

2.4.1 การลดมตขอมลโดยใชความสมพนธของคณลกษณะ (Correlation Based Feature Selection :CFS) อลกอรธมนมหลกการกรองทงาย ๆ โดย CFS จะจดอนดบกลมยอยของมตขอมล ตามความสมพนธทอยบนพนฐานของฟงกชนการประมาณแบบ heuristic ซงกลมยอยของมตขอมล จะมความสมพนธกนสงกบคลาส และไมมความสมพนธกบคลาสอน ๆ สาหรบมตขอมลทไมเกยวของอาจจะถกละทง เพราะมตขอมลเหลานอาจจะมความสมพนธตากบคลาส มตขอมลทซาซอนอาจจะ ถกขจดออกไปจากกลมมตขอมลทมความสมพนธสงสมการประเมนกลมยอยของมตขอมลแบบ CFS (ภทราวฒ แสงศร ,2553) แสดง ในสมการ

โดยท Mi คอ คาทคนหาไดของมตขอมลกลมยอย S ซงประกอบดวยมตขอมล k คอ คาเฉลยความสมพนธของตวแปรกบคลาส คอ คาเฉลยความสมพนธระหวางมตของขอมล 2.4.2 การลดมตขอมลโดยใชการวเคราหความสมพนธระหวางตวแปร (Feature

selection method based on correlation measure and relevance&redundancy analysis : FCBF) สาหรบนจะวเคราะหความสมพนธทอยบนพนฐานของฟงกชนการประมาณใกลเคยงกบ CFS ซงกลมขอมลทผานการกรองจะมความสมพนธกนสงกบคลาส โดยมหลกการหาความสมพนธระหวางคคณลกษณะและวเคราะหความซาซอนของตวคณลกษณะ โดยวธ FCBF จะใชการจดอนดบจากคาสมประสทธ (symmetrical uncertainty) เพอมงพจารณาระดบคณลกษณะกบเกณฑ โดยคาสมประสทธจะตองมากกวาเกณฑทกาหนด เพอกาหนดจานวนตวคณลกษณะ โดยคณสมบตทซาซอนจะถกกาจดออกไปเหลอแตตวคณลกษณะทเดน 2.5 การประเมนโมเดล

ครอสวาลเดชน (Cross Validation) คอวธการในการคาดการคาความผดพลาดของโมเดลหรอ วธการทเรานาเสนอโดยพนฐานของวธการครอสวาลเดชนคอ การสมตวอยาง (Resampling) โดยเรมจากแบงชดขอมลออกเปนสวนๆและนาบางสวนจากชดขอมลนนมา


17

ตรวจสอบ ผลลพธจากการทาครอสวาลเดชนมกถกใชเปนตวเลอกในการกาหนดโมเดล เชน สถาปตยกรรมเครอขายการสอสาร (Network architecture), โมเดลในการคดแยกประเภท(Classification model) เชนในการทา Classify ขอมลโดยใชเทคนคของ Data mining เชน Neural Network หรอ Decision Tree นนจะตองมการแบงขอมลออกเปนชดสอนและชดทดสอบ แตในบางครงอาจเกดปญหาจากการเลอกขอมลทดและ งายมาเปนขอมลชดทดสอบทาใหผลการ Classify นนดเกนจรง ดงนนจะมการคดวธ k-fold cross validation ขนมาแกปญหา

การแบงขอมลแบบ K - fold cross-validation คอการแบงขอมลออกเปน K ชดเทาๆกน และทาการคานวณคาความผดพลาด K รอบ โดยแตละรอบการคานวณขอมลชดหนงจากขอมล K ชดจะถกเลอกออกมาเพอเปนขอมลทดสอบ และขอมลอก K - 1 ชดจะถกใชเปนขอมลสาหรบการเรยนรดงตวอยางตอไปน K - fold Cross Validation ( K = 5) ชดขอมลหลงจากทาการแบงออก เปน 5 ชดขอมลยอยเทาๆกน โดยแตละกลองคอชดขอมลยอย 1 ชด ดงภาพ

ภาพท 2.9 K - fold Cross Validation ( K = 5)

จากวธการขางตนนนจะไดคาความผดพลาดของแตละรอบการคานวณ ซงประกอบดวย e1, e2, e3, e4 และ e5 โดยปรกตแลวนน การหาคาเฉลยความผดพลาด และใชคานนเปนตวแทนของความผดพลาดของโมเดลหรอวธการทนาเสนอ ซงสามารถแสดงไดดงสมการตอไปน Average Error = ( e1 + e2 + .... + eK )/ K จากตวอยางในขางตนนน ขอดของวธการนคอขอมลในแตละชดททาการแบงจะถกทดสอบอยางนอย 1 ครง และถกเรยนรทงหมด K -1 ครง โดยในขนตอนเหลานเราสามารถกาหนดไดวาตองกาขนาดขอมลขนาดใด และตองการทาการคานวณเปนจานวนรอบเทาใด แตอยางไรกตามเมอมองในมมกลบกนวธการนใชเวลาในการคานวณเปน K


18

เทา ซงในความเหนสวนตวเวลานนไมเปนปจจยสาคญตอการวดผลเมอเทยบกบกบความถกตองของการวดผล 2.6 งานวจยทเกยวของ

ณฐวรรณ รตนากรกล (2545) ไดทาวจยเรอง ระบบจาแนกประเภทโครงสรางของโปรตนโดยใชเทคนค Data Mining มจดประสงคเพอพฒนาระบบจดแบงประเภทโครงสรางของโปรตนเพอรองรบการคนพบชนดของโปรตนใหมๆ งานวจยนไดใชเทคนคการทาเหมองขอมล 2 เทคนค คอ การจดแบงประเภทขอมล (Data Classification) และ การคนหากฎความสมพนธ (Association Rules Discovery) มาประยกตใชในการสรางระบบจดแบงประเภทโครงสรางของโปรตน ขอมลทนามาเรยนรเพอสรางระบบ คอ ขอมลเกยวกบภาพแบบลาดบกรดอะมโนทมความสอดคลองในกลมโปรตน ขอมลเกยวกบฟงกชนการทางานของโปรตน และแหลงทมาของโปรตน ผลทไดสามารถสรางกฎความสมพนธไดระหวางประเภทขอมล

อจฉรา วรารกษ (2547) ไดทาวจยเรอง Data Mining เทคนค กบการจดการขอมล HIV/AIDS โดยขอมลทนามาเรยนรคอ ขอมลทวไปของคนไข ขอมลการใหยา และอาการของคนไขโรคเอดส โดยเลอกเทคนค Association Rules เปนอลกอรธมการทาเหมองขอมลและใชซอฟตแวร IBM’s Intelligent Miner วเคราะหขอมล จากจานวนขอมลทงหมด 420,000 ขอมล สามารถสรางกฎความสมพนธได 79 กฎ แสดงความสมพนธระหวางโรคและอาการทอาจจะเกดขนได สามารถแสดงคาเปอรเซนต Support เปอรเซนต Confidence ของแตละความสมพนธได

ศกรใจ วฒกจโกศล (2551) ไดทาวจยเรอง การใชเทคนคการทาเหมองขอมลในผ ปวยขอไหลตด โรงพยาบาลพระนงเกลา เพอหาปจจยทมผลตอการรกษาและสรางกฎความสมพนธทนาสนใจเพอเปนแนวทางชวยสนบสนนการตดสนใจเลอกเทคนคการรกษาสาหรบ นกกายภาพ บาบดโรงพยาบาลพระนงเกลา โดยใชขอมลผ ปวยโรคขอไหลตดทไมมโรคประจาตวและไมไดเกดจากอบตเหตมารบการรกษาทางกายภาพบาบดโรงพยาบาลพระนงเกลาทรกษาหายในชวงป พ.ศ. 2548-2550 จานวน 550 ราย มการเตรยมขอมลเพอใหไดขอมลทถกตอง และหาปจจยทมผลตอการรกษา จากนนวเคราะหโดยการทาเหมองขอมลดวยเทคนค Cluster และ Association Rule เลอกกฎความสมพนธทนาสนใจดวยคาสนบสนนของกฎไมตากวารอยละ 20 และคาความเชอมนไมตากวารอยละ 90 ผลการศกษาพบวามปจจย อาย ระยะเวลาทเปน องศาการยกแขน การไขวหลง ระดบความเจบปวด และเทคนคการรกษาทมผลตอการรกษา การแบงกลมดวยเทคนค Cluster พบวาสวนใหญมการจดกลมองศาการยกแขนทกวางไมเหมาะสมในการนามาใชกบผ ปวย


19

สวนการแบงกลมตามการทางานของขอไหล มการสรางกฎความสมพนธไดองคความรใหมในภาพของกฎความสมพนธทนาสนใจ

ภทราวฒ แสงศร (2553) ไดทาวจยเรอง การคดแยกประเภทของมะเรงเมดเลอดขาว โดยใชวธการจดอนดบรวมกบเทคนคซพพอรตเวกเตอรแมชชน โดยการคนหากลมยอยของยนทมอานาจจาแนก เปนปญหาทสาคญสาหรบงานวจยทางดานชววทยา เนองจากมจานวนยนเพมขนเปนจานวนมาก ดงนนเทคนคการลดมตของขอมล จงเปนประโยชนในการชวยคนหากลมยอยของยนสาเหตเนองจากเมอขอมลมจานวนมตหรอตวแปรมาก ทาใหขอมลเกดการกระจาย (data sparse) และทาใหเกดปญหามตขอมล (Curse of Dimensionality) งานวจยนจะนาเอาขอมลยนของโรคมะเรงเมดเลอดขาวแบบเฉยบพลน (Acute Leukemia) ซงมจานวนมตของขอมล 7,129 มต แบงออกเปน 2 กลม คอ ALL และ AML มาทาการทดลองและเพอเปรยบเทยบประสทธภาพของการลดมตขอมล ระหวางวธ Correlation Based Feature Selection, Gain Ratio และInformation Gain โดยนาผลลพธทไดจากการลดมตมาเปนขอมลอนพตของ ซพพอรตเวกเตอร แมชชน (Support Vector Machine) เพอคดแยกประเภทของโรคมะเรง ซงผลการทดลองแสดงใหเหนวาการลดขอมลโดยวธ Gain Ratio และ Information Gain มความเหมาะสม


บทท 3

วธดาเนนงานวจย

วธการดาเนนงานของงานวจยน มงเนนเพอคนหาเทคนคดานเหมองขอมลในสรางโมเดลการวเคราะหโรคอตโนมต โดยมจดมงหมายทจะทดสอบประสทธภาพของอลกอรทมตางๆ ทใชในการทาเหมองขอมลประเภทสงเคราะหโมเดลเพอการจาแนกขอมล เพอคนหาอลกอรทมทเหมาะสมทสดสาหรบขอมลทางการแพทย รวมถงศกษาวธลดคณลกษณะทเหมาะสม โดยรายละเอยดเนอหาในบทนประกอบดวยวธดาเนนการวจย คาอธบายขอมลทง 13 ชดทใชในการทดลองแตละอลกอรทม และรายละเอยดวธการทใชในการวเคราะหเปรยบเทยบผลลพธจากแตละอลกอรทม โดยแบงขนตอนการดาเนนงานออกเปน 3 สวนดงน 3.1 การคนควาและทาการวจยแบงออกไดเปน 9 ขนตอน ดงตอไปน

(1) ศกษาและรวบรวมสรปงานวจยทเกยวของ

(2) ศกษาวธการใชงานซอฟรแวรทใชในการทาเหมองขอมล

(3) รวบรวมขอมลทางการแพทยเพอทดสอบประสทธภาพการวเคราะหโรค

(4) แปลงรปแบบแฟมขอมล ใหอยในรปแบบทเหมาะสมเพอใชกบซอฟรแวร

(5) วเคราะหอลกอรทมสงเคราะหความร เพอทดสอบอลกอรทมทใชเทคนคทใชพนฐาน

แตกตางกน โดยใชอลกอรทมพนฐาน 7 อลกอรทม ซงประกอบดวย Naïve

Bayes,Multilayer Perceptron,Radial Basis Function Network, Support Vector

Machine, K-Nearest Neighbor, Decision Tree, Ripper

(6) วเคราะหเทคนคประเภท Multiple learning เพอเพมประสทธภาพ Classifier โดยใช

เทคนค Bagging และ AdaBoost

(7) วเคราะหเทคนคการลดคณลกษณะดวยวธ Correlation-based Feature Subset

Selection (CFS) และวธ Feature selection method based on correlation

measure and relevance & redundancy analysis (FCBF)


21

Classification Algorithm

Classification ModelTest Data

PredictedCategory

Medical dataset (Training data)

Feature Selection

Data Preprocessing

(8) ทดสอบประสทธภาพของแตละอลกอรทมกบขอมลแตละชดทรวบรวมไว เพอบนทก

พฤตกรรมการสงเคราะหความรของแตละอลกอรทม

(9) สรปผลการทดลองและเสนอแนะเทคนคทเหมาะสมของแตละอลกอรทม ในการ

วเคราะหโรคอตโนมต

3.2 แบบจาลองการวเคราะหโรคอตโนมต

ภาพท 3.1 แบบจาลองการวเคราะหโรคอตโนมต

3.3 กลมขอมลและประเภทขอมล ขอมลทใชในงานวจยนไดมาจากแหลงขอมลของมหาวทยาลยแหงรฐแคลฟอรเนย เมอง

เออรไวน (University of California at Irvine) โดยคดเลอกมาเฉพาะขอมลทางการแพทยทเกยวของกบการวเคราะหโรค จานวนชดขอมลทงหมดม 13 ชด จาแนกไดเปน 4 กลมคอ

3.3.1 ขอมลทมทงขอความ ตวเลข ปะปนกน และไมมขอมลสวนใดสญหาย (nominal data, no missing values) ไดแกขอมล lymphography และ postoperative-patient

3.3.2 ขอมลทมทงขอความ ตวเลข ปะปนกน แตมขอมลบางสวนสญหาย (nominal data,


22

missing values) ไดแกขอมล primary-tumor, heart-c และ breast-cancer 3.3.3 ขอมลทเปนตวเลขทงหมด (ยกเวนคลาส) และไมมขอมลสวนใดสญหาย (numeric

data, no missing values) ไดแกขอมล diabetes, heart-statlog, leukemia และ liver-disorders 3.3.4 ขอมลทเปนตวเลขทงหมด (ยกเวนคลาส) แตมขอมลบางสวนสญหาย (numeric data,missing values) ไดแกขอมล breast-w, hepatitis, hypothyroid และ lung-cancer

Lymphography Postoperative-patient

Primary-tumor Heart-c Breast-cancer Diabetes


23

Heart-statlog Leukemia

Hepatitis Hypothyroid

Lung-cancer

Liver-disorder Breast-w


24

สามารถสรปชดขอมล จานวนแอททรบวต และจานวนคลาสในแตละชดขอมล ไดดงน ตารางท 3.1 ตารางสรปชดขอมล

ชดขอมล ประเภทขอมล จานวน ขอมล

แอททรบวต

สญหาย

คลาส

breast-cancer ขอมลการวนจฉยการเกดใหมของมะเรงเตานม

206 10 Yes 2

breast-w การวนจฉยมะเรงเตานมวาเปนชนดรายแรงหรอไม

699 10 Yes 2

diabetes ขอมลการทดสอบวาคนไขสออาการโรคเบาหวานหรอไม

768 9 No 2

heart-c ขอมลการวนจฉยอาการหลอดเลอดเลยงหวใจตบ

303 14 Yes 2

heart-statlog ขอมลการทดสอบวาคนไขมอาการของโรคหวใจหรอไม

270 14 No 2

hepatitis ขอมลการวนจฉยตบอกเสบ 155 20 Yes 2 hypothyroid ขอมลการวนจฉยตอมธยรอยด 3772 30 No 4 leukemia ขอมลการวนจฉยโรคมะเรง

ในโลหต 72 7130 No 2

liver-disorders ขอมลการวนจฉยโรคตบ 345 7 No 2 lung-cancer ขอมลการวนจฉยมะเรงปอด 32 57 Yes 3 lymphography ขอมลการวนจฉยตอมนาเหลอง 148 19 No 4 postoperative-patient

ขอมลการวนจฉยสภาพคนไขหลงการผาตด

90 9 No 3

primary-tumor ขอมลการวนจฉยโรคมะเรงทเกดกบอวยวะตางๆ

339 18 Yes 22


25

3.4 การวดประสทธภาพ วธการทดสอบเพอเปรยบเทยบประสทธภาพของแตละอลกอรทมและ เทคนคการสราง

โมเดลการวเคราะหโรคอตโนมตนน เครองมอทใชในการทดสอบอลกอรทมและเทคนคตางๆ ในการสงเคราะหโมเดลโดยใชซอฟตแวร Weka (Waikato Environment for Knowledge Analysis) version 3.6 ซงเปนซอฟตแวรทเผยแพรฟร (Open Source Machine Learning Software) การทดสอบโมเดลการวเคราะหโรคอตโนมตนน สามารถพจารณาไดจากคาความถกตอง โดยใชวธการประเมนความสามารถของแบบจาลอง โดยวดทประสทธผลของการจาแนกขอมลตามแนวคดทางดานการคนคนสารสนเทศ ซงกคอการวดคาความถกตอง (Accuracy) คา Sensitivity ของคลาสหลก (True Positive Rate) คาความแมนยา (Precision) และคาความระลก (Recall) และคา F-Measurement ซงคานวณไดดงตาราง Confusion matrix

ภาพท 3.2 Confusion matrix

TP (a) = จานวนตวอยางทอยในกลม Cj และตวจาแนกทานายวาอยในกลม Cj FP (b) = จานวนตวอยางทไมอยในกลม Cj และตวจาแนกทานายวาอยในกลม Cj FN (c) = จานวนตวอยางทอยในกลม Cj และตวจาแนกทานายวาไมอยในกลม Cj TN (d) = จานวนตวอยางทไมอยในกลม Cj และตวจาแนกทานายวาไมอยในกลม Cj Cj = กลมประเภทของขอมลทางการแพทยทสนใจวดประสทธภาพ

Accuracy = (a+d)/(a+b+c+d) Precision = a/(a+b) Recall or True positive rate = a/(a+c) F-Measure = 2*Precision*Recall/(Precision+Recall)


บทท 4

ผลการวจย

งานวจยนมวตถประสงคเพอศกษาเปรยบเทยบประสทธภาพการสรางโมเดลการวเคราะห

โรคอตโนมต โดยใชอลกอรทมพนฐาน 7 อลกอรทม ซงประกอบดวย Naïve Bayes,Multilayer

Perceptron,Radial Basis Function Network, Support Vector Machine, K-Nearest

Neighbor, Decision Tree, Ripper ทง แบบไมลดคณลกษณะและแบบทลดคณลกษณะดวยวธ

Correlation-based Feature Subset Selection (CFS) และวธ Feature selection method

based on correlation measureand relevance & redundancy analysis (FCBF) รวมถง

ทดสอบกบอลกอรทมประเภท Single learning กบ Multiple learning โดยเพมประสทธภาพดวย

วธ Bagging และ Boosting โดยทดสอบเฉพาะขอมลทางการแพทยทเกยวของกบการวเคราะห

โรค ประกอบดวยขอมลทงหมด 13 ชด ทดสอบดวยวธ 10-fold cross validation ซงประมวลผล

บนเครองคอมพวเตอร PC PentiumCore2 Duo 2.4 GHz หนวยความจาหลก 4 GB ผลการ

วเคราะหเปรยบเทยบประสทธภาพการจาแนกของแตละอลกอรทมปรากฏรายละเอยดดงน

4.1 ผลการวเคราะหเปรยบเทยบประสทธภาพแตละอลกอรทม โดยไมลดคณลกษณะ

4.2ผลการวเคราะหเปรยบเทยบประสทธภาพแตละอลกอรทมเมอเรยนรดวยวธ Bagging

4.3ผลการวเคราะหเปรยบเทยบประสทธภาพแตละอลกอรทมเมอเรยนรดวยวธ Boosting

4.4 ผลการวเคราะหเปรยบเทยบประสทธภาพเมอลดคณลกษณะดวยวธ CFS

4.5 ผลการวเคราะหเปรยบเทยบประสทธภาพเมอลดคณลกษณะดวยวธ FCBF

4.6 ผลการวเคราะหเปรยบเทยบประสทธภาพวธ Single learning กบ Multiple learning

4.7 ผลการวเคราะหเปรยบเทยบประสทธภาพการลดคณลกษณะดวยวธ CFSและ FCBF


27

4.1 ผลการวเคราะหเปรยบเทยบประสทธภาพแตละอลกอรทม โดยไมลดคณลกษณะ

ตารางท 4.1 ประสทธภาพของการสงเคราะหโมเดลดวยอลกอรทม Naïve Bayes

Dataset Class Correctly Incorrectly TP Rate Precision Recall F-Measure

breast-cancer no-recurrence-events 71.6783 28.3217 0.836 0.778 0.836 0.806

recurrence-events 0.435 0.529 0.435 0.477

breast-w benign 95.9943 4.0057 0.952 0.986 0.952 0.969

malignant 0.975 0.914 0.975 0.944

diabetes tested_negative 76.3021 23.6979 0.844 0.802 0.844 0.823

tested_positive 0.612 0.678 0.612 0.643

heart-c <50 83.4983 16.5017 0.867 0.836 0.867 0.851

>50 0.797 0.833 0.797 0.815

heart-statlog absent 83.7037 16.2963 0.873 0.84 0.873 0.856

present 0.792 0.833 0.792 0.812

hepatitis DIE 84.5161 15.4839 0.688 0.611 0.688 0.647

LIVE 0.886 0.916 0.886 0.901

hypothyroid negative 95.281 4.719 0.993 0.961 0.993 0.977

compensated_hypothyroid 0.32 0.721 0.32 0.443

primary_hypothyroid 0.8 0.874 0.8 0.835

secondary_hypothyroid 0 0 0 0

leukemia ALL 98.6111 1.3889 1 0.979 1 0.989

AML 0.96 1 0.96 0.98

liver-disorders class 1 55.3623 44.6377 0.766 0.481 0.766 0.59

class 2 0.4 0.702 0.4 0.51

lung-cancer class 1 62.5 37.5 0.667 0.6 0.667 0.632

class 2 0.538 0.538 0.538 0.538

class 3 0.7 0.778 0.7 0.737

lymphography normal 83.1081 16.8919 0.5 0.5 0.5 0.5

metastases 0.901 0.83 0.901 0.864

malign_lymph 0.754 0.852 0.754 0.8

fibrosis 0.75 0.75 0.75 0.75

postoperative-patient A 66.6667 33.3333 0.938 0.706 0.938 0.805

I 0 0 0 0

S 0 0 0 0

primary-tumor lung 50.1475 49.8525 0.714 0.682 0.714 0.698

head and neck 0.95 0.731 0.95 0.826

esophagus 0 0 0 0

thyroid 0.214 0.273 0.214 0.24

stomach 0.282 0.355 0.282 0.314

duoden and sm.int 0 0 0 0

colon 0 0 0 0

rectum 0.167 1 0.167 0.286

anus 0 0 0 0

salivary glands 0 0 0 0

pancreas 0.321 0.237 0.321 0.273

gallbladder 0.688 0.33 0.688 0.449

liver 0 0 0 0

kidney 0.417 0.303 0.417 0.351

bladder 0 0 0 0

testis 0 0 0 0

prostate 0.2 0.667 0.2 0.308

ovary 0.862 0.568 0.862 0.685

corpus uteri 0 0 0 0

cervix uteri 0 0 0 0

vagina 0 0 0 0

breast 0.792 0.792 0.792 0.792


28

ตารางท 4.2 ประสทธภาพของการสงเคราะหโมเดลดวยอลกอรทม Multilayer Perceptron




breast-w benign 96.1373 3.8627 0.961 0.98 0.961 0.97

malignant 0.963 0.928 0.963 0.945


tested_positive 0.646 0.646 0.646 0.646

heart-c <50 76.2376 23.7624 0.788 0.778 0.788 0.783

>50 0.732 0.743 0.732 0.737


present 0.8 0.78 0.8 0.79

hepatitis DIE 78.0645 21.9355 0.438 0.467 0.438 0.452

LIVE 0.87 0.856 0.87 0.863

hypothyroid negative 93.8494 6.1506 0.985 0.954 0.985 0.969 compensated_hypothyroid 0.201 0.402 0.201 0.268 primary_hypothyroid 0.768 0.89 0.768 0.825


leukemia ALL 97.2222 2.7778 1 0.959 1 0.979

AML 0.92 1 0.92 0.958


class 2 0.665 0.693 0.665 0.679

lung-cancer class 1 40.625 59.375 0.556 0.385 0.556 0.455 class 2 0.231 0.273 0.231 0.25

class 3 0.5 0.625 0.5 0.556

lymphography normal 81.0811 18.9189 0 0 0 0 metastases 0.889 0.809 0.889 0.847 malign_lymph 0.77 0.81 0.77 0.79

fibrosis 0.25 1 0.25 0.4 postoperative-patient A 52.2222 47.7778 0.641 0.695 0.641 0.667 I 0 0 0 0

S 0.25 0.2 0.25 0.222

primary-tumor lung 45.7227 54.2773 0.726 0.709 0.726 0.718 head and neck 0.95 0.655 0.95 0.776 esophagus 0 0 0 0 thyroid 0.214 0.25 0.214 0.231 stomach 0.282 0.306 0.282 0.293 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0.333 0.286 0.333 0.308 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.321 0.237 0.321 0.273 gallbladder 0.313 0.313 0.313 0.313 liver 0 0 0 0 kidney 0.292 0.269 0.292 0.28 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.3 0.231 0.3 0.261 ovary 0.552 0.64 0.552 0.593 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0

breast 0.792 0.826 0.792 0.809


29

ตารางท 4.3 ประสทธภาพของการสงเคราะหโมเดลดวยอลกอรทม Radial Basis Function




breast-w benign 95.8512 4.1488 0.954 0.982 0.954 0.968

malignant 0.967 0.917 0.967 0.941


tested_positive 0.541 0.687 0.541 0.605

heart-c <50 83.8284 16.1716 0.861 0.845 0.861 0.853

>50 0.812 0.83 0.812 0.821


present 0.808 0.829 0.808 0.819

hepatitis DIE 85.8065 14.1935 0.594 0.679 0.594 0.633

LIVE 0.927 0.898 0.927 0.912



leukemia ALL 97.2222 2.7778 1 0.959 1 0.979

AML 0.92 1 0.92 0.958


class 2 0.735 0.677 0.735 0.705


class 3 0.7 0.583 0.7 0.636


fibrosis 0.75 0.6 0.75 0.667 postoperative-patient A 56.6667 43.3333 0.75 0.706 0.75 0.727 I 0 0 0 0

S 0.125 0.188 0.125 0.125

primary-tumor lung 35.3982 64.6018 0.536 0.563 0.536 0.549 head and neck 0.8 0.593 0.8 0.681 esophagus 0.111 0.091 0.111 0.1 thyroid 0.286 0.16 0.286 0.205 stomach 0.077 0.12 0.077 0.094 duoden and sm.int 0 0 0 0 colon 0.071 0.063 0.071 0.067 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.179 0.227 0.179 0.2 gallbladder 0.25 0.364 0.25 0.296 liver 0 0 0 0 kidney 0.167 0.154 0.167 0.16 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.2 0.286 0.2 0.235 ovary 0.655 0.463 0.655 0.543 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0

breast 0.667 0.941 0.667 0.78


30

ตารางท 4.4 ประสทธภาพของการสงเคราะหโมเดลดวยอลกอรทม Support Vector Machine




breast-w benign 96.9957 3.0043 0.974 0.98 0.974 0.977

malignant 0.963 0.951 0.963 0.957


tested_positive 0.541 0.74 0.541 0.625

heart-c <50 84.1584 15.8416 0.897 0.827 0.897 0.86

>50 0.775 0.863 0.775 0.817


present 0.8 0.835 0.8 0.817

hepatitis DIE 85.1613 14.8387 0.594 0.655 0.594 0.623

LIVE 0.919 0.897 0.919 0.908

hypothyroid negative 93.6108 6.3892 0.999 0.936 0.999 0.967 compensated_hypothyroid 0 0 0 0 primary_hypothyroid 0.547 0.945 0.547 0.693


leukemia ALL 98.6111 1.3889 1 0.979 1 0.989

AML 0.96 1 0.96 0.98

liver-disorders class 1 58.2609 41.7391 0.007 1 0.007 0.014

class 2 1 0.581 1 0.735

lung-cancer class 1 50 50 0.667 0.545 0.667 0.6 class 2 0.308 0.364 0.308 0.333

class 3 0.6 0.6 0.6 0.6

lymphography normal 86.4865 13.5135 1 0.667 1 0.8 metastases 0.914 0.851 0.914 0.881 malign_lymph 0.803 0.891 0.803 0.845


S 0 0 0 0

primary-tumor lung 46.9027 53.0973 0.833 0.609 0.833 0.704 head and neck 0.95 0.76 0.95 0.844 esophagus 0 0 0 0 thyroid 0.286 0.4 0.286 0.33 stomach 0.231 0.2 0.231 0.214 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.107 0.111 0.107 0.109 gallbladder 0.5 0.286 0.5 0.364 liver 0 0 0 0 kidney 0.292 0.292 0.292 0.292 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.2 0.667 0.2 0.308 ovary 0.69 0.571 0.69 0.625 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0

breast 0.708 0.85 0.708 0.773


31

ตารางท 4.5 ประสทธภาพของการสงเคราะหโมเดลดวยอลกอรทม K-Nearest Neighbor




breast-w benign 96.7096 3.2904 0.969 0.98 0.969 0.975

malignant 0.963 0.943 0.963 0.953


tested_positive 0.537 0.637 0.537 0.583

heart-c <50 81.8482 18.1518 0.824 0.84 0.824 0.832

>50 0.812 0.794 0.812 0.803


present 0.75 0.763 0.75 0.756

hepatitis DIE 85.8065 14.1935 0.5 0.727 0.5 0.593

LIVE 0.951 0.88 0.951 0.914



leukemia ALL 81.9444 18.0556 0.957 0.804 0.957 0.874

AML 0.56 0.875 0.56 0.683


class 2 0.675 0.64 0.675 0.657


class 3 0.5 0.714 0.5 0.588


fibrosis 0 0 0 0 postoperative-patient A 71.1111 28.8889 1 0.711 1 0.831 I 0 0 0 0

S 0 0 0 0

primary-tumor lung 48.0826 51.9174 0.738 0.681 0.681 0.738 0.709 head and neck 0.95 0.679 0.95 0.792 esophagus 0 0 0 0 thyroid 0.357 0.333 0.357 0.345 stomach 0.154 0.3 0.154 0.203 duoden and sm.int 0 0 0 0 colon 0.071 0.2 0.071 0.105 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.25 0.189 0.25 0.215 gallbladder 0.625 0.357 0.625 0.455 liver 0 0 0 0 kidney 0.292 0.389 0.292 0.333 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.2 0.154 0.2 0.174 ovary 0.862 0.431 0.862 0.575 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0

breast 0.792 0.792 0.792 0.792


32

ตารางท 4.6 ประสทธภาพของการสงเคราะหโมเดลดวยอลกอรทม Decision Tree




breast-w benign 94.5637 5.4363 0.956 0.961 0.956 0.958

malignant 0.925 0.918 0.925 0.921


tested_positive 0.597 0.632 0.597 0.614

heart-c <50 77.5578 22.4422 0.83 0.774 0.83 0.801

>50 0.71 0.778 0.71 0.742


present 0.733 0.739 0.733 0.736

hepatitis DIE 83.871 16.129 0.438 0.667 0.438 0.528

LIVE 0.943 0.866 0.943 0.903



leukemia ALL 81.9444 18.0556 0.809 0.905 0.809 0.854

AML 0.84 0.7 0.84 0.764


class 2 0.8 0.702 0.8 0.748


class 3 0.5 0.5 0.5 0.5

lymphography normal 77.027 22.973 1 0.5 1 0.667 metastases 0.79 0.831 0.79 0.81 malign_lymph 0.754 0.73 0.754 0.742

fibrosis 0.5 0.5 0.5 0.5 postoperative-patient A 70 30 0.984 0.708 0.984 0.824 I 0 0 0 0

S 0 0 0 0

primary-tumor lung 39.823 60.177 0.631 0.431 0.631 0.512 head and neck 0.9 0.72 0.9 0.8 esophagus 0 0 0 0 thyroid 0.286 0.4 0.286 0.333 stomach 0.026 0.045 0.026 0.033 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.25 0.25 0.25 0.25 gallbladder 0.563 0.375 0.563 0.45 liver 0 0 0 0 kidney 0.292 0.35 0.292 0.318 bladder 0 0 0 0 testis 0 0 0 0 prostate 0 0 0 0 ovary 0.655 0.514 0.655 0.576 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0

breast 0.708 0.773 0.708 0.739


33

ตารางท 4.7 ประสทธภาพของการสงเคราะหโมเดลดวยอลกอรทม Ripper




breast-w benign 95.422 4.578 0.952 0.978 0.952 0.965

malignant 0.959 0.913 0.959 0.935


tested_positive 0.582 0.684 0.582 0.629

heart-c <50 81.5182 18.4818 0.824 0.834 0.824 0.829

>50 0.804 0.793 0.804 0.799


present 0.717 0.789 0.717 0.751

hepatitis DIE 78.0645 21.9355 0.344 0.458 0.344 0.393

LIVE 0.894 0.84 0.894 0.866



leukemia ALL 88.8889 11.1111 0.894 0.933 0.894 0.913

AML 0.88 0.815 0.88 0.846


class 2 0.775 0.668 0.775 0.718


class 3 0.4 0.667 0.4 0.5


fibrosis 0.75 0.75 0.75 0.75 postoperative-patient A 71.1111 28.8889 1 0.711 1 0.831 I 0 0 0 0

S 0 0 0 0

primary-tumor lung 39.233 60.767 0.917 0.328 0.917 0.483 head and neck 0.75 0.682 0.75 0.714 esophagus 0 0 0 0 thyroid 0.071 0.167 0.071 0.1 stomach 0 0 0 0 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.036 0.25 0.036 0.063 gallbladder 0.125 0.25 0.125 0.167 liver 0 0 0 0 kidney 0.125 0.333 0.125 0.182 bladder 0 0 0 0 testis 0 0 0 0 prostate 0 0 0 0 ovary 0.552 0.552 0.552 0.552 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0

breast 0.75 0.818 0.75 0.783


34

ตารางท 4.8 การเปรยบเทยบประสทธภาพดาน TP Rate

Dataset Class NaiveBayes Perceptron RBF SVM KNN J48 Ripper breast-cancer no-recurrence-events 0.836 0.741 0.876 0.851 0.96 0.96 0.856 recurrence-events 0.435 0.494 0.318 0.329 0.2 0.271 0.365 breast-w benign 0.952 0.961 0.954 0.974 0.969 0.956 0.952 malignant 0.975 0.963 0.967 0.963 0.963 0.925 0.959 diabetes tested_negative 0.844 0.81 0.868 0.898 0.836 0.814 0.856 tested_positive 0.612 0.646 0.541 0.541 0.537 0.597 0.582 heart-c <50 0.867 0.788 0.861 0.897 0.824 0.83 0.824 >50 0.797 0.732 0.812 0.775 0.812 0.71 0.804 heart-statlog absent 0.873 0.82 0.867 0.873 0.813 0.793 0.847 present 0.792 0.8 0.808 0.8 0.75 0.733 0.717 hepatitis DIE 0.688 0.438 0.594 0.594 0.5 0.438 0.344 LIVE 0.886 0.87 0.927 0.919 0.951 0.943 0.894 hypothyroid negative 0.993 0.985 0.989 0.999 0.996 0.999 0.996 compensated 0.32 0.201 0.356 0 0.057 0.985 0.985 primary 0.8 0.768 0.832 0.547 0.432 0.937 0.926 secondary 0 0 0 0 0 0 0 leukemia ALL 1 1 1 1 0.957 0.809 0.894 AML 0.96 0.92 0.92 0.96 0.56 0.84 0.88 liver-disorders class 1 0.766 0.593 0.517 0.007 0.476 0.531 0.469 class 2 0.4 0.665 0.735 1 0.675 0.8 0.775 lung-cancer class 1 0.667 0.556 0.667 0.667 0.667 0.444 0.778 class 2 0.538 0.231 0.308 0.308 0.154 0.308 0.615 class 3 0.7 0.5 0.7 0.6 0.5 0.5 0.4 lymphography normal 0.5 0 0 1 0 1 0 metastases 0.901 0.889 0.852 0.914 0.951 0.79 0.827 malign_lymph 0.754 0.77 0.77 0.803 0.77 0.754 0.738 fibrosis 0.75 0.25 0.75 0.75 0 0.5 0.75 postoperative-patient A 0.938 0.641 0.75 0.953 1 0.984 1 I 0 0 0 0 0 0 0 S 0 0.25 0.125 0 0 0 0 primary-tumor lung 0.714 0.726 0.536 0.833 0.738 0.631 0.917 head and neck 0.95 0.95 0.8 0.95 0.95 0.9 0.75 esophagus 0 0 0.111 0 0 0 0 thyroid 0.214 0.214 0.286 0.286 0.357 0.286 0.071 stomach 0.282 0.282 0.077 0.231 0.154 0.026 0 duoden and sm.int 0 0 0 0 0 0 0 colon 0 0 0.071 0 0.071 0 0 rectum 0.167 0.333 0 0 0 0 0 anus 0 0 0 0 0 0 0 salivary glands 0 0 0 0 0 0 0 pancreas 0.321 0.321 0.179 0.107 0.25 0.25 0.036 gallbladder 0.688 0.313 0.25 0.5 0.625 0.563 0.125 liver 0 0 0 0 0 0 0 kidney 0.417 0.292 0.167 0.292 0.292 0.292 0.125 bladder 0 0 0 0 0 0 0 testis 0 0 0 0 0 0 0 prostate 0.2 0.3 0.2 0.2 0.2 0 0 ovary 0.862 0.552 0.655 0.69 0.862 0.655 0.552 corpus uteri 0 0 0 0 0 0 0 cervix uteri 0 0 0 0 0 0 0 vagina 0 0 0 0 0 0 0 breast 0.792 0.792 0.667 0.708 0.792 0.708 0.75


35

ตารางท 4.9 การเปรยบเทยบประสทธภาพดาน Precision

Dataset Class NaiveBayes Perceptron RBF SVM KNN J48 Ripper

breast-cancer no-recurrence-events 0.778 0.776 0.752 0.75 0.739 0.757 0.761

recurrence-events 0.529 0.447 0.519 0.483 0.68 0.742 0.517

breast-w benign 0.986 0.98 0.982 0.98 0.98 0.961 0.978

malignant 0.914 0.928 0.917 0.951 0.943 0.918 0.913

diabetes tested_negative 0.802 0.81 0.779 0.785 0.771 0.79 0.793

tested_positive 0.678 0.646 0.687 0.74 0.637 0.632 0.684

heart-c <50 0.836 0.778 0.845 0.827 0.84 0.774 0.834

>50 0.833 0.743 0.83 0.863 0.794 0.778 0.793

heart-statlog absent 0.84 0.837 0.85 0.845 0.803 0.788 0.789

present 0.833 0.78 0.829 0.835 0.763 0.739 0.789

hepatitis DIE 0.611 0.467 0.679 0.655 0.727 0.667 0.458

LIVE 0.916 0.856 0.898 0.897 0.88 0.866 0.84

hypothyroid negative 0.961 0.954 0.964 0.936 0.938 0.998 0.999 compensated 0.721 0.402 0.657 0 0.344 0.97 0.95 primary 0.874 0.89 0.84 0.945 0.932 0.957 0.926

secondary 0 0 0 0 0 0 0

leukemia ALL 0.979 0.959 0.959 0.979 0.804 0.905 0.933

AML 1 1 1 1 0.875 0.7 0.815

liver-disorders class 1 0.481 0.562 0.586 1 0.515 0.658 0.602

class 2 0.702 0.693 0.677 0.581 0.64 0.702 0.668

lung-cancer class 1 0.6 0.385 0.545 0.545 0.4 0.444 0.636 class 2 0.538 0.273 0.444 0.364 0.2 0.308 0.533

class 3 0.778 0.625 0.583 0.6 0.714 0.5 0.667

lymphography normal 0.5 0 0 0.667 0 0.5 0 metastases 0.83 0.809 0.831 0.851 0.828 0.831 0.798 malign_lymph 0.852 0.81 0.797 0.891 0.855 0.73 0.75

fibrosis 0.75 1 0.6 1 0 0.5 0.75 postoperative-patient A 0.706 0.695 0.706 0.701 0.711 0.708 0.711 I 0 0 0 0 0 0 0

S 0 0.2 0.188 0 0 0 0

primary-tumor lung 0.682 0.709 0.563 0.609 0.681 0.431 0.328 head and neck 0.731 0.655 0.593 0.76 0.679 0.72 0.682 esophagus 0 0 0.091 0 0 0 0 thyroid 0.273 0.25 0.16 0.4 0.333 0.4 0.167 stomach 0.355 0.306 0.12 0.2 0.3 0.045 0 duoden and sm.int 0 0 0 0 0 0 0 colon 0 0 0.063 0 0.2 0 0 rectum 1 0.286 0 0 0 0 0 anus 0 0 0 0 0 0 0 salivary glands 0 0 0 0 0 0 0 pancreas 0.237 0.237 0.227 0.111 0.189 0.25 0.25 gallbladder 0.33 0.313 0.364 0.286 0.357 0.375 0.25 liver 0 0 0 0 0 0 0 kidney 0.303 0.269 0.154 0.292 0.389 0.35 0.333 bladder 0 0 0 0 0 0 0 testis 0 0 0 0 0 0 0 prostate 0.667 0.231 0.286 0.667 0.154 0 0 ovary 0.568 0.64 0.463 0.571 0.431 0.514 0.552 corpus uteri 0 0 0 0 0 0 0 cervix uteri 0 0 0 0 0 0 0 vagina 0 0 0 0 0 0 0

breast 0.792 0.826 0.941 0.85 0.792 0.773 0.818


36

ตารางท 4.10 การเปรยบเทยบประสทธภาพดาน Recall




breast-w benign 0.952 0.961 0.954 0.974 0.969 0.956 0.952

malignant 0.975 0.963 0.967 0.963 0.963 0.925 0.959


tested_positive 0.612 0.646 0.541 0.541 0.537 0.597 0.582

heart-c <50 0.867 0.788 0.861 0.897 0.824 0.83 0.824

>50 0.797 0.732 0.812 0.775 0.812 0.71 0.804


present 0.792 0.8 0.808 0.8 0.75 0.733 0.717

hepatitis DIE 0.688 0.438 0.594 0.594 0.5 0.438 0.344

LIVE 0.886 0.87 0.927 0.919 0.951 0.943 0.894


secondary 0 0 0 0 0 0 0

leukemia ALL 1 1 1 1 0.957 0.809 0.894

AML 0.96 0.92 0.92 0.96 0.56 0.84 0.88

liver-disorders class 1 0.766 0.593 0.517 0.007 0.476 0.531 0.469

class 2 0.4 0.665 0.735 1 0.675 0.8 0.775


class 3 0.7 0.5 0.7 0.6 0.5 0.5 0.4

lymphography normal 0.5 0 0 1 0 1 0 metastases 0.901 0.889 0.852 0.914 0.951 0.79 0.827 malign_lymph 0.754 0.77 0.77 0.803 0.77 0.754 0.738

fibrosis 0.75 0.25 0.75 0.75 0 0.5 0.75

postoperative-patient A 0.938 0.641 0.75 0.953 1 0.984 1 I 0 0 0 0 0 0 0

S 0 0.25 0.125 0 0 0 0

primary-tumor lung 0.714 0.726 0.536 0.833 0.738 0.631 0.917 head and neck 0.95 0.95 0.8 0.95 0.95 0.9 0.75 esophagus 0 0 0.111 0 0 0 0 thyroid 0.214 0.214 0.286 0.286 0.357 0.286 0.071 stomach 0.282 0.282 0.077 0.231 0.154 0.026 0 duoden and sm.int 0 0 0 0 0 0 0 colon 0 0 0.071 0 0.071 0 0 rectum 0.167 0.333 0 0 0 0 0 anus 0 0 0 0 0 0 0 salivary glands 0 0 0 0 0 0 0 pancreas 0.321 0.321 0.179 0.107 0.25 0.25 0.036 gallbladder 0.688 0.313 0.25 0.5 0.625 0.563 0.125 liver 0 0 0 0 0 0 0 kidney 0.417 0.292 0.167 0.292 0.292 0.292 0.125 bladder 0 0 0 0 0 0 0 testis 0 0 0 0 0 0 0 prostate 0.2 0.3 0.2 0.2 0.2 0 0 ovary 0.862 0.552 0.655 0.69 0.862 0.655 0.552 corpus uteri 0 0 0 0 0 0 0 cervix uteri 0 0 0 0 0 0 0 vagina 0 0 0 0 0 0 0

breast 0.792 0.792 0.667 0.708 0.792 0.708 0.75


37

ตารางท 4.11 การเปรยบเทยบประสทธภาพดาน F-Measure




breast-w benign 0.969 0.97 0.968 0.977 0.975 0.958 0.965

malignant 0.944 0.945 0.941 0.957 0.953 0.921 0.935


tested_positive 0.643 0.646 0.605 0.625 0.583 0.614 0.629

heart-c <50 0.851 0.783 0.853 0.86 0.832 0.801 0.829

>50 0.815 0.737 0.821 0.817 0.803 0.742 0.799


present 0.812 0.79 0.819 0.817 0.756 0.736 0.751

hepatitis DIE 0.647 0.452 0.633 0.623 0.593 0.528 0.393

LIVE 0.901 0.863 0.912 0.908 0.914 0.903 0.866


secondary 0 0 0 0 0 0 0

leukemia ALL 0.989 0.979 0.979 0.989 0.874 0.854 0.913

AML 0.98 0.958 0.958 0.98 0.683 0.764 0.846


class 2 0.51 0.679 0.705 0.735 0.657 0.748 0.718


class 3 0.737 0.556 0.636 0.6 0.588 0.5 0.5


fibrosis 0.75 0.4 0.667 0.857 0 0.5 0.75 postoperative-patient A 0.805 0.667 0.727 0.808 0.831 0.824 0.831 I 0 0 0 0 0 0 0

S 0 0.222 0.125 0 0 0 0

primary-tumor lung 0.698 0.718 0.549 0.704 0.709 0.512 0.483 head and neck 0.826 0.776 0.681 0.844 0.792 0.8 0.714 esophagus 0 0 0.1 0 0 0 0 thyroid 0.24 0.231 0.205 0.33 0.345 0.333 0.1 stomach 0.314 0.293 0.094 0.214 0.203 0.033 0 duoden and sm.int 0 0 0 0 0 0 0 colon 0 0 0.067 0 0.105 0 0 rectum 0.286 0.308 0 0 0 0 0 anus 0 0 0 0 0 0 0 salivary glands 0 0 0 0 0 0 0 pancreas 0.273 0.273 0.2 0.109 0.215 0.25 0.063 gallbladder 0.449 0.313 0.296 0.364 0.455 0.45 0.167 liver 0 0 0 0 0 0 0 kidney 0.351 0.28 0.16 0.292 0.333 0.318 0.182 bladder 0 0 0 0 0 0 0 testis 0 0 0 0 0 0 0 prostate 0.308 0.261 0.235 0.308 0.174 0 0 ovary 0.685 0.593 0.543 0.625 0.575 0.576 0.552 corpus uteri 0 0 0 0 0 0 0 cervix uteri 0 0 0 0 0 0 0 vagina 0 0 0 0 0 0 0

breast 0.792 0.809 0.78 0.773 0.792 0.739 0.783


38

62

64

66

68

70

72

74

76

78

Accuracy

breast‐cancer

93

93.5

94

94.5

95

95.5

96

96.5

97

97.5

Accuracy

breast‐w

71

72

73

74

75

76

77

78

Accuracy

diabetes

72

74

76

78

80

82

84

86

Accuracy

heart‐c

72

74

76

78

80

82

84

86

Accuracy

heart‐statlog

74

76

78

80

82

84

86

88

Accuracy

hepatitis

ตารางท 4.12 การเปรยบเทยบประสทธภาพดาน Accuracy

Dataset NaiveBayes Perceptron RBF SVM KNN J48 Ripper

breast-cancer 71.6783 66.7832 70.979 69.5804 73.4266 75.5245 70.979 breast-w 95.9943 96.1373 95.8512 96.9957 96.7096 94.5637 95.422 diabetes 76.3021 75.2604 75.3906 77.3438 73.1771 73.8281 76.0417 heart-c 83.4983 76.2376 83.8284 84.1584 81.8482 77.5578 81.5182 heart-statlog 83.7037 81.1111 84.0741 84.0741 78.5185 76.6667 78.8889 hepatitis 84.5161 78.0645 85.8065 85.1613 85.8065 83.871 78.0645 hypothyroid 95.281 93.8494 95.228 93.6108 93.2662 99.5758 99.3372 leukemia 98.6111 97.2222 97.2222 98.6111 81.9444 81.9444 88.8889 liver-disorders 55.3623 63.4783 64.3478 58.2609 59.1304 68.6957 64.6377 lung-cancer 62.5 40.625 53.125 50 40.625 40.625 59.375 lymphography 83.1081 81.0811 80.4054 86.4865 83.7838 77.027 77.7027 postoperative-patient 66.6667 52.2222 56.6667 67.7778 71.1111 70 71.1111 primary-tumor 50.1475 45.7227 35.3982 46.9027 48.0826 39.823 39.233


39

90919293949596979899

100101

Accuracy

hypothyroid

0

20

40

60

80

100

120

Accuracy

leukemia

0

10

20

30

40

50

60

70

80

Accuracy

liver‐disorders

0

10

20

30

40

50

60

70

Accuracy

lung‐cancer

72

74

76

78

80

82

84

86

88

Accuracy

lymphography

0

10

20

30

40

50

60

70

80

Accuracy

postoperative‐patient

0

10

20

30

40

50

60

Accuracy

primary‐tumor


40

ผลการทดลองจากตารางท 4.12 เมอเรยนรกลมตวอยางโดยไมลดคณลกษณะ ตาม

แบบจาลองการวเคราะหโรคอตโนมตทนาเสนอซงประกอบดวย อลกอรทม Naïve Bayes

,Multilayer Perceptron,Radial Basis Function Network, Support Vector Machine, K-

Nearest Neighbor, Decision Tree และ Ripper โดยวดประสทธภาพจากคาความความถกตอง

(Accuracy) พบวา กลมขอมล breast-cancer อลกอรทม Decision Tree ใหประสทธภาพออกมา

ดทสดคอ 75.52% กลมขอมล breast-w อลกอรทม Support Vector Machine ใหประสทธภาพ

ออกมาดทสดคอ 96.99% กลมขอมล diabetes อลกอรทม Support Vector Machine ให

ประสทธภาพออกมาดทสดคอ 77.34% กลมขอมล heart-c อลกอรทม Support Vector Machine

ใหประสทธภาพออกมาดทสดคอ 84.15% กลมขอมล heart-statlog อลกอรทม Radial Basis

Function กบ Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 84.07% กลมขอมล

hepatitis อลกอรทม Radial Basis Function กบ K-Nearest Neighbor ใหประสทธภาพออกมา

ดทสดคอ 85.80% กลมขอมล hypothyroid อลกอรทม Decision Tree ใหประสทธภาพออกมาด

ทสดคอ 99.57% กลมขอมล leukemia อลกอรทม Naive Bayes กบ Support Vector Machine

ใหประสทธภาพออกมาดทสดคอ 98.61% กลมขอมล liver-disorders อลกอรทม Decision Tree

ใหประสทธภาพออกมาดทสดคอ 68.69% กลมขอมล lung-cancer อลกอรทม Naive Bayes ให

ประสทธภาพออกมาดทสดคอ 62.5% กลมขอมล lymphography อลกอรทม Support Vector

Machine ใหประสทธภาพออกมาดทสดคอ 86.48% กลมขอมล postoperative-patient

อลกอรทม K-Nearest Neighbor กบ Ripperใหประสทธภาพออกมาดทสดคอ 71.11% กลม

ขอมล primary-tumor อลกอรทม Naive Bayes ใหประสทธภาพออกมาดทสดคอ 50.14%


41

4.2 ผลการวเคราะหเปรยบเทยบประสทธภาพแตละอลกอรทมเมอเรยนรดวยวธ Bagging

ตารางท 4.13 ประสทธภาพของการสงเคราะหโมเดลเมอเรยนรดวยวธ Bagging ดวยอลกอรทม

NaiveBayes




breast-w benign 95.9943 4.0057 0.952 0.952 0.952 0.969

malignant 0.975 0.975 0.975 0.944


tested_positive 0.604 0.675 0.604 0.638

heart-c <50 83.8284 16.1716 0.873 0.837 0.873 0.855

>50 0.797 0.84 0.797 0.818


present 0.792 0.819 0.792 0.805

hepatitis DIE 85.1613 14.8387 0.688 0.629 0.688 0.657

LIVE 0.894 0.917 0.894 0.905



leukemia ALL 97.2222 2.7778 1 0.959 1 0.979

AML 0.92 1 0.92 0.958


class 2 0.43 0.717 0.43 0.538


class 3 0.6 0.667 0.6 0.632

lymphography normal 83.1081 16.8919 0.5 0.5 0.5 0.5 metastases 0.901 0.82 0.901 0.859 malign_lymph 0.754 0.852 0.754 0.8

fibrosis 0.75 1 0.75 0.857 postoperative-patient A 68.8889 31.1111 0.969 1 0.705 0.816 I 0 0 0 0

S 0 0 0 0

primary-tumor lung 49.5575 50.4425 0.702 0.678 0.702 0.69 head and neck 0.95 0.731 0.95 0.826 esophagus 0 0 0 0 thyroid 0.143 0.4 0.143 0.211 stomach 0.231 0.3 0.231 0.261 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0.167 1 0.167 0.286 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.321 0.243 0.321 0.277 gallbladder 0.688 0.314 0.688 0.431 liver 0 0 0 0 kidney 0.458 0.289 0.458 0.355 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.3 0.6 0.3 0.4 ovary 0.862 0.568 0.862 0.685 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0

breast 0.792 0.792 0.792 0.792


42


MultilayerPerceptron




breast-w benign 95.9943 4.0057 0.967 0.971 0.967 0.969

malignant 0.946 0.938 0.946 0.942


tested_positive 0.582 0.664 0.582 0.62

heart-c <50 81.5182 18.4818 0.836 0.826 0.836 0.831

>50 0.79 0.801 0.79 0.796


present 0.808 0.782 0.808 0.795

hepatitis DIE 81.2903 18.7097 0.406 0.565 0.406 0.473

LIVE 0.919 0.856 0.919 0.886



leukemia ALL 96.2222 2.7778 1 0.959 1 0.979

AML 0.92 1 0.92 0.958


class 2 0.795 0.713 0.795 0.752


class 3 0.6 0.6 0.6 0.6



S 0.042 0.063 0.042 0.05


breast 0.833 0.69 0.833 0.755


43


Radial Basis Function




breast-w benign 95.9943 4.0057 0.952 0.986 0.952 0.969

malignant 0.975 0.914 0.975 0.944


tested_positive 0.549 0.69 0.549 0.611

heart-c <50 84.8185 15.1815 0.891 0.84 0.891 0.865

>50 0.797 0.859 0.797 0.827


present 0.808 0.829 0.808 0.819

hepatitis DIE 87.0968 12.9032 0.625 0.714 0.625 0.667

LIVE 0.935 0.906 0.935 0.92



leukemia ALL 97.2222 2.7778 1 0.959 1 0.979

AML 0.92 1 0.92 0.958


class 2 0.79 0.681 0.79 0.731


class 3 0.8 0.533 0.8 0.64



S 0.042 0.125 0.042 0.063


breast 0.667 0.889 0.667 0.762


44


Support Vector Machine




breast-w benign 96.7096 3.2904 0.972 0.978 0.972 0.975

malignant 0.959 0.947 0.959 0.953


tested_positive 0.534 0.749 0.534 0.623

heart-c <50 85.1485 14.8515 0.885 0.849 0.885 0.866

>50 0.812 0.855 0.812 0.833


present 0.8 0.842 0.8 0.821

hepatitis DIE 85.8065 14.1935 0.656 0.656 0.656 0.656

LIVE 0.911 0.911 0.911 0.911

hypothyroid negative 93.5843 6.4157 0.999 0.936 0.999 0.967 compensated_hypothyroid 0 0 0 0 primary_hypothyroid 0.537 0.944 0.537 0.685


leukemia ALL 97.2222 2.7778 1 0.959 1 0.979

AML 0.92 1 0.92 0.958


class 2 0.99 0.581 0.99 0.732


class 3 0.6 0.6 0.6 0.6

lymphography normal 85.8108 14.1892 0.5 1 0.5 0.667 metastases 0.914 0.841 0.914 0.876 malign_lymph 0.803 0.875 0.803 0.838


S 0 0 0 0

primary-tumor lung 48.6726 51.3274 0.786 0.611 0.786 0.688 head and neck 0.95 0.792 0.95 0.864 esophagus 0 0 0 0 thyroid 0.357 0.5 0.357 0.417 stomach 0.231 0.225 0.231 0.228 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.179 0.167 0.179 0.172 gallbladder 0.5 0.276 0.5 0.356 liver 0 0 0 0 kidney 0.333 0.296 0.333 0.314 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.3 1 0.3 0.462 ovary 0.793 0.561 0.793 0.657 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0

breast 0.792 0.864 0.792 0.446


45


K-Nearest Neighbor




breast-w benign 96.8526 3.1474 0.969 0.982 0.969 0.976

malignant 0.967 0.943 0.967 0.955


tested_positive 0.537 0.629 0.537 0.579

heart-c <50 83.4983 16.5017 0.842 0.853 0.842 0.848

>50 0.826 0.814 0.826 0.82


present 0.75 0.75 0.75 0.75

hepatitis DIE 83.2258 16.7742 0.469 0.625 0.469 0.536

LIVE 0.927 0.87 0.927 0.898



leukemia ALL 81.9444 18.0556 0.957 0.804 0.957 0.874

AML 0.56 0.875 0.56 0.683


class 2 0.715 0.656 0.715 0.684


class 3 0.6 0.667 0.6 0.632


fibrosis 0.25 1 0.25 0.4 postoperative-patient A 71.1111 28.8889 1 0.711 1 0.831 I 0 0 0 0

S 0 0 0 0


breast 0.792 0.76 0.792 0.776


46


Decision Tree




breast-w benign 95.8512 4.1488 0.961 0.976 0.961 0.968

malignant 0.954 0.927 0.954 0.941


tested_positive 0.608 0.634 0.608 0.621

heart-c <50 79.2079 20.7921 0.824 0.8 0.824 0.812

>50 0.754 0.782 0.754 0.768

heart-statlog absent 80 20 0.82 0.82 0.82 0.82

present 0.775 0.775 0.775 0.775

hepatitis DIE 83.2258 16.7742 0.438 0.636 0.438 0.519

LIVE 0.935 0.865 0.935 0.898



leukemia ALL 94.4444 5.5556 0.936 0.978 0.936 0.957

AML 0.96 0.889 0.96 0.923


class 2 0.8 0.748 0.8 0.773


class 3 0.6 0.545 0.6 0.571



S 0 0 0 0


breast 0.792 0.792 0.792 0.792


47


Ripper




breast-w benign 95.7082 4.2918 0.963 0.971 0.963 0.967

malignant 0.946 0.931 0.946 0.938


tested_positive 0.541 0.69 0.541 0.607

heart-c <50 82.1782 17.8218 0.867 0.817 0.867 0.841

>50 0.768 0.828 0.768 0.797


present 0.775 0.853 0.775 0.812

hepatitis DIE 80.6452 19.3548 0.344 0.55 0.344 0.423

LIVE 0.927 0.844 0.927 0.884



leukemia ALL 87.5 12.5 0.915 0.896 0.915 0.905

AML 0.8 0.833 0.8 0.816


class 2 0.83 0.731 0.83 0.778


class 3 0.3 0.5 0.3 0.375



S 0 0 0 0

primary-tumor lung 41.0029 58.9971 0.81 0.395 0.81 0.531 head and neck 0.85 0.607 0.85 0.708 esophagus 0.111 0.333 0.111 0.167 thyroid 0.071 0.167 0.071 0.1 stomach 0.077 0.214 0.077 0.113 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.107 0.2 0.107 0.14 gallbladder 0.125 0.2 0.125 0.154 liver 0 0 0 0 kidney 0.25 0.4 0.25 0.308 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.2 0.286 0.2 0.235 ovary 0.621 0.486 0.621 0.545 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0

breast 0.75 0.667 0.75 0.706


48

ตารางท 4.20 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Bagging ดาน TP Rate




breast-w benign 0.952 0.967 0.952 0.972 0.969 0.961 0.963

malignant 0.975 0.946 0.975 0.959 0.967 0.954 0.946


tested_positive 0.604 0.582 0.549 0.534 0.537 0.608 0.541

heart-c <50 0.873 0.836 0.891 0.885 0.842 0.824 0.867

>50 0.797 0.79 0.797 0.812 0.826 0.754 0.768


present 0.792 0.808 0.808 0.8 0.75 0.775 0.775

hepatitis DIE 0.688 0.406 0.625 0.656 0.469 0.438 0.344

LIVE 0.894 0.919 0.935 0.911 0.927 0.935 0.927


secondary 0 0 0 0 0 0 0

leukemia ALL 1 1 1 1 0.957 0.936 0.915

AML 0.92 0.92 0.92 0.92 0.56 0.96 0.8


class 2 0.43 0.795 0.79 0.99 0.715 0.8 0.83


class 3 0.6 0.6 0.8 0.6 0.6 0.6 0.3

lymphography normal 0.5 0 0 0.5 0 0 0 metastases 0.901 0.889 0.877 0.914 0.938 0.864 0.877 malign_lymph 0.754 0.82 0.787 0.803 0.787 0.721 0.754

fibrosis 0.75 0.5 0.75 0.75 0.25 0.75 0.75 postoperative-patient A 0.969 0.766 0.875 0.969 1 0.984 0.969 I 0 0 0 0 0 0 0

S 0 0.042 0.042 0 0 0 0

primary-tumor lung 0.702 0.762 0.762 0.786 0.69 0.655 0.81 head and neck 0.95 0.95 0.8 0.95 0.95 0.9 0.85 esophagus 0 0 0 0 0 0 0.111 thyroid 0.143 0.357 0.214 0.357 0.357 0.286 0.071 stomach 0.231 0.179 0.256 0.231 0.103 0.026 0.077 duoden and sm.int 0 0 0 0 0 0 0 colon 0 0 0 0 0 0 0 rectum 0.167 0.333 0.167 0 0 0 0 anus 0 0 0 0 0 0 0 salivary glands 0 0 0 0 0 0 0 pancreas 0.321 0.214 0.25 0.179 0.179 0.321 0.107 gallbladder 0.688 0.313 0.25 0.5 0.625 0.5 0.125 liver 0 0 0 0 0 0 0 kidney 0.458 0.208 0.083 0.333 0.292 0.208 0.25 bladder 0 0 0 0 0 0 0 testis 0 0 0 0 0 0 0 prostate 0.3 0.2 0.3 0.3 0.4 0.2 0.2 ovary 0.862 0.621 0.586 0.793 0.862 0.759 0.621 corpus uteri 0 0 0 0 0 0 0 cervix uteri 0 0 0 0 0 0 0 vagina 0 0 0 0 0 0 0

breast 0.792 0.833 0.667 0.792 0.792 0.792 0.75


49

ตารางท 4.21 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Bagging ดาน Precision




breast-w benign 0.952 0.971 0.986 0.978 0.982 0.976 0.971

malignant 0.975 0.938 0.914 0.947 0.943 0.927 0.931


tested_positive 0.675 0.664 0.69 0.749 0.629 0.634 0.69

heart-c <50 0.837 0.826 0.84 0.849 0.853 0.8 0.817

>50 0.84 0.801 0.859 0.855 0.814 0.782 0.828


present 0.819 0.782 0.829 0.842 0.75 0.775 0.853

hepatitis DIE 0.629 0.565 0.714 0.656 0.625 0.636 0.55

LIVE 0.917 0.856 0.906 0.911 0.87 0.865 0.844


secondary 0 0 0 0 0 0 0

leukemia ALL 0.959 0.959 0.959 0.959 0.804 0.978 0.896

AML 1 1 1 1 0.875 0.889 0.833


class 2 0.717 0.713 0.681 0.581 0.656 0.748 0.731


class 3 0.667 0.6 0.533 0.6 0.667 0.545 0.5

lymphography normal 0.5 0 0 1 0 0 0 metastases 0.82 0.837 0.835 0.841 0.826 0.805 0.826 malign_lymph 0.852 0.833 0.814 0.875 0.873 0.772 0.793

fibrosis 1 1 0.75 1 1 0.75 0.75 postoperative-patient A 1 0.662 0.7 0.705 0.711 0.708 0.705 I 0 0 0 0 0 0 0

S 0 0.063 0.125 0 0 0 0

primary-tumor lung 0.678 0.64 0.557 0.611 0.707 0.509 0.395 head and neck 0.731 0.731 0.8 0.792 0.679 0.692 0.607 esophagus 0 0 0 0 0 0 0.333 thyroid 0.4 0.455 0.3 0.5 0.357 0.308 0.167 stomach 0.3 0.212 0.256 0.225 0.235 0.059 0.214 duoden and sm.int 0 0 0 0 0 0 0 colon 0 0 0 0 0 0 0 rectum 1 0.5 0.5 0 0 0 0 anus 0 0 0 0 0 0 0 salivary glands 0 0 0 0 0 0 0 pancreas 0.243 0.2 0.219 0.167 0.139 0.29 0.2 gallbladder 0.314 0.217 0.235 0.276 0.303 0.4 0.2 liver 0 0 0 0 0 0 0 kidney 0.289 0.217 0.1 0.296 0.368 0.208 0.4 bladder 0 0 0 0 0 0 0 testis 0 0 0 0 0 0 0 prostate 0.6 0.25 0.333 1 0.25 0.333 0.286 ovary 0.568 0.545 0.531 0.561 0.397 0.512 0.486 corpus uteri 0 0 0 0 0 0 0 cervix uteri 0 0 0 0 0 0 0 vagina 0 0 0 0 0 0 0

breast 0.792 0.69 0.889 0.864 0.76 0.792 0.667


50

ตารางท 4.22 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Bagging ดาน Recall




breast-w benign 0.952 0.967 0.952 0.972 0.969 0.961 0.963

malignant 0.975 0.946 0.975 0.959 0.967 0.954 0.946


tested_positive 0.604 0.582 0.549 0.534 0.537 0.608 0.541

heart-c <50 0.873 0.836 0.891 0.885 0.842 0.824 0.867

>50 0.797 0.79 0.797 0.812 0.826 0.754 0.768


present 0.792 0.808 0.808 0.8 0.75 0.775 0.775

hepatitis DIE 0.688 0.406 0.625 0.656 0.469 0.438 0.344

LIVE 0.894 0.919 0.935 0.911 0.927 0.935 0.927


secondary 0 0 0 0 0 0 0

leukemia ALL 1 1 1 1 0.957 0.936 0.915

AML 0.92 0.92 0.92 0.92 0.56 0.96 0.8


class 2 0.43 0.795 0.79 0.99 0.715 0.8 0.83


class 3 0.6 0.6 0.8 0.6 0.6 0.6 0.3



S 0 0.042 0.042 0 0 0 0


breast 0.792 0.833 0.667 0.792 0.792 0.792 0.75


51

ตารางท 4.23 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Bagging ดาน F-Measure




breast-w benign 0.969 0.969 0.969 0.975 0.976 0.968 0.967

malignant 0.944 0.942 0.944 0.953 0.955 0.941 0.938


tested_positive 0.638 0.62 0.611 0.623 0.579 0.621 0.607

heart-c <50 0.855 0.831 0.865 0.866 0.848 0.812 0.841

>50 0.818 0.796 0.827 0.833 0.82 0.768 0.797


present 0.805 0.795 0.819 0.821 0.75 0.775 0.812

hepatitis DIE 0.657 0.473 0.667 0.656 0.536 0.519 0.423

LIVE 0.905 0.886 0.92 0.911 0.898 0.898 0.884


secondary 0 0 0 0 0 0 0

leukemia ALL 0.979 0.979 0.979 0.979 0.874 0.957 0.905

AML 0.958 0.958 0.958 0.958 0.683 0.923 0.816


class 2 0.538 0.752 0.731 0.732 0.684 0.773 0.778


class 3 0.632 0.6 0.64 0.6 0.632 0.571 0.375


fibrosis 0.857 0.667 0.75 0.857 0.4 0.75 0.75 postoperative-patient A 0.816 0.71 0.778 0.816 0.831 0.824 0.816 I 0 0 0 0 0 0 0

S 0 0.05 0.063 0 0 0 0


breast 0.792 0.755 0.762 0.446 0.776 0.792 0.706


52

656667686970717273747576

Accuracy

breast‐cancer

9595.295.495.695.896

96.296.496.696.897

Accuracy

breast‐w

70

71

72

73

74

75

76

77

78

Accuracy

diabetes

7677787980818283848586

Accuracy

heart‐c

74

76

78

80

82

84

86

Accuracy

heart‐statlog

76

78

80

82

84

86

88

Accuracy

hepatitis

ตารางท 4.24 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Bagging ดาน Accuracy


breast-cancer 72.028 71.3287 72.7273 68.5315 74.8252 73.4266 73.7762

breast-w 95.9943 95.9943 95.9943 96.7096 96.8526 95.8512 95.7082

diabetes 76.0417 75.1302 75.651 77.474 72.7865 74.0885 75.5208

heart-c 83.8284 81.5182 84.8185 85.1485 83.4983 79.2079 82.1782

heart-statlog 82.963 81.4815 84.0741 84.4444 77.7778 80 84.0741

hepatitis 85.1613 81.2903 87.0968 85.8065 83.2258 83.2258 80.6452

hypothyroid 95.4666 95.0159 95.5461 93.5843 93.5313 99.5758 99.4963

leukemia 97.2222 96.2222 97.2222 97.2222 81.9444 94.4444 87.5

liver-disorders 57.1014 69.5652 66.3768 57.971 61.7391 72.7536 72.4638

lung-cancer 53.125 53.125 50 50 53.125 46.875 50

lymphography 83.1081 83.7838 82.4324 85.8108 84.4595 79.0541 81.0811

postoperative-patient 68.8889 55.5556 63.3333 68.8889 71.1111 70 68.8889

primary-tumor 49.5575 45.1327 42.1829 48.6726 46.0177 42.1829 41.0029


53

90919293949596979899

100

Accuracy

hypothyroid

70

75

80

85

90

95

100

Accuracy

leukemia

0

10

20

30

40

50

60

70

80

Accuracy

liver‐disorders

434445464748495051525354

Accuracy

lung‐cancer

74

76

78

80

82

84

86

88

Accuracy

lymphography

0

10

20

30

40

50

60

70

80

Accuracy


0

10

20

30

40

50

60

Accuracy

primary‐tumor


54

ผลการทดลองจากตารางท 4.24 เมอเรยนรกลมตวอยางโดยไมลดคณลกษณะ ดวยวธ

Bagging ตามแบบจาลองการวเคราะหโรคอตโนมตทนาเสนอ ซงประกอบดวยอลกอรทม Naïve

Bayes,Multilayer Perceptron,Radial Basis Function Network, Support Vector Machine, K-


(Accuracy) พบวา กลมขอมล breast-cancer อลกอรทม K-Nearest Neighbor ให

ประสทธภาพออกมาดทสดคอ 74.82% กลมขอมล breast-w อลกอรทม K-Nearest Neighbor

ใหประสทธภาพออกมาดทสดคอ 96.85% กลมขอมล diabetes อลกอรทม Support Vector

Machine ใหประสทธภาพออกมาดทสดคอ 77.47% กลมขอมล heart-c อลกอรทม Support

Vector Machine ใหประสทธภาพออกมาดทสดคอ 85.14% กลมขอมล heart-statlog อลกอรทม

Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 84.44% กลมขอมล hepatitis

อลกอรทม Radial Basis Function ใหประสทธภาพออกมาดทสดคอ 87.09% กลมขอมล

hypothyroid อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ 99.57% กลมขอมล

leukemia อลกอรทม Naive Bayes, Radial Basis Function กบ Support Vector Machine ให

ประสทธภาพออกมาดทสดคอ 97.22% กลมขอมล liver-disorders อลกอรทม Decision Tree ให

ประสทธภาพออกมาดทสดคอ 72.75% กลมขอมล lung-cancer อลกอรทม Naive

Bayes,Multilayer Perceptron กบ K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ

53.12% กลมขอมล lymphography อลกอรทม Support Vector Machine ใหประสทธภาพ

ออกมาดทสดคอ 85.81% กลมขอมล postoperative-patient อลกอรทม K-Nearest Neighbor

ใหประสทธภาพออกมาดทสดคอ 71.11% กลมขอมล primary-tumor อลกอรทม Naive Bayes

ใหประสทธภาพออกมาดทสดคอ 49.55%


55

4.3 ผลการวเคราะหเปรยบเทยบประสทธภาพแตละอลกอรทมเมอเรยนรดวยวธ

Boosting

ตารางท 4.25 ประสทธภาพของการสงเคราะหโมเดลเมอเรยนรดวยวธ Boosting ดวยอลกอรทม

NaiveBayes




breast-w benign 95.5651 4.4349 0.967 0.965 0.967 0.966

malignant 0.934 0.938 0.934 0.936


tested_positive 0.604 0.678 0.604 0.639

heart-c <50 84.1584 15.8416 0.879 0.838 0.879 0.858

>50 0.797 0.846 0.797 0.821


present 0.783 0.817 0.783 0.8

hepatitis DIE 85.8065 14.1935 0.563 0.692 0.563 0.621

LIVE 0.935 0.891 0.935 0.913



leukemia ALL 98.6111 1.3889 1 0.979 1 0.989

AML 0.96 1 0.96 0.98


class 2 0.77 0.697 0.77 0.732


class 3 0.5 0.714 0.5 0.588


fibrosis 0.75 0.75 0.75 0.75

postoperative A 63.3333 36.6667 0.891 0.695 0.891 0.781 -patient I 0 0 0 0

S 0 0 0 0

primary-tumor lung 50.1475 49.8525 0.714 0.682 0.714 0.698 head and neck 0.95 0.731 0.95 0.826 esophagus 0 0 0 0 thyroid 0.214 0.273 0.214 0.24 stomach 0.282 0.355 0.282 0.314 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0.167 1 0.167 0.286 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.321 0.237 0.321 0.273 gallbladder 0.688 0.333 0.688 0.449 liver 0 0 0 0 kidney 0.417 0.303 0.417 0.351 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.2 0.667 0.2 0.308 ovary 0.862 0.568 0.862 0.685 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0

breast 0.792 0.792 0.792 0.792


56


MultilayerPerceptron




breast-w benign 95.5651 4.4349 0.969 0.963 0.969 0.966

malignant 0.929 0.941 0.929 0.935


tested_positive 0.668 0.642 0.668 0.654

heart-c <50 78.2178 21.7822 0.818 0.789 0.818 0.804

>50 0.739 0.773 0.739 0.756


present 0.792 0.748 0.792 0.769

hepatitis DIE 76.129 23.871 0.438 0.424 0.438 0.431

LIVE 0.846 0.852 0.846 0.849



leukemia ALL 97.2222 2.7778 1 0.959 1 0.979

AML 0.92 1 0.92 0.958


class 2 0.655 0.724 0.655 0.688


class 3 0.5 0.625 0.5 0.556



S 0.333 0.267 0.333 0.296


breast 0.833 0.833 0.833 0.833


57


Radial Basis Function




breast-w benign 95.422 4.578 0.961 0.969 0.961 0.965

malignant 0.942 0.927 0.942 0.934

diabetes tested_negative 75 25 0.848 0.785 0.848 0.815

tested_positive 0.567 0.667 0.567 0.613

heart-c <50 84.1584 15.8416 0.873 0.842 0.873 0.857

>50 0.804 0.841 0.804 0.822


present 0.758 0.758 0.758 0.758

hepatitis DIE 83.871 16.129 0.594 0.613 0.594 0.603

LIVE 0.902 0.895 0.902 0.899



leukemia ALL 93.0556 6.9444 0.957 0.938 0.957 0.947

AML 0.88 0.917 0.88 0.898


class 2 0.745 0.69 0.745 0.716


class 3 0.6 0.5 0.6 0.545



S 0.125 0.231 0.125 0.162

primary-tumor lung 39.528 60.472 0.69 0.617 0.69 0.652 head and neck 0.85 0.81 0.85 0.829 esophagus 0.111 0.2 0.111 0.143 thyroid 0.286 0.364 0.286 0.32 stomach 0.179 0.163 0.179 0.171 duoden and sm.int 0 0 0 0 colon 0.071 0.056 0.071 0.063 rectum 0.167 0.25 0.167 0.2 anus 0 0 0 0 salivary glands 0.5 1 0.5 0.667 pancreas 0.214 0.167 0.214 0.188 gallbladder 0.063 0.083 0.063 0.071 liver 0 0 0 0 kidney 0.208 0.238 0.208 0.222 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.3 0.3 0.3 0.3 ovary 0.483 0.483 0.483 0.483 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0

breast 0.625 0.833 0.625 0.714


58


Support Vector Machine




breast-w benign 96.7096 3.2904 0.974 0.976 0.974 0.975

malignant 0.954 0.95 0.954 0.952


tested_positive 0.541 0.74 0.541 0.625

heart-c <50 84.8185 15.1815 0.903 0.832 0.903 0.866

>50 0.783 0.871 0.783 0.824


present 0.8 0.835 0.8 0.817

hepatitis DIE 81.2903 18.7097 0.438 0.56 0.438 0.491

LIVE 0.911 0.862 0.911 0.885



leukemia ALL 98.6111 1.3889 1 0.979 1 0.989

AML 0.96 1 0.96 0.98


class 2 0.66 0.677 0.66 0.668


class 3 0.6 0.6 0.6 0.6



S 0 0 0 0


breast 0.708 0.85 0.708 0.773


59


K-Nearest Neighbor




breast-w benign 96.7096 3.2904 0.969 0.98 0.969 0.975

malignant 0.963 0.943 0.963 0.953


tested_positive 0.537 0.637 0.537 0.583

heart-c <50 81.1881 18.8119 0.83 0.825 0.83 0.828

>50 0.79 0.796 0.79 0.793


present 0.717 0.711 0.717 0.714

hepatitis DIE 85.8065 14.1935 0.5 0.727 0.5 0.593

LIVE 0.951 0.88 0.951 0.914



leukemia ALL 84.7222 15.2778 0.872 0.891 0.872 0.882

AML 0.8 0.769 0.8 0.784


class 2 0.67 0.641 0.67 0.655


class 3 0.5 0.625 0.5 0.556


fibrosis 0.5 0.667 0.5 0.571 postoperative-patient A 71.1111 28.8889 1 0.711 1 0.831 I 0 0 0 0

S 0 0 0 0

primary-tumor lung 48.0826 51.9174 0.738 0.681 0.738 0.709 head and neck 0.95 0.679 0.95 0.792 esophagus 0 0 0 0 thyroid 0.357 0.333 0.357 0.345 stomach 0.154 0.3 0.154 0.203 duoden and sm.int 0 0 0 0 colon 0.071 0.2 0.071 0.105 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.25 0.189 0.25 0.215 gallbladder 0.625 0.357 0.625 0.455 liver 0 0 0 0 kidney 0.292 0.389 0.292 0.333 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.2 0.154 0.2 0.174 ovary 0.862 0.431 0.862 0.575 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0

breast 0.792 0.792 0.792 0.792


60


Decision Tree




breast-w benign 95.9943 4.0057 0.974 0.965 0.974 0.97

malignant 0.934 0.949 0.934 0.941


tested_positive 0.575 0.621 0.575 0.597

heart-c <50 78.5479 21.4521 0.8 0.805 0.8 0.802

>50 0.768 0.763 0.768 0.765


present 0.742 0.736 0.742 0.739

hepatitis DIE 87.0968 12.9032 0.594 0.731 0.594 0.655

LIVE 0.943 0.899 0.943 0.921

hypothyroid negative 99.6288 0.3712 0.997 0.999 0.997 0.998 compensated_hypothyroid 1 0.98 1 0.99 primary_hypothyroid 0.968 0.968 0.968 0.968


leukemia ALL 87.5 12.5 0.915 0.896 0.915 0.905

AML 0.8 0.833 0.8 0.816


class 2 0.77 0.74 0.77 0.755


class 3 0.7 0.583 0.7 0.636



S 0.042 0.083 0.042 0.056

primary-tumor lung 41.2979 58.7021 0.655 0.474 0.655 0.55 head and neck 0.9 0.692 0.9 0.783 esophagus 0 0 0 0 thyroid 0.214 0.333 0.214 0.261 stomach 0.077 0.12 0.077 0.094 duoden and sm.int 0 0 0 0 colon 0.071 0.111 0.071 0.087 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.286 0.267 0.286 0.276 gallbladder 0.5 0.308 0.5 0.381 liver 0 0 0 0 kidney 0.25 0.286 0.25 0.267 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.1 0.5 0.1 0.167 ovary 0.69 0.526 0.69 0.597 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0

breast 0.708 0.654 0.708 0.68


61


Ripper




breast-w benign 95.1359 4.8641 0.959 0.967 0.959 0.963

malignant 0.938 0.922 0.938 0.93


tested_positive 0.608 0.642 0.608 0.625

heart-c <50 76.5677 23.4323 0.83 0.761 0.83 0.794

>50 0.688 0.772 0.688 0.728

heart-statlog absent 80 20 0.84 0.808 0.84 0.824

present 0.75 0.789 0.75 0.769

hepatitis DIE 83.2258 16.7742 0.469 0.625 0.469 0.536

LIVE 0.927 0.87 0.927 0.898



leukemia ALL 95.8333 4.1667 0.979 0.958 0.979 0.968

AML 0.92 0.958 0.92 0.939


class 2 0.775 0.767 0.775 0.771


class 3 0.6 0.5 0.6 0.545



S 0 0 0 0

primary-tumor lung 37.7581 62.2419 0.833 0.327 0.833 0.47 head and neck 0.75 0.625 0.75 0.682 esophagus 0 0 0 0 thyroid 0.071 0.167 0.071 0.1 stomach 0 0 0 0 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.036 0.333 0.036 0.065 gallbladder 0.188 0.25 0.188 0.214 liver 0 0 0 0 kidney 0.208 0.25 0.208 0.227 bladder 0 0 0 0 testis 0 0 0 0 prostate 0 0 0 0 ovary 0.586 0.5 0.586 0.548 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0

breast 0.667 0.762 0.667 0.711


62

ตารางท 4.32 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Boosting ดาน TP Rate




breast-w benign 0.967 0.969 0.961 0.974 0.969 0.974 0.959

malignant 0.934 0.929 0.942 0.954 0.963 0.934 0.938


tested_positive 0.604 0.668 0.567 0.541 0.537 0.575 0.608

heart-c <50 0.879 0.818 0.873 0.903 0.83 0.8 0.83

>50 0.797 0.739 0.804 0.783 0.79 0.768 0.688


present 0.783 0.792 0.758 0.8 0.717 0.742 0.75

hepatitis DIE 0.563 0.438 0.594 0.438 0.5 0.594 0.469

LIVE 0.935 0.846 0.902 0.911 0.951 0.943 0.927

hypothyroid negative 0.993 0.985 0.988 0.996 0.943 0.997 0.997 compensated 0.32 0.201 0.51 0.201 0.237 1 0.954 primary 0.8 0.768 0.832 0.8 0.558 0.968 0.905

secondary 0 0 0 0 0 0 0

leukemia ALL 1 1 0.957 1 0.872 0.915 0.979

AML 0.96 0.92 0.88 0.96 0.8 0.8 0.92


class 2 0.77 0.655 0.745 0.66 0.67 0.77 0.775


class 3 0.5 0.5 0.6 0.6 0.5 0.7 0.6

lymphography normal 0 0.5 0 0.5 0.5 0.5 1 metastases 0.815 0.877 0.877 0.889 0.778 0.877 0.889 malign_lymph 0.82 0.77 0.82 0.803 0.787 0.787 0.787


S 0 0.333 0.125 0 0 0.042 0

primary-tumor lung 0.714 0.762 0.69 0.833 0.738 0.655 0.833 head and neck 0.95 0.95 0.85 0.95 0.95 0.9 0.75 esophagus 0 0 0.111 0 0 0 0 thyroid 0.214 0.143 0.286 0.286 0.357 0.214 0.071 stomach 0.282 0.333 0.179 0.231 0.154 0.077 0 duoden and sm.int 0 0 0 0 0 0 0 colon 0 0 0.071 0 0.071 0.071 0 rectum 0.167 0.333 0.167 0 0 0 0 anus 0 0 0 0 0 0 0 salivary glands 0 0 0.5 0 0 0 0 pancreas 0.321 0.393 0.214 0.107 0.25 0.286 0.036 gallbladder 0.688 0.25 0.063 0.5 0.625 0.5 0.188 liver 0 0 0 0 0 0 0 kidney 0.417 0.25 0.208 0.292 0.292 0.25 0.208 bladder 0 0 0 0 0 0 0 testis 0 0 0 0 0 0 0 prostate 0.2 0.3 0.3 0.2 0.2 0.1 0 ovary 0.862 0.483 0.483 0.69 0.862 0.69 0.586 corpus uteri 0 0 0 0 0 0 0 cervix uteri 0 0 0 0 0 0 0 vagina 0 0 0 0 0 0 0

breast 0.792 0.833 0.625 0.708 0.792 0.708 0.667


63

ตารางท 4.33 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Boosting ดาน Precision




breast-w benign 0.965 0.963 0.969 0.976 0.98 0.965 0.967

malignant 0.938 0.941 0.927 0.95 0.943 0.949 0.922


tested_positive 0.678 0.642 0.667 0.74 0.637 0.621 0.642

heart-c <50 0.838 0.789 0.842 0.832 0.825 0.805 0.761

>50 0.846 0.773 0.841 0.871 0.796 0.763 0.772


present 0.817 0.748 0.758 0.835 0.711 0.736 0.789

hepatitis DIE 0.692 0.424 0.613 0.56 0.727 0.731 0.625

LIVE 0.891 0.852 0.895 0.862 0.88 0.899 0.87

hypothyroid negative 0.961 0.954 0.971 0.953 0.949 0.999 0.995 compensated 0.721 0.402 0.717 0.867 0.189 0.98 0.979 primary 0.847 0.89 0.849 0.864 0.791 0.968 0.935

secondary 0 0 0 0 0 0 0

leukemia ALL 0.979 0.959 0.938 0.979 0.891 0.896 0.958

AML 1 1 0.917 1 0.769 0.833 0.958


class 2 0.697 0.724 0.69 0.677 0.641 0.74 0.767


class 3 0.714 0.625 0.5 0.6 0.625 0.583 0.5

lymphography normal 0 0.5 0 1 1 0.5 1 metastases 0.846 0.816 0.855 0.828 0.84 0.855 0.837 malign_lymph 0.769 0.81 0.833 0.845 0.696 0.814 0.842

fibrosis 0.75 1 0.75 1 0.667 0.75 1 postoperative-patient A 0.695 0.717 0.733 0.69 0.711 0.679 0.701 I 0 0 0 0 0 0 0

S 0 0.267 0.231 0 0 0.083 0

primary-tumor lung 0.682 0.667 0.617 0.609 0.681 0.474 0.327 head and neck 0.731 0.792 0.81 0.76 0.679 0.692 0.625 esophagus 0 0 0.2 0 0 0 0 thyroid 0.273 0.182 0.364 0.4 0.333 0.333 0.167 stomach 0.355 0.325 0.163 0.2 0.3 0.12 0 duoden and sm.int 0 0 0 0 0 0 0 colon 0 0 0.056 0 0.2 0.111 0 rectum 1 0.667 0.25 0 0 0 0 anus 0 0 0 0 0 0 0 salivary glands 0 0 1 0 0 0 0 pancreas 0.237 0.289 0.167 0.111 0.189 0.267 0.333 gallbladder 0.333 0.2 0.083 0.286 0.357 0.308 0.25 liver 0 0 0 0 0 0 0 kidney 0.303 0.25 0.238 0.292 0.389 0.286 0.25 bladder 0 0 0 0 0 0 0 testis 0 0 0 0 0 0 0 prostate 0.667 0.333 0.3 0.667 0.154 0.5 0 ovary 0.568 0.538 0.483 0.571 0.431 0.526 0.5 corpus uteri 0 0 0 0 0 0 0 cervix uteri 0 0 0 0 0 0 0 vagina 0 0 0 0 0 0 0

breast 0.792 0.833 0.833 0.85 0.792 0.654 0.762


64

ตารางท 4.34 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Boosting ดาน Recall




breast-w benign 0.967 0.969 0.961 0.974 0.969 0.974 0.959

malignant 0.934 0.929 0.942 0.954 0.963 0.934 0.938


tested_positive 0.604 0.668 0.567 0.541 0.537 0.575 0.608

heart-c <50 0.879 0.818 0.873 0.903 0.83 0.8 0.83

>50 0.797 0.739 0.804 0.783 0.79 0.768 0.688


present 0.783 0.792 0.758 0.8 0.717 0.742 0.75

hepatitis DIE 0.563 0.438 0.594 0.438 0.5 0.594 0.469

LIVE 0.935 0.846 0.902 0.911 0.951 0.943 0.927

hypothyroid negative 0.993 0.985 0.988 0.996 0.943 0.997 0.997 compensated 0.32 0.201 0.51 0.201 0.237 1 0.954 primary 0.8 0.768 0.832 0.8 0.558 0.968 0.905

secondary 0 0 0 0 0 0 0

leukemia ALL 1 1 0.957 1 0.872 0.915 0.979

AML 0.96 0.92 0.88 0.96 0.8 0.8 0.92


class 2 0.77 0.655 0.745 0.66 0.67 0.77 0.775


class 3 0.5 0.5 0.6 0.6 0.5 0.7 0.6



S 0 0.333 0.125 0 0 0.042 0


breast 0.792 0.833 0.625 0.708 0.792 0.708 0.667


65

ตารางท 4.35 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Boosting ดาน F-Measure




breast-w benign 0.966 0.966 0.965 0.975 0.975 0.97 0.963

malignant 0.936 0.935 0.934 0.952 0.953 0.941 0.93


tested_positive 0.639 0.654 0.613 0.625 0.583 0.597 0.625

heart-c <50 0.858 0.804 0.857 0.866 0.828 0.802 0.794

>50 0.821 0.756 0.822 0.824 0.793 0.765 0.728


present 0.8 0.769 0.758 0.817 0.714 0.739 0.769

hepatitis DIE 0.621 0.431 0.603 0.491 0.593 0.655 0.536

LIVE 0.913 0.849 0.899 0.885 0.914 0.921 0.898

hypothyroid negative 0.977 0.969 0.979 0.974 0.946 0.998 0.996 compensated 0.443 0.268 0.596 0.326 0.21 0.99 0.966 primary 0.835 0.825 0.84 0.831 0.654 0.968 0.92

secondary 0 0 0 0 0 0 0

leukemia ALL 0.989 0.979 0.947 0.989 0.882 0.905 0.968

AML 0.98 0.958 0.898 0.98 0.784 0.816 0.939


class 2 0.732 0.688 0.716 0.668 0.655 0.755 0.771


class 3 0.588 0.556 0.545 0.6 0.556 0.636 0.545


fibrosis 0.75 0.4 0.75 0.667 0.571 0.75 0.857 postoperative-patient A 0.781 0.694 0.791 0.784 0.831 0.746 0.808 I 0 0 0 0 0 0 0

S 0 0.296 0.162 0 0 0.056 0


breast 0.792 0.833 0.714 0.773 0.792 0.68 0.711


66

60

62

64

66

68

70

72

74

76

Accuracy

breast‐cancer

94

94.5

95

95.5

96

96.5

97

Accuracy

breast‐w

70

71

72

73

74

75

76

77

78

Accuracy

diabetes

72

74

76

78

80

82

84

86

Accuracy

heart‐c

68

70

72

74

76

78

80

82

84

86

Accuracy

heart‐statlog

70

72

74

76

78

80

82

84

86

88

Accuracy

hepatitis

ตารางท 4.36 การเปรยบเทยบประสทธภาพเมอเรยนรดวยวธ Boosting ดาน Accuracy


breast-cancer 64.6853 66.4336 68.8811 69.5804 73.4266 64.6853 69.9301

breast-w 95.5651 95.5651 95.422 96.7096 96.7096 95.9943 95.1359

diabetes 76.1719 75.3906 75 77.3438 73.1771 72.9167 74.4792

heart-c 84.1584 78.2178 84.1584 84.8185 81.1881 78.5479 76.5677

heart-statlog 82.5926 78.8889 78.5185 84.0741 74.4444 76.6667 80

hepatitis 85.8065 76.129 83.871 81.2903 85.8065 87.0968 83.2258

hypothyroid 95.281 93.8494 95.8643 94.9894 89.6341 99.6288 99.2047

leukemia 98.6111 97.2222 93.0556 98.6111 84.7222 87.5 95.8333

liver-disorders 67.2464 65.5072 65.7971 62.029 59.1304 71.0145 73.3333

lung-cancer 40.625 40.625 46.875 50 40.625 50 46.875

lymphography 80.4054 81.0811 83.7838 83.7838 77.027 83.1081 84.4595


primary-tumor 50.1475 46.6077 39.528 46.9027 48.0826 41.2979 37.7581


67

84

86

88

90

92

94

96

98

100

102

Accuracy

hypothyroid

0

10

20

30

40

50

60

70

80

Accuracy

liver‐disorders

0

10

20

30

40

50

60

Accuracy

lung‐cancer

72

74

76

78

80

82

84

86

Accuracy

lymphography

0

10

20

30

40

50

60

70

80

Accuracy


0

10

20

30

40

50

60

Accuracy

primary‐tumor


68

ผลการทดลองจากตารางท 4.36 เมอเรยนรกลมตวอยางโดยไมลดคณลกษณะ ดวยวธ

Boosting ตามแบบจาลองการวเคราะหโรคอตโนมตทนาเสนอ ซงประกอบดวยอลกอรทม Naïve



(Accuracy) พบวา กลมขอมล breast-cancer อลกอรทม K-Nearest Neighbor ให

ประสทธภาพออกมาดทสดคอ 73.42% กลมขอมล breast-w อลกอรทม Support Vector

Machine กบ K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 96.70% กลมขอมล

diabetes อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 77.34% กลม

ขอมล heart-c อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 84.81%

กลมขอมล heart-statlog อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสด

คอ 84.07% กลมขอมล hepatitis อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ

87.09% กลมขอมล hypothyroid อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ

99.62% กลมขอมล leukemia อลกอรทม Naïve Bayes กบ Support Vector Machine ให

ประสทธภาพออกมาดทสดคอ 98.61% กลมขอมล liver-disorders อลกอรทม Ripper ให

ประสทธภาพออกมาดทสดคอ 73.33% กลมขอมล lung-cancer อลกอรทม Support Vector

Machine กบ Decision Treeใหประสทธภาพออกมาดทสดคอ 50% กลมขอมล lymphography

อลกอรทม Ripper ใหประสทธภาพออกมาดทสดคอ 84.45% กลมขอมล postoperative-

patient อลกอรทม K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 71.11% กลมขอมล

primary-tumor อลกอรทม Naïve Bayes ใหประสทธภาพออกมาดทสดคอ 50.14%


69

4.4 ผลการวเคราะหเปรยบเทยบประสทธภาพแตละอลกอรทมเมอลดคณลกษณะดวยวธ

Correlation-based Feature Subset Selection (CFS)

ตารางท 4.37 ประสทธภาพของการสงเคราะหโมเดลเมอลดคณลกษณะดวย CFS และเรยนร

ดวยอลกอรทม NaiveBayes


1. breast-cancer no-recurrence-events 72.3776 27.6224 0.836 0.785 0.836 0.81


2. breast-w benign 95.9943 4.0057 0.952 0.986 0.952 0.969

malignant 0.975 0.914 0.975 0.944

3. diabetes tested_negative 77.474 22.526 0.876 0.798 0.876 0.835

tested_positive 0.586 0.717 0.586 0.645

4. heart-c <50 84.4884 15.5116 0.891 0.835 0.891 0.862

>50 0.79 0.858 0.79 0.823

5. heart-statlog absent 85.5556 14.4444 0.893 0.854 0.893 0.873

present 0.808 0.858 0.808 0.833

6. hepatitis DIE 87.7419 12.2581 0.719 0.697 0.719 0.708

LIVE 0.919 0.926 0.919 0.922

7. hypothyroid negative 94.6448 5.3552 0.993 0.956 0.993 0.974 compensated_hypothyroid 0.216 0.575 0.216 0.315 primary_hypothyroid 0.758 0.878 0.758 0.814


8. leukemia ALL 98.6111 1.3889 0.979 1 0.979 0.989

AML 1 0.962 1 0.98

9. liver-disorders class 1 56.5217 43.4783 0.497 0.483 0.497 0.49

class 2 0.615 0.628 0.615 0.621

10. lung-cancer class 1 71.875 28.125 0.889 0.727 0.889 0.8 class 2 0.615 0.667 0.615 0.64

class 3 0.7 0.778 0.7 0.737

11. lymphography normal 78.3784 21.6216 0 0 0 0 metastases 0.877 0.789 0.877 0.83 malign_lymph 0.689 0.824 0.689 0.75

fibrosis 0.75 0.75 0.75 0.75 12. postoperative-patient A 68.8889 31.1111 0.953 0.709 0.953 0.813 I 0 0 0 0

S 0.042 0.25 0.042 0.071

13. primary-tumor lung 47.7876 52.2124 0.738 0.633 0.738 0.681 head and neck 0.95 0.704 0.95 0.809 esophagus 0 0 0 0 thyroid 0.214 0.273 0.214 0.24 stomach 0.179 0.269 0.179 0.215 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.286 0.235 0.286 0.258 gallbladder 0.625 0.333 0.625 0.435 liver 0 0 0 0 kidney 0.333 0.267 0.333 0.296 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.2 0.5 0.2 0.286 ovary 0.828 0.471 0.828 0.6 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0

breast 0.792 0.731 0.792 0.76


70


ดวยอลกอรทม MultilayerPerceptron




2. breast-w benign 95.7082 4.2918 0.961 0.973 0.961 0.967

malignant 0.95 0.927 0.95 0.939


tested_positive 0.586 0.68 0.586 0.629

4. heart-c <50 78.2178 21.7822 0.776 0.815 0.776 0.795

>50 0.79 0.747 0.79 0.768


present 0.767 0.793 0.767 0.78

6. hepatitis DIE 79.3548 20.6452 0.438 0.5 0.438 0.467

LIVE 0.886 0.858 0.886 0.872



8. leukemia ALL 98.6111 1.3889 0.979 1 0.979 0.989

AML 1 0.962 1 0.98


class 2 0.8 0.637 0.8 0.71


class 3 0.7 0.636 0.7 0.667


fibrosis 0.25 1 0.25 0.4 12. postoperative-patient A 64.4444 35.5556 0.875 0.709 0.875 0.783 I 0 0 0 0

S 0.083 0.182 0.083 0.114

13. primary-tumor lung 38.9381 61.0619 0.607 0.58 0.607 0.593 head and neck 0.9 0.72 0.9 0.8 esophagus 0 0 0 0 thyroid 0.143 0.2 0.143 0.167 stomach 0.128 0.167 0.128 0.145 duoden and sm.int 0 0 0 0 colon 0.143 0.118 0.143 0.129 rectum 0.333 0.667 0.333 0.444 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.179 0.161 0.179 0.169 gallbladder 0.125 0.154 0.125 0.138 liver 0 0 0 0 kidney 0.25 0.24 0.25 0.245 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.4 0.267 0.4 0.32 ovary 0.655 0.487 0.655 0.559 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0

breast 0.667 0.667 0.667 0.667


71


ดวยอลกอรทม Radial Basis Function




2. breast-w benign 95.8512 4.1488 0.954 0.982 0.954 0.968

malignant 0.967 0.917 0.967 0.941


tested_positive 0.593 0.691 0.593 0.639

4. heart-c <50 83.4983 16.5017 0.885 0.825 0.885 0.854

>50 0.775 0.849 0.775 0.811


present 0.775 0.802 0.775 0.788

6. hepatitis DIE 86.4516 13.5484 0.594 0.704 0.594 0.644

LIVE 0.935 0.898 0.935 0.916



8. leukemia ALL 100 0 1 1 1 1

AML 1 1 1 1


class 2 0.71 0.626 0.71 0.665


class 3 0.7 0.778 0.7 0.737



S 0.083 0.2 0.083 0.118

13. primary-tumor lung 33.6283 66.3717 0.429 0.522 0.429 0.471 head and neck 0.85 0.739 0.85 0.791 esophagus 0.111 0.077 0.111 0.091 thyroid 0.286 0.235 0.286 0.258 stomach 0.128 0.179 0.128 0.149 duoden and sm.int 0 0 0 0 colon 0.214 0.143 0.214 0.171 rectum 0.333 0.667 0.333 0.444 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.107 0.103 0.107 0.105 gallbladder 0.188 0.214 0.188 0.2 liver 0 0 0 0 kidney 0.167 0.133 0.167 0.148 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.2 0.25 0.2 0.222 ovary 0.621 0.409 0.621 0.493 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0

breast 0.667 0.889 0.667 0.762


72


ดวยอลกอรทม Support Vector Machine




2. breast-w benign 96.9957 3.0043 0.974 0.98 0.974 0.977

malignant 0.963 0.951 0.963 0.957


tested_positive 0.522 0.737 0.522 0.611

4. heart-c <50 83.4983 16.5017 0.891 0.821 0.891 0.855

>50 0.768 0.855 0.768 0.809


present 0.8 0.828 0.8 0.814

6. hepatitis DIE 83.2258 16.7742 0.406 0.65 0.406 0.5

LIVE 0.943 0.859 0.943 0.899

7. hypothyroid negative 93.1336 6.8664 0.999 0.932 0.999 0.964 compensated_hypothyroid 0 0 0 0 primary_hypothyroid 0.368 0.897 0.368 0.522


8. leukemia ALL 98.6111 1.3889 0.979 1 0.979 0.989

AML 1 0.962 1 0.98

9. liver-disorders class 1 57.971 42.029 0 0 0 0

class 2 1 0.58 1 0.734

10. lung-cancer class 1 75 25 0.889 0.727 0.889 0.8 class 2 0.615 0.727 0.615 0.667

class 3 0.8 0.8 0.8 0.8

11. lymphography normal 85.8108 14.1892 0.5 1 0.5 0.667 metastases 0.926 0.843 0.926 0.882 malign_lymph 0.787 0.873 0.787 0.828


S 0 0 0 0

13. primary-tumor lung 45.4277 54.5723 0.786 0.667 0.786 0.626

head and neck 0.95 0.731 0.95 0.826 esophagus 0 0 0 0 thyroid 0.357 0.455 0.357 0.4 stomach 0.231 0.31 0.231 0.265 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.214 0.194 0.214 0.203 gallbladder 0.375 0.261 0.375 0.308 liver 0 0 0 0 kidney 0.208 0.25 0.208 0.227 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.3 0.75 0.3 0.429 ovary 0.655 0.475 0.655 0.551 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0

breast 0.667 0.8 0.667 0.727


73


ดวยอลกอรทม K-Nearest Neighbor




2. breast-w benign 96.7096 3.2904 0.969 0.98 0.969 0.975

malignant 0.963 0.943 0.963 0.953


tested_positive 0.563 0.643 0.563 0.6

4. heart-c <50 81.5182 18.4818 0.861 0.811 0.861 0.835

>50 0.761 0.82 0.761 0.789


present 0.75 0.841 0.75 0.793

6. hepatitis DIE 81.9355 18.0645 0.375 0.6 0.375 0.462

LIVE 0.935 0.852 0.935 0.891



8. leukemia ALL 98.6111 1.3889 0.979 1 0.979 0.989

AML 1 0.962 1 0.98


class 2 0.69 0.639 0.69 0.663


class 3 0.7 0.875 0.7 0.778


fibrosis 0.5 1 0.5 0.667 12. postoperative-patient A 71.1111 28.8889 1 0.711 1 0.831 I 0 0 0 0

S 0 0 0 0


breast 0.708 0.739 0.708 0.723


74


ดวยอลกอรทม Decision Tree




2. breast-w benign 94.5637 5.4363 0.956 0.961 0.956 0.958

malignant 0.925 0.918 0.925 0.921


tested_positive 0.556 0.668 0.556 0.607

4. heart-c <50 77.2277 22.7723 0.842 0.764 0.842 0.801

>50 0.688 0.785 0.688 0.734


present 0.758 0.805 0.758 0.781

6. hepatitis DIE 81.2903 18.7097 0.375 0.571 0.375 0.453

LIVE 0.927 0.851 0.927 0.887



8. leukemia ALL 84.7222 15.2778 0.83 0.929 0.83 0.876

AML 0.88 0.733 0.88 0.8


class 2 0.705 0.65 0.705 0.676


class 3 0.7 0.7 0.7 0.7

11. lymphography normal 77.027 22.973 0.5 0.2 0.5 0.286 metastases 0.802 0.833 0.802 0.818 malign_lymph 0.77 0.734 0.77 0.752

fibrosis 0.25 1 0.25 0.4 12. postoperative-patient A 70 30 0.984 0.708 0.984 0.824 I 0 0 0 0

S 0 0 0 0

13. primary-tumor lung 40.118 59.882 0.583 0.438 0.583 0.5 head and neck 0.95 0.76 0.95 0.844 esophagus 0 0 0 0 thyroid 0.286 0.308 0.286 0.296 stomach 0.051 0.105 0.051 0.069 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.179 0.161 0.179 0.169 gallbladder 0.563 0.333 0.563 0.419 liver 0 0 0 0 kidney 0.375 0.36 0.375 0.367 bladder 0 0 0 0 testis 0 0 0 0 prostate 0 0 0 0 ovary 0.69 0.426 0.69 0.526 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0

breast 0.792 0.792 0.792 0.792


75


ดวยอลกอรทม Ripper




2. breast-w benign 95.422 4.578 0.952 0.978 0.952 0.965

malignant 0.959 0.913 0.959 0.935


tested_positive 0.552 0.685 0.552 0.612

4. heart-c <50 80.198 19.802 0.861 0.793 0.861 0.826

>50 0.732 0.815 0.732 0.771


present 0.683 0.82 0.683 0.745

6. hepatitis DIE 77.4194 22.5806 0.344 0.44 0.344 0.386

LIVE 0.886 0.838 0.886 0.862



8. leukemia ALL 88.8889 11.1111 0.894 0.933 0.894 0.913

AML 0.88 0.815 0.88 0.846


class 2 0.695 0.665 0.695 0.68


class 3 0.5 0.625 0.5 0.556


fibrosis 0.75 0.75 0.75 0.75 12. postoperative-patient A 71.1111 28.8889 1 0.711 1 0.831 I 0 0 0 0

S 0 0 0 0

13. primary-tumor lung 39.528 60.472 0.905 0.33 0.905 0.484 head and neck 0.8 0.696 0.8 0.744 esophagus 0.111 0.25 0.111 0.154 thyroid 0 0 0 0 stomach 0 0 0 0 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0 0 0 0 gallbladder 0.063 0.143 0.063 0.087 liver 0 0 0 0 kidney 0.167 0.4 0.167 0.235 bladder 0 0 0 0 testis 0 0 0 0 prostate 0 0 0 0 ovary 0.621 0.545 0.621 0.581 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0

breast 0.75 0.818 0.75 0.783


76

ตารางท 4.44 การเปรยบเทยบประสทธภาพดาน TP Rate เมอลดคณลกษณะดวย CFS




breast-w benign 0.952 0.961 0.954 0.974 0.969 0.956 0.952

malignant 0.975 0.95 0.967 0.963 0.963 0.925 0.959


tested_positive 0.586 0.586 0.593 0.522 0.563 0.556 0.552

heart-c <50 0.891 0.776 0.885 0.891 0.861 0.842 0.861

>50 0.79 0.79 0.775 0.768 0.761 0.688 0.732


present 0.808 0.767 0.775 0.8 0.75 0.758 0.683

hepatitis DIE 0.719 0.438 0.594 0.406 0.375 0.375 0.344

LIVE 0.919 0.886 0.935 0.943 0.935 0.927 0.886

hypothyroid negative 0.993 0.986 0.99 0.999 0.938 0.983 0.979

compensated 0.216 0.557 0.314 0 0.546 0.835 0.933

primary 0.758 0.716 0.8 0.368 0.758 0.716 0.789

secondary 0 0 0 0 0 0 0

leukemia ALL 0.979 0.979 1 0.979 0.979 0.83 0.894

AML 1 1 1 1 1 0.88 0.88


class 2 0.615 0.8 0.71 1 0.69 0.705 0.695

lung-cancer class 1 0.889 0.889 0.889 0.889 0.889 0.889 0.889

class 2 0.615 0.615 0.615 0.615 0.462 0.615 0.615

class 3 0.7 0.7 0.7 0.8 0.7 0.7 0.5

lymphography normal 0 0 0 0.5 0 0.5 0

metastases 0.877 0.827 0.864 0.926 0.926 0.802 0.778

malign_lymph 0.689 0.787 0.738 0.787 0.77 0.77 0.705

fibrosis 0.75 0.25 0.75 0.75 0.5 0.25 0.75 postoperative-patient A 0.953 0.875 0.844 0.953 1 0.984 1

I 0 0 0 0 0 0 0

S 0.042 0.083 0.083 0 0 0 0

primary-tumor lung 0.738 0.607 0.429 0.786 0.798 0.583 0.905

head and neck 0.95 0.9 0.85 0.95 0.95 0.95 0.8

esophagus 0 0 0.111 0 0 0 0.111

thyroid 0.214 0.143 0.286 0.357 0.357 0.286 0

stomach 0.179 0.128 0.128 0.231 0.051 0.051 0

duoden and sm.int 0 0 0 0 0 0 0

colon 0 0.143 0.214 0 0 0 0

rectum 0 0.333 0.333 0 0 0 0

anus 0 0 0 0 0 0 0

salivary glands 0 0 0 0 0 0 0

pancreas 0.286 0.179 0.107 0.214 0.321 0.179 0

gallbladder 0.625 0.125 0.188 0.375 0.625 0.563 0.063

liver 0 0 0 0 0 0 0

kidney 0.333 0.25 0.167 0.208 0.25 0.375 0.167

bladder 0 0 0 0 0 0 0

testis 0 0 0 0 0 0 0

prostate 0.2 0.4 0.2 0.3 0.2 0 0

ovary 0.828 0.655 0.621 0.655 0.862 0.69 0.621

corpus uteri 0 0 0 0 0 0 0

cervix uteri 0 0 0 0 0 0 0

vagina 0 0 0 0 0 0 0

breast 0.792 0.667 0.667 0.667 0.708 0.792 0.75


77

ตารางท 4.45 การเปรยบเทยบประสทธภาพดาน Precision เมอลดคณลกษณะดวย CFS




breast-w benign 0.986 0.973 0.982 0.98 0.98 0.961 0.978

malignant 0.914 0.927 0.917 0.951 0.943 0.918 0.913


tested_positive 0.717 0.68 0.691 0.737 0.643 0.668 0.685

heart-c <50 0.835 0.815 0.825 0.821 0.811 0.764 0.793

>50 0.858 0.747 0.849 0.855 0.82 0.785 0.815


present 0.858 0.793 0.802 0.828 0.841 0.805 0.82

hepatitis DIE 0.697 0.5 0.704 0.65 0.6 0.571 0.44

LIVE 0.926 0.858 0.898 0.859 0.852 0.851 0.838


compensated 0.575 0.635 0.616 0 0.465 0.678 0.675

primary 0.878 0.919 0.854 0.897 0.391 0.919 0.872

secondary 0 0 0 0 0 0 0

leukemia ALL 1 1 1 1 1 0.929 0.933

AML 0.962 0.962 1 0.962 0.962 0.733 0.815


class 2 0.628 0.637 0.626 0.58 0.639 0.65 0.665


class 2 0.667 0.667 0.667 0.727 0.6 0.727 0.667

class 3 0.778 0.636 0.778 0.8 0.875 0.7 0.625

lymphography normal 0 0 0 1 0 0.2 0

metastases 0.789 0.817 0.814 0.843 0.806 0.833 0.768

malign_lymph 0.824 0.738 0.789 0.873 0.887 0.734 0.694

fibrosis 0.75 1 0.75 1 1 1 0.75 postoperative-patient A 0.709 0.709 0.701 0.701 0.711 0.708 0.711

I 0 0 0 0 0 0 0

S 0.25 0.182 0.2 0 0 0 0


head and neck 0.704 0.72 0.739 0.731 0.679 0.76 0.696

esophagus 0 0 0.077 0 0 0 0.25

thyroid 0.273 0.2 0.235 0.455 0.5 0.308 0

stomach 0.269 0.167 0.179 0.31 0.1 0.105 0


colon 0 0.118 0.143 0 0 0 0

rectum 0 0.667 0.667 0 0 0 0

anus 0 0 0 0 0 0 0


pancreas 0.235 0.161 0.103 0.194 0.273 0.161 0

gallbladder 0.333 0.154 0.214 0.261 0.4 0.333 0.143

liver 0 0 0 0 0 0 0

kidney 0.267 0.24 0.133 0.25 0.375 0.36 0.4

bladder 0 0 0 0 0 0 0

testis 0 0 0 0 0 0 0

prostate 0.5 0.267 0.25 0.75 0.182 0 0

ovary 0.471 0.487 0.409 0.475 0.472 0.426 0.545



vagina 0 0 0 0 0 0 0

breast 0.731 0.667 0.889 0.8 0.739 0.792 0.818


78

ตารางท 4.46 การเปรยบเทยบประสทธภาพดาน Recall เมอลดคณลกษณะดวย CFS




breast-w benign 0.952 0.961 0.954 0.974 0.969 0.956 0.952

malignant 0.975 0.95 0.967 0.963 0.963 0.925 0.959


tested_positive 0.586 0.586 0.593 0.522 0.563 0.556 0.552

heart-c <50 0.891 0.776 0.885 0.891 0.861 0.842 0.861

>50 0.79 0.79 0.775 0.768 0.761 0.688 0.732


present 0.808 0.767 0.775 0.8 0.75 0.758 0.683

hepatitis DIE 0.719 0.438 0.594 0.406 0.375 0.375 0.344

LIVE 0.919 0.886 0.935 0.943 0.935 0.927 0.886


compensated 0.216 0.557 0.314 0 0.546 0.835 0.933

primary 0.758 0.716 0.8 0.368 0.758 0.716 0.789

secondary 0 0 0 0 0 0 0

leukemia ALL 0.979 0.979 1 0.979 0.979 0.83 0.894

AML 1 1 1 1 1 0.88 0.88


class 2 0.615 0.8 0.71 1 0.69 0.705 0.695


class 2 0.615 0.615 0.615 0.615 0.462 0.615 0.615

class 3 0.7 0.7 0.7 0.8 0.7 0.7 0.5


metastases 0.877 0.827 0.864 0.926 0.926 0.802 0.778

malign_lymph 0.689 0.787 0.738 0.787 0.77 0.77 0.705

fibrosis 0.75 0.25 0.75 0.75 0.5 0.25 0.75 postoperative-patient A 0.953 0.875 0.844 0.953 1 0.984 1

I 0 0 0 0 0 0 0

S 0.042 0.083 0.083 0 0 0 0


head and neck 0.95 0.9 0.85 0.95 0.95 0.95 0.8

esophagus 0 0 0.111 0 0 0 0.111

thyroid 0.214 0.143 0.286 0.357 0.357 0.286 0

stomach 0.179 0.128 0.128 0.231 0.051 0.051 0


colon 0 0.143 0.214 0 0 0 0

rectum 0 0.333 0.333 0 0 0 0

anus 0 0 0 0 0 0 0


pancreas 0.286 0.179 0.107 0.214 0.321 0.179 0

gallbladder 0.625 0.125 0.188 0.375 0.625 0.563 0.063

liver 0 0 0 0 0 0 0

kidney 0.333 0.25 0.167 0.208 0.25 0.375 0.167

bladder 0 0 0 0 0 0 0

testis 0 0 0 0 0 0 0

prostate 0.2 0.4 0.2 0.3 0.2 0 0

ovary 0.828 0.655 0.621 0.655 0.862 0.69 0.621



vagina 0 0 0 0 0 0 0

breast 0.792 0.667 0.667 0.667 0.708 0.792 0.75


79

ตารางท 4.47 การเปรยบเทยบประสทธภาพดาน F-Measure เมอลดคณลกษณะดวย CFS




breast-w benign 0.969 0.967 0.968 0.977 0.975 0.958 0.965

malignant 0.944 0.939 0.941 0.957 0.953 0.921 0.935


tested_positive 0.645 0.629 0.639 0.611 0.6 0.607 0.612

heart-c <50 0.862 0.795 0.854 0.855 0.835 0.801 0.826

>50 0.823 0.768 0.811 0.809 0.789 0.734 0.771


present 0.833 0.78 0.788 0.814 0.793 0.781 0.745

hepatitis DIE 0.708 0.467 0.644 0.5 0.462 0.453 0.386

LIVE 0.922 0.872 0.916 0.899 0.891 0.887 0.862


compensated 0.315 0.593 0.416 0 0.502 0.748 0.784

primary 0.814 0.805 0.826 0.522 0.516 0.805 0.829

secondary 0 0 0 0 0 0 0

leukemia ALL 0.989 0.989 1 0.989 0.989 0.876 0.913

AML 0.98 0.98 1 0.98 0.98 0.8 0.846


class 2 0.621 0.71 0.665 0.734 0.663 0.676 0.68


class 2 0.64 0.64 0.64 0.667 0.522 0.667 0.64

class 3 0.737 0.667 0.737 0.8 0.778 0.7 0.556


metastases 0.83 0.822 0.838 0.882 0.862 0.818 0.773

malign_lymph 0.75 0.762 0.763 0.828 0.825 0.752 0.699

fibrosis 0.75 0.4 0.75 0.857 0.667 0.4 0.75 postoperative-patient A 0.813 0.783 0.766 0.808 0.831 0.824 0.831

I 0 0 0 0 0 0 0

S 0.071 0.114 0.118 0 0 0 0


head and neck 0.809 0.8 0.791 0.826 0.792 0.844 0.744

esophagus 0 0 0.091 0 0 0 0.154

thyroid 0.24 0.167 0.258 0.4 0.417 0.296 0

stomach 0.215 0.145 0.149 0.265 0.068 0.069 0


colon 0 0.129 0.171 0 0 0 0

rectum 0 0.444 0.444 0 0 0 0

anus 0 0 0 0 0 0 0


pancreas 0.258 0.169 0.105 0.203 0.295 0.169 0

gallbladder 0.435 0.138 0.2 0.308 0.488 0.419 0.087

liver 0 0 0 0 0 0 0

kidney 0.296 0.245 0.148 0.227 0.3 0.367 0.235

bladder 0 0 0 0 0 0 0

testis 0 0 0 0 0 0 0

prostate 0.286 0.32 0.222 0.429 0.19 0 0

ovary 0.6 0.559 0.493 0.551 0.61 0.526 0.581



vagina 0 0 0 0 0 0 0

breast 0.76 0.667 0.762 0.727 0.723 0.792 0.783


80

62

64

66

68

70

72

74

76

Accuracy

breast‐cancer

93

93.5

94

94.5

95

95.5

96

96.5

97

97.5

Accuracy

breast‐w

72

73

74

75

76

77

78

Accuracy

diabetes

72

74

76

78

80

82

84

86

Accuracy

heart‐c

767778798081828384858687

Accuracy

heart‐statlog

ตารางท 4.48 การเปรยบเทยบประสทธภาพดาน Accuracy เมอลดคณลกษณะดวย CFS


breast-cancer 72.3776 71.6783 71.3287 66.4336 71.6783 73.0769 73.7762

breast-w 95.9943 95.7082 95.8512 96.9957 96.7096 94.5637 95.422

diabetes 77.474 75.9115 76.5625 76.8229 73.8281 74.8698 75.5208

heart-c 84.4884 78.2178 83.4983 83.4983 81.5182 77.2277 80.198

heart-statlog 85.5556 80.7407 81.4815 83.7037 82.5926 81.1111 79.2593

hepatitis 87.7419 79.3548 86.4516 83.2258 81.9355 81.2903 77.4194

hypothyroid 94.6448 95.7052 94.9629 93.1336 91.2513 96.8187 97.1633

leukemia 98.6111 98.6111 100 98.6111 98.6111 84.7222 88.8889

liver-disorders 56.5217 62.029 58.5507 57.971 59.4203 60.8696 62.029

lung-cancer 71.875 71.875 71.875 75 65.625 71.875 65.625

lymphography 78.3784 78.3784 79.7297 85.8108 83.7838 77.027 73.6486


primary-tumor 47.7876 38.9381 33.6283 45.4277 47.7876 40.118 39.528

72

74

76

78

80

82

84

86

88

90

Accuracy

hepatitis


81

8889909192939495969798

Accuracy

hypothyroid

75

80

85

90

95

100

105

Accuracy

leukemia

5354555657585960616263

Accuracy

liver‐disorders

60

62

64

66

68

70

72

74

76

Accuracy

lung‐cancer

666870727476788082848688

Accuracy

lymphography

56

58

60

62

64

66

68

70

72

Accuracy


0

10

20

30

40

50

60

Accuracy

primary‐tumor


82

ผลการทดลองจากตารางท 4.48 เมอทาการลดคณลกษณะดวย CFS และทาการเรยนร

กลมตวอยางตามแบบจาลองการวเคราะหโรคอตโนมตทนาเสนอ ซงประกอบดวยอลกอรทม

Naïve Bayes,Multilayer Perceptron,Radial Basis Function Network, Support Vector

Machine, K-Nearest Neighbor, Decision Tree และ Ripper โดยวดประสทธภาพจากคาความ

ความถกตอง (Accuracy) พบวา กลมขอมล breast-cancer อลกอรทม Ripper ใหประสทธภาพ

ออกมาดทสดคอ 73.77% กลมขอมล breast-w อลกอรทม Support Vector Machine ให

ประสทธภาพออกมาดทสดคอ 96.99% กลมขอมล diabetes อลกอรทม Support Vector

Machine ใหประสทธภาพออกมาดทสดคอ 76.82% กลมขอมล heart-c อลกอรทม Naïve

Bayesใหประสทธภาพออกมาดทสดคอ 84.48% กลมขอมล heart-statlog อลกอรทม Naïve

Bayesใหประสทธภาพออกมาดทสดคอ 85.55% กลมขอมล hepatitis อลกอรทม Naïve Bayes

ใหประสทธภาพออกมาดทสดคอ 87.74% กลมขอมล hypothyroid อลกอรทม Ripper ให

ประสทธภาพออกมาดทสดคอ 97.16% กลมขอมล leukemia อลกอรทม Radial Basis Function

Network ใหประสทธภาพออกมาดทสดคอ 100% กลมขอมล liver-disorders อลกอรทม

Multilayer Perceptron กบ Ripper ใหประสทธภาพออกมาดทสดคอ 62.02% กลมขอมล lung-

cancer อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 75% กลมขอมล

lymphography อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 85.81%

กลมขอมล postoperative-patient อลกอรทม K-Nearest Neighbor กบ Ripper ให

ประสทธภาพออกมาดทสดคอ 71.11% กลมขอมล primary-tumor อลกอรทม Naïve Bayes กบ

K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 47.78%


83

4.5 ผลการวเคราะหเปรยบเทยบประสทธภาพแตละอลกอรทมเมอลดคณลกษณะดวยวธ

Feature selection method based on correlation measureand relevance & redundancy

analysis (FCBF)

ตารางท 4.49 ประสทธภาพของการสงเคราะหโมเดลเมอลดคณลกษณะดวย FCBF และเรยนร

ดวยอลกอรทม NaiveBayes




2. breast-w benign 95.8512 4.1488 0.952 0.984 0.952 0.968

malignant 0.971 0.914 0.971 0.942


tested_positive 0.586 0.717 0.586 0.645

4. heart-c <50 84.4884 15.5116 0.891 0.835 0.891 0.862

>50 0.79 0.858 0.79 0.823


present 0.8 0.835 0.8 0.817

6. hepatitis DIE 84.5161 15.4839 0.625 0.625 0.625 0.625

LIVE 0.902 0.902 0.902 0.902



8. leukemia ALL 98.6111 1.3889 0.979 1 0.979 0.989

AML 1 0.962 1 0.98


class 2 0.615 0.628 0.615 0.621


class 3 0.7 0.778 0.7 0.737


fibrosis 0.75 0.75 0.75 0.75 12. postoperative A 67.7778 32.2222 0.953 0.701 0.953 0.808 -patient I 0 0 0 0

S 0 0 0 0


breast 0.792 0.731 0.792 0.76


84


ดวยอลกอรทม MultilayerPerceptron




2. breast-w benign 96.2804 3.7196 0.969 0.974 0.969 0.972

malignant 0.95 0.942 0.95 0.946


tested_positive 0.604 0.661 0.604 0.632

4. heart-c <50 81.8482 18.1518 0.848 0.824 0.848 0.836

>50 0.783 0.812 0.783 0.797


present 0.75 0.818 0.75 0.783

6. hepatitis DIE 85.8065 14.1935 0.656 0.656 0.656 0.656

LIVE 0.911 0.911 0.911 0.911



8. leukemia ALL 100 0 1 1 1 1

AML 1 1 1 1


class 2 0.76 0.623 0.76 0.685


class 3 0.7 0.778 0.7 0.737



S 0.042 0.2 0.042 0.069

13. primary-tumor lung 39.233 60.767 0.619 0.559 0.619 0.588 head and neck 0.9 0.692 0.9 0.783 esophagus 0 0 0 0 thyroid 0.357 0.455 0.357 0.4 stomach 0.154 0.222 0.154 0.182 duoden and sm.int 0 0 0 0 colon 0.143 0.143 0.143 0.143 rectum 0.333 0.5 0.333 0.4 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.107 0.097 0.107 0.102 gallbladder 0.188 0.214 0.188 0.2 liver 0 0 0 0 kidney 0.167 0.143 0.167 0.154 bladder 0 0 0 0 testis 0 0 0 0 prostate 0.2 0.2 0.2 0.2 ovary 0.621 0.5 0.621 0.554 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0

breast 0.75 0.692 0.75 0.72


85


ดวยอลกอรทม Radial Basis Function




2. breast-w benign 95.5651 4.4349 0.95 0.982 0.95 0.966

malignant 0.967 0.91 0.967 0.938


tested_positive 0.593 0.691 0.593 0.639

4. heart-c <50 83.4983 16.5017 0.885 0.825 0.885 0.854

>50 0.775 0.849 0.775 0.811


present 0.808 0.802 0.808 0.805

6. hepatitis DIE 85.1613 14.8387 0.563 0.667 0.563 0.61

LIVE 0.927 0.891 0.927 0.908



8. leukemia ALL 98.6111 1.3889 0.979 1 0.979 0.989

AML 1 0.962 1 0.98


class 2 0.71 0.626 0.71 0.665


class 3 0.7 0.7 0.7 0.7



S 0 0 0 0

13. primary-tumor lung 35.9882 64.0118 0.56 0.588 0.56 0.573 head and neck 0.9 0.783 0.9 0.837 esophagus 0 0 0 0 thyroid 0.143 0.222 0.143 0.174 stomach 0.051 0.061 0.051 0.056 duoden and sm.int 0 0 0 0 colon 0.143 0.1 0.143 0.118 rectum 0.333 0.333 0.333 0.333 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.143 0.154 0.143 0.148 gallbladder 0.188 0.214 0.188 0.2 liver 0 0 0 0 kidney 0.333 0.229 0.333 0.271 bladder 0.5 0.5 0.5 0.5 testis 0 0 0 0 prostate 0.2 0.222 0.2 0.211 ovary 0.621 0.5 0.621 0.554 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0

breast 0.542 0.722 0.542 0.619


86


ดวยอลกอรทม Support Vector Machine




2. breast-w benign 96.8526 3.1474 0.974 0.978 0.974 0.976

malignant 0.959 0.951 0.959 0.955


tested_positive 0.53 0.74 0.53 0.617

4. heart-c <50 83.4983 16.5017 0.891 0.821 0.891 0.855

>50 0.768 0.855 0.768 0.809


present 0.8 0.828 0.8 0.814

6. hepatitis DIE 83.871 16.129 0.438 0.667 0.438 0.528

LIVE 0.943 0.866 0.943 0.903

7. hypothyroid negative 93.1071 6.8929 0.999 0.931 0.999 0.964 compensated_hypothyroid 0 0 0 0 primary_hypothyroid 0.358 0.895 0.358 0.511


8. leukemia ALL 100 0 1 1 1 1

AML 1 1 1 1

9. liver-disorders class 1 57.971 42.029 0 0 0 0

class 2 1 0.58 1 0.734


class 3 0.6 0.75 0.6 0.667

11. lymphography normal 81.7568 18.2432 0.5 1 0.5 0.667 metastases 0.889 0.809 0.889 0.847 malign_lymph 0.738 0.818 0.738 0.776


S 0 0 0 0


breast 0.708 0.81 0.708 0.756


87


ดวยอลกอรทม K-Nearest Neighbor




2. breast-w benign 96.9957 3.0043 0.974 0.98 0.974 0.977

malignant 0.963 0.951 0.963 0.957


tested_positive 0.563 0.643 0.563 0.6

4. heart-c <50 81.5182 18.4818 0.861 0.811 0.861 0.835

>50 0.761 0.82 0.761 0.789


present 0.758 0.843 0.758 0.798

6. hepatitis DIE 84.5161 15.4839 0.469 0.682 0.469 0.556

LIVE 0.943 0.872 0.943 0.906



8. leukemia ALL 98.6111 1.3889 1 0.979 1 0.989

AML 0.96 1 0.96 0.98


class 2 0.69 0.639 0.69 0.663


class 3 0.7 1 0.7 0.824


fibrosis 0 0 0 0 12. postoperative-patient A 71.1111 28.8889 1 0.711 1 0.831 I 0 0 0 0

S 0 0 0 0


breast 0.708 0.739 0.708 0.723


88


ดวยอลกอรทม Decision Tree




2. breast-w benign 95.8512 4.1488 0.963 0.974 0.963 0.968

malignant 0.95 0.931 0.95 0.94


tested_positive 0.556 0.668 0.556 0.607

4. heart-c <50 77.2277 22.7723 0.842 0.764 0.842 0.801

>50 0.688 0.785 0.688 0.734


present 0.767 0.836 0.767 0.8

6. hepatitis DIE 82.5806 17.4194 0.375 0.632 0.375 0.471

LIVE 0.943 0.853 0.943 0.896



8. leukemia ALL 86.1111 13.8889 0.851 0.93 0.851 0.889

AML 0.88 0.759 0.88 0.815


class 2 0.705 0.65 0.705 0.676


class 3 0.5 0.625 0.5 0.556


fibrosis 0 0 0 0 12. postoperative-patient A 71.1111 28.8889 1 0.711 1 0.831 I 0 0 0 0

S 0 0 0 0

13. primary-tumor lung 41.8879 58.1121 0.607 0.443 0.607 0.513 head and neck 0.95 0.76 0.95 0.844 esophagus 0 0 0 0 thyroid 0.143 0.2 0.143 0.167 stomach 0.103 0.133 0.103 0.116 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.25 0.212 0.25 0.23 gallbladder 0.563 0.36 0.563 0.439 liver 0 0 0 0 kidney 0.333 0.364 0.333 0.348 bladder 0 0 0 0 testis 0 0 0 0 prostate 0 0 0 0 ovary 0.759 0.5 0.759 0.603 corpus uteri 0 0 0 0 cervix uteri 0 0 0 0 vagina 0 0 0 0

breast 0.833 0.714 0.833 0.769


89


ดวยอลกอรทม Ripper




2. breast-w benign 95.1359 4.8641 0.952 0.973 0.952 0.962

malignant 0.95 0.912 0.95 0.931


tested_positive 0.556 0.683 0.556 0.613

4. heart-c <50 79.538 20.462 0.848 0.791 0.848 0.819

>50 0.732 0.802 0.732 0.765


present 0.825 0.825 0.825 0.825

6. hepatitis DIE 78.7097 21.2903 0.344 0.478 0.344 0.4

LIVE 0.902 0.841 0.902 0.871



8. leukemia ALL 90.2778 9.7222 0.936 0.917 0.936 0.926

AML 0.84 0.875 0.84 0.857


class 2 0.695 0.665 0.695 0.68


class 3 0.6 0.6 0.6 0.6


fibrosis 0.75 0.75 0.75 0.75 12. postoperative-patient A 70 30 0.984 0.708 0.984 0.824 I 0 0 0 0

S 0 0 0 0

13. primary-tumor lung 38.9381 61.0619 0.869 0.333 0.869 0.482 head and neck 0.8 0.593 0.8 0.681 esophagus 0 0 0 0 thyroid 0 0 0 0 stomach 0 0 0 0 duoden and sm.int 0 0 0 0 colon 0 0 0 0 rectum 0 0 0 0 anus 0 0 0 0 salivary glands 0 0 0 0 pancreas 0.107 0.375 0.107 0.167 gallbladder 0.063 0.167 0.063 0.091 liver 0 0 0 0 kidney 0.083 0.154 0.083 0.108 bladder 0 0 0 0 testis 0 0 0 0 prostate 0 0 0 0 ovary 0.655 0.594 0.655 0.623 corpus uteri 0 0 0 cervix uteri 0 0 0 vagina 0 0 0

breast 0.75 0.818 0.75 0.783


90

ตารางท 4.56 การเปรยบเทยบประสทธภาพดาน TP Rate เมอลดคณลกษณะดวย FCBF




breast-w benign 0.952 0.969 0.95 0.974 0.974 0.963 0.952

malignant 0.971 0.95 0.967 0.959 0.963 0.95 0.95


tested_positive 0.586 0.604 0.593 0.53 0.563 0.556 0.556

heart-c <50 0.891 0.848 0.885 0.891 0.861 0.842 0.848

>50 0.79 0.783 0.775 0.768 0.761 0.688 0.732


present 0.8 0.75 0.808 0.8 0.758 0.767 0.825

hepatitis DIE 0.625 0.656 0.563 0.438 0.469 0.375 0.344

LIVE 0.902 0.911 0.927 0.943 0.943 0.943 0.902


secondary 0 0 0 0 0 0 0

leukemia ALL 0.979 1 0.979 1 1 0.851 0.936

AML 1 1 1 1 0.96 0.88 0.84


class 2 0.615 0.76 0.71 1 0.69 0.705 0.695


class 3 0.7 0.7 0.7 0.6 0.7 0.5 0.6


fibrosis 0.75 0.5 0.75 0.75 0 0 0.75

postoperative-patient A 0.953 0.922 0.953 0.953 1 1 0.984 I 0 0 0 0 0 0 0

S 0 0.042 0 0 0 0 0

primary-tumor lung 0.714 0.619 0.56 0.774 0.75 0.607 0.869 head and neck 0.95 0.9 0.9 0.95 0.95 0.95 0.8 esophagus 0 0 0 0 0 0 0 thyroid 0.214 0.357 0.143 0.429 0.286 0.143 0 stomach 0.179 0.154 0.051 0.179 0.077 0.103 0 duoden and sm.int 0 0 0 0 0 0 0 colon 0 0.143 0.143 0 0 0 0 rectum 0 0.333 0.333 0 0 0 0 anus 0 0 0 0 0 0 0 salivary glands 0 0 0 0 0 0 0 pancreas 0.286 0.107 0.143 0.214 0.393 0.25 0.107 gallbladder 0.625 0.188 0.188 0.438 0.5 0.563 0.063 liver 0 0 0 0 0 0 0 kidney 0.375 0.167 0.333 0.167 0.292 0.333 0.083 bladder 0 0 0.5 0 0 0 0 testis 0 0 0 0 0 0 0 prostate 0.3 0.2 0.2 0.3 0.2 0 0 ovary 0.759 0.621 0.621 0.586 0.724 0.759 0.655 corpus uteri 0 0 0 0 0 0 0 cervix uteri 0 0 0 0 0 0 0 vagina 0 0 0 0 0 0 0

breast 0.792 0.75 0.542 0.708 0.708 0.833 0.75


91

ตารางท 4.57 การเปรยบเทยบประสทธภาพดาน Precision เมอลดคณลกษณะดวย FCBF




breast-w benign 0.984 0.974 0.982 0.978 0.98 0.974 0.973

malignant 0.914 0.942 0.91 0.951 0.951 0.931 0.912


tested_positive 0.717 0.661 0.691 0.74 0.643 0.668 0.683

heart-c <50 0.835 0.824 0.825 0.821 0.811 0.764 0.791

>50 0.858 0.812 0.849 0.855 0.82 0.785 0.802


present 0.835 0.818 0.802 0.828 0.843 0.836 0.825

hepatitis DIE 0.625 0.656 0.667 0.667 0.682 0.632 0.478

LIVE 0.902 0.911 0.891 0.866 0.872 0.853 0.841


secondary 0 0 0 0 0 0 0

leukemia ALL 1 1 1 1 0.979 0.93 0.917

AML 0.962 1 0.962 1 1 0.759 0.875


class 2 0.628 0.623 0.626 0.58 0.639 0.65 0.665


class 3 0.778 0.778 0.7 0.75 1 0.625 0.6

lymphography normal 0.5 0 0 1 0 0.333 0 metastases 0.821 0.821 0.802 0.809 0.792 0.807 0.775 malign_lymph 0.776 0.774 0.772 0.818 0.846 0.721 0.764

fibrosis 0.75 1 0.75 1 0 0 0.75

postoperative-patient A 0.701 0.702 0.701 0.701 0.711 0.711 0.708 I 0 0 0 0 0 0 0

S 0 0.2 0 0 0 0 0


breast 0.731 0.692 0.722 0.81 0.739 0.714 0.818


92

ตารางท 4.58 การเปรยบเทยบประสทธภาพดาน Recall เมอลดคณลกษณะดวย FCBF




breast-w benign 0.952 0.969 0.95 0.974 0.974 0.963 0.952

malignant 0.971 0.95 0.967 0.959 0.963 0.95 0.95


tested_positive 0.586 0.604 0.593 0.53 0.563 0.556 0.556

heart-c <50 0.891 0.848 0.885 0.891 0.861 0.842 0.848

>50 0.79 0.783 0.775 0.768 0.761 0.688 0.732


present 0.8 0.75 0.808 0.8 0.758 0.767 0.825

hepatitis DIE 0.625 0.656 0.563 0.438 0.469 0.375 0.344

LIVE 0.902 0.911 0.927 0.943 0.943 0.943 0.902


secondary 0 0 0 0 0 0 0

leukemia ALL 0.979 1 0.979 1 1 0.851 0.936

AML 1 1 1 1 0.96 0.88 0.84


class 2 0.615 0.76 0.71 1 0.69 0.705 0.695


class 3 0.7 0.7 0.7 0.6 0.7 0.5 0.6


fibrosis 0.75 0.5 0.75 0.75 0 0 0.75

postoperative-patient A 0.953 0.922 0.953 0.953 1 1 0.984 I 0 0 0 0 0 0 0

S 0 0.042 0 0 0 0 0

primary-tumor lung 0.714 0.619 0.56 0.774 0.75 0.607 0.869 head and neck 0.95 0.9 0.9 0.95 0.95 0.95 0.8 esophagus 0 0 0 0 0 0 0 thyroid 0.214 0.357 0.143 0.429 0.286 0.143 0 stomach 0.179 0.154 0.051 0.179 0.077 0.103 0 duoden and sm.int 0 0 0 0 0 0 0 colon 0 0.143 0.143 0 0 0 0 rectum 0 0.333 0.333 0 0 0 0 anus 0 0 0 0 0 0 0 salivary glands 0 0 0 0 0 0 0 pancreas 0.286 0.107 0.143 0.214 0.393 0.25 0.107 gallbladder 0.625 0.188 0.188 0.438 0.5 0.563 0.063 liver 0 0 0 0 0 0 0 kidney 0.375 0.167 0.333 0.167 0.292 0.333 0.083 bladder 0 0 0.5 0 0 0 0 testis 0 0 0 0 0 0 0 prostate 0.3 0.2 0.2 0.3 0.2 0 0 ovary 0.759 0.621 0.621 0.586 0.724 0.759 0.655 corpus uteri 0 0 0 0 0 0 cervix uteri 0 0 0 0 0 0 vagina 0 0 0 0 0 0

breast 0.792 0.75 0.542 0.708 0.708 0.833 0.75


93

ตารางท 4.59 การเปรยบเทยบประสทธภาพดาน F-Measure เมอลดคณลกษณะดวย FCBF




breast-w benign 0.968 0.972 0.966 0.976 0.977 0.968 0.962

malignant 0.942 0.946 0.938 0.955 0.957 0.94 0.931


tested_positive 0.645 0.632 0.639 0.617 0.6 0.607 0.613

heart-c <50 0.862 0.836 0.854 0.855 0.835 0.801 0.819

>50 0.823 0.797 0.811 0.809 0.789 0.734 0.765


present 0.817 0.783 0.805 0.814 0.798 0.8 0.825

hepatitis DIE 0.625 0.656 0.61 0.528 0.556 0.471 0.4

LIVE 0.902 0.911 0.908 0.903 0.906 0.896 0.871


secondary 0 0 0 0 0 0 0

leukemia ALL 0.989 1 0.989 1 0.989 0.889 0.926

AML 0.98 1 0.98 1 0.98 0.815 0.857


class 2 0.621 0.685 0.665 0.734 0.663 0.676 0.68


class 3 0.737 0.737 0.7 0.667 0.824 0.556 0.6


fibrosis 0.75 0.667 0.75 0.857 0 0 0.75

postoperative-patient A 0.808 0.797 0.808 0.808 0.831 0.831 0.824 I 0 0 0 0 0 0 0

S 0 0.069 0 0 0 0 0


breast 0.76 0.72 0.619 0.756 0.723 0.769 0.783


94

67

68

69

70

71

72

73

Accuracy

breast‐cancer

94

94.5

95

95.5

96

96.5

97

97.5

Accuracy

breast‐w

72

73

74

75

76

77

78

Accuracy

diabetes

72

74

76

78

80

82

84

86

Accuracy

heart‐c

8080.581

81.582

82.583

83.584

84.585

Accuracy

heart‐statlog

74

76

78

80

82

84

86

88

Accuracy

hepatitis

ตารางท 4.60 การเปรยบเทยบประสทธภาพดาน Accuracy เมอลดคณลกษณะดวย FCBF


breast-cancer 70.2797 68.8811 69.5804 72.3776 68.8811 69.9301 72.3776

breast-w 95.8512 96.2804 95.5651 96.8526 96.9957 95.8512 95.1359

diabetes 77.474 75.3906 76.5625 77.0833 73.8281 74.8698 75.5208

heart-c 84.4884 81.8482 83.4983 83.4983 81.5182 77.2277 79.538

heart-statlog 84.0741 81.4815 82.5926 83.7037 82.963 82.963 84.4444

hepatitis 84.5161 85.8065 85.1613 83.871 84.5161 82.5806 78.7097

hypothyroid 94.6182 96.368 95.175 93.1071 96.2089 97.3224 97.5345

leukemia 98.6111 100 98.6111 100 98.6111 86.1111 90.2778

liver-disorders 56.5217 59.4203 58.5507 57.971 59.4203 60.8696 62.029

lung-cancer 62.5 62.5 56.25 59.375 65.625 56.25 56.25

lymphography 79.7297 80.4054 78.3784 81.7568 81.0811 75.6757 77.027

postoperative-patient 67.7778 66.6667 67.7778 67.7778 71.1111 71.1111 70

primary-tumor 47.1976 39.233 35.9882 44.5428 45.7227 41.8879 38.9381


95

90

91

92

93

94

95

96

97

98

Accuracy

hypothyroid

75

80

85

90

95

100

105

Accuracy

leukemia

5354555657585960616263

Accuracy

liver‐disorders

50

52

54

56

58

60

62

64

66

68

Accuracy

lung‐cancer

727374757677787980818283

Accuracy

lymphography

64

65

66

67

68

69

70

71

72

Accuracy


05101520253035404550

Accuracy

primary‐tumor


96

ผลการทดลองจากตารางท 4.60 เมอทาการลดคณลกษณะดวย FCBF และทาการเรยนร

กลมตวอยางตามแบบจาลองการวเคราะหโรคอตโนมตทนาเสนอ ซงประกอบดวยอลกอรทม

Naïve Bayes,Multilayer Perceptron,Radial Basis Function Network, Support Vector

Machine, K-Nearest Neighbor, Decision Tree และ Ripper โดยวดประสทธภาพจากคาความ

ความถกตอง (Accuracy) พบวา กลมขอมล breast-cancer อลกอรทม Support Vector

Machine กบ Ripper ใหประสทธภาพออกมาดทสดคอ 72.37% กลมขอมล breast-w อลกอรทม

K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 96.99% กลมขอมล diabetes อลกอรทม

Naïve Bayesใหประสทธภาพออกมาดทสดคอ 77.47% กลมขอมล heart-c อลกอรทม Naïve

Bayesใหประสทธภาพออกมาดทสดคอ 84.48% กลมขอมล heart-statlog อลกอรทม Ripper

ใหประสทธภาพออกมาดทสดคอ 84.44% กลมขอมล hepatitis อลกอรทม Multilayer

Perceptron ใหประสทธภาพออกมาดทสดคอ 85.80% กลมขอมล hypothyroid อลกอรทม

Ripper ใหประสทธภาพออกมาดทสดคอ 97.53% กลมขอมล leukemia อลกอรทม Multilayer

Perceptron กบ Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 100% กลมขอมล

liver-disorders อลกอรทม Ripper ใหประสทธภาพออกมาดทสดคอ 62.02% กลมขอมล lung-

cancer อลกอรทม K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 65.62% กลมขอมล

lymphography อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 81.75%

กลมขอมล postoperative-patient อลกอรทม K-Nearest Neighbor กบ Decision Tree ให

ประสทธภาพออกมาดทสดคอ 71.11% กลมขอมล primary-tumor อลกอรทม Naïve Bayesให

ประสทธภาพออกมาดทสดคอ 47.19% จากขอมลกราฟดงกลาว ทาใหเราสามารถสรปไดวา

อลกอรทมประเภทไหนเหมาะสมกบชดขอมลแบบใด ทสงผลใหคาความความถกตองสงทสด


97

4.6 ผลการวเคราะหเปรยบเทยบประสทธภาพแตละอลกอรทมโดยไมลดคณลกษณะดวย

วธ Single learning กบ Multiple learning ใชเพมประสทธภาพดวยวธ Bagging และ

Boosting

ตารางท 4.61 การเปรยบเทยบประสทธภาพดาน Accuracy ของ Single learning กบ Multiple

learning

Single learning



Multiple learning (Bagging)

Dataset Bagging NaiveBayes

Bagging Perceptron

Bagging RBF

Bagging SVM

Bagging KNN

Bagging J48

Bagging Ripper

breast-cancer 72.028 71.3287 72.7273 68.5315 74.8252 73.4266 73.7762

breast-w 95.9943 95.9943 95.9943 96.7096 96.8526 95.8512 95.7082

diabetes 76.0417 75.1302 75.651 77.474 72.7865 74.0885 75.5208

heart-c 83.8284 81.5182 84.8185 85.1485 83.4983 79.2079 82.1782

heart-statlog 82.963 81.4815 84.0741 84.4444 77.7778 80 84.0741

hepatitis 85.1613 81.2903 87.0968 85.8065 83.2258 83.2258 80.6452

hypothyroid 95.4666 95.0159 95.5461 93.5843 93.5313 99.5758 99.4963

leukemia 97.2222 96.2222 97.2222 97.2222 81.9444 94.4444 87.5

liver-disorders 57.1014 69.5652 66.3768 57.971 61.7391 72.7536 72.4638

lung-cancer 53.125 53.125 50 50 53.125 46.875 50

lymphography 83.1081 83.7838 82.4324 85.8108 84.4595 79.0541 81.0811


primary-tumor 49.5575 45.1327 42.1829 48.6726 46.0177 42.1829 41.0029

Multiple learning (Boosting)

Dataset Boosting NaiveBayes

Boosting Perceptron

Boosting RBF

Boosting SVM

Boosting KNN

Boosting J48

Boosting Ripper

breast-cancer 64.6853 66.4336 68.8811 69.5804 73.4266 64.6853 69.9301

breast-w 95.5651 95.5651 95.422 96.7096 96.7096 95.9943 95.1359

diabetes 76.1719 75.3906 75 77.3438 73.1771 72.9167 74.4792

heart-c 84.1584 78.2178 84.1584 84.8185 81.1881 78.5479 76.5677

heart-statlog 82.5926 78.8889 78.5185 84.0741 74.4444 76.6667 80

hepatitis 85.8065 76.129 83.871 81.2903 85.8065 87.0968 83.2258

hypothyroid 95.281 93.8494 95.8643 94.9894 89.6341 99.6288 99.2047

leukemia 98.6111 97.2222 93.0556 98.6111 84.7222 87.5 95.8333

liver-disorders 67.2464 65.5072 65.7971 62.029 59.1304 71.0145 73.3333

lung-cancer 40.625 40.625 46.875 50 40.625 50 46.875

lymphography 80.4054 81.0811 83.7838 83.7838 77.027 83.1081 84.4595


primary-tumor 50.1475 46.6077 39.528 46.9027 48.0826 41.2979 37.7581


98

breast-cancer

5860626466687072747678

NaiveB

ayes

Perce

ptro

nRBF

SVMKNN

J48

Ripper

Baggi

ng N

aiveB

ayes

Baggi

ng P

erce

ptro

n

Baggi

ng R

BF

Baggi

ng S

VM

Baggi

ng K

NN

Baggi

ng J4

8

Baggi

ng R

ipper

Boost

ing N

aive

Bayes

Boost

ing P

erce

ptro

n

Boost

ing R

BF

Boost

ing S

VM

Boost

ing K

NN

Boost

ing J

48

Boost

ing R

ippe

r

breast-w

9393.5

9494.5

9595.5

9696.5

9797.5

NaiveB

ayes

Perce

ptro

nRBF

SVMKNN

J48

Ripper

Baggi

ng N

aiveB

ayes

Baggi

ng P

erce

ptro

n

Baggi

ng R

BF

Baggi

ng S

VM

Baggi

ng K

NN

Baggi

ng J4

8

Baggi

ng R

ipper

Boost

ing N

aive

Bayes

Boost

ing P

erce

ptro

n

Boost

ing R

BF

Boost

ing S

VM

Boost

ing K

NN

Boost

ing J

48

Boost

ing R

ippe

r

diabetes

70

71

72

73

74

75

76

77

78

Naive

Bayes

Perce

ptro

nRBF

SVM KNNJ4

8

Rippe

r

Bagging

Naive

Baye

s

Bagging

Per

cept

ron

Bagging

RBF

Bagging

SVM

Bagging

KNN

Bagging

J48

Bagging

Rippe

r

Boosting

Naive

Baye

s

Boosting

Perce

ptro

n

Boosting

RBF

Boosting

SVM

Boosting

KNN

Boosting

J48

Boosting

Rippe

r

heart-c

70

72

74

76

78

80

82

84

86

Naive

Bayes

Perce

ptron

RBFSVM KNN

J48

Rippe

r

Bagging

Naive

Baye

s

Bagging

Per

ceptro

n

Bagging

RBF

Bagging

SVM

Bagging

KNN

Bagging

J48

Bagging

Rippe

r

Boosting Naive

Baye

s

Boosting Per

ceptro

n

Boosting RBF

Boosting SVM

Boosting KNN

Boosting J4

8

Boosting Rippe

r


99

heart-statlog

6870727476

7880828486

Naive

Bayes

Perce

ptron

RBFSVM KNN

J48

Rippe

r

Bagging

Naive

Baye

s

Bagging

Per

ceptro

n

Bagging

RBF

Bagging

SVM

Bagging

KNN

Bagging

J48

Bagging

Rippe

r

Boosting Naive

Baye

s

Boosting

Perce

ptro

n

Boosting

RBF

Boosting SVM

Boosting KNN

Boosting J4

8

Boosting Rippe

r

hepatitis

7072747678

8082848688

Naive

Bayes

Perce

ptro

nRBF

SVM KNNJ4

8

Rippe

r

Bagging

Naive

Baye

s

Bagging

Per

ceptro

n

Bagging

RBF

Bagging

SVM

Bagging

KNN

Bagging

J48

Bagging

Rippe

r

Boosting

Naive

Baye

s

Boosting

Perce

ptro

n

Boosting

RBF

Boosting SVM

Boosting

KNN

Boosting

J48

Boosting

Rippe

r

hypothyroid

8486889092

949698

100102

Naive

Bayes

Perce

ptro

nRBF

SVM KNNJ4

8

Rippe

r

Bagging

Naive

Baye

s

Bagging

Per

cept

ron

Bagging

RBF

Bagging

SVM

Bagging

KNN

Bagging

J48

Bagging

Rippe

r

Boosting

Naive

Baye

s

Boosting

Perce

ptro

n

Boosting

RBF

Boosting

SVM

Boosting

KNN

Boosting

J48

Boosting

Rippe

r

leukemia

0

20

40

60

80

100

120

Naive

Bayes

Perce

ptron

RBFSVM KNN

J48

Rippe

r

Bagging

Naive

Baye

s

Bagging

Per

cept

ron

Bagging

RBF

Bagging

SVM

Bagging

KNN

Bagging

J48

Bagging

Rippe

r

Boosting Naive

Baye

s

Boosting Per

ceptro

n

Boosting RBF

Boosting SVM

Boosting KNN

Boosting J4

8

Boosting Rippe

r


100

liver-disorders

0

10

20

30

40

50

60

70

80

Naive

Bayes

Perce

ptron

RBFSVM KNN

J48

Rippe

r

Bagging

Naive

Baye

s

Bagging

Per

ceptro

n

Bagging

RBF

Bagging

SVM

Bagging

KNN

Bagging

J48

Bagging

Rippe

r

Boosting

Naive

Baye

s

Boosting Per

ceptro

n

Boosting RBF

Boosting SVM

Boosting

KNN

Boosting J4

8

Boosting Rippe

r

lung-cancer

0

10

20

30

40

50

60

70

Naive

Bayes

Perce

ptron

RBFSVM KNN

J48

Rippe

r

Bagging

Naive

Baye

s

Bagging

Per

ceptro

n

Bagging

RBF

Bagging

SVM

Bagging

KNN

Bagging

J48

Bagging

Rippe

r

Boosting

Naive

Baye

s

Boosting Per

ceptro

n

Boosting RBF

Boosting SVM

Boosting

KNN

Boosting J4

8

Boosting Rippe

r

lymphography

72

74

76

78

80

82

84

86

88

Naive

Bayes

Perce

ptron

RBFSVM KNN

J48

Rippe

r

Bagging

Naive

Baye

s

Bagging

Per

ceptro

n

Bagging

RBF

Bagging

SVM

Bagging

KNN

Bagging

J48

Bagging

Rippe

r

Boosting Naive

Baye

s

Boosting

Perce

ptro

n

Boosting RBF

Boosting SVM

Boosting KNN

Boosting

J48

Boosting Rippe

r

postoperative-patient

0

10

20

30

40

50

60

70

80

Naive

Bayes

Perce

ptron

RBFSVM KNN

J48

Rippe

r

Bagging

Naive

Baye

s

Bagging

Per

ceptro

n

Bagging

RBF

Bagging

SVM

Bagging

KNN

Bagging

J48

Bagging

Rippe

r

Boosting Naive

Baye

s

Boosting

Perce

ptro

n

Boosting RBF

Boosting SVM

Boosting KNN

Boosting

J48

Boosting Rippe

r


101

primary-tumor

0

10

20

30

40

50

60

Naive

Bayes

Perce

ptron

RBFSVM KNN

J48

Rippe

r

Bagging

Naive

Baye

s

Bagging

Per

ceptro

n

Bagging

RBF

Bagging

SVM

Bagging

KNN

Bagging

J48

Bagging

Rippe

r

Boosting Naive

Baye

s

Boosting Per

ceptro

n

Boosting RBF

Boosting SVM

Boosting KNN

Boosting J4

8

Boosting Rippe

r

ผลการทดลองจากตารางท 4.61 เมอทาการเปรยบเทยบประสทธภาพดาน Accuracy

ของ Single learning กบ Multiple learning จากการเรยนรกลมตวอยางตามแบบจาลองการ

วเคราะหโรคอตโนมตทนาเสนอ ซงประกอบดวยอลกอรทม Naïve Bayes,Multilayer

Perceptron,Radial Basis Function Network, Support Vector Machine, K-Nearest

Neighbor, Decision Tree และ Ripper โดยวดประสทธภาพจากคาความความถกตอง

(Accuracy) พบวา กลมขอมล breast-cancer อลกอรทม Decision Tree ใหประสทธภาพ

ออกมาดทสดคอ 75.52% กลมขอมล breast-w อลกอรทม Support Vector Machine ให

ประสทธภาพออกมาดทสดคอ 96.99% กลมขอมล diabetes อลกอรทม Bagging Support

Vector Machine ใหประสทธภาพออกมาดทสดคอ 77.47% กลมขอมล heart-c อลกอรทม

Bagging Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 85.14% กลมขอมล

heart-statlog อลกอรทม Bagging Support Vector Machine ใหประสทธภาพออกมาดทสดคอ

84.44% กลมขอมล hepatitis อลกอรทม Bagging RBF กบ Boosting J48 ใหประสทธภาพ

ออกมาดทสดคอ 87.09% กลมขอมล hypothyroid อลกอรทม Boosting Decision Tree ให

ประสทธภาพออกมาดทสดคอ 99.62% กลมขอมล leukemia อลกอรทม Naïve Bayes

,Boosting Naïve Bayes กบ Support Vector Machine ,Boosting Support Vector Machine

ใหประสทธภาพออกมาดทสดคอ 98.61% กลมขอมล liver-disorders อลกอรทม Boosting

Ripper ใหประสทธภาพออกมาดทสดคอ 73.33% กลมขอมล lung-cancer อลกอรทม Naïve

Bayes ใหประสทธภาพออกมาดทสดคอ 62.5% กลมขอมล lymphography อลกอรทม Support

Vector Machine ใหประสทธภาพออกมาดทสดคอ 86.48% กลมขอมล postoperative-patient


102

อลกอรทม K-Nearest Neighbor ,Ripper, Bagging และ Boosting K-Nearest Neighbor ให

ประสทธภาพออกมาดทสดคอ 71.11% กลมขอมล primary-tumor อลกอรทม Naïve Bayes กบ

Boosting Naïve Bayesใหประสทธภาพออกมาดทสดคอ 50.14% จากขอมลกราฟดงกลาว ทาให

เราสามารถสรปไดวาอลกอรทมประเภทไหนเหมาะสมกบชดขอมลแบบใด ทสงผลใหคาความ

ความถกตองสงทสด


103

4.7 ผลการวเคราะหเปรยบเทยบประสทธภาพแตละอลกอรทมโดยไมลดคณลกษณะกบ

การลดคณลกษณะดวยวธ CFS และวธ FCBF

ตารางท 4.62 การเปรยบเทยบประสทธภาพดาน Accuracy เมอไมลดคณลกษณะกบลด

คณลกษณะดวยวธ CFS และวธ FCBF

No Feature Selection Dataset

NaiveBayes

Perceptron

RBF

SVM

KNN

J48

Ripper


Correlation-based Feature Subset Selection (CFS)

Dataset CFS

NaiveBayes CFS

Perceptron CFS RBF

CFS SVM

CFS KNN

CFS J48

CFS Ripper

breast-cancer 72.3776 71.6783 71.3287 66.4336 71.6783 73.0769 73.7762

breast-w 95.9943 95.7082 95.8512 96.9957 96.7096 94.5637 95.422

diabetes 77.474 75.9115 76.5625 76.8229 73.8281 74.8698 75.5208

heart-c 84.4884 78.2178 83.4983 83.4983 81.5182 77.2277 80.198

heart-statlog 85.5556 80.7407 81.4815 83.7037 82.5926 81.1111 79.2593

hepatitis 87.7419 79.3548 86.4516 83.2258 81.9355 81.2903 77.4194

hypothyroid 94.6448 95.7052 94.9629 93.1336 91.2513 96.8187 97.1633

leukemia 98.6111 98.6111 100 98.6111 98.6111 84.7222 88.8889

liver-disorders 56.5217 62.029 58.5507 57.971 59.4203 60.8696 62.029

lung-cancer 71.875 71.875 71.875 75 65.625 71.875 65.625

lymphography 78.3784 78.3784 79.7297 85.8108 83.7838 77.027 73.6486


primary-tumor 47.7876 38.9381 33.6283 45.4277 47.7876 40.118 39.528

Feature selection method based on correlation measureand relevance & redundancy analysis (FCBF)

Dataset FCBF NaiveBayes

FCBF Perceptron

FCBF RBF

FCBF SVM

FCBF KNN

FCBF J48

FCBF Ripper

breast-cancer 70.2797 68.8811 69.5804 72.3776 68.8811 69.9301 72.3776

breast-w 95.8512 96.2804 95.5651 96.8526 96.9957 95.8512 95.1359

diabetes 77.474 75.3906 76.5625 77.0833 73.8281 74.8698 75.5208

heart-c 84.4884 81.8482 83.4983 83.4983 81.5182 77.2277 79.538

heart-statlog 84.0741 81.4815 82.5926 83.7037 82.963 82.963 84.4444

hepatitis 84.5161 85.8065 85.1613 83.871 84.5161 82.5806 78.7097

hypothyroid 94.6182 96.368 95.175 93.1071 96.2089 97.3224 97.5345

leukemia 98.6111 100 98.6111 100 98.6111 86.1111 90.2778

liver-disorders 56.5217 59.4203 58.5507 57.971 59.4203 60.8696 62.029

lung-cancer 62.5 62.5 56.25 59.375 65.625 56.25 56.25

lymphography 79.7297 80.4054 78.3784 81.7568 81.0811 75.6757 77.027

postoperative-patient 67.7778 66.6667 67.7778 67.7778 71.1111 71.1111 70

primary-tumor 47.1976 39.233 35.9882 44.5428 45.7227 41.8879 38.9381


104

breast-cancer

60626466687072747678

NaiveBay

es

Perce

ptro

nRBF

SVMKNN

J48

Rippe

r

CFS Naiv

eBay

es

CFS Per

cept

ron

CFS

RBF

CFS

SVM

CFS

KNN

CFS

J48

CFS Ripp

er

FCBF Naiv

eBay

es

FCBF Perce

ptron

FCBF

R

BF

FCBF SVM

FCBF K

NN

FCBF J48

FCBF Ripp

er

breast-w

9393.5

9494.5

9595.5

9696.5

9797.5

NaiveBay

es

Perce

ptro

nRBF

SVMKNN

J48

Rippe

r

CFS Naiv

eBay

es

CFS Per

cept

ron

CFS

RBF

CFS

SVM

CFS

KNN

CFS

J48

CFS Ripp

er

FCBF Naiv

eBay

es

FCBF Perce

ptron

FCBF

R

BF

FCBF SVM

FCBF K

NN

FCBF J48

FCBF Ripp

er

diabetes

7172737475767778

NaiveBay

es

Perce

ptro

nRBF

SVMKNN

J48

Rippe

r

CFS Naiv

eBay

es

CFS Per

cept

ron

CFS

RBF

CFS

SVM

CFS

KNN

CFS

J48

CFS Ripp

er

FCBF Naiv

eBay

es

FCBF Perce

ptron

FCBF

R

BF

FCBF SVM

FCBF K

NN

FCBF J48

FCBF Ripp

er

heart-c

7274767880828486

NaiveBay

es

Perce

ptro

nRBF

SVMKNN

J48

Rippe

r

CFS Naiv

eBay

es

CFS Per

cept

ron

CFS

RBF

CFS

SVM

CFS

KNN

CFS

J48

CFS Ripp

er

FCBF Naiv

eBay

es

FCBF Perce

ptron

FCBF

R

BF

FCBF SVM

FCBF K

NN

FCBF J48

FCBF Ripp

er


105

heart-statlog

727476788082848688

NaiveBay

es

Perce

ptro

nRBF

SVMKNN

J48

Rippe

r

CFS Naiv

eBay

es

CFS Per

cept

ron

CFS

RBF

CFS

SVM

CFS

KNN

CFS

J48

CFS Ripp

er

FCBF Naiv

eBay

es

FCBF Perce

ptro

n

FCBF

R

BF

FCBF SVM

FCBF K

NN

FCBF J48

FCBF Ripp

er

hepatitis

72747678808284868890

NaiveBay

es

Perce

ptro

nRBF

SVMKNN

J48

Rippe

r

CFS Naiv

eBay

es

CFS Per

cept

ron

CFS

RBF

CFS

SVM

CFS

KNN

CFS

J48

CFS Ripp

er

FCBF Naive

Bayes

FCBF Perc

eptron

FCBF

R

BF

FCBF SVM

FCBF K

NN

FCBF J48

FCBF Ripp

er

hypothyroid

86889092949698

100102

NaiveBay

es

Perce

ptro

nRBF

SVMKNN

J48

Rippe

r

CFS Naiv

eBay

es

CFS Per

cept

ron

CFS

RBF

CFS

SVM

CFS

KNN

CFS

J48

CFS Ripp

er

FCBF Naiv

eBay

es

FCBF Perce

ptro

n

FCBF

R

BF

FCBF SVM

FCBF K

NN

FCBF J48

FCBF Ripp

er

leukemia

020406080

100120

NaiveBay

es

Perce

ptro

nRBF

SVMKNN

J48

Rippe

r

CFS Naiv

eBay

es

CFS Per

cept

ron

CFS

RBF

CFS

SVM

CFS

KNN

CFS

J48

CFS Ripp

er

FCBF Naiv

eBay

es

FCBF Perce

ptron

FCBF

R

BF

FCBF SVM

FCBF K

NN

FCBF J48

FCBF Ripp

er


106

liver-disorders

01020304050607080

NaiveBay

es

Perce

ptro

nRBF

SVMKNN

J48

Rippe

r

CFS Naiv

eBay

es

CFS Per

cept

ron

CFS

RBF

CFS

SVM

CFS

KNN

CFS

J48

CFS Ripp

er

FCBF Naiv

eBay

es

FCBF Perce

ptron

FCBF

R

BF

FCBF SVM

FCBF K

NN

FCBF J48

FCBF Ripp

er

lung-cancer

01020304050607080

NaiveBay

es

Perce

ptro

nRBF

SVMKNN

J48

Rippe

r

CFS Naiv

eBay

es

CFS Per

cept

ron

CFS

RBF

CFS

SVM

CFS

KNN

CFS

J48

CFS Ripp

er

FCBF Naiv

eBay

es

FCBF Perce

ptron

FCBF

R

BF

FCBF SVM

FCBF K

NN

FCBF J48

FCBF Ripp

er

lymphography

65

70

75

80

85

90

NaiveBay

es

Perce

ptro

nRBF

SVMKNN

J48

Rippe

r

CFS Naiv

eBay

es

CFS Per

cept

ron

CFS

RBF

CFS

SVM

CFS

KNN

CFS

J48

CFS Ripp

er

FCBF Naive

Bayes

FCBF Perc

eptron

FCBF

R

BF

FCBF SVM

FCBF K

NN

FCBF J48

FCBF Ripp

er

postoperative-patient

01020304050607080

NaiveBay

es

Perce

ptro

nRBF

SVMKNN

J48

Rippe

r

CFS Naiv

eBay

es

CFS Per

cept

ron

CFS

RBF

CFS

SVM

CFS

KNN

CFS

J48

CFS Ripp

er

FCBF Naiv

eBay

es

FCBF Perc

eptro

n

FCBF

R

BF

FCBF SVM

FCBF K

NN

FCBF J48

FCBF Rippe

r


107

primary-tumor

0102030405060

NaiveBay

es

Perce

ptro

nRBF

SVMKNN

J48

Rippe

r

CFS Naiv

eBay

es

CFS Per

cept

ron

CFS

RBF

CFS

SVM

CFS

KNN

CFS

J48

CFS Ripp

er

FCBF Naive

Bayes

FCBF Perc

eptron

FCBF

R

BF

FCBF SVM

FCBF K

NN

FCBF J48

FCBF Ripp

er

ผลการทดลองจากตารางท 4.62 เมอทาการเปรยบเทยบประสทธภาพดาน Accuracy

เมอไมลดคณลกษณะกบลดคณลกษณะดวยวธ CFS และวธ FCBF จากการเรยนรกลมตวอยาง

ตามแบบจาลองการวเคราะหโรคอตโนมตทนาเสนอ ซงประกอบดวยอลกอรทม Naïve



(Accuracy) พบวา

กลมแรกการลดคณลกษณะไมสงผลใหคาความความถกตองเพมขน มดงน กลมขอมล

breast-cancer อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ 75.52% กลมขอมล

breast-w อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 96.99% กลม

ขอมล hypothyroid อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ 99.57% กลม

ขอมล liver-disorders อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ 68.69%

กลมขอมล lymphography อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสด

คอ 86.48% และกลมขอมล primary-tumor อลกอรทม Naïve Bayesใหประสทธภาพออกมาด

ทสดคอ 50.14%

กลมสองการลดคณลกษณะสามารถลดขนาดของมตของขอมลไดเปนอยางดแลว ยง

สงผลใหคาความความถกตองเพมมากขน มดงน กลมขอมล diabetes อลกอรทม CFS Naïve

Bayes กบ FCBF Naïve Bayes ใหประสทธภาพสงขนเปน 77.47% กลมขอมล heart-c


108

อลกอรทม CFS Naïve Bayes กบ FCBF Naïve Bayes ใหประสทธภาพออกมาสงขนเปน

84.48% กลมขอมล heart-statlog อลกอรทม CFS Naïve Bayes ใหประสทธภาพสงขนเปน

85.55% กลมขอมล hepatitis อลกอรทม CFS Naïve Bayes ใหประสทธภาพสงขนเปน 87.74%

กลมขอมล leukemia อลกอรทม CFS RBF,FCBF Multilayer Perceptron และ FCBF Support

Vector Machine ใหประสทธภาพสงขนเปน 100% กลมขอมล lung-cancer อลกอรทม CFS

Support Vector Machine ใหประสทธภาพสงขนเปน 75% กลมขอมล postoperative-patient

อลกอรทม K-Nearest Neighbor,Ripper และ CFS K-Nearest Neighbor,CFS Ripper เมอลด

คณลกษณะแลวใหประสทธภาพออกมาเทาเดมคอ 71.11% จากขอมลกราฟดงกลาวทาใหเรา

สามารถสรปไดวา อลกอรทมประเภทไหนเหมาะสมกบชดขอมลแบบใดและการลดคณลกษณะ

ประเภทใดสงผลใหคาความความถกตองเพมขนสงสด


บทท 5

สรป อภปรายผล และขอเสนอแนะ 5.1 สรป

การทาเหมองขอมล (Data Mining) หรอการคนหาความรในฐานขอมล (Knowledge Discovery in Databases – KDD) เปนเทคนคเพอคนหารปแบบ (pattern) ของจากขอมลจานวนมหาศาลโดยอตโนมต โดยใชข นตอนวธจากสถต การเรยนรของเครอง และ การรจาแบบ หรอในอกนยามหนง การทาเหมองขอมล คอ กระบวนการทกระทากบขอมลทมจานวนมาก เพอคนหารปแบบแนวทาง และความสมพนธทซอนอยในชดขอมลนน โดยอาศยหลกสถต การรจา การเรยนรของเครอง และหลกคณตศาสตร ซงเปนเทคโนโลยใหมของการประยกตใชขอมลทเกบอยในฐานขอมล เพอใหเกดประโยชนสงสดในการใชขอมล การประยกตใชขอมลทกลาวถงนมไดหลายแนวทาง แตโดยทวไปมกจะเปนการสรปภาพรวมของขอมลในฐานขอมล การวเคราะหแนวโนม พฤตกรรมการเปลยนแปลงของขอมล หรอ การคนหาความสมพนธทซอนอยภายในกลมของขอมล งานวจยนมงเนนการคนหาเทคนคดานเหมองขอมล เพอสรางโมเดลการวเคราะหโรคอตโนมต โดยมจดมงหมายทจะทดสอบประสทธภาพของอลกอรทมตางๆ ทใชในการทาเหมองขอมล มงเนนการจาแนกขอมล (Classification) เพอคนหาอลกอรทมทเหมาะสมทสดสาหรบฐานขอมลทางการแพทย โดยใชอลกอรทมพนฐาน 7 อลกอรทม ซงประกอบดวย Naïve Bayes,Multilayer Perceptron,Radial Basis Function Network, Support Vector Machine, K-Nearest Neighbor, Decision Tree, Ripper รวมถงศกษาเปรยบเทยบวธลดคณลกษณะทเหมาะสมดวยวธ Correlation-based Feature Subset Selection (CFS) และวธ Feature selection method based on correlation measureand relevance & redundancy analysis (FCBF) รวมถงทดสอบกบอลกอรทมประเภท Single learning กบ Multiple learning โดยเพมประสทธภาพดวยวธ Bagging และ Boosting โดยทดสอบกบขอมลทางการแพทยทง 13 ชด ซงประกอบดวย breast-cancer,breast-w,diabetes,heart-c,heart-statlog,hepatitis,hypothyroid, leukemia,liver-disorders,lung-cancer,lymphography,postoperative-patient,primary-tumor ซงผลการทดลองสามารถสรปไดดงน


110

5.1.1. ผลการวเคราะหเปรยบเทยบประสทธภาพแตละอลกอรทม โดยไมลดคณลกษณะ

เมอเรยนรกลมตวอยางโดยไมลดคณลกษณะ ตามแบบจาลองการวเคราะหโรคอตโนมตทนาเสนอ โดยวดประสทธภาพจากคาความความถกตอง (Accuracy) พบวา กลมขอมล breast-cancer อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ 75.52% กลมขอมล breast-w อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 96.99% กลมขอมล diabetes อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 77.34% กลมขอมล heart-c อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 84.15% กลมขอมล heart-statlog อลกอรทม Radial Basis Function กบ Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 84.07% กลมขอมล hepatitis อลกอรทม Radial Basis Function กบ K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 85.80% กลมขอมล hypothyroid อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ 99.57% กลมขอมล leukemia อลกอรทม Naive Bayes กบ Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 98.61% กลมขอมล liver-disorders อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ 68.69% กลมขอมล lung-cancer อลกอรทม Naive Bayes ใหประสทธภาพออกมาดทสดคอ 62.5% กลมขอมล lymphography อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 86.48% กลมขอมล postoperative-patient อลกอรทม K-Nearest Neighbor กบ Ripperใหประสทธภาพออกมาดทสดคอ 71.11% กลมขอมล primary-tumor อลกอรทม Naive Bayes ใหประสทธภาพออกมาดทสดคอ 50.14%

5.1.2. ผลการวเคราะหเปรยบเทยบประสทธภาพแตละอลกอรทมเมอเรยนรดวย

วธ Bagging เมอเรยนรกลมตวอยางโดยไมลดคณลกษณะดวยวธ Bagging ตามแบบจาลองการ

วเคราะหโรคอตโนมตทนาเสนอ โดยวดประสทธภาพจากคาความความถกตอง (Accuracy) พบวา กลมขอมล breast-cancer อลกอรทม K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 74.82% กลมขอมล breast-w อลกอรทม K-Nearest Neighborใหประสทธภาพออกมาดทสดคอ 96.85% กลมขอมล diabetes อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 77.47% กลมขอมล heart-c อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 85.14% กลมขอมล heart-statlog อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 84.44% กลมขอมล hepatitis อลกอรทม Radial


111

Basis Function ใหประสทธภาพออกมาดทสดคอ 87.09% กลมขอมล hypothyroid อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ 99.57% กลมขอมล leukemia อลกอรทม Naive Bayes, Radial Basis Function กบ Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 97.22% กลมขอมล liver-disorders อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ 72.75% กลมขอมล lung-cancer อลกอรทม Naive Bayes,Multilayer Perceptron กบ K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 53.12% กลมขอมล lymphography อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 85.81% กลมขอมล postoperative-patient อลกอรทม K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 71.11% กลมขอมล primary-tumor อลกอรทม Naive Bayes ใหประสทธภาพออกมาดทสดคอ 49.55%

5.1.3. ผลการวเคราะหเปรยบเทยบประสทธภาพแตละอลกอรทมเมอเรยนรดวย

วธ Boosting เมอเรยนรกลมตวอยางโดยไมลดคณลกษณะดวยวธ Boosting ตามแบบจาลองการ

วเคราะหโรคอตโนมตทนาเสนอ โดยวดประสทธภาพจากคาความความถกตอง (Accuracy) พบวา กลมขอมล breast-cancer อลกอรทม K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 73.42% กลมขอมล breast-w อลกอรทม Support Vector Machine กบ K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 96.70% กลมขอมล diabetes อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 77.34% กลมขอมล heart-c อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 84.81% กลมขอมล heart-statlog อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 84.07% กลมขอมล hepatitis อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ 87.09% กลมขอมล hypothyroid อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ 99.62% กลมขอมล leukemia อลกอรทม Naïve Bayes กบ Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 98.61% กลมขอมล liver-disorders อลกอรทม Ripper ใหประสทธภาพออกมาดทสดคอ 73.33% กลมขอมล lung-cancer อลกอรทม Support Vector Machine กบ Decision Tree ใหประสทธภาพออกมาดทสดคอ 50% กลมขอมล lymphography อลกอรทม Ripper ใหประสทธภาพออกมาดทสดคอ 84.45% กลมขอมล postoperative-patient อลกอรทม K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 71.11% กลมขอมล primary-tumor อลกอรทม Naïve Bayes ใหประสทธภาพออกมาดทสดคอ 50.14%


112

5.1.4. ผลการวเคราะหเปรยบเทยบประสทธภาพเมอลดคณลกษณะดวยวธ CFS เมอทาการลดคณลกษณะดวย CFS และทาการเรยนรกลมตวอยางตามแบบจาลองการ

วเคราะหโรคอตโนมตทนาเสนอ โดยวดประสทธภาพจากคาความความถกตอง (Accuracy) พบวา กลมขอมล breast-cancer อลกอรทม Ripper ใหประสทธภาพออกมาดทสดคอ 73.77% กลมขอมล breast-w อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 96.99% กลมขอมล diabetes อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 76.82% กลมขอมล heart-c อลกอรทม Naïve Bayesใหประสทธภาพออกมาดทสดคอ 84.48% กลมขอมล heart-statlog อลกอรทม Naïve Bayesใหประสทธภาพออกมาดทสดคอ 85.55% กลมขอมล hepatitis อลกอรทม Naïve Bayes ใหประสทธภาพออกมาดทสดคอ 87.74% กลมขอมล hypothyroid อลกอรทม Ripper ใหประสทธภาพออกมาดทสดคอ 97.16% กลมขอมล leukemia อลกอรทม Radial Basis Function Network ใหประสทธภาพออกมาดทสดคอ 100% กลมขอมล liver-disorders อลกอรทม Multilayer Perceptron กบ Ripper ใหประสทธภาพออกมาดทสดคอ 62.02% กลมขอมล lung-cancer อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 75% กลมขอมล lymphography อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 85.81% กลมขอมล postoperative-patient อลกอรทม K-Nearest Neighbor กบ Ripper ใหประสทธภาพออกมาดทสดคอ 71.11% กลมขอมล primary-tumor อลกอรทม Naïve Bayes กบ K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 47.78%

5.1.5. ผลการวเคราะหเปรยบเทยบประสทธภาพเมอลดคณลกษณะดวยวธ FCBF เมอทาการลดคณลกษณะดวย FCBF และทาการเรยนรกลมตวอยางตามแบบจาลองการ

วเคราะหโรคอตโนมตทนาเสนอ โดยวดประสทธภาพจากคาความความถกตอง (Accuracy) พบวากลมขอมล breast-cancer อลกอรทม Support Vector Machine กบ Ripper ใหประสทธภาพออกมาดทสดคอ 72.37% กลมขอมล breast-w อลกอรทม K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 96.99% กลมขอมล diabetes อลกอรทม Naïve Bayesใหประสทธภาพออกมาดทสดคอ 77.47% กลมขอมล heart-c อลกอรทม Naïve Bayesใหประสทธภาพออกมาดทสดคอ 84.48% กลมขอมล heart-statlog อลกอรทม Ripper ใหประสทธภาพออกมาดทสดคอ 84.44% กลมขอมล hepatitis อลกอรทม Multilayer Perceptron ใหประสทธภาพออกมาดทสดคอ 85.80% กลมขอมล hypothyroid อลกอรทม Ripper ใหประสทธภาพออกมาดทสดคอ 97.53% กลมขอมล leukemia อลกอรทม Multilayer Perceptron


113

กบ Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 100% กลมขอมล liver-disorders อลกอรทม Ripper ใหประสทธภาพออกมาดทสดคอ 62.02% กลมขอมล lung-cancer อลกอรทม K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 65.62% กลมขอมล lymphography อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 81.75% กลมขอมล postoperative-patient อลกอรทม K-Nearest Neighbor กบ Decision Tree ใหประสทธภาพออกมาดทสดคอ 71.11% กลมขอมล primary-tumor อลกอรทม Naïve Bayesใหประสทธภาพออกมาดทสดคอ 47.19%

5.1.6. ผลการวเคราะหเปรยบเทยบประสทธภาพวธ Single learning กบ Multiple learning

เมอทาการเปรยบเทยบประสทธภาพดาน Accuracy ของ Single learning กบ Multiple learning จากการเรยนรกลมตวอยางตามแบบจาลองการวเคราะหโรคอตโนมตทนาเสนอ โดยวดประสทธภาพจากคาความความถกตอง (Accuracy) พบวากลมขอมล breast-cancer อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ 75.52% กลมขอมล breast-w อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 96.99% กลมขอมล diabetes อลกอรทม Bagging Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 77.47% กลมขอมล heart-c อลกอรทม Bagging Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 85.14% กลมขอมล heart-statlog อลกอรทม Bagging Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 84.44% กลมขอมล hepatitis อลกอรทม Bagging RBF กบ Boosting J48 ใหประสทธภาพออกมาดทสดคอ 87.09% กลมขอมล hypothyroid อลกอรทม Boosting Decision Tree ใหประสทธภาพออกมาดทสดคอ 99.62% กลมขอมล leukemia อลกอรทม Naïve Bayes ,Boosting Naïve Bayes กบ Support Vector Machine ,Boosting Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 98.61% กลมขอมล liver-disorders อลกอรทม Boosting Ripper ใหประสทธภาพออกมาดทสดคอ 73.33% กลมขอมล lung-cancer อลกอรทม Naïve Bayes ใหประสทธภาพออกมาดทสดคอ 62.5% กลมขอมล lymphography อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 86.48% กลมขอมล postoperative-patient อลกอรทม K-Nearest Neighbor ,Ripper, Bagging และ Boosting K-Nearest Neighbor ใหประสทธภาพออกมาดทสดคอ 71.11% กลมขอมล primary-tumor อลกอรทม Naïve Bayes กบ Boosting Naïve Bayes ใหประสทธภาพออกมาดทสดคอ 50.14%


114

5.1.7. ผลการวเคราะหเปรยบเทยบประสทธภาพการลดคณลกษณะดวยวธ CFS

และ FCBF เมอทาการเปรยบเทยบประสทธภาพดาน Accuracy เมอไมลดคณลกษณะกบลด

คณลกษณะดวยวธ CFS และวธ FCBF จากการเรยนรกลมตวอยางตามแบบจาลองการวเคราะหโรคอตโนมตทนาเสนอ โดยวดประสทธภาพจากคาความความถกตอง (Accuracy) พบวา

กลมแรกการลดคณลกษณะไมสงผลใหคาความความถกตองเพมขน มดงน กลมขอมล breast-cancer อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ 75.52% กลมขอมล breast-w อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 96.99% กลมขอมล hypothyroid อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ 99.57% กลมขอมล liver-disorders อลกอรทม Decision Tree ใหประสทธภาพออกมาดทสดคอ 68.69% กลมขอมล lymphography อลกอรทม Support Vector Machine ใหประสทธภาพออกมาดทสดคอ 86.48% และกลมขอมล primary-tumor อลกอรทม Naïve Bayesใหประสทธภาพออกมาดทสดคอ 50.14%

กลมสองการลดคณลกษณะสามารถลดขนาดของมตของขอมลไดเปนอยางดแลว ยงสงผลใหคาความความถกตองเพมมากขนมดงน กลมขอมล diabetes อลกอรทม CFS Naïve Bayes กบ FCBF Naïve Bayes ใหประสทธภาพสงขนเปน 77.47% กลมขอมล heart-c อลกอรทม CFS Naïve Bayes กบ FCBF Naïve Bayes ใหประสทธภาพออกมาสงขนเปน 84.48% กลมขอมล heart-statlog อลกอรทม CFS Naïve Bayes ใหประสทธภาพสงขนเปน 85.55% กลมขอมล hepatitis อลกอรทม CFS Naïve Bayes ใหประสทธภาพสงขนเปน 87.74% กลมขอมล leukemia อลกอรทม CFS RBF,FCBF Multilayer Perceptron และ FCBF Support Vector Machine ใหประสทธภาพสงขนเปน 100% กลมขอมล lung-cancer อลกอรทม CFS Support Vector Machine ใหประสทธภาพสงขนเปน 75% กลมขอมล postoperative-patient อลกอรทม K-Nearest Neighbor,Ripper และ CFS K-Nearest Neighbor,CFS Ripper เมอลดคณลกษณะแลวใหประสทธภาพออกมาเทาเดมคอ 71.11% จากขอมลกราฟดงกลาวทาใหเราสามารถสรปไดวา อลกอรทมประเภทไหนเหมาะสมกบชดขอมลแบบใดและการลดคณลกษณะประเภทใดสงผลใหคาความความถกตองเพมขนสงสด


115

5.2 อภปรายผล ผลจากการทดลองการคนหาเทคนคดานเหมองขอมล เพอสรางโมเดลการวเคราะหโรคอตโนมต โดยมจดมงหมายทจะทดสอบประสทธภาพของอลกอรทมทใชในการจาแนกขอมล (Classification) เพอคนหาอลกอรทมทเหมาะสมทสดสาหรบฐานขอมลทางการแพทย สามารถอภปรายผลได�ดงน 5.2.1 โมเดลการวเคราะหโรคอตโนมตทสรางได มประสทธภาพความถกตองในการจาแนกประเภทของโรคในระดบ 80 % ขนไป โดยไมลดคณลกษณะ ทาการเรยงตามคาความถกตอง (Accuracy) ประกอบดวย กลมขอมล hypothyroid สรางโมเดลดวยอลกอรทม Decision Tree ใหประสทธภาพ 99.57% กลมขอมล leukemia สรางโมเดลดวยอลกอรทม Naive Bayes กบ Support Vector Machine ใหประสทธภาพ 98.61% กลมขอมล breast-w สรางโมเดลดวยอลกอรทม Support Vector Machine ใหประสทธภาพ 96.99% กลมขอมล lymphography สรางโมเดลดวยอลกอรทม Support Vector Machine ใหประสทธภาพ 86.48% กลมขอมล hepatitis สรางโมเดลดวยอลกอรทม Radial Basis Function กบ K-Nearest Neighbor ใหประสทธภาพ 85.80% กลมขอมล heart-c สรางโมเดลดวยอลกอรทม Support Vector Machine ใหประสทธภาพ 84.15% กลมขอมล heart-statlog สรางโมเดลดวยอลกอรทม Radial Basis Function กบ Support Vector Machine ใหประสทธภาพ 84.07% ตามลาดบ ซงโมเดลดงกลาวมคณภาพในระดบทยอมรบไดตามเกณฑ 80 % สามารถโมเดลดงกลาวไปพฒนาเปนซอฟตแวรในการวนจฉยโรคอตโนมตได 5.2.2 การเพมประสทธภาพความถกตอง (Accuracy) ดวยวธ Multiple learning โดยใชอลกอรทม Bagging และ Boosting นน สงผลใหคาความถกตอง เพมขนเฉพาะบางกลมขอมล เทานน โดยมขอสงเกตวา สดสวนของกลมตวอยางในแตละคลาสจะตองมปรมาณใกลเคยงกน หรอเทากน กรณทการกระจายของของกลมตวอยางในแตละคลาส มสดสวนทแตกตางกนมาก สงผลใหเทคนค Bagging และ Boosting ไมชวยเพมประสทธภาพการจาแนกขอมล หรอกลาวอกนยหนงคอ ถาตองการใชเทคนค Multiple learning จะตองไมใหขอมลในคลาสใดคลาสหนง มปรมาณสงเกนกวาคลาสอนๆ ทเหลออยางมนยสาคญ 5.2.3 การลดคณลกษณะดวยวธ Correlation-based Feature Subset Selection (CFS) และวธ Feature selection method based on correlation measureand relevance & redundancy analysis (FCBF) สงผลใหประสทธภาพความถกตอง (Accuracy) ในการจาแนก


116

ประเภทของโรคใกลเคยงกบการไมลดคณลกษณะ แตสามารถลดมตของขอมลลงไดอยางมาก ซงการลดมตของขอมลดงกลาว ทาใหประหยดทรพยากรของระบบคอมพวเตอรในการเรยนรเพอสรางโมเดล ทงหนวยประมวลผลและหนวยความจาไดเปนอยางมาก เมอนาไปพฒนาเปนซอฟตแวรวนจฉยโรคอตโนมต ยอมสงผลใหระบบซอฟตแวรโดยรวมมประสทธภาพดขนอยางมนยสาคญ 5.3 ข�อเสนอแนะ

จากการทดลองการจาแนกกลมขอมลทางการแพทย เพอสรางโมเดลการวเคราะหโรคอตโนมต โดยมจดมงหมายทจะทดสอบประสทธภาพของอลกอรทมตางๆ ทใชในการทาเหมองขอมล มงเนนคนหาอลกอรทมทเหมาะสมทสดสาหรบฐานขอมลทางการแพทย พบวาไมมอลกอรทมใดทสามารถทางานไดดทสดกบทกกลมขอมล สามารถสรปไดวาลกษณะของขอมลแตละประเภทสงผลตอประสทธภาพการทางานของแตละอลกอรทม มขอเสนอแนะวาควรศกษาพฒนาอลกอรทมทสามารถใชไดกบทกกลมขอมลทางการแพทย โดยใหประสทธภาพออกมาดกบทกลกษณะขอมล และจากการทดลอง เวลาในการสงเคราะหโมเดลจากขอมลทง 13 ชด พบวาบางอลกอรทม ใชเวลาในการสงเคราะหโมเดลนานมาก รวมถงใชหนวยประมวลผลและหนวยความจาปรมาณมาก โดยเฉพาะอลกอรทม Multilayer Perceptron,Radial Basis Function Network ดงนน ควรมการศกษา วธการลดระยะเวลา และทรพยากรของระบบในการประมวลผล เพอการสงเคราะหโมเดล รวมถงควรมการศกษาวธการลดคณลกษณะแบบอนๆ ทแตกตางจากงานวจยดงกลาว ทสงผลใหมตของขอมลลดลงและเพมประสทธภาพในการจาแนกกลมขอมลทางการแพทยใหสงขน


บรรณานกรม คงเดช บญยกจสมบต. 2548. การพฒนาระบบคลงขอมลและการทาเหมองขอมลสาหรบขอมล ผตดเชอ HIV ในโรงพยาบาล สงกดสานกอนามย กรงเทพมหานคร สารนพนธ วทยาศาสตร มหาบณฑต เทคโนโลยสารสนเทศ มหาวทยาลยเทคโนโลยพระจอมเกลาพระนครเหนอ ณฐวรรณ รตนากรกล. 2545. ระบบจาแนกประเภทโครงสรางของโปรตนโดยใชเทคนคดาตา ไมนนง. งานประชมวชาการ มก. ครงท 40. นเวศ จระวชตชย ปรญญา สงวนสตย และพยง มสจ. 2553. การศกษาทดลองเทคนคการลด คณลกษณะและอลกอรทมการจดหมวดหมของเอกสารภาษาไทย. วารสารวทยาศาสตร ลาดกระบง. ป 2552. ฉบบท 2. หนา 11-24. บญเสรม กจศรกล. 2546. รายงานวจยฉบบสมบรณ โครงการยอยท 7: อลกอรทมการทาเหมอง ขอมล. จฬาลงกรณมหาวทยาลย. พรพล ธรรมรงครตน ลดดา ปรชาวรกล และวภาดา เวทยประสทธ. 2553. การจาแนกประเภท เวบเพจโดยใชคาความถเอกสารและซพพอรตเวกเตอรแมชชน. The 12th National Computer Science and Engineering Conference 2008. ภทราวฒ แสงศร ศจมาจ ณ วเชยร และพยง มสจ. 2553. การคดแยกประเภทของมะเรง เมดเลอดขาวโดยใชวธการจดอนดบรวมกบเทคนคซพพอรตเวกเตอรแมชชน. การประชมทางวชาการเสนอผลงานวจยระดบบณฑตศกษา ครงท 11. อจฉรา วรารกษ. 2547. Data Mining เทคนค กบการจดการขอมล HIV/AIDS. สมมนาวชาการ กรมควบคมโรค กระทรวงสาธารณสข. อกฤษ ปจฉม. 2546. การประยกตใชเทคนคการทาเหมองขอมลในการทานายระดบนาสงสด. วทยานพนธวศวกรรมศาสตรมหาบณฑต สาขาวชาวศวกรรมทรพยากรนา คณะวศวกรรมศาสตร มหาวทยาลยเทคโนโลยพระจอมเกลาธนบร.


ประวตผวจย ชอ : นเวศ จระวชตชย ประวตการศกษา ปรญญาตร สาขาการจดการอตสาหกรรม มหาวทยาลยรามคาแหง ปรญญาโท สาขาเทคโนโลยคอมพวเตอร สถาบนเทคโนโลยพระจอมเกลาพระนครเหนอ ปรญญาเอก สาขาเทคโนโลยสารสนเทศ สถาบนเทคโนโลยพระจอมเกลาพระนครเหนอ ตาแหนงและสถานททางาน อาจารยประจา ภาควชาวทยาการคอมพวเตอร คณะวทยาศาสตรและเทคโนโลย มหาวทยาลยราชภฏสวนสนนทา ผลงานทางวชาการ 1. นเวศ จระวชตชย “Developing an Effective Text-Compression by Using Combination of BWT and LZW Algorithms” การประชมทางวชาการระดบชาตดานคอมพวเตอรและเทคโนโลยสารสนเทศ (NCCIT05) สถาบนเทคโนโลยพระจอมเกลาพระนครเหนอ

2. นเวศ จระวชตชย กนตพงษ วรรตนปญญา “Thai tradition drawing image retrieval using wavelet transform” Joint Computer Science and Software Engineering 2006 (JCSSE2006) สถาบนเทคโนโลยพระจอมเกลาพระนครเหนอ

3. นเวศ จระวชตชย สพจน นตยสวรรณ “Developing an effective image retrieval using color histogram” การประชมทางวชาการระดบชาตดานคอมพวเตอรและเทคโนโลยสารสนเทศ (NCCIT06) สถาบนเทคโนโลยพระจอมเกลาพระนครเหนอ

4. นเวศ จระวชตชย กนตพงษ วรรตนปญญา “Developing an Effective Image-Lossless Compression Using Combination of BWT and Arithmetic Algorithms “ การประชมวชาการวทยาศาสตรและเทคโนโลยแหงประเทศไทย ครงท 32 (STT32) จฬาลงกรณมหาวทยาลย


5. นเวศ จระวชตชย กนตพงษ วรรตนปญญา “Developing an Effective Text-Lossless Compression “ การประชมทางวชาการระดบชาตดานเทคโนโลยสารสนเทศ (NCIT2006) คณะเทคโนโลยสารสนเทศ มหาวทยาลยเทคโนโลยพระจอมเกลาธนบร

6.นเวศ จระวชตชย ปรญญา สงวนสตย พยง มสจ “An Experimental Study on Feature Reduction Techniques and Classification Algorithms of Thai Documents “ วารสารวทยาศาสตร สถาบนเทคโนโลยพระจอมเกลาเจาคณทหารลาดกระบง ป 2552

7.นเวศ จระวชตชย ปรญญา สงวนสตย พยง มสจ “A Comparative Study on Term Weighting Techniques for Thai Documents Categorization “ วารสารวทยาศาสตร สถาบนเทคโนโลยพระจอมเกลาเจาคณทหารลาดกระบง ป 2553

8.นเวศ จระวชตชย ปรญญา สงวนสตย พยง มสจ “Automatic Thai Document Categorization with Support Vector Machines“ การประชมทางวชาการระดบชาตดานคอมพวเตอรและเทคโนโลยสารสนเทศ (NCCIT10) สถาบนเทคโนโลยพระจอมเกลาพระนครเหนอ

9.นเวศ จระวชตชย ปรญญา สงวนสตย พยง มสจ “Developing and Effective Automatic Thai Document Categorization” การประชมวชาการระดบชาต สถาบนบณฑต

พฒนบรหารศาสตร ประจาป 2553

10. Nivet Chirawichitchai , Parinya Sa-nguansat, Phayung Meesad

“A Comparative Study on Feature Weight in Thai Document Categorization Framework”

Lecture Notes in Informatics (LNI) by the Gesellschaft für Informatik (GI). 2010
