รรรรรรรรรรรรร รรรรรรรรรรรรรร รรรรรรรร รรรรรรร รรรรรรรรรรรรรรรรรรรรรรรรร รรรรรรรร รรรรรรรรรรรรรรรรรรรรรรรรรรรรรรรรรรร รรรรรรรรรรรรรรรรรรรรรรรรรรร
Mar 15, 2016
ระบบฐานขอมลกระทรวงมหาดไทย
นายวทยา สงหราชผอำานวยการสวนเทคโนโลยสารสนเทศ
ศนยเทคโนโลยสารสนเทศและการสอสาร สำานกงานปลดกระทรวงมหาดไทย
วตถประสงค การทำางานของ Data Warehouse เบองตน ขนตอนในการทำางานของ Data Warehouse ลกษณะและคณสมบตของ Data Warehouse เขาใจถงการสรางและการออกแบบ Data Warehouse ประโยชนทไดรบ
สงทไดจากระบบศนยขอมลกลาง ระบบสนบสนนการตดสนใจ (Decision Supporting System : DSS) ระบบ EIS
การวเคราะหขอมลจากอดตและปจจบน มเครองมอในการใชวเคราะหขอมล
Online Analytical Processing : OLAP Geographic Information system : GIS Business Intelligent : BI ETL (Extract-transfer-Loading)
ระบบสารสนเทศเพอการจดการ (Management Information System : MIS) ระบบ Web Portal ระบบการจดการสารสนเทศ การสำารองกคนขอมล การบรหารจดการเครอขายคอมพวเตอร (สวนกลาง 12/ เขต) Firewall
ความสามารถทวไปของ EIS
การเขาถง Data Warehouse การใชความสามารถในการเจาะขอมล (Drill down) การนำาเสนอขอมลในลกษณะทมความยดหยน การเขาถงสารสนเทศทหลากหลาย การใชโมเดลในการวเคราะห
ทมา ทำาไมถงตองม Data warehouse การแขงขนในปจจบนทำาใหขอมลตางๆภายใน
องคกรมความสำาคญในการคาดการ แนวโนมในการเปลยนแปลงปจจยตางๆในการทำางานซงจะมผลในการพฒนาและการดำาเนนงานใหเกดผลสำาเรจอยางมประสทธสงสด
Data Warehouse จงมบทบาทสำาคญในการเปนฐานขอมลทชวยตดสนใจของผบรหารในการดำาเนนงาน
ฐานขอมล
มาตรฐาน
มท.
คลงขอม
ลจงหวด
คล ง
ขอ มล
มท.
รายงานผบรหาร
ระบบศนยขอมลกลางกระทรวงมหาดไทยและจงหวด
รายงานผบรหาร
ExtractTransform
Loading
หนวยงานเจาของขอมล
หนาจอบนทกขอมล
ฐานขอมล
มาตรฐานจงหวด
GIS DBGIS DBGD
met
adat
a
met
adat
a
met
adat
a
met
adat
a
met
adat
a
Data Warehouse Architecture
การเกบขอมล ไดจากแหลงทตางๆไมไดมาจากแหลงเดยว อาจมเกบไวในหลาย Database หรอตาง ระบบปฏบตการการตรวจสอบ จะมการตรวจสอบชนด ประเภทของขอมลวา ตรงกนหรอไม ขอมลทมอยถกตองหรอไมการจดเกบ จดเกบลง Data Warehouse ทสรางขนการวเคราะหและแสดงผล
คณสมบตของ Data WarehouseConsolidated and Consistent คอการรวบรวมขอมลมาเกบไวทเดยวกน Subject – Oriented Data การเลอกเกบเฉพาะขอมลทจะนำามาวเคราะห และตดสนใจ Historical Data การทสามารถเกบขอมลไดยอนหลงเปนระยะเวลานานRead – Only Data เมอเรานำาขอมลลง Data Warehouse แลว จะไมแกไขอก
Step ในการจดการขอมล (1)
Static extractStatic extract = รวบรวม ขอมลอยางรวดเรวจากแหลงขอมลตางๆในชวงเวลาหนง
Incremental extractIncremental extract = รวบรวมการเปลยนแปลง ในกรณทขอมลไดมการextract มากอนแลว
Capture = การเกบขอมลทงหมด มารวมกน
Step ในการจดการขอมล (2)
Fixing errors:Fixing errors: การสะกดผด, ความไมถกตองของวนท , อยใน filde ผด , ขอมลสญหาย, การจำาลองขอมล, ความไมสอดคลองกนของขอมล
Fixing error:Fixing error: decoding, การเปลยนรปแบบ, การเสยเวลา, การสราง key , ปองกนการ error, มสถานทเกบขอมลสำารองกนการสญหายของขอมล
Scrub (cleanning) = ทำาความสะอาดรปแบบการใชขอมลตางๆ และ upgradeลกษณะของขอมล
Step ในการจดการขอมล (3)
Transform = แกไขขอมลจากระบบการทำางานทวไปสรปแบบการทำางานของ data warehouse
Record-level:Record-level:Selection – การแบงแยกขอมลเปนสวนๆJoining – การรวมขอมลAggregation – การสรปขอมล
Field-level:Field-level: One to oneOne to manyMany to many
ยทธศาสตรการพฒนาจงหวด กลมจงหวด
กองทนหมบาน
ทองเทยว
การเกษตร
ศนยดำารงธรรม
การจดการทรพยากรธรรมชาตและสงแวดลอม
การคาการลงทน
Data cube/Datamart
Data warehouse
75 จงหวดGDX
GDX
• ขอมลทสำาคญของจงหวดทวประเทศ 163 รายการขอมล• ขอมลสนบสนนการบรหารจดการ• ขอมลเพอการวางแผนและการปฏบตงาน• ขอมลผลการดำาเนนงาน
• ตวชวดการบรหารงานจงหวด 32 ตวชวด 40 รายการขอมล
Data warehouse
Data warehouse
ศนยขอมลกลาง จว.
ทองเทยวยทธศาสตรการพฒนาจงหวด
กองทนหมบานศนยดำารงธรรม
การเกษตร
การจดการทรพยากรธรรมชาตและสงแวดลอม
การคาการลงทน
ประเทศประเทศภาคภาคกลมจงหวดกลมจงหวดจงหวดจงหวดอำาเภออำาเภอตำาบลตำาบลหมบานหมบาน
จงหวดจงหวดอำาเภออำาเภอตำาบลตำาบล
หมบานหมบาน
ปราบปรามยาเสพตดปราบปรามยาเสพตดปราบปรามยาเสพตดปราบปรามยาเสพตด
สาธารณภยสาธารณภย
ปญหาความยากจน
ภยแลงภยแลงสาธารณภยสาธารณภย
ภยแลงภยแลง
ปญหาความยากจน
ศนยขอมลกลาง มท ศนยขอมลกลาง มท..
Data cube/Datamart
Data MARTเปนสวนยอยของ Data warehouseมขนาดเลก เกบเฉพาะขอมลระดบหนวยงานการเลอกใช Data Mart หรอ Data Warehouse สำาหรบองคกรทยงไมมความพรอม สามารถสราง
Data MART กอนได เพอนำามารวมกนเปนData Warehouse ทหลง
สำาหรบ องคกรทตองการความรวดเรวเฉพาะสวนมากๆ สามารถนำา Data MART ไปใชในการดำาเนนการได
OLAP(Online Analytical Processing)
คอเทคโนโลย ทใชดงขอมลจาก Data Warehouse เพอนำาไปวเคราะหและหาคำาตอบทตองการไดอยางมประสทธภาพ ชวยในการตดสนใจทางธรกจอยางมประสทธภาพคนหาขอมลรวดเรวหาผลรวมไดงาย และมประสทธภาพเรยก ดขอมลไดอยางรวดเรว
Drill Up – Drill Downเปนศพทของ OLAP โดยมหนาจอแสดงผลเปนผลลพธคอ เครองหมาย “+“ ถาหากผใชตองการ Drill Down เพอดขอมลทเจาะจง เฉพาะลกลงไปอก
เครองหมาย “-” ถาหากผใชตองการ Drill Up เพอดขอมลทเปนหวขอใหญขน
ควบ (Cube)เปนโมเดลของ Data Warehouseเปรยบเสมอนลกบากส ซงแตละมมมองจะทำาใหเกดการควร องคประกอบหลกคอ ไดเมนชน (Dimantion) เมเชอร (Measure) สามารถหมนแกนได (privoted data cube)
วธการเกบขอมลลง ควบMOLAP STORAGE Multidimensional OLAP เนองจากเกบผลลพธไวใน
ดสก และ สามารถคำานวณผลทตองการไวไดลวงหนา เหมาะกบ ระบบทมขอมลขนาดปานกลาง
ROLAP STORAGE Relation OLAP ใช relation ใน database เหมาะกบ
ระบบทมขอมลมาก ความถในการใชนอยHOLAP STORAGE Hybrid OLAP โครงสรางนจะผสมระหวาง MOLAP
และ ROLAP โดยใชขอมลทมอยใน relation Database แตสรางยอดรวมไวในควบ
การสรางและการออกแบบโครงสรางขอมล Data Warehouse ทด
Subject Oriented คอ ขอมลของ Data Warehouse ซงไดมาจากฐานขอมลในองคกร แลวดวาปจจยไหนจำาเปนตองใชงาน Integrated คอ ขอมลใน data Warehouse มาจากขอมลในการปฏบตจากชวตประจำาวน Time Variant คอ การบรรจขอมล ใชเวลานาน เพอใชเปนแนวโนมในการพฒนา Non – Volatile ขอมลใน Data Warehouse จะเปลยนแปลงไดยาก หรอไมไดเลยซงจดประสงคหลกคอตองการใหผบรหารใชแตเพยงผเดยว
การสรางและการออกแบบโครงสรางขอมล Data Warehouse ทด
Accessible งายในการเขาถงขอมล Transformed มการเปลยนแปลงขอมลเพอใหมรปแบบในการจดลง Data Warehouse เพองายตอการเขาถงและวเคราะหขอมลManagement – oriented คอ มความยดหยนสามารถมองไดหลายรปแบบ
หลกการสรางและการออกแบบโครงสรางขอมล Star Schema
Store KeyProduct KeyPeriod KeyUnitsPrice
Store Dimension
Time Dimension
Fact Table
Store KeyStore NameCityStateRegion
Period KeyYearQuarterMonth
Product KeyProduct Desc
Product Dimension
หลกการสรางและการออกแบบขอมล Snowflake Schema
Store KeyProduct KeyPeriod KeyUnitsPrice
Time Dimension
Product Dimension
Fact Table
Store KeyStore NameCity Key
Period KeyYearQuarterMonth
Product KeyProduct Desc
City KeyCityStateRegionCity Dimension
Store Dimension
การวเคราะหสารสนเทศ
ฐานขอมล45 กลมเรอง32 ตวชวด
คลงขอมล EIS
ผบรหารฯ
ปราบปรามยาเสพตด
แกปญหาความยากจน
จดการกองทนหมบาน
การจดการทรพยากรธรรมชาตและสงแวดลอม
ดานการเกษตร
การคาการลงทนของ จว.
ดานการทองเทยว
ปญหาภยแลง
ดานสาธารณภย
ยทธศาสตรการพฒนาจงหวดและกลมจงหวด
จดการเรองราวรองทกขรองเรยนของศนยดำารงธรรม
การวเคราะหสารสนเทศ
ฐานขอมล45 กลมเรอง32 ตวชวด
คลงขอมล GIS
ผบรหารฯ
ปราบปรามยาเสพตด
แกปญหาความยากจน
จดการกองทนหมบาน
การจดการทรพยากรธรรมชาตและสงแวดลอม
ดานการเกษตร
การคาการลงทนของ จว.
ดานการทองเทยว
ปญหาภยแลง
ดานสาธารณภย
GIS ในศนยขอมลกลางฯ ดานการทองเทยว
จำานวนนกทองเทยวทเดนทางมา
จำานวนนกทองเทยวทเขาพก ระยะเวลาพำานกเฉลย รายไดจากการทองเทยว คาใชจายตอหวตอวนดานการแกไขปญหา
ความยากจนจำานวนครวเรอนของหมบานยากจนจำานวนประชากรของหมบานยากจนรายไดเฉลยตอหวตอปรายไดเฉลยตอครวเรอนตอเดอนกำาลงแรงงานจำานวนตำาแหนงงานวาง
ดานปญหาภยแลงจำานวนครวเรอนไมสามารถหานำาดมพอตลอดปปรมาณนำาฝนทตกจำานวนวนทฝนตกจำานวนพนทโครงการจำานวนพนทสงนำาจำานวนสถานสบนำา
ดานการเกษตรมลคาพชเศรษฐกจทสำาคญผลผลตรวมของพชเศรษฐกจทสำาคญจำานวนเกษตรกรดานการจดการ
ทรพยากรธรรมชาตและสงแวดลอมพนทปาไมแบงตามประเภทปรมาณสำารองแรธาตสำาคญดานการคาและการลงทนของ
จงหวดประเภทและปรมาณการคากบประเทศเพอนบานปรมาณการสงออกมลคาการสงออกจำานวนบรษท/หางหนสวนจำากดจำานวนเงนลงทน
GIS ในศนยขอมลกลางฯ ดานการปราบปรามยาเสพตด
จำานวนผใชยา จำานวนหมบานแยกตามระดบความ
รนแรง จำานวนหมบานทงหมด จำานวนหมบานทประกาศเอาชนะยา
เสพตด จำานวนโรงเรยน จำานวนคด จำานวนผตองหา จำานวนผเกยวของกบยาเสพตด จำานวนผถกคมประพฤต จำานวนผรบการบำาบด จำานวนสถานประกอบการ จำานวนผคายา จำานวนผตดยา จำานวนเงนงบประมาณ จำานวนเงนนอกงบประมาณ
ดานสาธารณภยจำานวนอบตภยจำานวนผบาดเจบชายจำานวนผบาดเจบหญงจำานวนผเสยชวตชายจำานวนผเสยชวตหญงมลคาความเสยหาย การใหความชวยเหลอ(จำานวนเงน)
ดานการบรหารจดการกองทนหมบาน
จำานวนหมบานทไดรบจดสรรกองทนจำานวนผกเงนจำานวนประชากรทงหมดจำานวนเงนก
ปญหาการคนหาขอมล/บรการของภาครฐบนเวบไซต
ไมมเวบไซตเดยวทใหขอมลและการบรการไดทงหมด ผใชตองการขอมลเฉพาะ/บรการทสนใจเทานน การนำาเสนอขอมล/การบรการของแตละเวบไซตมความแตกตางกนโดยสนเชง ผใชตองการวธการคนหาขอมลทตนเองฉนดหรอคนเคย มชอเวบไซตทตองจำามากมายเกนไป
การประยกตใชงานระบบ EIS ของ มท./จงหวด
ชวยในการวางแผนกลยทธ ชวยในการควบคมเชงกลยทธ ชวยในการตดตามสถานการณอยางใกลชด ชวยในการจดการกบวกฤต