Data Warehouse Architecture

LOGO

��

��������������������� ����������������� ����������������������������������� ����������������� ��������������Data Warehouse Architecture

������������ ����������� ������

Contents

2 สถาปตยกรรมคลงขอมล

1

แนวคดของฐานขอมลปฏบตการสแนวคดของการออกแบบคลงขอมล

2

สวนประกอบตางๆ ของสถาปตยกรรมคลงขอมล3

4

5

สถาปตยกรรมในแบบตางๆ ของคลงขอมล

แนวทางในการพฒนาคลงขอมล

แนวคดของฐานขอมลปฏบตการสแนวคดของการออกแบบคลงขอมล

ใบส�งซ�อสนคา บรษท ABC จากด

ลกคา คณสมชาย ใจด เบอรโทร 081-9999999

สนคา จานวน เปนเงน

เกาอ� 172 17200

3

เกาอ� 172 17200

โตะ 85 1700

ต 184 18400

ช�นวางของ 110 1100

กระดาน 47 940

แนวคดของฐานขอมลปฏบตการสแนวคดของการออกแบบคลงขอมล

4

แนวคดของฐานขอมลปฏบตการสแนวคดของการออกแบบคลงขอมล

5

แนวคดของฐานขอมลปฏบตการสแนวคดของการออกแบบคลงขอมล

6

สถาปตยกรรมคออะไร ??

“สถาปตยกรรมของระบบใดๆ (Architecture) หมายถง การกลาวถง องคประกอบ และความสมพนธระหวางองคประกอบตางๆ ท�มในระบบน�นๆ รวมถงหนาท�ของแตละองคประกอบของระบบดวย”

7

ระบบดวย”

คลงขอมล เปรยบไดกบเปนระบบสารสนเทศขนาดใหญท�รวบรวมเอาขอมลและกระบวนการตางๆ ท�มอยในธรกจท�งหมดขององคกรไวในท�เดยวกน และมความสอดคลองกน

สถาปตยกรรมคลงขอมล

ดงน�นสถาปตยกรรมของคลงขอมล จะสอดคลองกบองคประกอบหลกของระบบสารสนเทศ ดงน�

InputInput ProcessProcess OutputOutput

8

InputInput ProcessProcess OutputOutput

StorageStorage

สถาปตยกรรมคลงขอมล

Data Acquisition System

Data Staging Area

Data Warehouse Database

Data Provisioning Area

Data Data DataData

9

Metadata Repository

Meta

data

Meta

data

Meta

data

Meta

data

Terminal

สวนประกอบตางๆ ของสถาปตยกรรมคลงขอมล

องคประกอบหลกๆ ท�สาคญ ในสถาปตยกรรมคลงขอมล มดงน�

1. Data Acquisition System : ทาหนาท�รวบรวมขอมลจากภายในและภายนอกองคกร และทาการตรวจสอบความถกตองในเบ�องตน กอนสงไปยงกระบวนการตอไป

2. Data Staging Area : ทาหนาท�รบขอมลและตรวจสอบรายละเอยดของ

10

2. Data Staging Area : ทาหนาท�รบขอมลและตรวจสอบรายละเอยดของขอมล โดยมการทา Cleansing และ Filtering

3. Data Store หรอ Data Warehouse Database : ทาหนาท�บนทกขอมลท�ผานกระบวนการ Data Staging มาแลว ลงในคลงขอมล

ซ�งในกระบวนการน�จะตองมการออกแบบแบบจาลองขอมล (Data Model) เพ�อเปนโครงสรางขอมลท�จะทาการจดเกบ

สวนประกอบตางๆ ของสถาปตยกรรมคลงขอมล

4. Data Provisioning Area หรอ Data Mart : ทาหนาท�ดงมาจาก Data Warehouse Database มาประมวลผล และบนทกขอมลท�ตองการนาไปวเคราะห ซ�งขอมลดงกลาวจะถกทาการปรบขอมลใหเหมาะสมกบการนาไปใช (นาไปวเคราะห)

5. End Users Terminal : ทาหนาท�เปนเคร�องมอท�ดงเอาขอมลท�เตรยม

11

5. End Users Terminal : ทาหนาท�เปนเคร�องมอท�ดงเอาขอมลท�เตรยมไวใน Data Provisioning Area หรอ Data Warehouse Database มานาเสนอผลลพธ โดยจะมเคร�องมอท�ทาหนาท�ออกรายงาน (reporting tools), Multidimensional (OLAP) tools, Data mining tools

สวนประกอบตางๆ ของสถาปตยกรรมคลงขอมล

6. Metadata Repository : เปนพ�นท�ท�ใชสาหรบเกบขอมลตางๆ ท�จาเปนสาหรบควบคมการทางานและขอมลในคลงขอมล โดยจะเกบขอมลท�เก�ยวของกบทกๆ กระบวนการ เชน

- คานยามของขอมลใน Data Warehouse

12

- คานยามของขอมลใน Data Warehouse

- ความถ�ในการนาขอมลเขา ในสวนของ Data Acquisition System

- กระบวนการในการแปลงขอมล ของ Data staging

- ขอมลท�จาเปนในการออกรายงานแตละรายงาน

สวนประกอบตางๆ ของสถาปตยกรรมคลงขอมล

สวนประกอบอ�นๆ ท�เสรมอยภายในสถาปตยกรรมคลงขอมล

Process Management : ทาหนาท�จดการกระบวนการทางานท�งหมด

เชน ลาดบการทางานของกระบวนการตางๆ

Application Messaging : เปน Middleware ทาหนาท�ในการสง

13

Application Messaging : เปน Middleware ทาหนาท�ในการสงขอมลภายในองคกร ผานทางเครอขาย

Middleware คอ ซอฟตแวรประเภทหน�งท�ทาหนาท�เปนตวกลาง

เปนตวประสานและให Service ตางๆ แก Application

สถาปตยกรรมในแบบตางๆ ของคลงขอมล

Data Warehouse Architecture

หลกการแบงประเภทของสถาปตยกรรมของคลงขอมลน�น จะแบงจากสภาพทางกายภาพของ Data Warehouse Database และ Data Provisioning

14

Centralized Architecture

Architecture

DistributedArchitecture

สถาปตยกรรมในแบบตางๆ ของคลงขอมล

Centralized ArchitectureCentralized Architecture

หมายถง รปแบบของสถาปตยกรรมของคลงขอมลท� Data Warehouse

น�นถกเกบเปนกลมกอนเดยวกน ไมไดมการแยกหรอกระจายออก

Data

15

DataWarehouseDatabase

Dataprovisioning

Area

Dataprovisioning

Area

Dataprovisioning

Area

สถาปตยกรรมในแบบตางๆ ของคลงขอมล

ขอดของสถาปตยกรรมคลงขอมลแบบ Centralized Architecture

การรกษาความปลอดภย และบารงรกษาทาไดงาย

เน�องจากเปนสถาปตยกรรมท�มคลงขอมลแบบรวมเปนกอนเดยว ทาให..

- มความซบซอนนอย

16

- มความซบซอนนอย

- มงรกษาความปลอดภยของขอมลไปท�จดเดยว

สามารถสรางความเปนปกแผนของขอมลไดงายท�สด

มความถกตองตรงกนของขอมลอยแลว เพราะไมมโอกาสท�จะมขอมลชดเดยวกน 2 ชดอยหลายท�ได

สถาปตยกรรมในแบบตางๆ ของคลงขอมล

ขอเสยของสถาปตยกรรมคลงขอมลแบบ Centralized Architecture

มความเส�ยงในการไดรบความเสยหายมากกวาสถาปตยกรรมอ�นๆ

ในกรณท�เกดความเสยหายข�น จะเกดความเส�ยงสงท�ขอมลจะถกทาลายแลวสงผบกระทบอยางมากตอการใชงาน

ในการออกแบบและสรางทาไดยากท�สด

17

ในการออกแบบและสรางทาไดยากท�สด

- จะตองออกแบบ Data Model ขององคกรใหครบถวนกอนท�จะสราง

- Data Warehouse ท�สรางข�นจะตองมความเปนหน�งเดยว

** ถงแมวาความยากในการออกแบบจะเปนขอดอยของ Centralized Architecture แตความเปนหน�งเดยวของขอมล เปนท�ยอมรบวาเปน Data Model ท�มประสทธภาพมากท�สด

สถาปตยกรรมในแบบตางๆ ของคลงขอมล

Distributed ArchitectureDistributed Architecture

หมายถง รปแบบของสถาปตยกรรมของคลงขอมลท� Data Warehouse

มการกระจายออก โดยอาจจะกระจายอยบน Disk ตวเดยวกนหรอคนละตวกได

เพ�อสรางความคลองตวในการใชงาน

18

เพ�อสรางความคลองตวในการใชงาน

โดยการกระจายออกของ Data Warehouse น�นหมายความวา มขอมล

ใดๆ ตวหน�ง อาจจะมอยใน Data warehouse เพยงตวเดยว หรอหลายตวกได

สถาปตยกรรมในแบบตางๆ ของคลงขอมล

DataWarehouse

Dataprovisioning

Area

Dataprovisioning

19

WarehouseDatabase

provisioningArea

Dataprovisioning

AreaData

WarehouseDatabase

Dataprovisioning

Area

สถาปตยกรรมในแบบตางๆ ของคลงขอมล

ขอดของสถาปตยกรรมคลงขอมลแบบ Distributed Architecture

เปนสถาปตยกรรมคลงขอมลท�สามารถสรางไดงาย

เน�องจากม Data warehouse ท�แยกจากกน ดงน�นจงงายท�จะคอยๆ ออกแบบ และสรางทละสวน คอออกแบบ Data Model ท�ยงไมเปนภาพรวม

** เหมาะกบองคกรท�ตองการระบบ Data Warehouse อยางรวดเรว

20

** เหมาะกบองคกรท�ตองการระบบ Data Warehouse อยางรวดเรว

เปนสถาปตยกรรมท�สามารถกระจายความเส�ยง ในกรณท�อาจจะเกดความเสยหายข�นกบระบบไดด

คอ มโอกาสท�ขอมลชดนงใน Data warehouse ตวหน�งอาจจะถกทาลาย แตขอมลชดเดยวกนในอกท�หน�งยงอย

สถาปตยกรรมในแบบตางๆ ของคลงขอมล

ขอเสยของสถาปตยกรรมคลงขอมลแบบ Distributed Architecture

มโอกาสท�ขอมลอาจจะขาดความเปนอนหน�งอนเดยวกน

ในการท�ยอมใหขอมลชดเดยวกนมในหลายๆ ท�ได มโอกาสท�ขอมลชดเดยวกนใน 2 ท� อาจจะมความไมสอดคลองกนได

21

เดยวกนใน 2 ท� อาจจะมความไมสอดคลองกนได

การรกษาความปลอดภย ทาไดยาก

เน�องจากม Data Warehouse มหลายแหง ดงน�นจะตองมการหามาตรการปองกนความเสยหายท�รดกมมากพอ ซ�งทาไดยากกวา Centralized Architecture

แนวทางในการพฒนาคลงขอมล

แนวทางในการพฒนาคลงขอมลน�น มอยดวยกน 3 วธการ โดยจาแนกตาม

ลกษณะและลาดบเวลา กอน-หลง ในการเกด Data Model, Data Warehouse

Database และ Data Provisioning

Top-Down Data Warehouse Development

22

Top-Down Data Warehouse Development

Bottom-Up Data Warehouse Development

Mixed Data Warehouse Development

แนวทางในการพฒนาคลงขอมล

Top-Down Data Warehouse Development

เปนหลกการท�เหมาะสมในการใชเพ�อพฒนา Centralized Data Warehouse

โดยยดหลกการท�จะทาใหได Data Warehouse รวมของท�งองคกรในคราวเดยว

23

ซ�งวธการพฒนา จะเร�มจากการวเคราะหธรกจองคกรท�งหมด และออกแบบ

Data Model ท�เปนภาพรวมของธรกจ

แนวทางในการพฒนาคลงขอมล

Organization-wide

Data Model

Data

24

DataWarehouseDatabase

Data Mart

Data Mart

Data Mart

แนวทางในการพฒนาคลงขอมล

ขอดของการพฒนาคลงขอมลดวยหลกการ Top-Down

Data Model ท�พฒนาข�น จะสามารถอธบายธรกจขององคกรไดอยางถกตอง และสามารถเช�อมโยงขอมลกนไดท�งหมด ไมวาขอมลน�น จะถกใชงานท�แตกตางกน

25

แตกตางกน

หลงจากท�พฒนาเสรจแลว จะมงานท�เหลอท�จะตองทาเพ�มนอยมาก

ไมจาเปนตองรกษาความสอดคลองของขอมล เพราะวาขอมลหน�งหนวยใดๆ มอยเพยง 1 ท�เทาน�น

แนวทางในการพฒนาคลงขอมล

ขอเสยของการพฒนาคลงขอมลดวยหลกการ Top-Down

มการออกแบบ Data Model ท�มความยากท�สด

อาจพบขอจากดของขอมลท�เกดจากความแตกตางในการปฏบตงาน

26

อาจพบขอจากดของขอมลท�เกดจากความแตกตางในการปฏบตงาน

เชน ขอมลตวเดยวกน แตมช�อตางกนใน 2 ฝายงาน

ตองใชเวลา งบประมาณ และกาลงคนเปนจานวนมาก

แนวทางในการพฒนาคลงขอมล

Bottom-Up Data Warehouse Development

เปนวธการพฒนาท�ตรงขามกบ Top-Down โดยการพฒนาในวธน� จะเร�มจาก

- การวเคราะหและออกแบบผลลพธทละสวนกอน

27

- การวเคราะหและออกแบบผลลพธทละสวนกอน

- Data Acquisition, Data Staging Area, Data Provisioning (Data Mart)

- นาเอาขอมลท�มอยในแตละ Data Mart มารวมกน เพ�อออกแบบและสราง

Data Model และ Data Warehouse

แนวทางในการพฒนาคลงขอมล

DataWarehouseDatabase

Next

Ste

p

28

Data MartData

Model

Data Mart Data Mart Data Mart

Data MartData

Model

Data MartData

Model

Next

Ste

p

Next

Ste

p

แนวทางในการพฒนาคลงขอมล

ขอดของการพฒนาคลงขอมลดวยหลกการ Bottom-Up

ทาใหผใชไดขอมลอยางรวดเรว

การออกแบบ Data Mart แตละตวมความซบซอนนอยกวาการออกแบบ

29

การออกแบบ Data Mart แตละตวมความซบซอนนอยกวาการออกแบบ Data Warehouse ท�มความเปนหน�งเดยว

ตนทน และเวลาท�ใชสาหรบการออกแบบและสราง Data Mart แตละตว นอยกวาการออกแบบและสราง Data Warehouse ดวยวธ Top-Down

แนวทางในการพฒนาคลงขอมล

ขอเสยของการพฒนาคลงขอมลดวยหลกการ Bottom-Up

การควบคมความซ�าซอนทาไดยาก เพราะเม�อม Data Mart มากข�น โอกาสท�มขอมลท�มความหมายเดยวกน แตอยคนละ Data Mart กมสงข�น

30

การนาขอมลเขาอาจมมากเกนความจาเปน ซ�งเกดจากการดาเนนกบขอมลท�มความซ�าซอนเกดข�น

การรวม Data Mart แตละตว เพ�อทาการสราง Data Warehouse กลางขององคกร ทาไดยากและใชเวลามาก

แนวทางในการพฒนาคลงขอมล

Mixed Data Warehouse Development

เปนการพฒนาระบบ Data Warehouse โดย

- แยกขอมลออกเปนสวนๆ

31

- แยกขอมลออกเปนสวนๆ

- พจารณาเลอกวธการวเคราะหและออกแบบ

(Top-Down หรอ Bottom-Up)

- นาเอาแตละสวนท�ไดพฒนาข�น มารวมกนภายหลง

แนวทางในการพฒนาคลงขอมล

Organization-wide

Data Model

DataWarehouse

32

WarehouseDatabase

Data Mart Data Mart

Data MartData

Model

Data MartData

Model

Ne

xt

Ste

p

LOGO

����

Do you have any Question ?

Home Work

1. จงอธบายถงสวนประกอบ หรอกระบวนการหลกๆ ในสถาปตยกรรมของคลงขอมลท�ง 6 กระบวนการ

2. สถาปตยกรรมคลงขอมล แบงไดเปนก�ประเภท และอธบายลกษณะสาคญของแตละประเภท

3. จงบอกขอด-ขอเสย ของสถาปตยกรรมคลงขอมลในแตละประเภท

34

3. จงบอกขอด-ขอเสย ของสถาปตยกรรมคลงขอมลในแตละประเภท

4. แนวทางในการพฒนาคลงขอมลมก�แนวทาง และอธบายลกษณะสาคญของแตละแนวทาง

5. จงบอกขอด-ขอเสย ของแนวทางในการพฒนาคลงขอมลแบบ Top-Down และ Bottom-Up