Materi Pertemuan 2_Pendahuluan Gudang Data

GUDANG DATAGUDANG DATA( DATA WAREHOUSE)( DATA WAREHOUSE)

Disusun oleh : Disusun oleh : Ridowati GRidowati G

T.Informatika T.Informatika –– USD YogyakartaUSD Yogyakarta

PENGERTIAN DWPENGERTIAN DW

MenurutMenurut InmonInmon ::SekumpulanSekumpulan data yang data yang terintegrasiterintegrasi, basis , basis data yang data yang berorientasiberorientasi subyeksubyek yang yang didisaindidisain untukuntuk mendukungmendukung fungsifungsi sistemsistempengambilanpengambilan keputusankeputusan, , dimanadimana setiapsetiapunit unit daridari data data adalahadalah nonnon--volatile volatile dandanrelevanrelevan untukuntuk waktuwaktu tertentutertentu

PengertianPengertian ((lanjutanlanjutan))

TempatTempat penampunganpenampungan (repository (repository atauatauarchievearchieve) ) informasiinformasi yang yang dikumpulkandikumpulkan daridaribeberapabeberapa sumbersumber data, data, kemudiankemudiandisimpandisimpan dalamdalam strukturstruktur yang yang terintegrasiterintegrasi, , padapada satusatu tempattempat. Data . Data ygyg disimpandisimpannantinyanantinya digunakandigunakan untukuntuk pengambilanpengambilankeputusankeputusan

PengertianPengertian

Pengertian secara singkat dari gudang Pengertian secara singkat dari gudang data berdasarkan proses kerjanya adalah:data berdasarkan proses kerjanya adalah:““Proses pengambilan,pembersihan dan Proses pengambilan,pembersihan dan penyesuaian data dari berbagai sumber penyesuaian data dari berbagai sumber data OLTP ke sistem data OLAPdata OLTP ke sistem data OLAP””

AsumsiAsumsi

DW DW secarasecara fisikfisik terpisahterpisah daridari seluruhseluruhkegiatankegiatan operasionaloperasional sistemsistem..DW DW mempertahankanmempertahankan data data agregatagregat dandandata data transaksitransaksi (data atomic) yang (data atomic) yang manajemennyamanajemennya terpisahterpisah daridari database database yang yang digunakandigunakan untukuntuk OLTP.OLTP.

KeuntunganKeuntungan daridari gudanggudang datadata

MeningkatkanMeningkatkan produktifitasproduktifitas pengetahuanpengetahuan parapara pekerjapekerja..MendukungMendukung seluruhseluruh data yang data yang diperlukandiperlukan oleholehpengambilpengambil keputusankeputusanMenyediakanMenyediakan data data penting yangpenting yang siapsiap diaksesdiaksesMelindungiMelindungi operasioperasi basis data basis data daridari prosesproses ad hock.ad hock.MenyediakanMenyediakan ringkasanringkasan informasiinformasi untukuntuk level level tingkattingkattinggitinggiMenyediakanMenyediakan kemampuankemampuan untukuntuk penelusuranpenelusuran informasiinformasilebihlebih dalamdalam..

KeuntunganKeuntungan ((lanjlanj..)..)

MenyediakanMenyediakan tempattempat untukuntukmengkombinasikanmengkombinasikan data data ygyg bersangkutanbersangkutandgndgn sumbersumber sumbersumber terpisahterpisah..EksplorasiEksplorasi data data menjadimenjadi lebihlebih mudahmudahuntukuntuk dilakukandilakukan..

HasilHasil diperolehdiperoleh daridari gudanggudangdata :data :

MeningkatkanMeningkatkan pengetahuanpengetahuan bisnisbisnis..MampuMampu melakukanmelakukan persainganpersaingan bisnisbisnisbahkanbahkan menjadimenjadi pemimpinpemimpin bisnisbisnis..MempertinggiMempertinggi servisservis dandan kepuasankepuasanpelangganpelangganMemberikanMemberikan fasilitasfasilitas pembuatanpembuatankeputusankeputusanMembantuMembantu mempersingkatmempersingkat prosesproses bisnisbisnis..

GudangGudang data data digunakandigunakan untukuntukorganisasiorganisasi yangyang ::

DatanyaDatanya disimpandisimpan dalamdalam sistemsistem yang yang berbedaberbedaPendekatanPendekatan yang yang digunakandigunakan oleholeh manajemenmanajemenadalahadalah berdasarkanberdasarkan informasiinformasi..MemilikiMemiliki data data besarbesar dengandengan bermacambermacam--macammacamjenisjenis penggunapenggunaMemilikiMemiliki data yang data yang samasama dengandengan representasirepresentasiberbedaberbeda dalamdalam sistemsistem yang yang berbedaberbeda..Format data yang Format data yang tidaktidak beraturanberaturan..

KomponenKomponen daridari GudangGudang DataData

PenyimpananPenyimpanan DataDataData Mart (Data Data Mart (Data PasarPasar))MetadataMetadataSistemSistem pendukungpendukung keputusankeputusan dandan sistemsisteminformasiinformasi eksekutifeksekutif..

Penyimpanandata

operasional

Gudang Data

Data Pasar

Metadata

Sistem Legal Gudang Data Personal

LegendTranformasi DataData ExpectedData Optional

Gambar: Aliran Data dan Komponen Gudang Data

KarakteristikKarakteristik UtamaUtama

Karakteristik DeskripsiSubject Oriented Datta diorganisasikan sesuai dengan kebutuhan user

Integrated Menghilangkan kerancuan dalam hal penamaan dan nilaiinformasinya

Nonvolatile Data yang disimpan dalam format read only dan tidak dapat diubaholeh user

Time Variant Data dalam rangkaian waktu, bukan data hanya pada saat tertentu

Summarized Data Operasioal dikumpulkan (diringkas) kemudian dimapping kedalam format untuk pengambilan keputusan

Large Volume Ukuran datanya besar karena pemeliharaan data yang dari waktu kewaktu

Not normalized Data dapat redundant

Metadata Data mengenai data yang disimpan untuk user dan personil gudangdata

Data sources Data berasal dari sumber internal maupun eksternal

MetadataMetadata

Chain of abstraction Chain of abstraction ContohContoh : Sofa. Sofa : Sofa. Sofa terdiriterdiri daridari …………..

AbstraksiAbstraksi sederhanasederhana daridari sebuahsebuah data.data.DW DW tanpatanpa metadata ? metadata ? MungkinkahMungkinkah ????Data Data tanpatanpa metadata metadata menjadimenjadi tidaktidak berartiberartiContohContoh::

62465652 78723 82390 2399213 92392362465652 78723 82390 2399213 923923SebuahSebuah perusahaanperusahaan X X melaporkanmelaporkan padapada 9/12/1999 9/12/1999 bahwabahwa pasarpasarperalatanperalatan mesinmesin didi Asia Asia meningkatmeningkat 33 33 persenpersen..PerusahaanPerusahaan marketing sport yang marketing sport yang terdepanterdepan : IMG 45 : IMG 45 persenpersen, , SportStarSportStar 33 33 persenpersen, Legends 16 , Legends 16 persenpersen..

Format DataFormat Data

KonsepKonsep normalisasinormalisasi data data dlmdlm sistemsistemtransaksionaltransaksional yang tersimpan databaseyang tersimpan databaserelasional merupakan hal yang harus dilakukan,relasional merupakan hal yang harus dilakukan,tetapitetapi tidaktidak untuk gudanguntuk gudang data.data.DalamDalam sistemsistem transaksionaltransaksional perhatianperhatian utamautamaadalahadalah mengeliminasimengeliminasi redundansiredundansiFilosofiFilosofi dwdw adalahadalah mengaturmengatur data data shgshg mudahmudahdigunakandigunakan dandan dapatdapat diperolehdiperoleh kembalikembali dgndgncepatcepat. . RedudansiRedudansi sangatsangat dibenarkandibenarkan..

ArsitekturArsitektur GudangGudang datadata

3 3 JenisJenis GudangGudang DataData

1.1. GudangGudang data virtual. data virtual. Membiarkan pemakai untuk melakukan akses Membiarkan pemakai untuk melakukan akses secara langsung ke dalam data operasional. secara langsung ke dalam data operasional. Disini gudang data bersifat virtual, tidak real. Disini gudang data bersifat virtual, tidak real. Gudang data virtual biasanya digunakan untuk Gudang data virtual biasanya digunakan untuk memperkecil biaya operasional dan biasnaya memperkecil biaya operasional dan biasnaya untuk mengetahui data apa yang sebenarnya untuk mengetahui data apa yang sebenarnya dicari oleh pemakai.dicari oleh pemakai.

3 Jenis Gudang Data3 Jenis Gudang Data

2.2. Gudang data terpusatGudang data terpusatSebuah penyimpanan fisik basis data tunggal Sebuah penyimpanan fisik basis data tunggal yang berisi seluruh data untuk suatu area yang berisi seluruh data untuk suatu area fungsi tertentu, departement atau divisi. fungsi tertentu, departement atau divisi. Gudang data terpusat ini biasanya dipilih jika Gudang data terpusat ini biasanya dipilih jika ada data yang dibutuhkan secara umum dan ada data yang dibutuhkan secara umum dan ada sejumlah pemakai yang telah siap ada sejumlah pemakai yang telah siap terhubung melalui jaringan computer. terhubung melalui jaringan computer. Data yang disimpan dalam gudang data ada Data yang disimpan dalam gudang data ada secara fisik dan diakses dari suatu tempat dan secara fisik dan diakses dari suatu tempat dan harus selalu dipelihara.harus selalu dipelihara.

3 Jenis Gudang Data3 Jenis Gudang Data

3.3. Gudang data terdistribusiGudang data terdistribusiSesuai dengan namanya, komponenSesuai dengan namanya, komponen--komponen dari gudang data terdistribusi komponen dari gudang data terdistribusi melalui sejumlah penyimpanan fisik basis melalui sejumlah penyimpanan fisik basis data.data.

LangkahLangkah PembuatanPembuatan DWDW

DisainDisain gudanggudang data data terlebihterlebih dahuludahulu..LakukanLakukan prosesproses ‘‘cleaningcleaning’’ dandanditransformasikanditransformasikan..HasilHasil pembersihanpembersihan dandan transformasitransformasidisimpandisimpan dalamdalam gudanggudang datadataData yang Data yang disimpandisimpan dalamdalam gudanggudang data data diperbaharuidiperbaharui secarasecara periodikperiodik

ETL (Extract,Transform,Load)ETL (Extract,Transform,Load)

Kemampuan yang perlu dimiliki oleh DW:Kemampuan yang perlu dimiliki oleh DW:Membaca dari dan mengirim data ke berbagai sumber (file Membaca dari dan mengirim data ke berbagai sumber (file teks,Excel,database relasional dsb)teks,Excel,database relasional dsb)Mampu menyesuaikan / transformasi dataMampu menyesuaikan / transformasi dataMemiliki informasi metadata dalam setiap perjalanan Memiliki informasi metadata dalam setiap perjalanan transformasinyatransformasinyaMemiliki audit log yang baikMemiliki audit log yang baikDapat meningkatkan performanya dengan scale up dan scale outDapat meningkatkan performanya dengan scale up dan scale outMudah diimplementasikanMudah diimplementasikan

PROSES diatas dibagi dalam 3 proses besar yaitu ETLPROSES diatas dibagi dalam 3 proses besar yaitu ETL

Sistem Kerja Data WarehouseSistem Kerja Data Warehouse

Database

Data Warehouse

Dokumen Text / Excel

Mapping Data

VendorUser

SKEMABintang

DatabaseOLAP

Mapping Data

IT

The Seven Deadly Sins of Data The Seven Deadly Sins of Data Warehouse Implementation Warehouse Implementation

(Denis (Denis KozarKozar, 1997), 1997)PadaPada saatsaat membangunmembangun gudanggudang data, data data, data akanakan datangdatangKesalahanKesalahan dalamdalam membuatmembuat kerangkakerangka arsitekturarsitektur gudanggudang datadataKetidakmampuanKetidakmampuan dalamdalam menyusunmenyusun asumsiasumsiKesalahanKesalahan dalamdalam penentuanpenentuan metodologimetodologi dandan peralatanperalatan yang yang digunakandigunakanKesalahanKesalahan dalamdalam siklussiklus hiduphidup gudanggudang datadataKecenderunganKecenderungan dalamdalam membatalkanmembatalkan data yang data yang mengandungmengandungperbedaanperbedaan..MenggagalkanMenggagalkan dokumendokumen yang yang mengandungmengandung kesalahankesalahan padapadasaatsaat membuatmembuat project DW project DW pertamapertama kali.kali.

TIM TIM GudangGudang DataDataDatabase designer Orang yang membangun dan merancang gudang

data

Data Modeller Orang yang mengintegrasikan gudang data yang baru dengan yang sudah data

Developer Orang yang menempatkan integrasi yang baru danmentransformasikan ke program

System Manager Orang yang menyeleksi hardware dan software yang dibutuhkan untuk membangun gudang data

Systems Programmer Orang yang menangani rencana kapasitas danpenyelarasan gudang data

End User Orang yang harus memahami permasalahan-permasalahan yang akan ditangani seperti sales manager, ahli keuangan dll.