upravljalski informacijski sistemiljupco/UIS/uis-05.pdf · 2007. 11. 23. · modeliranje podatkov: ... UIS – uvod v UIS Fakulteta za upravo, 2005 več relacij in povezave med njimi

UIS – uvod v UIS Fakulteta za upravo, 2005

upravljalski informacijski sistemi

5. predavanje:načrtovanje podatkovnega skladišča

Ljupčo Todorovskihttp://www-ai.ijs.si/~ljupco/UIS/

UIS – uvod v UIS Fakulteta za upravo, 2005

vsebina predavanja

● modeliranje podatkov:– od E-R (modelov PB)– do večdimenzijskih (modelov PS)

● transformacija podatkov v informacije:– kako od poslovnih IS priti do– podatkovnega skladišča

● vprašanja in odgovori

UIS – uvod v UIS Fakulteta za upravo, 2005

več relacij in povezave med njimi

● podatki o študentih, predmetih in opr. izpitih:

VŠŠ datum rojstva naslov

123456 Janez Horvat 7. marec 1985 ...

123457 Mojca Novak 11. april 1985 ...

ime in priimek

ŠP naslov letnik predavatelj

1 Statistika 1 ...

2 Informatika 1 ...

VŠŠ ŠP datum ocena

123456 1 ... 8

123456 2 ... 7

123457 2 ... 9

UIS – uvod v UIS Fakulteta za upravo, 2005

primer enostavnega E-R modela

ŠTUDENT

#VŠŠ

ime in priimek

datum rojstva

naslov

PREDMET

#ŠP

naslov

letnik

predavatelj

OPRAVLJEN_IZPIT

#VŠŠ

#ŠP

datum

ocena

Entitete

Povezave

ŠTUDENT

#VŠŠ

ime in priimek

datum rojstva

naslov

PREDMET

#ŠP

naslov

letnik

predavatelj

OPRAVLJEN_IZPIT

#VŠŠ

#ŠP

datum

ocena

UIS – uvod v UIS Fakulteta za upravo, 2005

komponente E-R modela (1): entiteta

● entiteta– je oseba, mesto, predmet ali dogodek– o katerem shranjujemo podatke– lahko je fizične ali abstraktne narave

● TIP entitete predstavlja vse PRIMERKE entitete– primerek entitete ŠTUDENT: Mojca Novak– tip entitete ŠTUDENT: vsi študenti FU

UIS – uvod v UIS Fakulteta za upravo, 2005

komponente E-R modela (2): atribut

● atribut– skupna lastnost vseh primerkov entitete

● atributi entitete ŠTUDENT:– elementarni (ime in priimek, vpisna številka)– sestavljeni (naslov: ulica, številka, pošta, ...)

● ključni atribut:– atribut, ki omogoča enolično določanje primerka– VŠŠ (vpisna številka študenta), EMŠO, ...

UIS – uvod v UIS Fakulteta za upravo, 2005

komponente E-R modela (3): povezava

● povezava– določa odnos med tipi entitet

● TIP povezave predstavlja vse PRIMERKE:– primerek povezave: študent Janez Horvat je

OPRAVIL IZPIT PRI PREDMETU Informatika– tip povezave:

OPRAVIL_IZPIT, IZPIT_PRI_PREDMETU

● povezava je ponavadi BINARNA (druge stopnje):– povezuje DVE entiteti

UIS – uvod v UIS Fakulteta za upravo, 2005

lastnosti povezav (1): kardinalnost

● kardinalnost povezave– določa število primerkov povezav– v kateri lahko sodeluje neki primerek entitete

● pri binarnih povezavah poznamo tri razmerja:– 1:1 – redko, ker take entitete lahko združimo– 1:N – najbolj običajno

● EN študent opravi VEČ izpitov● pri ENEM predmetu opravi izpit več ŠTUDENTOV

– M:N – največkrat razdvojimo (primer...)

UIS – uvod v UIS Fakulteta za upravo, 2005

odstranjevanje 1:1 povezav

● združevanje entitet:

ŠTUDENT

#VŠŠ

ime in priimek

datum rojstva

NASLOV

#VŠŠ

ulica

številka

pošta

...

ŠTUDENT

#VŠŠ

ime in priimek

datum rojstva

naslov...

UIS – uvod v UIS Fakulteta za upravo, 2005

pretvorba N:M povezav

● podatki o predmetih in predavateljih:

PREDMET

#ŠPREDMETA

naslov

letnik

PREDAVATELJ

#ŠP

ime in priimek

datum rojstva

naslov

naziv

PREDMET

#ŠPREDMETA

naslov

letnik

PREDAVA

#ŠPREDMETA

#ŠPREDAVATELJA

od datuma

do datuma

PREDAVATELJ

#ŠPREDAVATELJA

ime in priimek

datum rojstva

naslov

naziv

UIS – uvod v UIS Fakulteta za upravo, 2005

primeri 1:N povezav

ŠTUDENT

#VŠŠ

ime in priimek

datum rojstva

naslov

PREDMET

#ŠP

naslov

letnik

predavatelj

OPRAVLJEN_IZPIT

#VŠŠ

#ŠP

datum

ocena

ŠTUDENT

#VŠŠ

ime in priimek

datum rojstva

naslov

PREDMET

#ŠPREDMETA

naslov

letnik

predavatelj

OPRAVLJEN_IZPIT

#VŠŠ

#ŠP

datum

ocena

PREDAVA

#ŠPREDMETA

#ŠPREDAVATELJA

od datuma

do datuma

PREDAVATELJ

#ŠPREDAVATELJA

ime in priimek

datum rojstva

naslov

naziv

UIS – uvod v UIS Fakulteta za upravo, 2005

lastnosti povezav (2)

● eksistenčna odvisnost:– obstoj entitete odvisen od obstoja druge entitete– oddelek odvisen od obstoja šole

● identifikacijska odvisnost:– primerke ene entitete ne moremo identificirati

brez entitet drugih tipov– OPRAVLJEN_IZPIT odvisen od entitet PREDMET in

ŠTUDENT

UIS – uvod v UIS Fakulteta za upravo, 2005

lastnosti povezav (3)

● obvezne povezave:– primerek ene entitete mora biti povezan– VSAJ Z ENIM primerkom druge– povezava PREDMET in PREDAVATELJ– vsak predmet ima vsaj enega predavatelja

● neobvezna povezava:– ŠTUDENT in OPRAVLJEN_IZPIT– študenti, ki še niso naredili nobenega izpita– predmeti, katerih izpit nobeden še ni opravil

UIS – uvod v UIS Fakulteta za upravo, 2005

E-R modeli standard za PB

● E-R slabosti:– pomanjkanje enoznačne matematične formulacije– ni enotnega postopka za modeliranje– ne podpira vse faze modeliranja– ni standardiziran

● vseeno “standard” za PB, predvsem ker:– podajajo uporabniški pogled na podatke

UIS – uvod v UIS Fakulteta za upravo, 2005

kaj pa model podatkov v PS?

UIS – uvod v UIS Fakulteta za upravo, 2005

več-nivojska organizacija IS

PIS:prodaja

PIS:kadrovanje

WWW:konkurenca

PIS:...

PERIODIČNA PRETVORBA: - selekcija - integracija - sumarizacija

podat

kovn

o s

klad

išče

področnoPS (1)

področnoPS (2)

UIS – uvod v UIS Fakulteta za upravo, 2005

Gorenjska 53.000.000,00 25.200.000,00 27.000.000,00

Notranjska 17.000.000,00 32.100.000,00 19.000.000,00

Štajerska 25.000.000,00 48.000.000,00 32.300.000,00

Pijača Hrana Ostalo

primer večdimenzijske PB (data cube)

Gorenjska 53.000.000,00 25.200.000,00 27.000.000,00

Notranjska 17.000.000,00 32.100.000,00 19.000.000,00

Štajerska 25.000.000,00 48.000.000,00 32.300.000,00

Pijača Hrana Ostalo

Gorenjska 42.500.000,00 39.100.000,00 28.000.000,00

Notranjska 17.000.000,00 32.100.000,00 19.000.000,00

Štajerska 25.000.000,00 48.000.000,00 32.300.000,00

Pijača Hrana Ostalo2004

20032002

prostorskadimenzija

dimenzija:produkt

časovnadimenzija

vrednostni atribut:znesek prodaje

UIS – uvod v UIS Fakulteta za upravo, 2005

modeliranje podatkov v PS: koraki

● visoko nivojski model podatkov

– na nivoju celotnega podjetja organizacije– ponavadi množica E-R modelov

● model transformacije

– podatkov iz PIS v informacije– sestavljen iz pravil za transformacijo

● modeli oddelčnih PS

– večdimenzijski (zvezdasti) modeli podatov

UIS – uvod v UIS Fakulteta za upravo, 2005

1. korak: visoko nivojski pregled različnih vidikov poslovanja

● različni vidiki poslovanja in njihove povezave– brez detajlnih podatkovnih modelov– 2. predavanje

stranka

naročilo

delo

odda

zahteva

dostavo

zahteva

produkt

zahteva

UIS – uvod v UIS Fakulteta za upravo, 2005

2. korak: detajlni E-R modeli

● za vsak vidik poslovanja:– (ponavadi E-R) podatkovni model– ter ustrezni poslovni/transakcijski IS– 1. del tega predavanja

UIS – uvod v UIS Fakulteta za upravo, 2005

3. korak: načrtovanje transformacij

● transformacije podatkov v informacij:– iz poslovnih (transakcijskih) IS– v podatkovno skladišče

● specifikacija/načrt transformacij– določa tudi načrt podatkov v PS

● 8 različnih vrst transformacij– pregled pozneje

UIS – uvod v UIS Fakulteta za upravo, 2005

4. korak: zvezdasti modeli OPS

● za vsako oddelčno PS:– določiti model podatkovne kocke (data-cube)– zvezdasti modeli

● zvezdasti model podoben E-R modelu:– loči med dvema tipoma entitet– dimenzijskih ter vsebinskih/vrednostnih

● primer pozneje

UIS – uvod v UIS Fakulteta za upravo, 2005

transformacija (1):brisanje podatkov operativnega značaja

● pregled podatkovnega modela s ciljem:– identifikacije in– brisanja “operativnih” podatkov (atributov),– ki niso pomembni za odločanje

● razlog: zmanjševanje obsega podatkov v PS– osredotočamo se na podatke/informacije– pomembne za proces odločanja

UIS – uvod v UIS Fakulteta za upravo, 2005

transformacija (1):brisanje podatkov operativnega značaja

RAČUN (PB)

#ŠRAČUNA

datum

stranka

naslov stranke

opomba

opis

pogoji

RAČUN (PS)

#ŠRAČUNA

datum

stranka

naslov stranke

majhna verjetnostuporabe za odločanje

UIS – uvod v UIS Fakulteta za upravo, 2005

transformacija (2):dodajanje časovnih atributov

● dodajanje časovnega atributa– tam kjer ga prej ni bilo,– je pomemben za pregled “zgodovinskih” podatkov– in lahko predstavlja:

● datum posnetka operativnih podatkov● obdobje veljavnosti operativnih podatkov

● razlog: ohranjanje zgodovine razvoja podatkov

– pomembno za časovne preglede

UIS – uvod v UIS Fakulteta za upravo, 2005

transformacija (2):dodajanje časovnih atributov

STRANKA (PB)

#ŠSTRANKE

ime in priimek

datum rojstva

stan

kreditni status

STRANKA (PS)

#ŠSTRANKE

#datum posnetka

ime in priimek

datum rojstva

stan

kreditni status

dodatni časovniatribut (ključ)

UIS – uvod v UIS Fakulteta za upravo, 2005

transformacija (3):dodajanje izvedenih podatkov

● dodajanje izvedenih podatkov:– podvajanje podatkov (!)– NEPRAVILNO pri modelih poslovnih IS– PRAVILNO pri PS

● razlog:– večja hitrost poizvedovanja in predvsem– izračuna sumarnih/agregiranih podatkov

UIS – uvod v UIS Fakulteta za upravo, 2005

transformacija (3):dodajanje izvedenih podatkov

RAČUN_POSTAVKA (PB)

#ŠRAČUNA

#ŠPOSTAVKE

šifra produkta

količina

cena na enoto

izvedeni podatki,ki jih pogosto uporabljamoa izračunamo samo enkrat

RAČUN_POSTAVKA (PS)

#ŠRAČUNA

#ŠPOSTAVKE

šifra produkta

količina

cena na enoto

celotni znesek

obračunani DDV

UIS – uvod v UIS Fakulteta za upravo, 2005

transformacija (4):povezav v podatkovne artefakte

● posnemanje/arhiviranje povezav– ki se spreminjajo skozi čas– hočemo posnetek stanja v trenutku,– ko je operativni podatek nastal

● razlog:– tako kot pri dodajanju časovnih atributov– ohranjanje “zgodovine” in s tem– omogočanje časovnih pregledov

UIS – uvod v UIS Fakulteta za upravo, 2005

transformacija (4):povezav v podatkovne artefakte

PRODUKT (PB)

#ŠPRODUKTA

opis

enota

DOBAVITELJ_ZA_PRODUKT (PB)

#ŠPRODUKTA

#ŠDOBAVITELJA

prioriteta (primarni?)

PRODUKT (PS)

#ŠPRODUKTA

#datum posnetka

opis

enota

ŠPRIMARNEGA_DOBAVITELJA

artefaktpovezave

UIS – uvod v UIS Fakulteta za upravo, 2005

transformacija (5):agregacije in različne stopnje detajlov

● podvojeni podatki– ki podajajo povzetke osnove podatke– po različnih dimenzijah

● razlog:– tako kot pri izvedenih podatkih– večja hitrost poizvedovanja in predvsem– izračuna sumarnih/agregiranih podatkov

UIS – uvod v UIS Fakulteta za upravo, 2005

transformacija (5):agregacije in različne stopnje detajlov

RAČUN_POSTAVKA (PB)

#ŠRAČUNA

#ŠPOSTAVKE

šifra produkta

količina

cena na enoto

RAČUN (PB)

#ŠRAČUNA

datum

ŠKUPCA

naslov kupca

ŠPRODAJALCA

RAČUN_PRODUKT_MESEC (PS)

#leto/mesec

#ŠPRODUKTA

prodana količina

skupen znesek

UIS – uvod v UIS Fakulteta za upravo, 2005

transformacija (6):združevanje podatkov iz različnih tabel

● nadaljnja de-normalizacija podatkov– obratno kot pri podatkovnem modeliranju– združevanje več povezanih tabel v eno

● razlog:– gradnja podatkovnih kock– in lažje poizvedovanje (OLAP)

UIS – uvod v UIS Fakulteta za upravo, 2005

transformacija (6):združevanje podatkov iz različnih tabel

RAČUN_POSTAVKA (PB)

#ŠRAČUNA

#ŠPOSTAVKE

šifra produkta

količina

cena na enoto

RAČUN (PB)

#ŠRAČUNA

datum

ŠKUPCA

naslov kupca

ŠPRODAJALCA

RAČUN (PS)

#ŠRAČUNA

#ŠPOSTAVKE

datum

ŠKUPCA

naslov kupca

ŠPRODAJALCA

šifra produkta ...

UIS – uvod v UIS Fakulteta za upravo, 2005

transformacija (7):kreiranje podatkovnih polj

● razlog:– hitrejši dostop do skupine podatkov,– do katere pogosto dostopamo

PRORAČUN (PB)

#ŠPRORAČUNA

leto/mesec

znesek

PRORAČUN (PS)

#ŠPRORAČUNA

#leto

znesek_januar

znesek_februar

...

znesek_december

UIS – uvod v UIS Fakulteta za upravo, 2005

transformacija (8):ločevanje podatkov glede stabilnosti

● razlog:– lažje vzdrževanje in transformacija v PS– lokalizacija sprememb

STRANKA (PS)

#ŠSTRANKE

#datum posnetka

ime in priimek

datum rojstva

stan

kreditni status STRANKA_1 (PS)

#ŠSTRANKE

#datum posnetka

datum rojstva

nespremenljivi

STRANKA_2 (PS)

#ŠSTRANKE

#datum posnetka

stan

redkospremenljoči se ...

UIS – uvod v UIS Fakulteta za upravo, 2005

OLAP vs. SQL: povzetek

● SQL/relacijske PB:– hitro zapisovanje podatkov brez podvajanja– enostavno in hitro ažuriranje podatkov– poizvedbe so vnaprej določene (programer)– sumarizacija podatkov počasna

● OLAP/večdimenzijske PB:– podatki se vseskozi podvajajo– počasno ažuriranje podatkov– ad-hoc interaktivne poizvedbe in sumarizacije

UIS – uvod v UIS Fakulteta za upravo, 2005

podatkovna kocka: zvezdasti model

PRODAJA_STRANKAM (PS)

#ŠPRODUKTA

#ŠPRODAJALCA

#ŠKUPCA

naslov kupca

#ŠRAČUNA

#ŠPOSTAVKE

datum prodaje

količina

cena

znesek

DDV

vrednostni atributi

PRODUKT (PS)

#ŠPRODUKTA

opis produkta

#ŠKATEGORIJE_1

opis kategorije_1

#ŠKATEGORIJE_2

opis kategorije_2

KUPEC (PS)

#ŠKUPCA

#datum posnetka

ime in priimek

zakonski stan

starost

kreditni status

ČAS (PS)

#datum prodaje

leto

tromesečje

mesec

teden

NASLOV (PS)

ulica in številka

mesto

regija

država

UIS – uvod v UIS Fakulteta za upravo, 2005

splošni zvezdasti model

TABELApovezava med dimenzijskimi in vrednostnimi atributi (pivot tabela v EXCELu)

DIMENZIJA_1

DIMENZIJA_2

DIMENZIJA_3 DIMENZIJA_4

UIS – uvod v UIS Fakulteta za upravo, 2005

pregled virov

● [Laudon and Laudon 2004]:Management Information Systems

– Managing Data Resources (poglavje 7)

● [Kovačič in Vintar 1994]:Načrtovanje in gradnja IS

● dw.ittoolbox.com

UIS – uvod v UIS Fakulteta za upravo, 2005

nekaj primerov izpitnih vprašanj

● Kaj je E-R model:– katere so njegove sestavne komponente?

● Kakšne tipe povezav v E-R modelu poznamo:– kaj je kardinalnost povezave?– kaj so obvezne povezave?

● Naštej in opiši štiri tipe transformacij– iz E-R model v model podatkovnega skladišča

UIS – uvod v UIS Fakulteta za upravo, 2005

hvala za pozornostčas za vprašanja in odgovore

http://www-ai.ijs.si/~ljupco/UIS/