4. predavanje: podatkovna skladišča (od podatkov do informacij)ljupco/UIS/uis-04.pdf · 2007-11-23 · UIS – uvod v UIS Fakulteta za upravo, 2005 datoteka datoteka je množica

UIS – uvod v UIS Fakulteta za upravo, 2005

upravljalski informacijski sistemi

4. predavanje: podatkovna skladišča(od podatkov do informacij)

Ljupčo Todorovskihttp://www-ai.ijs.si/~ljupco/UIS/


vsebina predavanja

● predstavitev (organizacija) podatkov:– od bitov– do relacijske baze podatkov

● dostop do podatkov/informacij:– od relacijske baze podatkov– do podatkovnih skladišč

● vprašanja in odgovori


računalniška predstavitev podatkov

datoteka

zapis

polje polje

byte

bit bit bit ...

... byte

bit bit ...

...

zapis

polje polje

byte

bit bit bit ...

...


bazična raven: bit/byte

● bit – osnovna (najmanjša) enota informacije

● skupina 8 bitov tvori byte (bajt):– beseda – tipično 32 ali 64 bitov

● omogoča zapis enega znaka (A; ž; 0; 9)– ASCII, UNICODE (www.unicode.org)

● ali številke (100; 3,14159)– dvojiški zapis celih števil– zapis plavajoče vejice (IEEE floating point standard)


polje, zapis, entiteta

● polje je logična skupina byteov (besed)– ime in priimek: Janez Novak– datum rojstva: 7. marec 1975– vpisna številka: 123456

● zapis je logična skupina povezanih polj:– študent:

123456, Janez Novak, 7. marec 1975– predstavlja entiteto, t.j., osebo, mesto, predmet

ali dogodek o katerem shranjujemo podatke


datoteka

● datoteka je množica sorodnih zapisov– oz. zapisov, ki se nanašajo na isto entiteto– posamezna polja imenujemo atributi

● strukturirani (tabelarični) podatki– v datoteke lahko shranjujemo tudi nestrukturirane

podatke (besedila, slike, zvočne zapise, ...)

atributi: datum rojstva naslov

1. zapis: 123456 Janez Horvat 7. marec 1985 ...

2. zapis: 123457 Mojca Novak 11. april 1985 ...

vpisna številka

ime in priimek


zakaj ena datoteka ni dovolj?

● recimo da želimo zapisati podatke o:– študentih– in opravljenih izpitih

● problem: različno število opravljenih izpitov– razdvojimo študente in opravljene izpite

datum rojstva naslov opravljeni izpiti

Janez Horvat 7. marec 1985 ...

Mojca Novak 11. april 1985 ... Informatika, 1. letnik, 9

ime in priimek

Statistika, 1. letnik, 8; Informatika, 1. letnik, 7


več datotek in povezave med njimi

● podatki o študentih in opr. izpitih:

● problem – podvajanje podatkov o predmetih– razdvojimo predmete in opravljene izpite

VŠŠ datum rojstva naslov

123456 Janez Horvat 7. marec 1985 ...

123457 Mojca Novak 11. april 1985 ...

ime in priimek

VŠŠ letnik predavatelj datum ocena

123456 Statistika 1 ... ... 8

123456 Informatika 1 ... ... 7

123457 Informatika 1 ... ... 9

naslov predmeta


več datotek in povezave med njimi

● podatki o študentih, predmetih in opr. izpitih:




ime in priimek

ŠP naslov letnik predavatelj

1 Statistika 1 ...

2 Informatika 1 ...

VŠŠ ŠP datum ocena

123456 1 ... 8

123456 2 ... 7

123457 2 ... 9


shranjevanje in dostop do datotek

● čas pred IS:– shranjevanje v datotečnem sistemu

● težave:– podvajanje vmesnikov za dostop– podvajanje podatkov in (posledično)

● neažurnost● izolacija/neskladje – različne oblike/šifre

– (ne-)varnost – pomanjkanje kontrole dostopa– odvisnost programov od zapisa podatkov


problem podatkovne integracije

● različni zapisi istega podatka– spol: ženski/moški, Ž/M, F/M, ½– datum: 7. marec 2005, 7.3.2005, 3/7/2005

● neažurnost podatkov– sprememba naslova, telefonske številke

● težave pri dostopnosti podatkov, nefleksibilnost


problem podatkovne integracije

študenti

študentskapisarna

profesorji predmeti izpiti

računovodstvo

študenti(izredni) profesorji izpiti oprema


rešitev: podatkovne baze

● podatkovna baza:– množica podatkov organizirana tako– da ponuja (poenotene) podatke– večjemu številu programov hkrati

● uporabniški vidik:– vsi podatki na enem mestu– čeprav so lahko prostorsko zelo oddaljeni

● sistem za upravljanje podatkovne baze


sistem za upravljanje PB (SUPB)

● ponuja enotni vmesnik za dostop do podatkov– pa tudi za izvajanje ostalih operacij nad podatki– zmanjša odvisnost programov od podatkovne

organizacije

● razreši problem podatkovne integracije:– vsi podatki enotno zapisani– se ne podvajajo (če je podatkovni model v redu)– in so posledično vedno ažurni


SUPB in integracija podatkov

študenti

SUPB

profesorji predmeti izpiti

računovodstvo

oprema

študentskapisarna


SUPB: sestavne komponente

● jezik za specifikacijo podatkovnega modela– vsebina in struktura podatkovne baze

● jezik za obdelovanje podatkov– podpora za izvajanje vseh osnovnih operacij:

dodajanje, brisanje, popravljanje in dostop– najbolj pogosto: SQL (structured query language)

● podatkovni slovar– definicija vseh podatkovnih elementov (polj)


tipi SUPB (1): hierarhični

● hierarhični SUPB – zapisi so hierarhično urejeni

osnovnipodatki

študent:Janez Horvat

predmetiizpiti

osebnipodatki

kontaktnipodatki

Informatika Statistika

rojen:7. marca 85

spol:moški


tipi SUPB (2): omrežni

● omrežni SUPB – zapisi so povezani z omrežjem povezav

● primer povezave: opravljeni izpiti

Informatika Statistika

Janez Horvat Mojca Novak


tipi SUPB (3): relacijski

● relacijski SUPB:– vsaka datoteka je tabela oz. relacija– relacija sestavljena iz zapisov (tuples)– jezik za obdelavo podatkov – SQL– najbolj pogosto uporabljen SUPB

● različni ponudniki relacijskih SUPB:– Oracle, Oracle Lite (za dlančnike)– Microsoft SQL server, Microsoft Access– IBM DB2


primer relacijske PB




ime in priimek


1 Statistika 1 ...

2 Informatika 1 ...


123456 1 ... 8

123456 2 ... 7

123457 2 ... 9

stolpci(polja/atributi)

tabela(relacija)

vrstica(zapis)


SQL: structured query language

● enostaven jezik, ki sloni na treh osnovnih operacijah:– SELECT – izbira zapisov (vrstic) iz relacije– JOIN – združevanje več relacij v eno– PROJECT – izbira polj (stolpcev) iz relacije

● primer – izdelava poročila o opravljenih izpitih– ime in priimek izbranega študenta– seznam opravljenih izpitov z datumi in ocenami


SQL: primer poizvedovanja (1)

● 1. korak – združevanje relacij (JOIN)VŠŠ datum rojstva naslov



ime in priimek


1 Statistika 1 ...

2 Informatika 1 ...


123456 1 ... 8

123456 2 ... 7

123457 2 ... 9

VŠŠ ime in priimek ŠP datum ocena

123456 Janez Horvat ... 1 Statistika ... 8

123456 Janez Horvat ... 2 Informatika ... 7

123457 Mojca Novak ... 2 Informatika ... 9

ŠTUDENT.naslov

PREDMET.naslov



● 2. korak – izbira vrstic (SELECT)




123457 Mojca Novak ... 2 Informatika ... 9

ŠTUDENT.naslov

PREDMET.naslov




ŠTUDENT.naslov

PREDMET.naslov



● 3. korak – izbira stolpcev (PROJECT)




ŠTUDENT.naslov

PREDMET.naslov

ime in priimek datum ocena

Janez Horvat ... Statistika ... 8

Janez Horvat ... Informatika ... 7

ŠTUDENT.naslov

PREDMET.naslov


SQL: primer ukaza

● SELECTŠTUDENT.ime_in_priimek,ŠTUDENT.naslov,PREDMET.naslov,OPRAVLJEN_IZPIT.datum,OPRAVLJEN_IZPIT.ocena

FROMŠTUDENT, PREDMET, OPRAVLJEN_IZPIT

WHEREŠTUDENT.VŠŠ = OPRAVLJEN_IZPIT.VŠŠ ANDPREDMET.ŠP = OPRAVLJEN_IZPIT.ŠP ANDŠTUDENT.VŠŠ = 123456


SQL: izvajanje ukaza po korakih

● SELECTŠTUDENT.ime_in_priimek,ŠTUDENT.naslov,PREDMET.naslov,OPRAVLJEN_IZPIT.datum,OPRAVLJEN_IZPIT.ocena

FROMŠTUDENT, PREDMET, OPRAVLJEN_IZPIT

WHEREŠTUDENT.VŠŠ = OPRAVLJEN_IZPIT.VŠŠ ANDPREDMET.ŠP = OPRAVLJEN_IZPIT.ŠP ANDŠTUDENT.VŠŠ = 123456

PROJECT

JOIN

SELECT


SQL in relacijske PB:prednosti in slabosti

● prednosti:– enostaven za programerja– sloni na dobri teoretični podlagi– minimalen nabor osnovnih operacij– enostavna nadgradnja podatkovnega modela

● slabosti:– zelo okoren za uporabnika– ne omogoča interaktivne “ad-hoc” poizvedbe– poskusi izboljšav – QBE (query by example)


primer zapletene uporabe SQL (1)naslov telefon regija

1 ..., Maribor 02... Štajerska

2 ..., Kranj 04... Gorenjska

3 ..., Bled ... Gorenjska

4 ..., Ljubljana 01... Notranjska

številka trgovine

opis kategorija proizvajalec

1234 zbrinc hrana ...

1235 refošk pijača ...

1236 cviček pijača ...

šifra izdelka

ŠT ŠI datum količina znesek

1 1234 01/03/05 250 670,00

1 1235 01/03/05 1 1.370,00

4 1236 02/03/05 2 1.780,00

2 1235 02/03/05 4 5.480,00


primeri zapletenih poizvedb

● koliko pijače smo prodali na Gorenjskem lani?– pregled po mesecih za leto 2004?– primerjava med januarjem 2004 in 2005?– katera pijača se je najbolj prodajala?

● primerjava celotne prodaje po regijah– v letu 2004– kaj pa januarja 2004– primerjava z januarjem 2005


rešitev: večdimenzijske PB

● bolj pregledna predstavitev podatkov:– bližja predstavitvam v preglednicah (EXCEL)– omogoča interaktivne “ad-hoc” poizvedbe– kot so primeri na prejšnji prosojnici

● podatki shranjeni v preglednice– dva tipa atributov

● dimenzijski (časovni, prostorski)● vrednostni

– podatkovne kocke (data cubes)


Gorenjska 53.000.000,00 25.200.000,00 27.000.000,00

Notranjska 17.000.000,00 32.100.000,00 19.000.000,00

Štajerska 25.000.000,00 48.000.000,00 32.300.000,00

Pijača Hrana Ostalo

primer večdimenzijske PB (data cube)

Gorenjska 53.000.000,00 25.200.000,00 27.000.000,00

Notranjska 17.000.000,00 32.100.000,00 19.000.000,00

Štajerska 25.000.000,00 48.000.000,00 32.300.000,00

Pijača Hrana Ostalo

Gorenjska 42.500.000,00 39.100.000,00 28.000.000,00

Notranjska 17.000.000,00 32.100.000,00 19.000.000,00

Štajerska 25.000.000,00 48.000.000,00 32.300.000,00

Pijača Hrana Ostalo2004

20032002

prostorskadimenzija

dimenzija:produkt

časovnadimenzija

vrednostni atribut:znesek prodaje


OLAP – on-line analytical processing

● nadomestek za SQL pri večdimenzijskih PB

● on-line– interaktivno ad-hoc poizvedovanje

● analytical processing– vsebinsko (in ne tehnično) poizvedovanje– odgovor na vprašanja uporabnikov, a ne

programerjev

● osnovne operacije: “vrtanje” (drill up and down)


OLAP: primer – prodaja (1)

Dimenzije

Leto 2004

Regije vse

Produkti vsi

SKUPAJ 283.000.000,00



Dimenzije

Leto 2004

Regije vse

Produkti vsi

Gorenjska 109.600.000,00

Notranjska 68.100.000,00

Štajerska 105.300.000,00

SKUPAJ 283.000.000,00



Dimenzije

Leto 2004

Regije vse

Produkti vsi

pijača hrana ostalo SKUPAJ

Gorenjska 42.500.000,00 39.100.000,00 28.000.000,00 109.600.000,00

Notranjska 17.000.000,00 32.100.000,00 19.000.000,00 68.100.000,00

Štajerska 25.000.000,00 48.000.000,00 32.300.000,00 105.300.000,00

SKUPAJ 84.500.000,00 119.200.000,00 79.300.000,00 283.000.000,00



Dimenzije

Leto 2004

Regije vse

Produkti vsi

pijača hrana

refošk cviček SKUPAJ

Gorenjska ... ... 42.500.000,00 39.100.000,00

Notranjska ... ... 17.000.000,00 32.100.000,00

Štajerska ... ... 25.000.000,00 48.000.000,00

SKUPAJ ... ... 84.500.000,00 119.200.000,00● EXCEL vključuje orodja za OLAP: pivot tabele


OLAP vs. SQL: povzetek

● SQL/relacijske PB:– hitro zapisovanje podatkov brez podvajanja– enostavno in hitro ažuriranje podatkov– poizvedbe so vnaprej določene (programer)– sumarizacija podatkov počasna

● OLAP/večdimenzijske PB:– podatki se vseskozi podvajajo– počasno ažuriranje podatkov– ad-hoc interaktivne poizvedbe in sumarizacije


podatkovna skladišča: zakaj?

● različne prednosti in slabosti:– SQL dober za shranjevanje podatkov– OLAP dober za interaktivno analizo podatkov

● kako podpreti oboje?– rešitev: dvo-nivojska organizacija IS– 1. nivo: poslovni IS, relacijske PB– 2. nivo: podatkovna skladišča, večdimenzijske PB


dvo-nivojska organizacija IS

PIS:prodaja

PIS:kadrovanje

WWW:konkurenca

PIS:...

PRETVORBA podatkov: - selekcija - integracija/poenotenje - sumarizacija

podat

kovn

o s

klad

išče


podatkovno skladišče: definicija

● podatkovno skladišče hrani– tekoče in zgodovinske podatke,– ki so potrebni za analizo poslovanja– in upravljanje organizacije

● podatkovno skladišče hrani KOPIJE podatkov– iz poslovnih informacijskih sistemov– iz zunanjih virov (WWW, PIS kooperantov)

● SAMO ZA BRANJE: podatkov ne spreminjamo(!)


podatkovno skladišče: lastnosti (1)

● (1) poenoteni podatki– podatki iz različnih virov enotno zapisani– pregled nad podatki iz celotne organizacije

● (2) detaljni in delno sumirani podatki– tekoči podatki: ponavadi detaljni– zgodovinski podatki: sumirani

● po različnih dimenzijah (čas, prostor)– pomembno zaradi hitrega poizvedovanja


podatkovno skladišče: lastnosti (2)

● (3) dimenzije– določanje posebnih atributov – dimenzij– običajne dimenzije: čas, prostor

● (4) hierarhični vidik dimenzij– čas: leto, trimesečja, meseci, tedni, dnevi– prostor: država, regija, mesto– produkt: primer na tabli


podatkovno skladišče: prednosti

● enotni pogled na različne vidike poslovanja

● poenoten dostop do zunanjih podatkov

● možnosti za primerjalne analize– med oddelki– med panogami– med obdobji


tipi IS: podatki -> informacije -> znanje

poslovni IS (podatki)

operativna raven:prodaja, proizvodnja, finance, računovodstvo, kadrovanje

integrirani IS (informacije)

integrativna raven:združevanje podatkov, pisarniška orodja

upravljalski IS (znanje)

upravljalska raven:sistemi za podporo odločanju

upravljanje z znanjem, rudarjenje podatkov

vodstveni IS(znanje, izkušnje)

strateška raven:napovedi, dolgoročni plani

podatkovno skladišče:podatek -> informacija


pregled virov

● [Laudon and Laudon 2004]:Management Information Systems

– Managing Data Resources (poglavje 7)

● [Larry Greenfield 1995-2005]:www.dwinfocenter.org

● dw.ittoolbox.com:General Data Warehouse | What is DW? |An Introduction to DW


nekaj primerov izpitnih vprašanj

● Definicije osnovnih oblik zapisa podatkov:– polje, zapis, datoteka

● Katere so osnovne SQL operacije?

● Kaj je SUPB?● Kakšne tipe PB (SUPB) poznamo?

● Kaj je podatkovno skladišče?● Kaj omogoča OLAP – kaj so osnovne operacije?


hvala za pozornostčas za vprašanja in odgovore

http://www-ai.ijs.si/~ljupco/UIS/

4. predavanje: podatkovna skladišča (od podatkov do informacij)ljupco/UIS/uis-04.pdf · 2007-11-23 · UIS – uvod v UIS Fakulteta za upravo, 2005 datoteka datoteka je množica

Documents