BLOK 2 –PRZYKŁADOWY SYSTEM BADAŃ I DIAGNOZOWANIA · 2018. 2. 19. · 1. Pliki tekstowe z pomiarów MLB (ASC, KML). a. Przekazywane wsadowo do Repozytorium Danych Źródłowych,

Copyr i g ht © 2015, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

BLOK 2 – PRZYKŁADOWY SYSTEM

BADAŃ I DIAGNOZOWANIA

INSTYTUT ŁĄCZNOŚCI, WARSZAWA 2015-11-03

Copyr i g ht © 2015, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

WPROWADZENIE DO PSBD

Copyr i g ht © 2015, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

CZYM JEST PSBD?

Przykładowy System Badań i Diagnozowania

jest przykładem implementacji systemu przetwarzania danych i

raportowania.

Operuje na danych Instytutu Łączności w postaci plików

tekstowych i relacyjnej bazy danych.

Silnikiem przetwarzania danych jest SAS i język 4GL.

Copyr i g ht © 2015, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

PODSTAWOWE KOMPONENTY PLATFORMY

• Warstwa danych

• Przygotowanie danych

• Analizy danych

• Wizualizacja danych

• Modelowanie danych

• Raportowanie

Copyr i g ht © 2015, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

KOMPONENTY PSBD

W skład PSBD wchodzą:

1. Serwer obliczeniowy SAS.

a. Oprogramowanie SAS v9.4.

b. System Operacyjny: Red Hat Enterprise Linux v7.

2. Repozytorium Operacyjne.

a. Baza danych PostgreSQL v9.4.

b. System Operacyjny: Red Hat Enterprise Linux v7.

3. Dane źródłowe Instytutu Łączności.

a. Pliki tekstowe (ASC, KML) z danymi pomiarów MLB.

b. Baza danych MySQL z pomiarami.

Copyr i g ht © 2015, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

PSBD W INFRASTRUKTURZE WIRTUALNEJ

Copyr i g ht © 2015, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

PRZETWARZANIE DANYCH W PSBD

Copyr i g ht © 2015, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

OD POMYSŁU DO REALIZAJCI

Koncepcja nowego projektu / badania

Wyniki

Składowanie wyników

Zamówienie systemu przetwarzającego dane

Analiza i obróbka danych

Copyr i g ht © 2015, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

PRZEPŁYW DANYCH W PSBD

Badanie WynikiRepozytorium

Danych Źródłowych

PSBD (ETL)

Repozytorium

OperacyjneAnalizy Raporty

http://bsnyderblog.blogspot.com/2014/09/installing-postgresql-94-beta2-on-mac.htmlhttp://bsnyderblog.blogspot.com/2014/09/installing-postgresql-94-beta2-on-mac.htmlhttp://bsnyderblog.blogspot.com/2014/09/installing-postgresql-94-beta2-on-mac.htmlhttp://bsnyderblog.blogspot.com/2014/09/installing-postgresql-94-beta2-on-mac.htmlhttp://blogs.sas.com/content/sasdummy/2013/08/06/eg-versions-through-years/http://blogs.sas.com/content/sasdummy/2013/08/06/eg-versions-through-years/http://www.sas.com/en_us/industry/higher-education/on-demand-for-academics.htmlhttp://www.sas.com/en_us/industry/higher-education/on-demand-for-academics.htmlhttp://www.youtube.com/watch?v=OgVYheFSCJwhttp://www.youtube.com/watch?v=OgVYheFSCJw

Copyr i g ht © 2015, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

DANE PRZETWARZANE W PSBD

1. Pliki tekstowe z pomiarów MLB (ASC, KML).

a. Przekazywane wsadowo do Repozytorium Danych

Źródłowych, pobierane są przez procesy ETL.

b. Mogą być w formie skompresowanej (Gzip).

2. Pomiary przepustowości zapisane w tabelach bazy

MySQL.

a. Pobierane cyklicznie ze źródłowej bazy danych przez

procesy ETL.

Copyr i g ht © 2015, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

WYNIKI PRZETWARZANIA DANYCH

1. Repozytorium Danych Operacyjnych (DWH).

2. Agregaty na potrzeby raportowania.

3. Raporty na danych.

4. Wielowymiarowa kostka OLAP.

Copyr i g ht © 2015, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

PRZEPŁYW DANYCH W PSBD

Raporty

Kostka OLAP

Agregaty

DIVA

OCM

DICM

EMCMProjekt A

Projekt B

PSBD

Repozytorium Danych

Źródłowych

ASC, KML

(SCP)

MySQL

(WS/HTTS/FTP/etc.)

inne systemy

(ACCESS to MySQL)

(NFS)

(NFS)

(NFS)

PostgreSQL

(ACCESS to PostgreSQL)

Copyr i g ht © 2015, SAS Ins t i tu t e Inc . A l l r ights reser ve d .

LIVE DEMO

Badanie WynikiRepozytorium

Danych Źródłowych

PSBD (ETL)

Repozytorium

OperacyjneAnalizy Raporty

Copyr i g ht © 2015, SAS Ins t i tu t e Inc . A l l r ights reser ve d .