www.sadasdb.com Sadas Engine è un DBMS colonnare per il data warehouse in grado di conservare e gestire enormi quantità di dati, con performance eccezionali durante le fasi di ETL e di interrogazione: da 10 a 100 volte più veloce dei DB tradizionali. Sadas Engine + QlikView: caso studio SADAS ENGINE QLIKVIEW IL CASO STUDIO IL PROBLEMA: QLIKVIEW SUI DATA WAREHOUSE QlikView è un prodotto di Business Intelligence di esplorazione dei dati per creare applicazioni personalizzate e analisi guidate. QlikView offre la possibilità di esplorare i dati, scoprire nuove conoscenze e condividerle. L'interazione tra QlikView e Sadas Engine è stata valutata su un DB di test (denominato TPCH) generato e popolato da Sadas Engine allo scopo di svolgere dei confronti. Lo stesso schema è stato adottato e replicato in quattro diversi DB TPCH di circa 2, 4, 6 e 10 GB ciascuno, d'ora in avanti denominati TPCH-2, TPCH-4, TPCH-6 e TPCH-10 rispettivamente. Su questi DB, è stata sviluppata un'applicazione di BI di test con QlikView. QlikView conserva i dati in memoria. In questo modo, può aggiornare i dati in tempo reale, consentendo esplorazioni immediate ed interattive. Ma la forza di QlikView potrebbe rappresentare anche la sua debolezza: quando si importano DB di dimensioni significative, il file .qvw può facilmente assumere una dimensione tale da intaccare (o addirittura impedire) l'utilizzo del prodotto. Sui TPCH-2 e TPCH-4, QlikView gestisce efficientemente l'intera importazione del DB, mantiene tempi di risposta buoni e l'utilizzo del software è agevole. Sul TPCH-6, la situazione diventa più critica: i tempi di risposta sono dilatati e la mole di lavoro per la macchina di test è maggiore. Infine, sul TPCH-10, l'usabilità del software è seriamente compromessa: l'esplorazione veloce ed interattiva dei dati è stressata al limite, i tempi di rappresentazione per grafici e tabelle sono ancora più lunghi, e sia l'applicazione che il sistema operativo si bloccano spesso. Questo perché, quando QlikView è impegnato nel rappresentare oggetti grafici, può essere raggiunto il limite fisico della memoria e la memoria RAM può essere facilmente saturata, risultando in un peggioramento drastico delle performance. Ciò avviene specialmente quando i filtri vengono rimossi e le espressioni devono essere ricalcolate su un grande numero di record. Sadas Engine è un marchio di Sadas Srl, QlikView è un marchio di QlikTech International AB. Caratteristiche tecniche della macchina di test Processore Memoria RAM Sistema operativo Architettura dell'applicazione di test di BI: l'applicazione è connessa a Sadas Engine tramite l'ODBC proprietario di SADAS, e il DB viene interrogato con query SQL. ODBC Istanza database Dimensione del database su disco (GB) Numero di record (milioni) Tempi medi di risposta Caricamento dati Rigenerazione grafico/tabella >30 s, con interruzioni frequenti ed estese del programma (fino a 10-15 minuti) Risposta widget di ricerca
2
Embed
Sadas Engine + QlikView: caso studioL'applicazione QlikView è riorganizzata in modo da evitare l'importazione dell'intero database TPCH-10: inizialmente, QlikView estrae da Sadas
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
www.sadasdb.com
Sadas Engine è un DBMS colonnare per il data warehouse in grado di conservare e gestire enormi quantità di dati, con performance eccezionali durante le fasi di ETL e di interrogazione: da 10 a 100 volte più veloce dei DB tradizionali.
Sadas Engine + QlikView: caso studio
SADAS ENGINE QLIKVIEW
IL CASO STUDIO
IL PROBLEMA: QLIKVIEW SUI DATA WAREHOUSE
QlikView è un prodotto di Business Intelligence di esplorazione dei dati per creare applicazioni personalizzate e analisi guidate. QlikView offre la possibilità di esplorare i dati, scoprire nuove conoscenze e condividerle.
L'interazione tra QlikView e Sadas Engine è stata valutata su un DB di test (denominato TPCH) generato e popolato da Sadas Engine allo scopo di svolgere dei confronti.
Lo stesso schema è stato adottato e replicato in quattro diversi DB TPCH di circa 2, 4, 6 e 10 GB ciascuno, d'ora in avanti denominati TPCH-2, TPCH-4, TPCH-6 e TPCH-10 rispettivamente. Su questi DB, è stata sviluppata un'applicazione di BI di test con QlikView.
QlikView conserva i dati in memoria. In questo modo, può aggiornare i dati in tempo reale, consentendo esplorazioni immediate ed interattive. Ma la forza di QlikView potrebbe rappresentare anche la sua debolezza: quando si importano DB di dimensioni significative, il file .qvw può facilmente assumere una dimensione tale da intaccare (o addirittura impedire) l'utilizzo del prodotto.
Sui TPCH-2 e TPCH-4, QlikView gestisce efficientemente l'intera importazione del DB, mantiene tempi di risposta buoni e l'utilizzo del software è agevole. Sul TPCH-6, la situazione diventa più critica: i tempi di risposta sono dilatati e la mole di lavoro per la macchina di test è maggiore. Infine, sul TPCH-10, l'usabilità del software è seriamente compromessa: l'esplorazione veloce ed interattiva dei dati è stressata al limite, i tempi di rappresentazione per grafici e tabelle sono ancora più lunghi, e sia l'applicazione che il sistema operativo si bloccano spesso. Questo perché, quando QlikView è impegnato nel rappresentare oggetti grafici, può essere raggiunto il limite fisico della memoria e la memoria RAM può essere facilmente saturata, risultando in un peggioramento drastico delle performance. Ciò avviene specialmente quando i filtri vengono rimossi e le espressioni devono essere ricalcolate su un grande numero di record.
Sadas Engine è un marchio di Sadas Srl, QlikView è un marchio di QlikTech International AB.
Caratteristiche tecniche della macchina di test
Processore
Memoria RAM
Sistemaoperativo
Architettura dell'applicazione di test di BI: l'applicazione è connessa a Sadas Engine tramite l'ODBC proprietario di SADAS, e il DB viene interrogato con query SQL.
ODBC
Istanzadatabase
Dimensione del database su disco (GB)
Numero di record
(milioni)
Tempi medi di risposta
Caricamento dati Rigenerazione grafico/tabella
>30 s, con interruzioni frequenti ed estese del programma (fino a 10-15 minuti)
Risposta widget di ricerca
L'APPROCCIO TRADIZIONALE: È SEMPRE IL MIGLIORE?
L'APPROCCIO SADAS:SEMPRE VANTAGGIOSO
Una soluzione immediata sarebbe quella di aumentare la capacità fisica della macchina (memoria RAM). Ma questo aumento di risorse richiederebbe una spesa, e potrebbe comunque non essere sostenibile qualora sia necessaria una compatibilità con database ancora più grandi (es. 50-100 GB).
L'applicazione QlikView è riorganizzata in modo da evitare l'importazione dell'intero database TPCH-10: inizialmente, QlikView estrae da Sadas Engine le sole informazioni aggregate, mentre quelle di dettaglio vengono recuperate in un secondo momento, tramite una nuova interazione fra QlikView e Sadas Engine. Questo consente di abbattere drasticamente l'utilizzo di memoria RAM e, grazie alle straordinarie performance di Sadas Engine, di mantenere ottimi tempi di estrazione e caricamento dei dati. Unire QlikView a Sadas Engine in modo stretto e sinergico si rivela così vantaggioso in termini di performance ed usabilità.
Di seguito un paragone tra le performance ottenute sul TPCH-10 con l'approccio "tradizionale" (importazione dell'intero DB) e con l'approccio "SADAS" (estrazione delle sole informazioni aggregate, + drill-down "on-demand"). I risultati riportati sono la media di numerose interazioni con l'applicazione QlikView.
Sadas Engine + QlikView: caso studio
Istanzadatabase
Dimensione del database su disco (GB)
Numero di record
(milioni)
Blocco di funzionamento della soluzione QlikView su database TPCH-10
Tempi medi di risposta con approccio tradizionale
Caricamentodati
Rigenerazione grafico/tabella
Risposta widgetdi ricerca
Tempi medi di risposta con approccio Sadas
Caricamentodati
Rigenerazione grafico/tabella
Risposta widgetdi ricerca
>30 s, con interruzioni frequenti(fino a 10-15 minuti)
Sadas Engine è integrabile anche con QlikSense!
Tempi drill-down Risposta widgetdi ricerca
Rigenerazione grafico/tabella
Altri tempioperativi
ApproccioSadas
Approcciotradizionale
Tempi dicaricamento
grafico inscala logaritmica
MILANO Sede CentraleVia Boschetti, 1 • 20121, MilanoTel: +39 02 29017449
BATH Consulenza e Formazione1 Priory Close • Bath, BA2 5AL, UKTel: +44 1225637004
SAN FRANCISCO USA International Office20 California St. 7th floor • San Francisco, CA, 94111, USA Tel: +1 415 429 3969
NAPOLI Sede Legale, Customer Service, Laboratori R&DVia Napoli, 159 • 80013, Casalnuovo di Napoli (NA)Tel: +39 081 8427112 / fax: +39 081 8427171
Forniamo servizi e soluzioni tecnologiche per l’analisi di dati in settori diversi ed eterogenei, assieme ad una gamma di prodotti innovativi per la Business Intelligence. SADAS opera in molti settori: bancario, assicurativo, leasing, commerciale, media e telecomunicazioni, e nel settore pubblico.
Per saperne di più sui nostri prodotti, visitate il nostro sito www.sadasdb.com o scrivete a [email protected]
PARIS France Office85, rue de Saussure • 75017 ParisTel: +33 186 267 579