SAP HANA TM – In-Memory Computing Dušan Kachaňák Database&Technology Business Development, SAP Central and Eastern Europe 17.10.2012
SAP HANATM – In-Memory ComputingDušan KachaňákDatabase&Technology Business Development, SAP Central and Eastern Europe
17.10.2012
Prečo in-memory computing?Čo je to SAP HANA?SAP HANA a architektúra DWHScenáre využitia SAP HANAZáver
Prečo in-memory computing?Čo je to SAP HANA?SAP HANA a architektúra DWHScenáre využitia SAP HANAZáver
© 2012 SAP AG. All rights reserved. 5
Vývoj v oblasti datových hw technológií
In-m
emor
y C
ompu
ting
Ado
ptio
n
Trad
ition
al D
atab
ase
Ado
ptio
n
Time
2012 – Cena za terabyteDiskPamäť
$60$4,900
1990 – Cena za terabyteDiskPamäť
$9,000,000$106,000,000
Typická rýchlosť prístupuDiskPamäťRýchlosť
4,000,000 ns0.4 ns
10,000,000
© 2012 SAP AG. All rights reserved. 6
Motivácia pre In Memory Computing
L1 Cache | ~ 1ns | 64k Chladnička v tej istej miestnosti
L2 Cache | ~ 5ns | 256k Chladnička vo vedlajšej miesnosti
L3 Cache | ~ 20ns | 8M Chladnička u suseda
Main Memory | ~ 100ns | TBs Chladnička v miestnom obchode
Disk | > 1.000.000ns | TBs Chladnička v meste inej krajiny
© 2012 SAP AG. All rights reserved. 7
In-Memory Computing
Technológia, ktorá
umožňuje v reálnom čase
spracovávať veľké objemy
dát v pamäti servera,
poskytujúca okamžité
výsledky pre analytické a
transakčné aplikácie
© 2012 SAP AG. All rights reserved. 8
Riadkové vs. stĺpcové databázy
Záznam 1
Záznam 2Atr1 Atr2
Atr3 Atr5
Atr4
Riadková databáza Stĺpcová databáza
Lepšia paralelizácia = rýchlosť
Kompresia dát
© 2012 SAP AG. All rights reserved. 9
In-Memory Computing
+Riadková a stĺpcová
databázaKompresia
dátPartitioning Bez agregácií
tabuliek
++
++Replikácia v reál.časeInsert Only on Delta
A
Multi-Core architektúra
(8 x 8 core CPU per blade)
Massive parallel scaling
64bit architektúra
Pamäť až 2TB (dnes)
100 GB/s priepustnosť dát
Cena / výkon
Inovácie v HW technológiách
Inovácie SAP v SW technológiách
© 2012 SAP AG. All rights reserved. 10
In-memory databázaKlasická databáza
In-Memory Computing – technologická zmena
DatabázovávrstvaDatabázovávrstva
AplikačnávrstvaAplikačnávrstva
UI vrstvaUI vrstva Prezentácia
Orchestrácia
Výpočty
Dáta
Prezentácia
Orchestrácia
Výpočty
Dáta
• Authorizácie
• Locking
• Hierarchie
• Zápis - konzistencia
• Plánovacie funkcie
• Konverzie
• Agregácie
© 2012 SAP AG. All rights reserved. 11
APLlKAČNÁ
VRSTVA
Kalkulácie
DATABÁZOVÁ
VRSTVAKALKULÁCIE
Klasický prístup
Budúci prístup
In-Memory computing
Prečo in-memory computing?Čo je to SAP HANA?SAP HANA a architektúra DWHScenáre využitia SAP HANAZáver
© 2012 SAP AG. All rights reserved. 13
SAP High-Performance ANalytic ApplianceSAP HANA
Softvér
In-Memory Computing Engine
Platform/Enterprise Edition
Hardvér
Certifikované servery Cisco, Dell, Fujitsu, HP, IBM ..
T-shirt sizes: XS, S, M, L, XL
+
© 2012 SAP AG. All rights reserved. 14
SAP High-Performance ANalytic ApplianceSAP HANA
MDX SQL BICSSQL
ModelingStudio
Real–Time Replication
Services
Data Services
SAP HANASAP HANA
Iné aplikácie SAP BusinessObjects
SAP NetWeaverBW
SAP Business Suite Non-SAP
In-Memory Computing Engine
Calculation and Planning Engine
Row & Column Storage
Zariadenie (appliance) pre spracovanie veľkého objemu transakčných dát v reálnom čase
Nástroje pre modelovanie a správu dát, bezpečnosť atď.
Podpora pre rozhraní založených na štandardoch
© 2012 SAP AG. All rights reserved. 15
SAP HANA – Architektúra a landscape (detailnejšie)
ERP
LogERP DB
In-Memory Computing Engine
Clients (planned, e.g.) BI4 ExplorerDashboard
DesignSAP BusinessObjects universes (WebI,...)
Request Processing/Execution Control
MS Excel
BI4 Analysis
SQL Parser MDXSQL Script Calc Engine
Transaction Manager
Session Management
Relational EnginesRow Store Column
Store
Persistence LayerPage Management Logger
Disk StorageLog VolumesData Volumes
Authorization Manager
Metadata Manager
IMCE StudioAdministration Modeling
Load Controller
Replication Agent
Replication Server
SAP Business Objects
Data Services Designer
SBO servers ( program for
client)
SBOInformation Design Tool
Other Source SystemsSAP
NetWeaver BW
Non-SAP
Data Services
© 2012 SAP AG. All rights reserved. 16
HANA
SAP HANA má perzistentné datové úložisko -In-Memory Data sú ukladané aj na disk
Pamäť
Data
Perzistentné úložisko
Pravidelné automatickéukladania
Informácie odatových zmenách
LogVolume
DataVolumes
© 2012 SAP AG. All rights reserved. 17
Vplyv na rýchlosť a objem výpočtov/dát
2 mldZáznamov analyzovaných za jednu sekundu
.... na 1 core CPU
10 milKomplexných výpočtov za sekundu
.... na 1 core CPU
3600xRýchlejší reporting
© 2012 SAP AG. All rights reserved. 18
154,000customers
SAP HANA – príklad
1.8M 1,00070,000rows of data
B2B customers
collection notices 13 seconds
77 minutes
Standard System In-Memory System
356xfaster
© 2012 SAP AG. All rights reserved. 19
Analýza marketingových kampaníAnalýza marketingových kampaní
2 týždnevs. 1 deň2 týždnevs. 1 deň
© 2012 SAP AG. All rights reserved. 20
SAP HANA v T-Mobile USKalkulácia personalizovaných ponúk
Offers / Micro-offers Channels Customers
Cielené personalizované ponuky pre21 miliónov zákazníkov kladú extrémne vysoké požiadavky na výkon.
-
Call Center
Retail store
SMS
Self-Service
-- 50x improvement in theperformance of analytics: We canrecalibrate offers in the marketplace in one day that took a weekusing our existing solutions.
— Erez Yarkoni, T-Mobile CIO
“
”
Marketingový tím potrebuje rýchlo analyzovať poskytnuté ponuky a generovať nové modifikované ponuky na základe výsledkov analýz.
-
SAP HANA DeploymentRapid insight with full detailed data for rich analysis
-
Prečo in-memory computing?Čo je to SAP HANA?SAP HANA a achitektúra DWHScenáre využitia SAP HANAZáver
© 2012 SAP AG. All rights reserved. 22
Corp.Memory
ODSData Mart
Data Warehouse
Business transform
End-user access / Presentation
Provide data
Data Acquisition
Harmonization
Data Propagation
Reporting
Main Service: Spot for apps/Delta to app/App recoveryTransform : Enriched || General Business logicContent : Data source || Business domain specific History : Determined by rebuild requirements of appsStore : DSO(can be logical partitioned)
Main Service: Decouple, Fast load and distribute Transform : 1:1Content : 1 data source, All fields History : 4 weeksStore : PSA, DSO-WO.
Main Service: Integrated, harmonized Transform : Harmonize quality assure (in flow|| lookup)Content : Defined fieldsHistory : Short or not at all || Long termStore : Info source || IO/DSO/Z-table
Main Service: Make data available for reporting & planning tools Transform : Application specific/(dis-)aggregate/lookupContent : Application specific History : Application specific Store : IC,DSO, Info Set, Virtual Provider, Multi Provider.
Tradičná architektúra Data WarehouseReálny prípad
Source 1 Source 2 Source 3 Source 4 Source 5
Proj
ect G
over
nanc
eIT
Gov
erna
nce
© 2012 SAP AG. All rights reserved. 23
Reporting
“Typický koncept” Business Intelligence dnes
Pomalé
Komplikované
Drahé
Operational Data Store
Data Warehouse
Indexes
Aggregates
DataBusiness Applications
Copy
ETLCalculation EngineBusiness Intelligence
Query ResultsQuery
Pomalé
Komplikované
Drahé
Operational Data Store
Data Warehouse
Indexes
Aggregates
DataBusiness Aplikace
Copy
ETL
Calculation EngineBusiness Intelligence
Query ResultsQuery
DataMarts
© 2012 SAP AG. All rights reserved. 24
In-Memory Computing
Operational Data Store
Data Warehouse
Indexes
Aggregates
DataBusiness Aplikace
Copy
ETL
Calculation EngineBusiness Intelligence
Query ResultsQuery
Až 1,000x rýchlejšiaNevyžaduje optimalizaciuViac dát na menšiom priestoreVýrazné zrýchlenie BI
DataMarts
© 2012 SAP AG. All rights reserved. 25
Data WarehouseData Warehouse
Stĺpcovo usporiadaná databáza
Operational Data Store
Data Warehouse
DataBusiness Applications
Copy
ETL
Calculation EngineBusiness Intelligence
Query ResultsQuery
Až 1,000x rýchlejšiaEfektívne ukládanie dátVýrazná kompresiaViac dát na menšiom priestore
© 2012 SAP AG. All rights reserved. 26
Data Warehouse
Analytical Appliance
Operational Data Store
DataBusiness Applications
Copy
ETL
Business IntelligenceQuery Results
Query
Až 1,000x rýchlejšíMasívna paralelná optimalizácia pre hardwarePresun kalkulačných enginov do databázy: in-memory prediktivne analytické aplikácieObsahuje BI funkcieMenšie datové prenosy, rychlejšia odozva BI
Analytic Appliance
Calculation Engine
© 2012 SAP AG. All rights reserved. 27
Real-Time Data
Operational Data Store
Copy
ETL
DataBusiness Applications
Analytic ApplianceBusiness Intelligence
Prečo in-memory computing?Čo je to SAP HANA?SAP HANA a achitektúra DWHScenáre využitia SAP HANAZáver
© 2012 SAP AG. All rights reserved. 29
Platforma
Obsah
AkcelerátoryRiešenia “nad“
in-Memory databázou
Aplikácie novej
generácie
Scenáre využitia SAP HANA
© 2012 SAP AG. All rights reserved. 30
In-Memory scenár: Technologická platforma Platforma
Scénare:Obvykle vlastné špecifické
scénare/aplikácie
Rýchly a flexibilný reporting Výpočty a (dis)agregácie “za behu“ Komplexné manipulácie/výbery nad
dátami (SQL/SQL script) Flexibilné modelovanie dátových
štruktúr
Komplexné dávkové spracovania namiesto hodín minúty alebo sekundy Konsolidácia dát
Reálne príklady NOMURA: 360 miliónov záznamov/
< 1 Sec. / GPS súradnice RETAIL zákazník - 3 miliardy
záznamov / Analýza nákupného správania + nákupné odporúčania
SAP HANAT
BI ClientsBI Clients3rd Party
Computing Engine
Data Modeling
ETL
Dátové zdroje
Replikácia
© 2012 SAP AG. All rights reserved. 31
“Populárny“ scenár: SAP HANA ako Agilný DataMart
Modelovanie “zdola-nahor“ nástrojmi SAP HANA
Integrácia na sémantická vrstvu (Univerzá) SAP BusinessObjects BI.
Využitie predností SAP HANA:• Bez materializovaných view• Bez agregátov• Bez indexov• Bez jobov...paralelizované operácie/výpočty
za jazdy v pamäti...flexibilná zmena modelu bez
nutnosti rekalkulácií...perzistentná vrstva na fyzickom
médiu (SSD, disk)...škálovateľnosť
SAP BusinessObjects BI tools / apps
EDW Relational Data Stores
(EDW Storage & Processing Engine)
Tradičná DBSybase ASE, Oracle, DB2, SQL Server
SAP ERP nonSAP nonSAP
SAP BusinessObject Data Services / SAP Extractors
Agile DataMart
SAP HANA In-Memory Platform
Tradičná DBSybase ASE, Oracle, DB2, SQL Server
Tradičná DBSybase ASE, Oracle, DB2, SQL Server
Tradičná DBSybase ASE, Oracle, DB2, SQL Server
SAP CRM
Platforma
© 2012 SAP AG. All rights reserved. 32
Platforma
Obsah
AkcelerátoryRiešenia “nad“
in-Memory databázou
Aplikácie novej
generácie
Scenáre využitia SAP HANA
© 2012 SAP AG. All rights reserved. 33
In-Memory scenár: Obsah ako Data Mart reporting Obsah
SAPBusiness
Suite
SAPBusiness
Suite
TradičnáDB
TradičnáDB
SAP HANATM
Computing Engine
Data Modeling
ETL
Preddefinovaný model, ktorý je možné rozšíriť a customizovať
Rýchly a flexibilný reporting Replikácia dát do SAP HANA v reálnom čase
Výpočty a (dis)agregácie “za behu“ Komplexné manipulácie/výbery nad
dátami (SQL/SQL script) Flexibilné modelovanie dátových štruktúr
Dodávané ako RDS (Rapid DeploymentService) Preddefinovaný rozsah a cena Predpripravený obsah a implementačné
nástroje Úspora až 40% voči „klasickým“
projektom + eliminácia rizík
nonSAPdátové zdroje
BI ClientsBI Clients3rd Party
Replikácia
© 2012 SAP AG. All rights reserved. 34
Rapid Deployment Services pre SAP HANA
CRM PIPELINE ANALYTICS (PLANNED) • Pipeline Analytics• Reporting on Opportunities, Sales Contracts and Quotes
• Financial Reporting• Sales Reporting + Analysis of Customer Factura• Procurement Reporting• Financial Spend reporting• Shipping Reporting• Master Data Reporting (Including UI templates)
OPERATIONAL ERP REPORTING
RDS BANKING ANALYSIS (PLANNED)• Daily Sub Ledger Reporting• Sales-KPI Analysis• Real-time Reporting on Transaction History (flexible acc Statements)
© 2012 SAP AG. All rights reserved. 35
Platforma
Obsah
AkcelerátoryRiešenia “nad“
in-Memory databázou
Aplikácie novej
generácie
Scenáre využitia SAP HANA
© 2012 SAP AG. All rights reserved. 36
In-Memory scenár:Akcelerácia existujúcich procesov
Akcelerátory
SAPBusiness
Suite
SAPBusiness
Suite
TraditionalDB
TraditionalDB
SAP HANATM
Computing Engine
Data Modeling
ETL
Data Sources
Replication
Preddefinovaný (rozšíriteľný) rozsah
Sekundárna databáza (SAP HANA)
Dáta sú replikované v reálnom čase
Zrýchlenie aplikácie je dosiahnutérýchlosťou prístupu a operácií nad dátami v in-memory databáze
Užívateľské rozhranie zachované Nie je potrebné žiadne preškolovanie
používateľov
Príklady:
CO-PA Accelerator
FI/CO Accelerator
CRM Segmentation Acceleratorread
SAP GUISAP GUI BI ClientsBI Clients3rd Party
© 2012 SAP AG. All rights reserved. 37
Príklad: CO-PA Accelerated by SAP HANA
SAP BW / BI
HANA
SAP ERP CO-PA
Tradičná DBTradičná DB SAP HANASAP HANA
SAP BusinessObjects BI4.0
SAP BusinessObjects BI4.0
CO-PAReport Writer
CO-PAReport Writer
CO-PAAnalýza profitability
CO-PAAnalýza profitability
Oracle, DB2, SQL Server, MaxDB
~30x kompresia100x zrýchlenie
Zrýchlenie alokácií
Rýchlejší reporting
Flexibilný reporting
BW
Dáta vrátane histórie
Vrátane archivovaných dát
© 2012 SAP AG. All rights reserved. 38
Platforma
Obsah
AkcelerátoryRiešenia “nad“
in-memorydatabázou
Aplikácie novej
generácie
Scenáre využitia SAP HANA
© 2012 SAP AG. All rights reserved. 39
In-Memory scenár: Riešenia “nad“ in-memory databázou
SAPBusiness
Suite
SAPBusiness
Suite
TraditionalDB
TraditionalDB
SAP HANATM
Computing Engine
Data Sources
SAP HANA ako primárna databáza
Kód - prispôsobený/optimalizovaný pre SAP HANA
Nové verzie riešení:
SAP Business Warehouse 7.30
SAP Planning & Consolidation
SAP Demand Signal Repository
TPM - Trade Promotion Management*
SAP BusinessWarehouse
SAP BusinessWarehouse
Extractors
BI ClientsBI Clients3rd Party
Riešenia “nad“ in-memorydatabázou
© 2012 SAP AG. All rights reserved. 40
Nahradenie relačnej DB
pod SAP BW
Migrácia databázy
In-memorydatabáza
SAP NetWeaver BW
Data Modeling
HANA
Data Management
Data Storage
Analytical / PlanningEngine
DBMS
SAP NetWeaver BW
Data Modeling
Analytical / PlanningEngine
Relačná databáza
Data Management
Data Storage
SAP Business Warehouse Powered by SAP HANAIn-memory EDW
© 2012 SAP AG. All rights reserved. 41
Platforma
Obsah
AkcelerátoryRiešenia “nad“
in-Memory databázou
Aplikácie novej
generácie
Scénare využitia SAP HANA
© 2012 SAP AG. All rights reserved. 42
In-Memory scenár: Aplikácie novej generácie
AplikácieNovej
generácie
Aplikácie novej
generácie
SAPBusiness
Suite
SAPBusiness
Suite
tradičná DBtradičná DB
SAP HANATMnonSAP
dáta
ETLReplication
Úplne nové scénare / aplikácie, ktoré doteraz neboli technicky možné
Využitie aplikačného servera novej generácie
Vysoká priepustnosť a nízka latencia (reálny čas)
Podpora výpočtovo náročných procesov Výpočty “v databáze“ Simulácie, prognózy&predikcie
© 2012 SAP AG. All rights reserved. 43
Príklady in-memory aplikácií
SAP Sales & Operations Planning
SAP Strategic Workforce Planning
SAP Smart Meter Analytics
SAP Dynamic Cash Management
SAP Dynamic Invoice Discounting
SAP Trade Promotion Management
SAP Liquidity Risk Management for
Banks
SAP Supplier InfoNet
Situation Awareness for Public Sector
...a mnoho ďalších vo vývoji
© 2012 SAP AG. All rights reserved. 44
SAP Smart Meter Analytics
1 odpočet / odberné miesto / rok
Smart Meter
1 odpočet / odberné miesto / á 15 min
~ 35.000 odpočtov / OM / rok
© 2012 SAP AG. All rights reserved. 45
SAP Smart Meter AnalyticsSegmentácia podľa profilu skutočnej spotreby
Prečo in-memory computing?Čo je to SAP HANA?SAP HANA a achitektúra DWHScenáre využitia SAP HANAZáver
© 2012 SAP AG. All rights reserved. 47
Stav produktu HANA na svetovom trhu:Najúspešnejšie uvedenie nového produktu v histórii SAPHlavné doterajšie medzníky produktu SAP HANA:
• November 2010: HANA 1.0 uvolnená pre zákazníkov (ramp-up)
• Máj 2011: HANA 1.0 plne uvolnená (GA) so 7 zákazníkmi a viac ako 30 projektami, oznámené BW on HANA (1.0 SPS3) pre Q4
• November 2011: BW on HANA (1.0 SPS3) uvolnená pre zákazníkov (ramp-up), Red Bull už v živej prevádzke
• Január 2012: uvolnená HANA aplikačná roadmapa, ďalšie zvýšenie kompresie a zlepšenia výkonu
• Apríl 2012: BW on HANA (1.0 SPS3) plne uvolnená pre zákazníkov (GA)
• Máj 2012: HANA 1.0 SPS4 – podpora jazyka R, Hadoop
Štatistické čísla:
• Počet HANA zákazníkov: 225 (Dec 2011) – rýchly rast (157 v Q4 2011)
• Počet HANA zákazníkov: 550 (Oct 2012)
Zmerané a potvrdené zvýšenia výkonu v živej prevádzke:
• 100k Club: Yodabashi
• 10K Club : Essar, Nongfu Spring, SAP IT, Cornell University, Charmer Sunbelt, Provimi
• 1K Club : Množstvo zákazníkov
© 2012 SAP AG. All rights reserved. 48
Hodnotenia nezávislých analytikov
“This initiative is a bold attempt to effect a generational change … The vision is very ambitious, and, at the same time, consistent with users' aspirations”
“SAP users should plan for a migration of their NetWeaver-based applications to SAP's HANA Architecture within the next three to five years.”
“Presently, users should adopt HANA technology, when available, primarily for high-return/fast ROI projects or for non business-critical applications, especially where complex analytics are crucial requirements.”
© 2012 SAP AG. All rights reserved. 50
Nové produkty SAP pre oblasť dát – oblasti využitia
Open for partners
SAP Sybase SQL Anywhere
#1 mobiledatabáza
#1 Tranzakčnádatabaza s najlepším TCO
SAP Sybase ASE
SAP Sybase IQ
#1 analytickádatabáza s najlepšímTCO
SAP Sybase ESP, SAP Sybase Replication Server,SAP Sybase Power Designer, SAP EIM solutions
#1 unifikovanáEIM real-timeplatforma
Real-time data platform
SAP HANA
© 2012 SAP AG. All rights reserved. 51
SAP Real-time Data Platform
3rd Party BI Client
SAP NetWeaver (On Premise / Cloud)
Custom Apps
SAP Business
Suite
SAP Business
WarehouseSAP Big Data Applications
SAP Analytics
SAP Mobile
Open Developer APIs and Protocols
Com
mon
Lan
dsca
pe M
anag
emen
t
SAP Smart Data Services Platform
SAP HANA Platform
SAP Real-time Data Platform
SAP Sybase ASE
Com
mon
Mod
elin
gSy
base
Pow
erD
esig
ner
HA
DO
OP
3rd
Part
y D
B
MPP
Sc
ale-
Out SAP Sybase SQLA
SAP Sybase ESP
SAP Sybase IQ
SAP Sybase Replication Server
SAP Data Services SAP MDG, MDM
SAP innovation without customer disruption
Ďakujem za pozornosť !
Informácie o SAP HANA
www.experiencesaphana.com
www.sap.com/hanahelp.sap.com/hana_appliance
service.sap.com/HANAwww.sdn.sap.com/irj/sdn/in-memory
Kontakt:
Dušan Kachaňá[email protected]