The following is intended to outline our general …konferenz-nz.dlr.de/pages/storage2010/present/1...The following is intended to outline our general product direction. It is intended

The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions.The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle.

Prinzessin Aura, General Klytus und der Planet Mongo

Dirk NitschkeSystems Infrastructure AmbassadorSun Microsystems GmbH

Flash Storage – Basis für aktuelle und zukünftige Storage Systeme von Oracle

Kundenprä[email protected] Storagetechnology 2010 – 20100610

Agenda

• Das ewige Warten• Solid State Drives• Quiz I• Hardware von Oracle• Nutzung von Flash Storage• Software von Oracle• Integrierte Lösungen von Oracle• Quiz II

Das ewige Warten


Das ewige Warten

• Warten auf das Ende eines Lesevorgangs von Daten von einem relativ langsamen Medium

• Warten auf das Ende eines Schreibvorgangs von Daten auf ein relativ langsames Medium

• Das Warten bezieht sich meist auf die Latenz des Mediums, weniger auf den Durchsatz

• Dieses Problem existiert sowohl für den Transfer zwischen CPU und Memory als auch zwischen Memory und Disk


Lösungsansätze CPU ↔ Memory

• Verringerung der Anzahl der Zugriffe und Verringerung der Zugriffszeit durch Caching> Prozessorcache: L1, L2, L3> Cache liegt zwischen CPU und Memory> Cache-Algorithmen

• Man erhöhe die Zahl der arbeitenden Einheiten> Chip Multiprocessing (CMP)> Fine-Grained Multithreading (FG-MT)> Chip Multi Threading (CMT)


Prozessor Parallelisierung

• Single Thread

• Chip Multiprocessing (CMP)

• Fine-Grained Multithreading(FG-MT)

C MC MC M

C MC MC M C MC MC M

C MC MC M C MC MC M

C MC MC M C MC MC M

C MC MC M C MC MC M

C MC MC M C MC MC M

C MC MC M C MC MC M

C MC MC M C MC MC M

C MC MC M C MC MC M

Memory LatencyCompute Time


Chip Multithreading

• UltraSPARC T2 oder UltraSPARC T2+ CPU> Bis zu 8 Cores, 8 Threads

pro Core> Bis zu 4 CPUs pro Server

• Oracle's Sun Chip Multithreading Server> T5120, T5220> T5140, T5240, T5440> T6320, T6340

C MC MC M

C MC MC M C MC MC M

C MC MC M C MC MC M

C MC MC M C MC MC M

C MC MC M

C MC MC M C MC MC M

C MC MC M C MC MC M

C MC MC M C MC MC M

C MC MC M

C MC MC M C MC MC M

C MC MC M C MC MC M

C MC MC M C MC MC M

C MC MC M

C MC MC M C MC MC M

C MC MC M C MC MC M

C MC MC M C MC MC M

Whitepaper:http://www.oracle.com/us/products/servers-storage/servers/netra-carrier-grade/netra-t5220-server-architecture-wp-066002.pdf


Lösungsansätze Memory ↔ Disk

• Verringerung der Anzahl der Zugriffe und Verringerung der Zugriffszeit durch Caching> File System Cache, Controller Cache und Disk Cache> Cache liegt zwischen Memory und Festplatte> Cache-Algorithmen

• Man erhöhe die Zahl der arbeitenden Einheiten> Spindeln> Storagecontroller> Volumemanagement (etwa Striping)


Disk Kapazität und Umdrehungszahl

1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010

5000

10000

15000

9,1

9,1

18,2

18,2

36,4

73,4

73,4

146,8

146,8

181,5

300

300

400

450 600

73,4146,8300

400

450 600

250500

750

2000

Disk Capacity and RPMs

3.5" Disks / Storage Arrays

FC SAS-1 SATA

Year

RP

M


Entwicklung IOPS

Jahr 2009 2004 2001 2010

Interface FC FC FC SATA-II

UPM 15000 15000 15000 7200

Kapazität 600GB 146GB 36GB 2000GB

3,4 3,5 3,6 8,5

2,0 2,0 2,0 4,2

122 58 51,8

204 96 68,1 140

163 77 59,95 140

184 180 176 78

84 52 43 49

SeagateST3600957FC

SeagateST3146854FC

SeagateST336752FC

SeagateST32000644NS

Avg. Seek Time Read (ms)

Avg. RotationalLatency (ms)

Minimum SustainableData Rate (MB/s)

Maximum, SustainableData Rate (MB/s)

Avg. SustainableData Rate (MB/s)

IOPS@4kiB Read

IOPS@1MiB Read

http://www.seagate.com/support/disc/manuals/fc/100139874b.pdfhttp://www.seagate.com/docs/pdf/datasheet/disc/ds_cheetah15k.4.pdfhttp://www.seagate.com/docs/pdf/datasheet/disc/ds_cheetah_15k_7.pdfhttp://www.seagate.com/docs/pdf/datasheet/disc/ds_constellation_es.pdf


Warum ist das kritisch?

• Steigende Kapazität von Festplatten bei annähernd gleichbleibender Anzahl von IOPS@4kiB> Benötigte Kapazität wird mit weniger Disks abgebildet> Gesamtmenge an verfügbaren IOPS@4kiB wird kleiner

• Zahl der benötigten IOPS erhöht sich> mehr Benutzer, mehr Applikationen> „versteckte“ IOPS durch Datendienste wie zum Beispiel

Copy-on-Write Snapshots oder Replikation


Was tun?

• Anzahl IOPS@4kiB wird hauptsächlich bestimmt durch die Average Seek Time und die Average Rotational Latency> Average Seek Time hat sich in den letzten Jahren fast

nicht verändert...> Average Rotational Latency kann nur durch Erhöhung

der RPM erreicht werden...

• Daher: Finde ein neues Speichermedium mit deutlich geringerer Seek Time und Latenz als eine Disk

Solid State Drives


Solid State Drives

• Ein Solid State Drive ist ein Speichermedium ohne bewegliche Teile auf Basis von Halbleitern, das wie eine Festplatte angesprochen wird und Daten permanent speichern kann

• Üblicherweise verwendete Speicherbausteine> RAM> Flash Memory

• Übliche Ausprägungen von Flash Memory> Single Level Cell (SLC) NAND> Multi Level Cell (MLC) NAND


Ein kurzer Vergleich

• RAM vs. Flash Memory> RAM hat eine geringere Latenz als Flash Memory > RAM ist teurer als Flash Memory> RAM ist flüchtig – benötigt Stromquelle oder „Backup“> Flash benötigt ausgeklügelte Algorithmen um dem

Verschleiss zu begegnen

• Single Level Cell (SLC) vs. Multi Level Cell (MLC)> Zwei Zustände vs. mehr als zwei Zustände (i.a. 4)> SLC schreibt schneller als MLC> SLC ist haltbarer als MLC> SLC ist teurer als MLC


Die neue Storage-Hierarchie


Quiz I

• Solid State Disk> Kapazität 11.25MB, 22.5MB,

33.75MB oder 45MB> Transferraten 1MB/s, 1.5MB/s,

3MB/s> Durchschnittliche Zugriffszeit 0.7ms> Maximale Zugriffszeit 1.4ms> Preis etwa $8800/MB

• Welches Unternehmen brachte 1978 die erste Solid State Disk mit obiger Spezifikation auf den Markt?


STC Solid State Disk 4305

• StorageTek> Kapazität 11.25MB, 22.5MB,

33.75MB oder 45MB> Transferraten 1MB/s, 1.5MB/s,

3MB/s> Durchschnittliche Zugriffszeit 0.7ms> Maximale Zugriffszeit 1.4ms> Preis etwa $8800/MB

http://www.computerwoche.de/heftarchiv/1978/47/1197524/http://wikibon.org/wiki/v/A_brief_history_of_solid_state_disksFoto: StorageTek – Milestones In The Storage Industry, StorageTek 2005

Hardware von Oracle


Hardware von Oracle

• Oracle's Sun Solid State Drive • Oracle's Sun Storage 6580/6780 Array • Oracle's Sun Flash Module• Oracle's Sun Storage F5100 Flash Array• Oracle's Sun Flash Accelerator F20 PCIe Card


Sun Solid State Drives

• Standard Disk Drive> Single Level Cell NAND> 2.5'' SFF> 3Gb/s SATA> 32GB Kapazität> Random Read (4kB): 35000 IOPS> Random Write (4kB): 3300 IOPS> Sequential Read (1MB): 250MB/s> Sequential Write (1MB): 170MB/s> MTBF: 2M Stunden

Datenblatt: http://www.oracle.com/us/products/servers-storage/storage/disk-storage/043969.pdf


Sun Storage 6580/6780 Array

• Dual Fibre Channel RAID Controller• Bis zu 32GB Cache• Bis zu 16 FC Hostports (8Gb/s)• Bis zu 448 Festplatten• Mischen von Plattentypen

> FC: 300GB, 450GB, 600GB@15K> SATA-II: 500GB, 750GB, 1TB, [email protected]> SSD: 73GB



Sun Flash Module

• Standard Flash Module> Single Level Cell NAND> SO-DIMM/JEDEC MO-258A> 3Gb/s SATA-II> 24GB Kapazität> 64MB DRAM Puffer> Zuverlässigkeit: 7x24x3 Jahre

• Zum Beispiel in Oracle's Sun Blade X6275 Server Modul oder...

Produktseite Sun Flash Module: http://www.oracle.com/us/products/servers-storage/storage/disk-storage043963.htmlProduktseite Sun Blade X6275: http://www.oracle.com/us/products/servers-storage/servers/blades/030651.htm


Sun Storage F5100 Flash Array

• Standard Einschub (1RU)> Single Level Cell NAND> Bis zu 80 Sun Flash Module> 16 x4 SAS-1 Ports> 1920GB Kapazität / 4 Domains> Random Read (4kB): 1.6M IOPS> Random Write (4kB): 1.2M IOPS> Sequential Read (1MB): 12.8GB/s> Sequential Write (1MB): 9.7GB/s> Schutz des Caches durch Kondensatoren



Sun Flash Accelerator F20 PCIe Card

• Standard PCIe x8 Karte> Single Level Cell NAND> 96GB Kapazität / 4 Domains> 2 x4 SAS-1 Ports (intern)> Random Read (4kB): 100K IOPS> Random Write (4kB): 84K IOPS> Sequential Read (1MB): 1092 MB/s> Sequential Write (1MB): 501 MB/s> MTBF: 2M Stunden / Modul> Schutz des Caches durch Kondensatoren

Produktseite: http://www.oracle.com/us/products/servers-storage/storage/disk-storage/043966.htmlSpezifikationen: http://de.sun.com/products/disk/f20/specs.xml

Nutzung von Flash Storage


Wie nutzt man Flash Storage?

• Auf einfache Weise> Flash Storage soll automatisch genutzt werden> Möglichst keine Anpassung von Applikationen notwendig

• Wirtschaftlich sinnvoll> Flash Storage besser als HDD in Bezug auf €/IOPS> Flash Storage besser als HDD in Bezug auf IOPS/W> Flash Storage schlechter als HDD in Bezug auf €/GB> Flash Storage schlechter als HDD in Bezug auf GB/W


Flash As A Disk?

• Flash für RAID-Sets> Granularität: Volume> Ganz auf Flash oder Disks> Inaktive Bereiche und Daten nutzen

die Vorteile von Flash nicht

• Generischer Ansatz> Austausch Disks gegen „schnellere“ Disks> Im Server oder Storage System> Einfach umsetzbar

• Gezielt einsetzen!

Flash Flash Flash

Flash Flash Flash

Disk

DiskVolume 4

Disk

Disk

Disk

Disk

Volume 1Volume 4

Volume 3


Flash As A Cache?

• Flash als zusätzlicher Cache> Kann die Latenz des gesamten Storage Systems

verringern

• Fragen:> Wie wird dieser Cache eingebunden?> Cache-Algorithmen?

• Antwort: Da brauchen wir wohl ein wenig Software!


Disk oder Cache?

• Wie immer lautet die Antwort: Es kommt darauf an!• Die gute Nachricht: Oracle hat für beides Lösungen!

Software von Oracle


Software von Oracle

• Oracle Database 11gR2• Oracle's Sun QFS Software• Oracle Solaris ZFS


Oracle Database 11gR2 in aller Kürze

System Global Area (SGA)

BufferPools

RedoLogs

Indices /Tables

• Benutzer möchte Daten ändern

• Änderung der Daten; Eintrag im Redo Log

• Rückgabe Ergebnis; Daten im Buffer Pool


Oracle Database – Redo Logs

• Liste von Änderungen> Meist nur Sequential Write> Wird beim Recovery bzw.

vom Archiver gelesen> Sollte möglichst schnell

geschrieben werden

• Flash Storage als Disk!> Einfach umsetzbar> Kann Antwortzeit und

Bandbreite verbessern


BufferPools

RedoLogs

Indices /Tables


Oracle Database – Indizes

• Inhaltsverzeichnis> Meist Random r/w> Häufiger Zugriff> Kann gross werden> Möglichst viele IOPS

• Flash Storage als Disk!> Erfordert Trennung von

Tabellen und Indizes> Kann Antwortzeit und

Bandbreite verbessern


BufferPools

RedoLogs

TablesIndices


Oracle Database 11gR2 Flash Cache

• Daten werden aus Buffer Pool verdrängt

• Flash Cache ist ein L2 Cache für Datenblöcke

• Flash Storage als Cache!> Kann Antwortzeit und

Bandbreite verbessern> Nur Solaris und Oracle

Enterprise Linux


BufferPools

RedoLogs

TablesIndices

FlashCache


Sun QFS Software

• Sun QFS ist ein Dateisystem• Separation von Meta Daten

> Meta Daten des Dateisystems werden auf anderen Devices abgespeichert als die Datenblöcke der Dateien

> SSD für die Meta Daten

separation

Mixed Data BlocksMeta Data


Sun QFS Software

• Striped Group Affinity> Eine Datei oder ein Verzeichnis kann einer Gruppe von

Devices zugeordnet werden. Die Datei wird dann auf diese Devices geschrieben.

> SSD für gewisse Dateien und Verzeichnisse

/qfs/dir1/fileGruppe 1

Gruppe 2/qfs/dir2/file QFS

File

syst

em


Solaris ZFS

• Storage Pools• Integriertes Volume Management• Durchgängige Datenintegrität• Transaktionsbasiert mit Redirect-on-Write• Selbstheilungsfähigkeiten• Integrierte Datendienste• Einfache Administration• Hybrid Storage Pool!?


ZFS – Hybrid Storage Pool

• Automatische Integration von DRAM, Flash Speicher und Disk

• Eigene Devices für unterschiedliche Aufgaben

• ARC, L2ARC, ZIL und Disk Storage Pool

Old Model Storage Pool New Model Storage Pool Hybrid Storage Pool (ZFS)


ZFS Hybrid Storage Pool – ARC

• Der Adaptive Replacement Cache (ARC) von ZFS befindet sich im DRAM des Servers. Der ARC wird auch als Lesecache von ZFS verwendet.

• Der optionale Second Level ARC (L2ARC) stellt eine Erweiterung des Lesecaches von ZFS dar und befindet sich auf eigenen Storage Devices> Hierfür ist Flash Speicher sinnvoll und günstiger als

DRAM> Geringere Latenz für Random Reads im Vergleich zu

Disks


ZFS Hybrid Storage Pool – ZIL

• ZFS ist transaktionsorientiert und schreibt Gruppen von Transaktionen asynchron auf Disks

• Für Schreiboperationen werden die Transaktionen im ARC gehalten

• Für synchrone Schreiboperationen müssen die Transaktionen zusätzlich in nicht flüchtigem Speicher gehalten werden – im ZFS Intent Log (ZIL)> Hierfür ist Flash Speicher sinnvoll und leistungsfähiger

als Disks> Geringere Latenz für Synchronous Writes im Vergleich

zu Disks

Integrierte Lösungen von Oracle


Integrierte Lösungen von Oracle

• Oracle's Sun Storage 7000 Series• Sun Oracle Database Machine und Exadata

Storage Server


Oracle's Sun Storage 7000 Series

• Bitte hören Sie sich Rainer Hartwichs Vortrag an!Oracle's Sun Storage 7000 Unified Storage System

• Freitag, 11. Juni 2010, 9:00 Uhr


Datenbankperformance

• Datenbankperformance wird meist durch den Storage begrenzt> Random IO Engpass beschränkt OLTP Anwendungen> Bandbreiten Engpass beschränkt Data Warehousing> Engpass im Server, SAN oder Storagesystem

• Lösungsansatz (Déjà-vu?)> „Best I/O is No I/O“: Reduziere die Last durch geschickte

Definition von Teilaufgaben> Verteile diese Last auf mehrere> Nutze Caching auf intelligente Weise


Klassische DB/DW Architektur

• Database Server führt alle Berechnungen durch• Storage weiss nichts über die Daten

All Processing

Database Server

∙∙∙

All Processing

Clustered DB Servers StandardNon-intelligent Storage

Inter-connect

All Processing

Database Server

All Processing

All Processing

Database Server

All Processing

SAN

Sun Oracle Exadata Storage Server

Data Intensive Processing

Classical Storage System

Store and RAID Protection


Sun Oracle Database Machine Grid

• Datenintensiven Aufgaben an Storage Server geben• Entlastung DB Server und geringerer Datenverkehr

All Processing

Oracle Database Server

∙∙∙

Compute Intensive Processing

Clustered DB Servers Massively ParallelIntelligent Storage

High SpeedInterconnect

All Processing



All Processing













∙∙∙


Sun Oracle Database Machine

• Vorkonfigurierte Kombination aus Server, Storage und Software, dadurch sehr schnell einsatzbereit

• Alles bekannt: Oracle Database 11gR2 • Datenbank-Grid und Storage-Grid• Fokus auf Performanz, Redundanz,

Skalierbarkeit• Ideal für Data Warehousing, OLTP und

KonsolidierungProduktseite: http://www.oracle.com/us/products/database/database-machine/index.htmlWhitepaper: http://www.oracle.com/technology/products/bi/db/exadata/pdf/exadata-technical-whitepaper.pdf


Hardware Übersicht – Full Rack

• 14* Exadata Storage Server• 8* Oracle Database Server• 3* Infiniband Switches• 1* Ethernet Switch• 1* Keyboard, Video, Mouse• Redundante Power Distributions Units• 19'' Rack


Hardware Details

• Oracle Database Server> 2* Intel Xeon [email protected] quad-core> 72GB Memory> 4* 146GB SAS> 1* Dual Inifiniband HCA

• Sun Oracle Exadata Storage Server> 2* Intel Xeon [email protected] quad-core> 24GB Memory> 12* 3.5'' SAS oder SATA> 1* Dual Infiniband HCA> 4* Flash Accelerator F20 (384GB Flash)


Einige Exadata Software Features

• Exadata Smart Scan Processing> Verteilung der Last> Reduktion der zu transferierenden Datenmenge> Teile der SQL Verarbeitung werden auf Exadata Storage

Server ausgelagert. Dieser liefert nur die passenden Zeilen und Spalten zurück. Datenbankserver konsolidiert die einzelnen Resultate

• Exadata Storage Index> Reduktion der zu verarbeitenden Datenmenge> Index mit Minimum- und Maximumwerten für Spalten

(typischerweise ein Indexeintrag für 1MB Daten auf Disk)



• Exadata Hybrid Columnar Compression> Reduktion der gespeicherten Datenmenge> Legt man Daten zeilenweise ab und haben die Spalten

unterschiedliche Datentypen, so erreicht man meist nur geringe Kompressionsraten

> Legt man Daten spaltenweise ab, so erzielt man im allgemeinen bessere Kompressionsrate, allerdings ist die Performanz der Datenbank schlechter

> Exadata Hybrid Columnar Compression ist eine Mischung aus spalten- und zeilenorientierter Speicherung – gute Kompressionsrate, wenig

Whitepaper: http://www.oracle.com/technology/products/bi/db/exadata/pdf/ehcc_twp.pdf



• Exadata Smart Flash Cache> Intelligentes Caching> 384GB Flash je Exadata Storage Server> Oracle Database Server sendet Informationen an den

Exadata Storage Server anhand derer entschieden wird, welche Daten im Exadata Flash Cache gehalten werden sollen und welche nicht

> Wer dem Automatismus nicht traut: Objekte können auch manuell an den Cache gebunden werden oder permanent auf Flash gespeichert werden

Whitepaper: http://www.oracle.com/technology/products/bi/db/exadata/pdf/Exadata_Smart_Flash_Cache_TWP_v5.pdf


Database Machine – Spezifikationen

SAS 21GB/s 10.5GB/s 4.5GB/s

SATA 12GB/s 6GB/s 2.5GB/s

SAS 50000 25000 10800

SATA 20000 10000 4300

50GB/s 25GB/s 11GB/s

1000000 500000 225000

SAS 100TB 50TB 21TB

SATA 336TB 168TB 72TB

SAS 28TB 14TB 6TB

SATA 100TB 50TB 21TB

5TB/h 2.5TB/h 1TB/h

Full Rack Half Rack Quarter Rack

Raw Disk Data Bandwidth1,3

Disk IOPS2,3

Raw Flash Data Bandwidth1,3

Flash IOPS2,3

Raw Disk Capacity4

Raw Flash Capacity4

User Data5

(assuming no compression)

Ladeperformance3

(1) – Bandwidth is peak physical disk scan bandwidth, assuming no compression.(2) – IOPS – Based on IO requests of size 8K.(3) – Actual performance will vary by application(4) – Raw capacity calculated using 1 GB = 1000 x 1000 x 1000 bytes and 1 TB = 1000 x 1000 x 1000 x 1000 bytes.(5) – User Data: Actual space for end-user data, computed after single mirroring (ASM normal redundancy) and after allowing space for database structures such as temp, logs, undo, and indexes. Actual user data capacity varies by application. User Data capacity calculated using 1 TB = 1024 * 1024 * 1024 * 1024 bytes.

Übersicht: http://www.oracle.com/technology/products/bi/db/exadata/pdf/exadata-storage-technical-overview.pdf


Zusammenfassung

• Oracle bietet Flash Storage Hardware für unterschiedliche Anwendungsfälle

• Oracle bietet die Software für die intelligente Integration von Flash Storage in die Storage Hierarchie

• Oder kurz:

Prinzessin Aura, General Klytus und der Planet MongoDirk NitschkeSystems Infrastructure AmbassadorSun Microsystems GmbH


Ach ja: Quiz II

• Wer ist Herrscher auf dem Planeten Mongo und wer sind Prinzessin Aura und General Klytus?


Flash Gordon

• Kaiser Ming der Gnadenlose ist Herrscher von Mongo.

• Prinzessin Aura ist seine Tochter.• General Klytus ist der Chef des Geheimdienstes auf

Mongo.

The following is intended to outline our general …konferenz-nz.dlr.de/pages/storage2010/present/1...The following is intended to outline our general product direction. It is intended

Documents