Seminar Cloud Data Management WS09/10 - dbs.uni … · mehr Verantwortung beim Admin ... Fehlertoleranz von Hadoop Geschwindigkeit von RDBMS Sebastian Wienecke 18.01.2010 25 . Wie

Seminar Cloud Data Management

WS09/10

18.01.2010 Sebastian Wienecke 1

Tabelle1 Tabelle2

Einführung

DBMS in der Cloud ◦ Vergleich verschiedener DBMS

Beispiele ◦ Microsoft Azure

◦ Amazon RDS

◦ Amazon EC2 Relational Databases AMIs

Was gibt es noch? ◦ HadoopDB

Wie geht es weiter?


Einführung



Quelle: Microsoft

Disaster Recovery High Availability


Quelle: Microsoft

Vorteile Nachteile

vollständige Kontrolle über das System

Unabhängigkeit gegenüber Dritten

Daten bleiben im Unternehmen → Datenschutz

teure Hardware Lizenzgebühren Platzbedarf Mitarbeiterschulungen Verantwortung für DR

und HA Patches einspielen Skalierung planen Performanz- und

Stabilitätstests



Quelle: Microsoft

Vorteile Nachteile

keine Kosten für Soft- und Hardware

u.U. Patches und DR durch Dienstleister

neuere oder bessere Software

SLAs

kein voller Systemzugriff eigene Administration →

Mitarbeiterschulungen monatliche Gebühren Abhängigkeit vom

Internet und Dienstleister Verantwortung für HA

bleibt Performanztests Datenschutz



Quelle: Microsoft

FT - Fault Tolerance

Vorteile Nachteile

keine Kosten für Soft- und Hardware

Patches durch Dienstleister kein/kaum

Administrationsaufwand DR und HA SLAs optimierte Technik, bessere

Skalierung Performanzsteigerung per

Mausklick Daten mehrfach repliziert kein Fachwissen nötig

kein voller Systemzugriff

monatliche Gebühren Abhängigkeit vom

Internet und Dienstleister

Verantwortung für Performanztests

Datenschutz


DBMS in der Cloud


Tabelle1 Tabelle2

Frameworks ◦ Google: MapReduce ◦ Apache: Hadoop ◦ Facebook: Hive

Key-Value-Stores ◦ Google: BigTable ◦ Amazon: SimpleDB ◦ Facebook: Cassandra

RDBMS in der Cloud ◦ Microsoft: SQL Azure ◦ Amazon RDS ◦ Virtuelle Maschinen

Hybridsysteme ◦ HadoopDB


Daten in mehreren Durchgängen vorverarbeiten (Map) und zusammenfassen (Reduce)

Beispiel: Worthäufigkeit 1. Parallel Texte durchgehen (Map) 2. Ergebnisse austauschen 3. Wortanzahl aufsummieren (Reduce)

Aufgabe in Teilaufgaben zerlegen: ◦ dynamische Lastverteilung ◦ Parallelverarbeitung möglich ◦ Fehlerresistend

Analyse teilstrukturierter Daten

kein DBMS


DS besteht aus Index und Attributen

weniger Features zugunsten der Performanz ◦ keine Joins, keine FKs, kein ACID, keine Transaktionen

Synergien mit Cloud-Dateisystemen

direkt für hohe Skalierbarkeit entwickelt ◦ skaliert fast linear auf 1000te Rechner

i.d.R. nicht normalisiert

Verwendung: ◦ Log-Daten (im PetaBytes-Bereich)

◦ DWH

◦ Quelle für MapReduce


fast alle SQL-Funktionen nutzbar ◦ Joins, Grouping, FKs, Stored Procedures, Caching,

Trigger

RDBMS weit verbreitet

größtenteils standardisiert

ACID-Eigenschaften

Daten normalisiert

Relationen abbildbar

viele Anwendungsgebiete ◦ CRM, WaWi, Buchhaltung


Indexstrukturen und FKs erhöhen Datenmenge

ACID erschwert Clustering und Parallelisierung

nicht für Clouds optimiert ◦ Skalierbarkeit auf 100te Rechner nie vorgesehen

◦ Grundannahmen: Fehler selten, High-End-Server, Performanz vor Fehlertoleranz

häufig in VMs betrieben ◦ normale BS (Linux, Unix, Windows)

◦ keine Synergien mit verteilten Cloud-Dateisystemen

◦ keine dynamische Lastverteilung auf beliebig viele Rechner

◦ Ausnahme: SQL Azure, (Amazon RDS)


Beispiele


direkte Integration in Azure Plattform


Quelle: Microsoft

basiert auf SQL-Server ◦ nahezu vollständiger Befehlssatz

für Betrieb in Microsoft-Cloud optimiert ◦ in Azure Plattform integriert

◦ Datenzugriffe prinzipiell wie bei lokalem DBMS

nutzt Lastkontrolle und Replikationen der Cloud ◦ bis zu 3 Replikate pro Instanz

◦ Globaler Load Balancer verteilt Zugriffe

◦ bei Ausfall springt andere Instanz ein Fehlertoleranz


Zugriffe von extern (außerhalb Cloud) oder intern möglich

bis 10 GB pro Instanz, mehrere buchbar ◦ keine automatische Partitionierung wie bei K-V-S

(aber geplant) ◦ Parallelisierung durch mehrere DB-Instanzen ◦ Implementierung in Anwendung selbst (manuell

durch Programmierer)

Abrechnung nach Anzahl, Speicherplatz, Transaktionen

Technischer Hintergrund unbekannt, wahrscheinlich VMs


vollständiges MySQL 5.1 DBMS Teil der Amazon Web Services Steuerbar mit API-Calls/WebServices nur lückenhafte Integration in Cloud

◦ Replikation noch in Planung ◦ regelmäßige Back-Ups im Amazon S3, als Recovery

einsetzbar

Betrieb in variabler VM (Max. 68 GB RAM, 8 Cores mit ≈ 4 GHz)

Skalierung und Abrechnung wie bei SQL Azure


AMIs (Amazon Machine Image) als VM in EC2 betrieben

zahlreiche Varianten verschiedener DBMS ausführbar ◦ IBM DB2, Oracle Database 11g, MS SQL Server,

MySQL…

mehr Konfigurationsaufwand

mehr Verantwortung beim Admin

Integration in Cloud geringer


Was gibt es noch?


Ansatz: Vorteile von MapReduce und RDBMS kombinieren ◦ Such-/Filteralgorithmen im RDBMS i.d.R. schneller

als eigene Implementierungen

Ziel: Clustering und Lastkontrolle des RDMBS umgehen ◦ Daten in Cloud verteilt

◦ Partitionierung global bekannt

◦ Anfragen an Instanzen aufteilen → Parallelverarbeitung

Geeignet für Nur-Lese-Zugriffe


entwickelt an Yale University Open Source Projekt Aufbau

◦ MySQL oder PostgreSQL-Instanzen auf Rechnern ◦ Hadoop als Kommunikationslayer ◦ SQL-2-Hadoop-Connector auf jedem Knoten

Funktionsweise ◦ Hadoop erstellt globalen Ausführungsplan ◦ delegiert möglichst viel Arbeit ab ◦ (Teil-) Ergebnisse in Hadoop aufbereiten

Vorteile ◦ Parallelverarbeitung in RDBMS ◦ Fehlertoleranz von Hadoop ◦ Geschwindigkeit von RDBMS


Wie geht es weiter?


Trend derzeit „in die Cloud“ → EaaS

Zukünftig: ◦ spezielle Cloud-RDBMS und/oder Cloud-

Erweiterungen von RDBMS

◦ Hybridansatz mit MapReduce weiterentwickelt

◦ VMs in der Cloud eher weniger


Zeit für Diskussionen!


Vielen Dank für Ihre

Aufmerksamkeit!

Seminar Cloud Data Management WS09/10 - dbs.uni … · mehr Verantwortung beim Admin ... Fehlertoleranz von Hadoop Geschwindigkeit von RDBMS Sebastian Wienecke 18.01.2010 25 . Wie

Documents