Service Level Agreements For Job Control In High Performance Computing

:: ::

::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: :::::

::HLRS PhD-Tag

Service Level Agreements for Job Control in High-Performance ComputingRoland Kübert ([email protected])

07.10.2009

:: ::

::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: :::::

::HLRS PhD-Tag

Inhaltsverzeichnis

1. Einführung in Service Level Agreements (SLAs)2. HLRS und SLAs3. SLAs für Job Control4. Zusammenfassung

207.10.2009

:: ::

::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: :::::

::HLRS PhD-Tag

1. Einführung in Service Level Agreements (SLAs)2. HLRS und SLAs3. SLAs für Job Control4. Zusammenfassung

307.10.2009

:: ::

::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: :::::

::HLRS PhD-Tag

Was sind Service Level Agreements?• Service Level Agreements sind Vereinbarungen über die

Güte eines angegebenen Dienstes (Quality of Service)• Definieren einen Vertrag zwischen mehreren Parteien –

normalerweise Anbieter (Service Provider) und Kunde (Customer)

• Stammen ursprünglich aus der Telekommunikationsindustrie, sind seit langem aber auch in der IT präsent

402/03.06.09

:: ::

::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: :::::

::HLRS PhD-Tag

Service Level Agreement in einem Satz

“The purpose of [a] Service Level Agreement (SLA) is to define the services and responsibilities of the [service provider] and its clients.”

(Michigan State University High Performance Computing Center Service Level Agreement)

507.10.2009

:: ::

::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: :::::

::HLRS PhD-Tag

Was wird in einem SLA festgehalten?• Allgemeine Daten die den Kontext des Vertrags

betreffen• Garantien des Providers• Pflichten des Kunden• Strafen und Boni

607.10.2009

:: ::

::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: :::::

::HLRS PhD-Tag

Beispiel-SLA: Garantien des Providers„HPC Host guarantees that our data center network will be

available 100% of the time and there will not be 100% packet loss from our network backbone to our upstream providers at any time in a given month.“

„HPC Host guarantees that power will be available 100% of the time to all Dedicated Servers or colocation customers with redundant power included or ordered seperately.“

(„100 Percent SLA“ von hpchost.com)

707.10.2009

:: ::

::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: :::::

::HLRS PhD-Tag

Beispiel-SLA: Pflichten des Kunden

„Client will possess a valid MSU NetID Client will adhere to the MSU Acceptable Use Policy Client will not store any confidential, restricted, or sensitive data on HPCC systems, except in forms or fashions not readily accessible or useable to unauthorized parties.“

(Michigan State University High Performance Computing Center Service Level Agreement)

807.10.2009

:: ::

::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: :::::

::HLRS PhD-Tag

Beispiel-SLA: Vertragsstrafen

„HPC Host will credit the customer 5% of the bandwidth fee for each hour of downtime (up to 100% of your bandwidth fee) for network downtime. Network downtime is measured from the time the network is 100% unreachable, until service is once again restored.“

(„100 Percent SLA“ von hpchost.com)

907.10.2009

:: ::

::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: :::::

::HLRS PhD-Tag

1. Einführung in Service Level Agreements (SLAs)2. HLRS und SLAs3. SLAs für Job Control4. Zusammenfassung

1007.10.2009

:: ::

::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: :::::

::HLRS PhD-Tag

HLRS und SLAs• Großer Forschungsbereich sowohl im Rahmen von EU-

Projekten (NextGRID, BeinGRID, IRMOS, ...) als auch bei BMBF-Projekten (InGrid, FinGrid, SLA4D-Grid)

• Expertise in der (Ex-)Distributed Systems-Abteilung (SANE und ISIS)

• Praxisrelevanz bisher nicht gegeben, keine Anwendung der Erkenntnisse aus den Forschungsprojekten

1107.10.2009

:: ::

::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: :::::

::HLRS PhD-Tag

HLRS und SLAs 2• Arbeit von Bastian Koller: Erarbeitung einer Struktur von

SLAs, die im HPC-Bereich verwendet werden können

• Ansonsten wenig Forschung speziell im Bereich HPC, eher im Bereich Grid Computing

• Forschungsperspektive nicht unbedingt die gleiche wie praktische Anwendung

1207.10.2009

:: ::

::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: :::::

::HLRS PhD-Tag

1. Einführung in Service Level Agreements (SLAs)2. HLRS und SLAs3. SLAs für Job Control4. Zusammenfassung

1307.10.2009

:: ::

::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: :::::

::HLRS PhD-Tag

SLAs für Job Control• Einsatz von SLAs für die Übermittlung (Submission)

sowie Ausführung (Scheduling), Überwachung und Steuerung (Control) von Jobs

• Klassische Forschungsperspektive ist dabei wahrscheinlich eher uninteressant, da dort immer eine 1:1-Zuordnung von SLA und Job betrachtet wird

• Kontrolle und Verarbeitung der submittierten Jobs wird in der Forschung wenig betrachtet

1407.10.2009

:: ::

::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: :::::

::HLRS PhD-Tag

Job Submission im HPC• Kunde hat Vertrag mit HLRS (für Kunden von der Uni

gelten zum Beispiel die Benutzungsbedingungen)

• Kunde lässt Jobs rechnen, Preis ergibt sich aus Benutzerordnung

• Verträge eher statisch und unflexibel

1507.10.2009

:: ::

::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: :::::

::HLRS PhD-Tag

Job Control im HPC• Teilweise exklusiver Zugang zu Ressourcen

• Allgemein Jobabarbeitung durch Batch Processing

• Wenig Einflussnahme auf Jobs in der Ausführung

1607.10.2009

:: ::

::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: :::::

::HLRS PhD-Tag

Anwendung von SLAs• X will etwas rechnen• Hat keinen Vertrag mit dem HLRS• Kann mit dem HLRS einen elektronischen Vertrag

aushandeln• Wenn X Job rechnen will, übermittelt er ihn unter

Referenz auf einen Vertrag• -Vertrag steuert Rahmenbedingungen der Annahme von

Jobs, beeinflusst Scheduling und Jobabarbeitung

1707.10.2009

:: ::

::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: :::::

::HLRS PhD-Tag

Vorteile für den Provider• Flexiblere Auslastung durch dynamische Verträge

• Anbieten von verschiedensten Verträgen

• Unterstützung von Urgent Computing

1807.10.2009

:: ::

::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: :::::

::HLRS PhD-Tag

Vorteile für den Kunden• Dynamischer Abschluss von Verträgen

• Durch verhandeln evtl. günstige Konditionen erhaltbar

• Flexibilität bei der Übermittlung von Jobs (unter Vertrag X, weil günstig, oder unter Vertrag Y, weil schnell)

1907.10.2009

:: ::

::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: :::::

::HLRS PhD-Tag

Realisierung von SLAs auf Provider-Seite• Realisierung als Web Services (SOA)

• Architektur ist relativ gut erforscht

• HLRS hat eine große Auswahl an Komponenten schon selbst realisiert

• Integration zum Beispiel in GT4 gut möglich, zum Teil schon als Testfall realisiert (FinGrid-Prototyp)

2007.10.2009

:: ::

::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: :::::

::HLRS PhD-Tag

Realisierung von SLAs auf Kunden-Seite• Wenig Unterschied zur „normalen“ Job Submission

• Verhandlung von SLAs kommt (evtl.) hinzu

• Ansonsten Submission auch wie gehabt (abwärtskompatibel)

2107.10.2009

:: ::

::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: :::::

::HLRS PhD-Tag

1. Einführung in Service Level Agreements (SLAs)2. HLRS und SLAs3. SLAs für Job Control4. Zusammenfassung

2207.10.2009

:: ::

::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: :::::

::HLRS PhD-Tag

Zusammenfassung• Service Level Agreements für Job Submission,

Scheduling und spätere Kontrolle einsetzen

• HLRS hat viel Expertise auf diesem Gebiet

• Bisher keine Anwendung der Resultate

• Expertise für eigene Ansprüche nutzbar machen und in die Produktion integrieren

2302/03.06.09

:: ::

::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: ::::: :::::

::HLRS PhD-Tag

Fragen?

?

2407.10.2009