1 IL MIDDLEWARE Richiami sulla caratterizzazione dei sistemi GRID Il Concetto di Virtual Organization Larchitettura a Clessidra Il middleware Il modello.

1

IL MIDDLEWAREIL MIDDLEWARE

• Richiami sulla caratterizzazione dei sistemi GRID• Il Concetto di Virtual Organization• L’architettura a Clessidra• Il middleware• Il modello gLite• Servizi Collective e Servizi Core

Griglie computazionali Griglie computazionali

Università degli Studi di Napoli Federico IICorso di Laurea Magistrale in Informatica – I Anno

2

Introduzione Introduzione (1/2)(1/2)

Concetto ispiratori delle “Computational Grids”:

• risorse di computing/storage eterogenee, distribuite geograficamente, accessibili facilmente e senza conoscere i dettagli della loro collocazione

(come avviene per l’utilizzo dell’energia elettrica)

• utenti distribuiti geograficamente, ottengono l’ accesso alle risorse tramite un insieme di servizi

• diverse virtual organization condividono risorse per il raggiungimento di uno scopo comune.

3

Introduzione Introduzione (2/2)(2/2)

Il concetto di condivisione delle risorse (resource sharing) non e’ una novità:• printer sharing, RPC, networked file systems, ...

Grid viene considerato il successore dei sistemi di calcolodistribuiti convenzionali. Non è semplice trovare un’unica definizione di Grid:

• high-performance distributed computing environment

• geographically distributed computing

• “Coordinated resource sharing and problem solving in dynamic , multi-institutional virtual organizations”.

4

G R I D

Per identificare meglio il concetto di griglia computazionale, mettiamolo in confronto con un sistema distribuito tradizionale.

5

Applicazioni distribuiteApplicazioni distribuite

Applicazione distribuitanumero (finito) di processi cooperativi che utilizzano risorsedebolmente accoppiate (loosely coupled resources)

• Processi indipendenti lavorano su dati Geograficamente distribuiti.

• Simulazioni mediante processi comunicanti tra loro.

6

Metodologia per la caratterizzazioneMetodologia per la caratterizzazione

La macchina virtuale su cui viene eseguita un’applicazionedistribuita differisce nelle sue caratteristiche se consideriamo

• un sistema di calcolo distribuito convenzionale• un sistema di calcolo Grid

E’ possibile definire un sistema Grid caratterizzando la macchina virtuale

7

A1 A2

risorsa

nodoApplication

Virtualmachine

level

Virtualpoollevel

Physicallevel

8

A1 A2

risorsa

nodoApplication

Virtualmachine

level

Virtualpoollevel

Physicallevel

9

Sistemi di calcolo distribuito convenzionali Sistemi di calcolo Grid

pool virtuale di nodi di calcolo pool virtuale di risorse

l’utente ha accesso ai nodi del pool l’utente ha accesso al pool ma non ai nodi

l’accesso al nodo implica l’utilizzo di tutte le risorse del nodo

l’accesso ad una risorsa può essere ristretto

l’utente e’ a conoscenza delle caratteristiche dei nodi

l’utente non ha idea delle caratteristiche delle risorse

i nodi appartengono solitamente ad un singolo dominio di gestione

le risorse appartengono a più domini di gestione

elementi nel pool: 100-1000, statici elementi nel pool: >> 1000, dinamici

Riepilogo e comparazioneRiepilogo e comparazione

10

Virtualizzazione su più LivelliVirtualizzazione su più Livelli

Il Grid computing fornisce un layer di interoperabiltià sulle tecnologie eterogenee di storage, computing e data aquisition mediante la virtualizzazione su due livelli:

• virtualizzazione degli utenti

• virtualizzazione delle risorse

11

12

Un insieme di utenti, site-indipendent ed uniti da un obiettivo comune, che condividono risorse hardware, software e conoscenza.

Esempi di Virtual Organization:L’insieme degli ingegneri di una compagnia di progettazione aerea, distribuiti su diversi centri, che condividono brevetti, risorse di calcolo e software di simulazione

L’insieme di ricercatori di un esperimento di fisica distribuiti in differenti università europee, che condividono software e risorse di calcolo e modelli.

Il Concetto di Virtual Organization Il Concetto di Virtual Organization

13

Membership Management

Policy Management

Single-Sign On sulle risorse della GRID

Offerta di servizi e di supporto agli utenti

Management del software

Il Concetto di Virtual Organization Il Concetto di Virtual Organization

14

Organizazione di una VO Organizazione di una VO

VO Manager

VO ResourcesMember RoleLuca AdminAnna StudentMario Mngr.... .....

VO Member

USERS

UTENTIRISORSE

VOSite Indipendent

15


Una VO nasce come una struttura dinamica

Un utente può appartenere a più virtual organization ed avere ruoli diversi in diverse VO

All’interno di una VO si possono creare gruppi con differenti policy ed eseguire il management per gruppi o con granularità del singolo utente

16


VO ATLAS: VO tematica dedicata alla fisica delle particelle che unisce fisici di tutto il mondo impegnati nell’esperimento ATLAS che si svolge presso il CERN

UTENTI: 2.500 fisici provenienti da università e centri di ricerca di tutto il mondo.

RISORSE: Migliaia di CPU distribuite su scala geografica

VO-MANAGER: Unico al CERN

SOFT-MANAGER: Unico a Roma

17

Architettura di un sistema GRID Architettura di un sistema GRID

18

Livello Fabric Livello Fabric

Costituito dall’insieme delle risorse computazionali, di storage, telescopi, microscopi, apparati sperimentali che producono dati, virtual instruments e così via.

E’ un livello fortemente eterogeneo in cui ciascuna delle risorse è dotata del proprio sistema operativo mediante il quale offre servizi direttamente agli utenti o ai livelli superiori dell’architettura GRID.

19

Livello Connectivity Livello Connectivity

Definisce i protocolli core per l’autenticazione e la connettività tra servizi GRID.Rappresenta il principale strato di interoperabiltà tra le tecnologie di terze parti eterogenee implementate a livello fabric. In particolare il livello connectivity è responsabile di:

Single-sign On

Delegation

Integrazioni con i sistemi locali di autenticazione

20

Livello ResourceLivello Resource

Definisce i protocolli per la pubblicazione delle informazioni locali sullo stato di risorse e fornisce i servizi per il management poggiandosi sul livello connectivity:

Information Protocols

Management Protocols

Protocolli tipici di questo livello sono il gridFTP per lo storage e il GRAM (Grid Resource Access and Management) protocollo http-based usato per l’allocazione di risorse computazionali.

21

Livello CollectiveLivello Collective

Definisce i protocolli e servizi di alto livello per la gestione delle risorse distribuite. E’ il livello che di fatto virtualizza le risorse presenti sulla griglia e le esporta in maniera trasparente verso l’utente.

I servizi offerti a livello collective sono di vario tipo, legati sia al management dello storage, sia alla gestione delle risorse di calcolo e di rete. Tali servizi si basano tutti su un sistema informativo dovendo agire su una visione globale della griglia

22

Livello CollectiveLivello Collective

Servizi tipici di questo livello sono:

Directory services Co-allocation, scheduling, and brokering services Monitoring and diagnostics services Data replication services Grid-enabled programming systems Workload management systems and collaboration

frameworks Software discovery services Community accounting and payment services Collaboratory services

23

Livello ApplicationLivello Application

Costituisce l’insieme di tutte le applicazioni che si appoggiano ai servizi di GRID per la risoluzione di problemi.

Le applicazioni utilizzano i metodi dei livelli sottostanti per accedere alle risorse, e possono interagire a più livelli accedendo alle risorse o tramite i servizi Collective, o tramite i servizi Resources o direttamente tramite il livello

Connectivity.

Il livello application è il livello che completa l’architettura a clessidra.

24

L’architettura a clessidraL’architettura a clessidra

L’architettura a clessidra è presa come riferimento in tutte le maggiori implementazioni di GRID.

I protocolli stanno subendo un processo di standardizzazione nell’ambito di collaborazioni internazionali (come è successo per il TCP), ovvero partendo da soluzioni esistenti e tentando di creare degli RFC.

25

Introduzione al Grid MiddlewareIntroduzione al Grid Middleware

RISORSE FISICHE

MACCHINE VIRTUALI LOCALI

MACCHINA VIRTUALE GRID

APPLICAZIONI

RISORSE HARDWARE, CPU, MEMORIE, APPARATI FISICI

SISTEMI OPERATIVI LOCALI LINUX, UNIX, WINDOWS, PROPRIETARI

GRID MIDDLEWARE: LCG, gLite, globus

APPLICAZIONI DISTRIBUITE, ANALISI DATI, CALCOLO SCIENTIFICO

Il Grid middleware di base è la componente software che realizza ma macchina virtuale di griglia, esso va inteso come strato di mezzo tra i sistemi operativi delle singole risorse e le applicazioni distribuite.

26

Introduzione al Grid MiddlewareIntroduzione al Grid Middleware

Globus Project• Sviluppato dal 1998, standard “de facto”

per le tecnologie GRID.• partner: Argonne NL (Chicago), USC/ISI

(California), EPCC (Edimburgo) ...• sviluppo open source del Globus Toolkit • http://www.globus.org

Globus Toolkit• insieme di librerie e servizi “nucleo”

dell’infrastruttura Grid”• architettura a livelli• modello modulare: bag of services

ServiziGlobusdi base

27

Introduzione al Grid MiddlewareIntroduzione al Grid MiddlewareLCG - LHC Computing Grid

• Sviluppato a partire dalla fine degli anni 90• Partner: CERN e le comunità di fisica delle

alte energie• sviluppo open source a partire Globus

Toolkit 2• http://www.cern.ch/lcg

gLite – Grid Lite• Sviluppato a partire dal 2004• Partner: Comunità del progetto europeo

EGEE• Middleware di nuova generazione orientato

ai servizi• http://glite.web.cern.ch

ServiziGlobusdi base

28

http://glite.web.cern.chhttp://glite.web.cern.ch

29

Il middleware gLiteIl middleware gLite

gLite: Grid Lite - Middleware Europeo completamente riscritto

a partire dal modello del Globus toolkit 2.4

Piattaforma multidisciplinare: gLite nasce per fornire servizi di basso livello sui quali costruire applicazioni scientifiche e commerciali. Nasce sulla base dei feedback di alcune comunità pilota.

gLite offre protocolli di base per l’accesso alle risorse computazionali, di storage e per la creazione di virtual instrument.

30


gLite prevede un modello fortemente strutturato per l’implementazione dei livelli COLLECTIVE, RESOURCE e CONNECTIVITY, interagendo con prodotti

di terze parti per i livelli APPLICATION e FABRIC

In particolare il modello gLite si basa sul concetto di ELEMENTO e SITO ed implementa due classi di servizi

SERVIZI COLLECTIVE

SERVIZI CORE

31

Il middleware gLiteIl middleware gLiteServizi CoreServizi Core

I servizi di tipo CORE sono servizi locali che permettono di condividere risorse di calcolo, di storage e virtual

instruments. Sono implementati da GRID Element e sono presenti in tutti i siti.

I servizi COLLECTIVE sono servizi distribuiti o centralizzati che lavorano al di sopra delle risorse locali e che di fatto costituiscono l’infrastruttura distribuita. Sono implementati da Grid Element e hanno valenza collettiva.

32

Il middleware gLiteIl middleware gLiteIl concetto di ELEMENTO in gLiteIl concetto di ELEMENTO in gLite

Un ELEMENTO o GRID ELEMENT in gLite è un host che

Fornisce uno o più servizi (di tipo collective o core)

Fornisce metodi per l’accesso a tali servizi

È in grado di pubblicare informazioni sulle caratteristiche e sullo stato dei servizi.

E’ in grado di interagire con altri elementi grid o con gli utenti direttamente

33

Il middleware gLiteIl middleware gLiteI GRID ELEMENT ed i servizi CORE di gLiteI GRID ELEMENT ed i servizi CORE di gLite

COMPUTING ELEMENT (CE): Fornisce tutti i servizi necessari per l’accesso alle risorse computazionali, interagisce con i local resource manager, pubblica le informazioni sui suoi servizi

STORAGE ELEMENT (SE): Fornisce servizi ed interfacce per la gestione dello storage locale in ambiente GRID in maniera trasparente all’utente.

WORKER NODE (WN): Fornisce servizi per il calcolo: sono le macchine utilizzate per la computazione pura.

SITE BDII (SBDII): Pubblica informazioni sulle risorse locali

34

Il middleware gLiteIl middleware gLiteIl concetto di SITO in gLiteIl concetto di SITO in gLite

Un SITO in gLite è un insieme di risorse che:

Possiede almeno un site BDII, un CE, un SE ed una serie di WNgLite SITE

CEComputing Element

SEStorage Element

WORKER NODE

SiteBDII

Nell’architettura gLite i SITE rappresentano

i nodi della GRID, centri di risorse e di servizi locali

35

Il middleware gLiteIl middleware gLiteI Servizi COLLECTIVE in gLiteI Servizi COLLECTIVE in gLite

VIRTUAL ORGANIZATION MEMBERSHISP SERVER (VOMS): Servizio per la gestione delle membership ad una VO e per la gestione delle policy sulle risorse.

WORKLOAD MANAGEMENT SYSTEM (WMS): Ha una visione globale della GRID e schedula l’esecuzione dei job sui singoli SITI.

LOGGING AND BOOKKEEPING SERVER (LB): Tiene traccia dei job e del loro stato.

TOP BDII (TBDII): Pubblica informazioni su tutte le risorse della GRID, viene usato dal WMS.

LOGICAL FILE CATALOG (LFC): Fornisce servizi di naming ed un filesystem virtuale di alto livello per il mapping di nomi logici a file fisici distribuiti sugli Stroage Element

36


gLite SITE

CEComputing Element

SEStorage Element

WORKER NODE

SiteBDII

CEComputing Element

SEStorage Element

WORKER NODE

SiteBDII

CEComputing Element

SEStorage ElementWORKER NODE

SiteBDIIWMS BDII LFC VOMS

SERVIZI COLLECTIVE

37


Il Middleware gLite prevede un’architettura di tipo SOA (Service Oriented Architecture) che garantisce una maggiore modularità, un alto livello di astrazione e consente il reutilizzo del codice e delle applicazioni di terze parti.

I servizi comunicano tra di loro attraverso interfacce e protocolli ben definite che possono comprendere coordinamento di servizi e scambio di dati.

Molti servizi oggi sono basati su tecnologie web-services

38


Schema dell’architettura di gLite con l’elenco dei servizi presenti

39


Il middeware pubblica API e metodi che possono essere utilizzati direttamente dall’utente o dalle applicazioni per la creazione di applicazioni Grid compliant su piattaforma gLite

40


Schema dell’interazionetra un utente ed i servizinecessari per la sottomissione di JOB

1 IL MIDDLEWARE Richiami sulla caratterizzazione dei sistemi GRID Il Concetto di Virtual Organization Larchitettura a Clessidra Il middleware Il modello.

Documents