EGEE-II INFSO-RI- 031688 Enabling Grids for E-sciencE www.eu-egee.org EGEE and gLite are registered trademarks Système d’information Pierre Girard French ROC deputy CC-IN2P3 site administrator Activité SA1: “European Grid Support, Operation and Management”
24
Embed
EGEE-II INFSO-RI-031688 Enabling Grids for E-sciencE EGEE and gLite are registered trademarks Système dinformation Pierre Girard French.
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
EGEE-II INFSO-RI-031688
Enabling Grids for E-sciencE
www.eu-egee.org
EGEE and gLite are registered trademarks
Système d’informationPierre GirardFrench ROC deputyCC-IN2P3 site administrator
Activité SA1: “European Grid Support, Operation and Management”
To change: View -> Header and Footer 2
Enabling Grids for E-sciencE
EGEE-II INFSO-RI-031688
Plan
• Introduction• Système d’Information de LCG/EGEE• Utilisation du Système d’Information• Exploitation et Système d’information• Conclusions• Annexes
To change: View -> Header and Footer 3
Enabling Grids for E-sciencE
EGEE-II INFSO-RI-031688
Introduction
• Quoi ?– Système chargé de collecter des informations sur l’état des
ressources/services mis à disposition sur la Grille. • Pourquoi ?
– Découvrir les ressources/services de la grille et leur nature– Disposer des données pertinentes pour utiliser les ressources et les
services offerts par des sites hétéroclites.– Vérifier l’état de santé des ressources et services de la grille.
• Comment ?– En monitorant localement l’état et la description des
ressources/services, et en publiant les données “fraîchement” collectées sur le système d’information.
– En adoptant un modèle de données “commun à/connu de” tous les composants/acteurs de la grille qui ont besoin d’interagir avec les ressources/services de la grille.
– En offrant les outils qui permettent d’alimenter et d’interroger le système d’information.
To change: View -> Header and Footer 4
Enabling Grids for E-sciencE
EGEE-II INFSO-RI-031688
Plan
• Introduction Système d’Information de LCG/EGEE
– Principes– Architecture globale
Globus LCG-2
– Mise en oeuvre LDAP Glue Schema
• Utilisation du Système d’Information• Exploitation et Système d’information• Conclusions• Annexes
To change: View -> Header and Footer 5
Enabling Grids for E-sciencE
EGEE-II INFSO-RI-031688
Système d’Information de LCG/EGEEPrincipes
RC3RC2
RC1RB1RB2LFC1
LFC2
Système d’information
Site IN2P3-CC
VO1
VO2
VO3
• Principes– Chaque site publie
Une description des ressources/services qu’il fournit par VO L’état actuel de ses ressources (CPUs libres, Espace de stockage, etc.)
– Chaque VO publie (anecdotique) Ce qu’elle a installé sur chaque site (“Tags” des Software Managers)
– Les acteurs interrogent le SI pour savoir comment utiliser les services/ressources de la grille
RB1
RB1
LFC1
RB2 LFC2
Inte
rrog
atio
n
Utilisation
VO1
To change: View -> Header and Footer 6
Enabling Grids for E-sciencE
EGEE-II INFSO-RI-031688
Architecture globale :Origine du SI actuel
• Globus: architecture MDS-2 (Monitoring and Discovery System)
Cache contains info fromA and B
Client 1 Client 2
Client 2 uses GIIS for searching collective information
GIIS
Cache contains info fromA and B
Client 1 Client 2
Client 2 uses GIIS for searching collective information
Resource A
GRIS
IPIPResource A
GRIS
IP Resource B
GRIS
IPIP
IP
Resource B
GRIS
IP
Client 1 searchesthe GRIS directly
GRIS register with GIISGIIS requests info from GRIS services
Grid Resource Information Service
Grid Index Information Service
1
2
StorageElement
Gridftp
ComputingElement
Gatekeeper
Information Provider IP
To change: View -> Header and Footer 7
Enabling Grids for E-sciencE
EGEE-II INFSO-RI-031688
RB Local GRIS
SELocal GRIS
CE Local GRIS
BDII-A BDII-B
SELocal GRIS
SELocal GRIS
CE Local GRIS
SELocal GRIS
BDII-C
CELocal GRIS
CE Site BDII
CELocal GRIS
CE Site BDII Site BDII
Site 1 Site 2 Site 3
Architecture globale :SI actuel
• LCG-2/GLITE : Aggrégations des systèmes d’information des sites– BDII (Berkeley Database Information Index): même fonctionnalité que le GIIS, avec une
implémentation différente (meilleure gestion de cache)– 2 niveaux d’aggrégation: de GRIS (site BDII) et de site BDII (top BDII)
To change: View -> Header and Footer 8
Enabling Grids for E-sciencE
EGEE-II INFSO-RI-031688
Mise en oeuvre Annuaire LDAP
• GRIS, GIIS et BDII sont des serveurs d’annuaire LDAP (openldap)– LDAP : Lightweight Directory Access
Protocol
• Modèle de données– Arborescence de nœuds– Chaque nœud (entrée de l’annuaire)
contient des attributs– La structure d’un nœud est définie par
une ou des classes au schéma prédéfini.
• Modèle de nommage– Distinguished Name (DN):cn=Girard Pierre,ou=People,ou=cc,o=in2p3,c=fr
• Le SI est interrogé par le RB pour choisir une queue de soumission en fonction du JDL (Job Description Language) fourni par l’utilisateur
RC3RC2
RC1RB1RB2LFC1
LFC2
Top BDIITAG VO3_APP1.0.2
TAG VO3_APP1.0.2
Input “datafile1”
UIJDL
VO3Requirements:TAG VO3_APP1.0.2MaxCPUTime >= 20
RB2 2- Interroge3- Soumet
1- soumet un job (JDL)
To change: View -> Header and Footer 17
Enabling Grids for E-sciencE
EGEE-II INFSO-RI-031688
Services Grille Data management
• Le middleware exploite le SI pour rendre transparent la gestion des données distribuées sur la grille– Localise le catalogue de fichier de la VO– Exploite les données publiées par le SE pour opérer les transferts
• Introduction• Système d’Information de LCG/EGEE• Utilisation du Système d’Information Exploitation et Système d’information
• GOC DB• Tests fonctionnels et filtrage du SI
• Conclusions• Annexes
To change: View -> Header and Footer 19
Enabling Grids for E-sciencE
EGEE-II INFSO-RI-031688
Exploitation et Système d’information GOC DB
• Référenciel de tous les sites de LCG/EGEE– l’URL LDAP du GIIS/Site BDII de chaque site– Le statut/type (Certified/Production) de chaque site– La déclaration éventuelle de « Scheduled Downtime »– … Utilisable pour générer automatiquement la configuration des Top BDIIs avec la liste des
sites déclarés en « Production » http://grid-deployment.web.cern.ch/grid-deployment/gis/lcg2-bdii/dteam/lcg2-all-sites.conf
GOC DB
HTTP
URL SiteBDII1
URL SiteBDII2
…
URL SiteBDII1
URL SiteBDII2
…
BDII
Config
To change: View -> Header and Footer 20
Enabling Grids for E-sciencE
EGEE-II INFSO-RI-031688
Exploitation et Système d’information Tests fonctionnels et filtrage du SI
• SAM (Service Availibility Monitoring)– https://lcg-sam.cern.ch:8443– système soumettant régulièrement
des tests sur les sites– Le résultat des tests est utilisable
pour filtrer les Top BDIIs en supprimant les sites en échec.
• FCR (Freedom of Choice for Resources)– https://lcg-fcr.cern.ch:8443/fcr/fcr.cgi– Permet à une VO de choisir les tests
qu’elle considère critiques et d’ajouter ses propres tests de site
– Pris en compte dans le filtrage des Top BDII (configurés pour)
To change: View -> Header and Footer 21
Enabling Grids for E-sciencE
EGEE-II INFSO-RI-031688
Conclusions
• Le SI LCG/EGEE fournit les informations nécessaires à l’utilisation des ressources/services de la grille
– Pour les utilisateurs– Pour les services de grille– ~200 sites sont ainsi publiés
• Il est organisé autour d’une architecture à 3 niveaux de serveurs LDAP– GRIS GIIS/Site BDII Top BDII– Utilise un modèle de données défini par le GLUE Schema– Attention aux temps de latence liés à l’accumulation de cache
quelques minutes de décalage au niveau du Top BDII• Criticité du SI
– Stabilité en progression – Les Top BDIIs sur-utilisés peuvent devenir instables et altérés le fonctionnement de la
grille Ex.: lcg-bdii.cern.ch
Plan pour répartir le SI en Top BDIIs par ROC (fédérations) GSTAT: monitoring permettant de vérifier l’état de santé du SI
• R-GMA (Relational Grid Monitoring Architecture), l’alternative ?• Approche « BD Relationnelle distribuée»• Possibilité d’extension du modèle de données du SI• Déjà utilisé pour l’« Accounting » (comptabilité des jobs)• Annoncé comme le remplaçant de l’architecture basé sur LDAP Ne semble pas encore avoir fait ses preuves
To change: View -> Header and Footer 22
Enabling Grids for E-sciencE
EGEE-II INFSO-RI-031688
Remerciements
• Pour le pillage de leurs présentations– Diego Scardaci, INFN Catania– Jozsef Patvarczki, MTA SZTAKI– Patricia Méndez Lorenzo, CERN