Grid a Perugia Grid a Perugia Modifiche ad INFN-GRID Modifiche ad INFN-GRID per permetterne il per permetterne il funzionamento con Worker funzionamento con Worker Nodes su rete nascosta Nodes su rete nascosta Truncellito Francesco Truncellito Francesco Mariotti Mirko Mariotti Mirko Leonello Servoli Leonello Servoli
26
Embed
Grid a Perugia Modifiche ad INFN-GRID per permetterne il funzionamento con Worker Nodes su rete nascosta Truncellito Francesco Mariotti Mirko Leonello.
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Grid a PerugiaGrid a Perugia
Modifiche ad INFN-GRID per Modifiche ad INFN-GRID per permetterne il funzionamento con permetterne il funzionamento con Worker Nodes su rete nascostaWorker Nodes su rete nascosta
Truncellito FrancescoTruncellito Francesco
Mariotti MirkoMariotti Mirko
Leonello ServoliLeonello Servoli
Installazione standard di INFN GRID 2.0.0Installazione standard di INFN GRID 2.0.0
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
L’installazione standard di INFN GRID 2.0.0, prevede che tutti gli L’installazione standard di INFN GRID 2.0.0, prevede che tutti gli elementi costituenti un sito abbiano una sola interfaccia di rete ed un elementi costituenti un sito abbiano una sola interfaccia di rete ed un IP pubblico.IP pubblico.
Vantaggi:Vantaggi:
facilità di installazione;facilità di installazione;
Svantaggi:Svantaggi:
sono necessari svariati IP pubblici;sono necessari svariati IP pubblici;
occorre maggior cura per la sicurezza;occorre maggior cura per la sicurezza;
Introduzione ed obiettivi (1/4)Introduzione ed obiettivi (1/4)
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Installazione standard di INFN GRID 2.0.0Installazione standard di INFN GRID 2.0.0
Introduzione ed obiettivi (2/4)Introduzione ed obiettivi (2/4)
NETWORKNETWORK
CONFIGURATIONCONFIGURATION
GRIDGRID
WN1WN1
INFN LANINFN LAN
WN2WN2
WN3WN3
CECE
SESE
UIUI
DNSDNS
LCFG - DHCPLCFG - DHCP
PRIVATE LANPRIVATE LAN INFN LANINFN LANPRIVATE LANPRIVATE LAN
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Installazione custom di INFN GRID 2.0.0Installazione custom di INFN GRID 2.0.0
Introduzione ed obiettivi (3/4)Introduzione ed obiettivi (3/4)
La nostra installazione prevede:
• WNs su rete privata;
• CE e SE su rete pubblica.
WN1WN1
WN2WN2
WN3WN3
SESE
UIUI
CECE
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Possiamo suddividere gli interventi apportati per questo Possiamo suddividere gli interventi apportati per questo tipo di installazione in tre gruppi:tipo di installazione in tre gruppi:
1.1. Modifiche in pre-configurazione:Modifiche in pre-configurazione: riguardano i riguardano i servizi di rete (DNS, DHCP);servizi di rete (DNS, DHCP);
2.2. Modifiche in configurazione:Modifiche in configurazione: sono le modifiche sono le modifiche fatte attraverso LCFG;fatte attraverso LCFG;
3.3. Modifiche in post-configurazione:Modifiche in post-configurazione: riguardano riguardano principalmente il batch system ed i problemi principalmente il batch system ed i problemi sorti a causa della tipologia di installazione;sorti a causa della tipologia di installazione;
Introduzione ed obiettivi (4/4)Introduzione ed obiettivi (4/4)Modifiche fatte:Modifiche fatte:
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Ad installazione ultimata i Worker Nodes non Ad installazione ultimata i Worker Nodes non saranno risolvibili dall’esterno;saranno risolvibili dall’esterno;
Affinchè lo siano internamente alla rete privata, Affinchè lo siano internamente alla rete privata, abbiamo inserito un DNS;abbiamo inserito un DNS;
ÉÉ stato creato il sottodominio “cmsgrid.pg.infn.it”; stato creato il sottodominio “cmsgrid.pg.infn.it”; La posizione del server LCFG lo rende il candidato La posizione del server LCFG lo rende il candidato
ideale per ospitare il server DNS;ideale per ospitare il server DNS; La configurazione del DNS è standard per una rete La configurazione del DNS è standard per una rete
privata;privata;
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Aggiunta di un server DNSAggiunta di un server DNS
I profili pubblicati da LCFG devono essere notificati I profili pubblicati da LCFG devono essere notificati sia alla rete privata, sia alla LAN INFN;sia alla rete privata, sia alla LAN INFN;
I profili risulteranno appartenenti a due domini I profili risulteranno appartenenti a due domini diversi:diversi:
Occorre scegliere un gateway per i Worker Nodes che Occorre scegliere un gateway per i Worker Nodes che dovrà essere opportunamente configurato;dovrà essere opportunamente configurato;
La scelta è ricaduta sul server LCFG per i seguenti La scelta è ricaduta sul server LCFG per i seguenti motivi:motivi:
1.1. Gestisce già il networking del sito (DNS, DHCP);Gestisce già il networking del sito (DNS, DHCP);
2.2. Semplicità di configurazione;Semplicità di configurazione;
3.3. Non partecipa direttamente nell’esecuzione di job Non partecipa direttamente nell’esecuzione di job Grid;Grid;
Abbiamo mascherato la rete privata utilizzando NAT.Abbiamo mascherato la rete privata utilizzando NAT.
Networking dei nodiNetworking dei nodi
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Pre-Configurazione (10/10)Pre-Configurazione (10/10)Struttura finale del sitoStruttura finale del sito
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Configurazione (1/7)Configurazione (1/7)
La nostra configurazione prevede due tipi di elementi:La nostra configurazione prevede due tipi di elementi:
1.1. I Worker Nodes:I Worker Nodes: hanno una sola interfaccia di hanno una sola interfaccia di rete;rete;
2.2. Computing Element, Storage Element ad User Computing Element, Storage Element ad User Interface:Interface: hanno due interfacce di rete; hanno due interfacce di rete;
I due tipi di elementi hanno configurazione diversa, sia I due tipi di elementi hanno configurazione diversa, sia per quanto riguarda i parametri di rete, sia per la per quanto riguarda i parametri di rete, sia per la presenza fisica delle due interfacce.presenza fisica delle due interfacce.
Modifiche ai file di configurazione dei nodi sul Modifiche ai file di configurazione dei nodi sul server LCFGserver LCFG
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Configurazione (2/7)Configurazione (2/7)
I Worker Nodes appartengono alla sola rete locale;I Worker Nodes appartengono alla sola rete locale;I parametri di rete sono definiti in un proprio “site-cfg.h”:I parametri di rete sono definiti in un proprio “site-cfg.h”:
Parametri di rete dei Worker NodesParametri di rete dei Worker Nodes
/* Computing Element & Storage Element hostname */#define CE_HOSTNAME cmsgridgk.pg.infn.it#define SE_HOSTNAME cmsgridse.pg.infn.it
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Configurazione (3/7)Configurazione (3/7)
Nel Computing Element, nello Storage Element e nella Nel Computing Element, nello Storage Element e nella User Interface vanno attivate le interfacce di rete che sono User Interface vanno attivate le interfacce di rete che sono collegate alla rete privata.collegate alla rete privata.
Le modifiche (per quanto riguarda il CE), sono inserite in:Le modifiche (per quanto riguarda il CE), sono inserite in:
2.2. cmsgridgk (file di configurazione principale);cmsgridgk (file di configurazione principale);
(Analoghe modifiche si hanno per SE ed UI)(Analoghe modifiche si hanno per SE ed UI)
Modifiche al CE, SE ed UI:Modifiche al CE, SE ed UI:
seconda interfaccia di reteseconda interfaccia di rete
/* ComputingElement-local-cfg.h ========================================================================= COMPUTING ELEMENT LOCAL RESOURCES DEFINITION*/
+hardware.modlist eth1 eth0+hardware.modlist eth1 eth0hardware.mod_eth1 alias eth1 e100hardware.mod_eth1 alias eth1 e100
+network.interfaces lo eth1 eth0+network.interfaces lo eth1 eth0+network.gatewaydev eth1+network.gatewaydev eth1+network.hostname_eth1 HOSTNAME+network.hostname_eth1 HOSTNAME+network.netmask_eth1 SITE_NETMASK+network.netmask_eth1 SITE_NETMASK+network.network_eth1 SITE_NETWORK+network.network_eth1 SITE_NETWORK+network.broadcast_eth1 SITE_BROADCAST+network.broadcast_eth1 SITE_BROADCAST
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Configurazione (6/7)Configurazione (6/7)site-cfg.hsite-cfg.h per Computing Element, Storage per Computing Element, Storage
Element ed User InterfaceElement ed User Interface
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Configurazione (7/7)Configurazione (7/7)I due I due “site-cfg.h”“site-cfg.h” a confronto a confronto
VARIABILE NEI WORKER NODES IN CE, SE e UICE_HOSTNAMESE_HOSTNAMESITE_LOCALDOMAINSITE_MAILROOTSITE_GATEWAYSSITE_ALLOWED_NETWORKSSITE_NAMESERVERSSITE_NETMASKSITE_NETWORKSITE_BROADCAST
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Post-Configurazione (1/2)Post-Configurazione (1/2)Gli interventi apportati in post-configurazione sono Gli interventi apportati in post-configurazione sono legati ad openPBS:legati ad openPBS:
1.1. Modifiche alla configurazione di openPBS;Modifiche alla configurazione di openPBS;
2.2. Routing statico verso il CE nei nodi;Routing statico verso il CE nei nodi;
La fase di testing ha portato alla luce la presenza di La fase di testing ha portato alla luce la presenza di alcuni problemi minori che abbiamo risolto con piccoli alcuni problemi minori che abbiamo risolto con piccoli interventi manuali:interventi manuali:
1.1. Definizione errate Definizione errate delledelle variabili variabili LCG_GFAL_INFOSYS in LCG_GFAL_INFOSYS in etc/profile.d/lcgenv.sh – lcgenv.csh ;etc/profile.d/lcgenv.sh – lcgenv.csh ;
Entrata nella griglia di Entrata nella griglia di produzione INFN:produzione INFN:
Site view Geo view Gris view
Grid-it
Il 22 marzo 2004, alle 00:15 il sito Grid di Perugia ha pubblicato i suoi servizi, entrando ufficialmente a far parte del progetto INFN-Grid, ed è stato certificato dal CMT;
F. Truncellito, L. Servoli, M. Mariotti F. Truncellito, L. Servoli, M. Mariotti INFN Workshop 2004 INFN Workshop 2004
Il futuro di INFN GRID Perugia:Il futuro di INFN GRID Perugia:
Nel prossimo futuro è nostra intenzione aumentare il Nel prossimo futuro è nostra intenzione aumentare il numero di Worker Nodes, sia tramite l’acquisizione di numero di Worker Nodes, sia tramite l’acquisizione di nuove macchine, sia tramite la migrazione di farm locali nuove macchine, sia tramite la migrazione di farm locali verso il progetto GRID.verso il progetto GRID.
Per migliorare la gestibilità del sito creato, stiamo Per migliorare la gestibilità del sito creato, stiamo cercando di integrare le modifiche apportate cercando di integrare le modifiche apportate manualmente direttamente tramite LCFG.manualmente direttamente tramite LCFG.