Alice France Computing kSI2K et petaBytes, Xeon2.8GHz, middleware, Mass Storage, EGEE, gLite ou AliEn, PROOF, globus, LCG Journées ALICE France Physique.

Alice France Computing

kSI2K et petaBytes, Xeon2.8GHz, middleware, Mass Storage, EGEE, gLite ou AliEn, PROOF,

globus, LCG

Journées ALICE France Physique

AFP

Christophe SuireChristophe Suire

23-24 mai 2004

Alice France Computing

Status

Plan : AFP & Alice Computing

Les bases (Y. Schutz) Résultats des

sondages Discussions

AFP & Alice Computing

2Christophe Suire

Quels sont les points importants qui peuvent/doivent être discutés au niveau de l'AFP?

• s'assurer que les ressources sont suffisantes et utilisables (TIER-2/Laurent Aphecetche)• mettre à jour un système de tutorial :

AliRoot : installation et basesccin2p3 : script/batch, hpss OU AliEn (opérationnel au ccin2p3 ??)

• s'assurer que chacun aura accès à des ressources pour faire tourner ses analyses de physique• autres ?

Le calcul

YS@AFP

Un nouveau paradigme

• Les données du problème:– Une quantité de données sans précédant: > Po/an– Une grande collaboration: > 1000 collaborateurs– Une répartition mondiale: > 80 Instituts, dans > 30 pays

• Une seule solution: la Grille– Fédérer les ressources informatiques distribuées dans les

Instituts– Un intergiciel (middelware) permettant a tout utilisateur d’accéder

aux ressources de façon transparente

Intergiciel ?

Christophe Suire

PCFarm

PCFPCF

PCF

PCF

PCF

PCF

PCF

PCF

PCF

Physicien du passéPhysicien du Futur

Intergiciel : AliEn – gLitetransfert d'infos et de fichiers, authentification,

file catalog, GUIs ?, etc…

YS@AFP

Réponse au défis LHC

• LCG (LHC Grid Computing):– Collecte les ressources informatiques– Développe, teste et distribue l’intergiciel (ensemble de services)– Met le tout a la disposition des expériences

• EGEE (Enabling Grids for E-sciencE)– Développe l’intergiciel « universel »

• Les expériences– Adapte les services aux besoins (interface intergiciel)– Développe et distribue les services propres (AliEn)– Développe l’interface utilisateur (gShell)

Intergiciel pour le LHC ?

Christophe Suire

1. L'intergiciel "officiel" de LCG sera g-Lite (en retard par-rapport à AliEn).

2. Intergiciel commun à Alice-CMS-ATLAS-LHCb ?!

YS@AFP

Modèles de calcul

• Hiérarchique: Tier– 0 : au CERN

• Stockage permanent des données brutes, calibrage, ESD• Premier passage de reconstruction

– 1s: CERN et ailleurs (… CCIN2P3…)• Stockage permanent d’une 2eme copie des données brutes,

MC, ESD, AOD• Stockage temporaire d’une fraction des données brutes, ESD,

AOD, MC • Passage supplémentaire de reconstruction• Analyse organisée

– 2s: CERN et ailleurs (… Clermont, CCIN2P3, Nantes, Paris,…)• Stockage temporaire des données MC, EESD, AOD• Production MC• Analyses individuelles

Model Hierarchique / Model Flou

Christophe Suire

Note : en théorie, chaque "catégorie" de TIER est capable

d'effectuer tous les types de tâches (cela dépend du middleware).

mais : - les rawdata sont dans le TIER-0 (copie partagée

dans les Tier-1) - la reconstruction sera prioritaire et occupera très

largement les CPUs/disks des TIER-0 et TIER-1 Les analyses (dites chaotiques ) vont certainement

etre circonscrites au niveau des TIER-2

YS@AFP

Modèles de calcul

• Flou (cloud model):– Chaque site peut effectuer n’importe quel type de

tache en fonction • Des ressources de calcul disponibles• De la localisation des données

– Minimise le transport des données– Optimise l’usage du CPU– Nécessite toutes les

fonctionnalités de la GRILLE

YS@AFP

Traitement des données

• pp (identique aux autres expériences)– Distribution des données et première reconstruction

quasi en ligne dans T0– Reconstructions additionnelles dans T1’s pendant le

reste de l’année• AA (trop gourmand en temps de calcul)

– Calibrage, alignement et reconstruction tests pendant la prise de données au T0

– Distribution des données et première reconstruction dans T0 pendant les 4 mois suivant la prise de données

– Reconstructions additionnelles dans T1’s pendant le reste de l’année

YS@AFP

T0

J anuary

February

March

April

May

J une

J uly

August

September

October AA 1 Calibration

November Run1 AA Reco 1 Run1 pp Reco 2

December

J anuary

February at T0

March Run2 pp Reco 1

April at T1s

May Run1 AA Reco 2 Run1 pp Reco 3

J une

J uly

August

September at T0

October AA 2 Calibration at T1s at T1's

November Run2 AA Reco 1 Run1 AA Reco 3 Run2 pp Reco 2

December

J anuary

February at T0

March Run3 pp Reco 1

April at T1s at T1's

May Run2 AA Reco 2 Run2 pp Reco 3

J une

J uly

August

September at T0

October AA 3 Calibration at T1s at T1's

November Run3 AA Reco 1 Run2 AA Reco 3 Run3 pp Reco 2

December

at T0

at T1s at T1's

Year

T1

Process

Run1 pp Reco 1

Calibration

pp 2

2009 pp 3

Shutdown

Accelerator

pp 1

Month

2008

2007

Shutdown

Shutdown

YS@AFP

Les ressources requises

0,0E+00

5,0E+00

1,0E+01

1,5E+01

2,0E+01

2,5E+01

3,0E+01

3,5E+01

Janu

ary 0

7

Mar

ch 0

7

May

07

July

07

Septe

mbe

r 07

Novem

ber 0

7

Janu

ary 0

8

Mar

ch 0

8

May

08

July

08

Septe

mbe

r 08

Novem

ber 0

8

Janu

ary 0

9

Mar

ch 0

9

May

09

July

09

Septe

mbe

r 09

Novem

ber 0

9

MS

i2K

external T2

external T1

T0

T1/2 CERN

Total

YS@AFP

Les ressources requises

0,0E+00

5,0E+00

1,0E+01

1,5E+01

2,0E+01

2,5E+01

3,0E+01

3,5E+01

Janu

ary 0

7

Mar

ch 0

7

May

07

July

07

Septe

mbe

r 07

Novem

ber 0

7

Janu

ary 0

8

Mar

ch 0

8

May

08

July

08

Septe

mbe

r 08

Novem

ber 0

8

Janu

ary 0

9

Mar

ch 0

9

May

09

July

09

Septe

mbe

r 09

Novem

ber 0

9

MS

i2K

external T2

external T1

T0

T1/2 CERN

Total

TIER-0TIER-1 ccin2p3

TIER-2 Français

Unités

Christophe Suire

Note : le kSI2k…. ou le kilo SpecInt2000

1 kSI2k = puissance d'un pentium Xeon 2.8GHz

Besoin d'Alice en 2009 estimés à 32 MSI2k equivalent à 32000 processeurs (Xeon 2.8GHz)

YS@AFP

PAF (Parallel Analysis Facility)

• Une analyse parallèle en ligne des données (pas forcément distribuées)

• Utilise une grappe (~1000 nœuds) dédiée (ne fait rien d’autre) re-configurable, ROOT et PROOF

PROOFPROOF

USER SESSIONUSER SESSION

PROOF PROOF SLAVE SLAVE

SERVERSSERVERS

PROOF PROOF MASTERMASTER SERVERSERVER

PROOF PROOF SLAVE SLAVE

SERVERSSERVERS

PROOF PROOF SLAVE SLAVE

SERVERSSERVERS

PROOF SUB-PROOF SUB-MASTERMASTER SERVERSERVER

PROOFPROOF

PROOFPROOF

PROOFPROOF

Grid/Root Authentication

Grid Access Control Service

TGrid UI/Queue UI

Proofd Startup

Grid Service Interfaces

Grid File/Metadata CatalogueClient retrieves listof logical files (LFN + MSN)

YS@AFP

France

• T1@CC: Fournit de l’ordre de 15% (CPU, disque, MS) des besoins requis par ALICE dans T1’s

• AF@CC: ALICE demande un minimum, de l’ordre de 3% des besoins requis par ALICE dans T2’s

• T2s: Prévoit de fournir de l’ordre de 5% des ressources requis par ALICE dans T2s

• Questions– AF, PAF pour AFP ? – Quel usage ? Pour qui ? Quelle taille ? …

Parallel ROOT Facility

2Christophe Suire

1. The Parallel ROOT Facility, PROOF, is an extension of the ROOT system. It enables physicists to analyse large sets of ROOT files in parallel on computer clusters.

2. Due to the increasing amount of data in High Energy Physics the ROOT developers at CERN decided to set ROOT on a parallel base.

3. PROOF ( Parallel ROOT Facility ) is an extension of ROOT which allows a transparent and fast analysis of large sets of ROOT-files (ROOT-trees).

4. The goal of PROOF is not only to increase the CPU-power by using multiple hosts, it also takes advantage of the possibility to access and analyse parallel one or more ROOT-files which are stored on several hosts, so you can increase the I/O-speed depending on the quantity of hosts.

Parallel ROOT Facility

2Christophe Suire

Fons Rademakers

Dernier Alice offline meeting

2Christophe Suire

Parallel ROOT Facility

Fons Rademakers

Dernier Alice offline meeting

Etudes d'habitudes

2

Comment travaillent les AliRooteurs ? (les plus jeunes…)

Christophe Suire

Quelles ressources utilisent-ils ?

• Surtout des ressources locales• Peu d'utilisation du ccin2p3 (sauf PDCs et Rachid)• Clermont TIER-2 : peu utilisé pour l'instant – ça démarre • Nantes TIER-2 : les Nantais

Les simulations/analyses en cours…

• Strasbourg (étrangeté) • Nantes (W's,Jpsi cent. dep.)• Clermont (beauté pp et PbPb dans le bras Dimuon)

Tour des TIERs

2Christophe Suire

Yves (DimuonNet'05 - Nantes)

T1CPU

(kSI2K)Disk

(TB)

CPU/Disk

(kSi2K/TB)MS (PB)

WAN

(Mb/s)

CCIN2P3

(4 LHC)

1730

15%

766

12%2

0,8

13%10000

15% (only !) of the resources at CCIN2P3 goes to ALICE (sharing of cost not of resources)

Le CERN fait un vrai partage ?

T0CPU

(kSI2K)Disk

(TB)

CPU/Disk

(kSi2K/TB)MS

(PB)WAN

(Mb/s)

CERN

(4 LHC)

7500 ?

? %

1300

?%6 3,3 10000

Tour des TIERs

Christophe Suire

Yves (DimuonNet'05 - Nantes)

Tier-2 CPU

(kSI2K)Disk

(TB)

CPU/Disk

(kSi2K/TB)MS (PB)

WAN

(Mb/s)

CCIN2P3/AF

(4 LHC) 146 19 8 400 10000

Clermont-Ferrand

(ALICE+ATLAS)100 8.3 12 0 1000

Nantes

(ALICE)165 20 8,3 0 1000

Paris

(4 LHC)300 25 12 0 1000

Total711

5%

72,3

3%9,8

? ? ?

? ? ?

Question récurrente, pour 1 ferme de PC : % donné à LCG ? % donné à Alice?

Tour des TIERs

Christophe Suire

Tier-2 CPU

(kSI2K)Disk

(TB)

CPU/Disk

(kSi2K/TB)MS (PB)

WAN

(Mb/s)

Paris

(4 LHC)300 25 12 0 1000

Question récurrente, pour 1 ferme de PC : % donné à LCG ? % donné à Alice?

Pour l'instant seul Alice-SPhN/DAPNIA contribue à ce Tier-2

Lettre d'intention :1. répartition des ressources décidé par un comité de

pilotage2. … 20% des ressources pourrqient etre dédiée aux

laboratoires pour leurs besoins spécifiques

Production de données PDCs04,05...

Christophe Suire

3

Qui utilise les données des PDCs ?

• en France, (très peu de) personne(s)

• Strangeness : les évènements HIJING n'étaient pas

assez étranges (Hijing feature) MAIS rectifié pour PDC05

simulation en local (~5h/event)

• Dimuon : pas de données avant PDC05 (vrai?)De toute façon, c'est pas facile …!

• Les données produites par les PDC sont sur

bandes au CERN :

Cern Advanced STORage manager….

CASTOR

Christophe Suire

3

Apparemment impossible à utiliser hors du CERN !?

running & queuejobs are coming

fromcern lx farm

Ressources au CCIN2P3

4Christophe Suire

CPU : ?? au moins quelques centaines…(max #jobs 242)HPSS : 20 TO dont 12 disponibles (à vérifier)NFS : 1.6 TO (→5 T0 demandés) ( + home/afs et scratch directories)

Et pourquoi pas : • 1 queue pour la production (prioritaire pendant les PDCs) • 1 queue pour les utilisateurs (toujours ouverte). Parfait pour l'apprentissage d'AliEn/gLite (si installé au ccin2p3 !).

Utilisation des machines Alice

Conclusions à débattre

Christophe Suire

• Problèmes et solutions pour le Tier-2 Ile de France ?!

• Migration des simulations/analyses vers le Tier-1 ccin2p3

• Analyse (future) dans Alice = utilisation de la Grid.

Se familiariser avec les outils (software) dès que possible•Questions (from Yves)

–AF, PAF pour AFP ? –Quel usage ? Pour qui ? Quelle taille ? …

• autres…

To Be Continued….

2Christophe Suire

PARADIGME, subst. masc.A. 1. GRAMM. Ensemble des formes que peut prendre un élément (généralement un mot). Synon.

déclinaison, flexion. Il suffit d'y jeter un coup d'oeil pour apercevoir la relation qui existe entre les paradigmes grec et latin (SAUSS., Ling. gén., 1916, p.15). Jamais il ne serait tenté de restituer un paradigme sans pronom: aime, aimes, aime, aimons, etc., auquel l'écriture traditionnelle fait croire

(BALLY, Lang. et vie, 1952, p.25). QUI - QUE - QUOI forment un paradigme pronominal, ils constituent un pronom fléchi (G. MOIGNET, Ét. de psycho-systématique fr., 1974, p.163).

En partic., vieilli. Ensemble des formes que peut prendre un mot présenté comme modèle des formes pour ce type de mot. Paradigme de flexion. La conjugaison d'aimer est le paradigme de la

première conjugaison des verbes français (Ac. 1798, 1878).2. P. anal. Exemple type présentant toutes les variations du type. Il faut bien qu'un certain produit

entre tous, celui dont la valeur paraîtra la plus authentique (...) soit pris pour type, c'est-à-dire tout à la fois pour instrument de circulation et paradigme des autres valeurs (PROUDHON, Syst. contrad.

écon., t.2, 1846, p.87). M. Georges Seurat, le premier, a présenté un paradigme complet et systématique de cette nouvelle peinture (F. FÉNÉON, Les Impressionnistes ds PLOWERT 1888).

Judas est leur type; leur prototype et leur surtype, ou, si l'on veut, le paradigme certain des ignobles et sempiternelles conjugaisons de leur avarice (BLOY, Salut par Juifs, 1892, p.75).

B. LING. Ensemble des unités d'un certain type apparaissant dans un même contexte et qui sont de ce fait dans un rapport d'opposition, de substituabilité (p.oppos. à syntagme). Dans l'article que je

viens de citer, Sechehaye construit (...) un paradigme dont les termes sont des phrases françaises (R. GODEL, Limites de l'analyse segmentale ds Cah. F. Sauss. t.32 1978, p.133).

C. ÉPISTÉMOL. Conception théorique dominante ayant cours à une certaine époque dans une communauté scientifique donnée, qui fonde les types d'explication envisageables, et les types de faits à découvrir dans une science donnée. Changement de paradigme. Au-delà de leurs divergences, ce

qui rapproche Kuhn et Feyerabend, c'est leur insistance sur le manque de convergence du développement scientifique. Le cri de ralliement de l'opposition à l'empirisme, c'est la découverte de

l'incommensurabilité entre des paradigmes séparés par une révolution scientifique (P. JACOB, L'Empirisme logique, Paris, éd. de Minuit, 1980, p.27).

Prononc. et Orth.: [ ]. Att. ds Ac. dep. 1762. Étymol. et Hist.1. 1584 «exemple, modèle» (THEVET, Hommes ill., fo 340 vo ds GDF. Compl.); 2. a) 1752 «mot-type qui est donné comme modèle pour une

déclinaison, une conjugaison; ensemble typique des formes fléchies d'un mot pris comme modèle» (Trév.); b) 1967 «ensemble des termes qui peuvent figurer en un point de la chaîne parlée, axe des

substitutions» (DUB.). Empr. au b. lat. paradigma «exemple, comparaison», également terme de gramm., gr. «modèle, exemple» (de «mettre en regard, en parallèle, montrer», de «auprès de» et

de «montrer»). Bbg. GODEL (R.). Cah. F. Sauss. 1978, no32, p.134.