Autori Progetto S.Co.P.E. – WP4 Fisica Subnucleare – Esperimento ATLAS M. Biglietti Università di Napoli Federico II
May 01, 2015
Autori
Progetto S.Co.P.E. – WP4
Fisica Subnucleare – Esperimento ATLAS
M. Biglietti Università di Napoli Federico II
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
Large Hadron Collider (LHC) Collisionatore protone - protone Energia nel centro di massa di 14 TeV Circonferenza di 27 km Programma di fisica
Studio della fisica delle particelle nel range del TeV Ricerca del bosone di Higgs di Modello Standard Ricerca di particelle supersimmetriche Misure di precisione
Partenza prevista nel 2008
ATLASALICE
CMS
LHCb
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
L'Apparato Sperimentale ATLAS
Muon chambers
Hadronic calorimeter
Electromagnetic calorimeter
Inner detector
µ
eK0,n
,p
22 m
46 m
Apparato sperimentale in grado di investigare un ampio spettro di misure fisiche
Lunghezza di 46 m, diametro di 22 m
Struttura a strati concentrici, 2 endcaps, barrel
Inner Tracker, calorimetri, spettrometro per muoni
Inner Tracker contenuto in un solenoide (max 2 T), spettrometro per m integrato in un toroide (air core, max 3.9 T nel barrel, 4.1 T negli endcaps)
108 canali di elettronica
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
Evento di LHC Incrocio dei fasci ogni 25 ns rate 109
Hz 25 interazioni per incrocio Sono necessari rivelatori con un'alta
granularita' 108 canali di elettronica event size ~1 MB Rate di input 1PB/s ! Siamo in grado di scrivere su disco
~100 MB/s Sistema di trigger che selezione eventi
con particelle con alta energia reiezione 107
Eventi scritti file da max 2 GB, 16k file al giorno 10 TB/giorno !
p
p
p
p
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
Esigenze nell'uso di HPC Complessità del software di esperimento
Esigenza di un framework (ATHENA) comune per tutti i task di un esperimento di High Energy Physics (HEP)
Problemi di storage efficiente dei dati (e di spazio disco) Esigenza di distribuire efficientemente i dati (Distributed Data Management tools) Ottimizzazione del formato dati (Event Data Model)
Esigenza di rendere semplice l'accesso alle risorse ed ai dati
Tools di analisi distribuita (GANGA)
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
ATHENA
Monte Carlo Ricostruzione
eventi
AnalisiIdentificazione
eventi
SimulazioneRivelatore
Il Software di ATLAS: ATHENA Richieste
Flessibilità e Mantenibilità (≈ 20 anni) Modellizzazione dei dati e algoritmi comune Separazione concettuale tra dati e algoritmi Algoritmi guidati dal framework attraverso esecuzione di sequenze
Sviluppato con tecniche OO/C++ Configurazione via linguaggio di scripting (Python)
Varie distribuzioni (releases) prodotte dall'esperimento Sviluppo Produzione nigthlies (DEV, VAL, BUGFIX) Dimensione di una release ~10 GB
Diviso in ~20 sotto-progetti O(103) sviluppatori
Piattaforma Linux (RedHat SCL4)
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
Esempi di Task del Software ATLAS Framework
conversione dei dati nei vari formati passaggio informazioni tra gli algoritmi configurazione delle condizioni e parametri servizi (misura di CPU time, memory usage)
Simulazione Monte Carlo (Generatori HEP & Geant4) generazione eventi Trasporto delle tracce Simulazione delle interazioni tra le particelle e la materia Descrizione dettagliata della geometria del rivelatore e materiali inerti (DB) Descrizione del Campo Magnetico
Ricostruzione pattern recognition (globali, locali, Kalman Filter) clustering extrapolazione delle tracce ( straight line, parametrizzazione elicoidale,metodi numerici) combinazione delle tracce risoluzione delle ambiguità track fit calibrazione
Analisi Navigazione semplice degli oggetti strumenti per calcoli cinematica associazione oggetti ricostruiti – oggetti MC istogrammi, fit, procedure di minizzazione, visualizzazione (ROOT)
Event Display
necessità di algoritmi ad alte prestazioni
CPU: Simulazione 800kSI2K/evento Ricostruzione 25kSI2k/evento Memoria La ricostruzione usa 2GB RAM per la mappa del campo magnetico
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
Esempio – Ricostruzione di Tracce Traiettorie curve in campo magnetico misura
dell'impulso Posizione misurata in un certo numero di
stazioni (“hits”) Pattern recognition : assegnazione degli hits a una traccia
Kalman Filter (Inner Detector) Metodi globali, Hough Trasform (Spettrometro a muoni) Fondo derivante da tracce di basso impulso (ID) e da interazioni delle tracce con strutture di supporto (MS) algoritmi per il ricoscimento dei fakes
tempi di digitizzazione Holes on tracks
Track fit : determinazione dei parametri (geometrici)
di una traccia e calcolo dell’impulso Algoritmi di minimizzazione
In piu’ Scattering multiplo (Coulomb), ionizzazione,
Bremsstrahlung….
CSC MDT
RPC TGC
Caso dello spettrometro a muoni
MDT mutilayer
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
Nelle varie fasi di ricostruzione e analisi ATLAS utilizza diversi formati di dati:Nelle varie fasi di ricostruzione e analisi ATLAS utilizza diversi formati di dati:
1.6 MB 100 kB
RAWRAW ESDESD AODAOD DPDDPD
10% di AOD
500 KB
Raw DataRaw Data: dati in output dati in output dal sistema di dal sistema di triggertrigger
Event Summary Event Summary DataData: output della output della ricostruzione (ricostruzione (tracce tracce e hit, celle e cluster e hit, celle e cluster nei calorimetri).nei calorimetri).
Analysis Object DataAnalysis Object Data: rappresentazione rappresentazione ridotta degli eventi per ridotta degli eventi per l’analisi: oggetti “fisici” l’analisi: oggetti “fisici” ricostruiti (elettroni, ricostruiti (elettroni, muoni, jet)muoni, jet)
Derived Physics Derived Physics DataData: informazioni informazioni ridotte per analisi ridotte per analisi specifiche in specifiche in ROOT.ROOT.
Event Data Model
Raw Data Object
SpacePoint
PreparedRawData Track
Segment
Measure-mentBase
TrackTrack-Particle
ClusteringDriftCircle- Formation
(local) PatternRecognition
Track extensionand fit
CombinedReconstruction
ESD AOD
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
Computing Model
320 MBps.
120 MBps 20/30 MBps
Tier0
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
Il Tier2 di Napoli
Risorse ATLAS per Simulazioni Monte Carlo Analisi Distribuita
Potenza di Calcolo: 26 Worker Nodes
16 Biprocessori e
10 Biprocessori Dual Core 72 cores in totale 100 kSI2k
Storage 40+30 TB di disco
4 Rack installati attualmente:4 Rack installati attualmente: 2 Tier-2 ATLAS e 2 PON SCoPE2 Tier-2 ATLAS e 2 PON SCoPEEspansione fino a 10 RackEspansione fino a 10 Rack
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
Blocchi FunzionaliBlocchi Funzionali: : un job puo' essere un job puo' essere configurato da un insieme di blocchi configurato da un insieme di blocchi funzionali, ognuno dei quali si occupa di funzionali, ognuno dei quali si occupa di
un aspetto diversoun aspetto diverso
Applicazioni (basate su ATHENA)Applicazioni (basate su ATHENA)• Produzione, Simulazione, Riconstruzione, Analisi• Scelta della release• Sottomissione sorgente o librerie per l'analisi
BackendBackend• LCG e NorduGrid• Possibilità di specificare i siti• Possibilità di ottenere informazioni sulla completezza dei dataset nei siti
Input DatasetInput Dataset• Local file system• DQ2• Possibilità di usare dataset incompleti• specificare il numero minimo di files per dataset
Output DatasetOutput Dataset• File system locale, retrieve alla fine del job• DQ2 •Scelta Storage Element
Splitter – MergerSplitter – Merger• Definizione di subjobs, numero eventi per subjob• Possibilità di unire i file ROOT di output
Strumento per sottomettere-gestire-monitorare i job in GRID
Analisi Distribuita - GANGA
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
Creazione dei Jobs di Analisi
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
Configurazione e Sottomissione dei Job
GANGA è stato opportunamente modificato per poter usare il CE e l'RB del prototipo S.Co.PE
I job ATHENA sono stati lanciati e testati sul prototipo
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
Installazione delle Release in GRID
L'installazione delle release nei siti GRID/ATLAS è gestita da un autorità centrale Procedura automatica tramite job di installazione Le release obsolete possono essere rimosse quando non sono piu' usate
per la produzione (o su richiesta)
Il sistema di installazione è capace di gestire richieste di singoli utenti (gruppi)
Procedura automatica di validazione delle installazioni
Stiamo lavorando per applicare la stessa procedura automatica di installazione in S.Co.PE e negli altri PON in vista dell'interoperabilità Per ora esiste una installazione manuale di una delle release di
produzione usate per le analisi
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
Applicazione del Software
I test sono stati effettuati nell'ambito di "Data Challenge" di ATLAS (Computing System Commissioning)
Analisi di campioni di eventi simulati al fine di mettere a punto il sistema di
analisi distribuita dell'esperimento di ottimizzare gli algoritmi di
selezione online (trigger) in vista dell'imminente presa dati.
I risultati di queste analisi sono in via di pubblicazione
Radiografia dello spettrometro a muoni con dati simulati
Radiografia dello spettrometro a muoni con dati simulati
Event Display di un evento reale (cosmici) selezionato dal trigger dei muoni
Event Display di un evento reale (cosmici) selezionato dal trigger dei muoni
Workshop SCoPE - Stato del progetto e dei Work PackagesSala Azzurra - Complesso universitario Monte Sant’Angelo
21-2-2008
Conclusioni Complessità del sw ATLAS
molti task Molti sviluppatori Vita lunga necessità di flessibilità e mantenibilità
Utenti distribuiti geograficamente Grossa quantità di dati prodotti che devono essere distribuiti e processati world wide
Il sw ATLAS è concepito per utilizzare un computing model basato sui paradigmi GRID Sistema per la gestione distribuita dei dati event data model tools per l'analisi distribuita
Sistemi adottati ri-adattati per funzionare su S.Co.Pe e gli altri PON estende la sua esportabilità su grid diverse (interoperabilità) consente di studiare meglio ed ottimizzare il computing model, sistema di analisi distribuita,
algoritmi