G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 LNL Sadirc2000 Proposta di esperimento al gr. 5 - Risultati principali esperimento SADIRC - Programma approvato per il 1999 - Sadirc2000 - sezioni INFN e partecipanti - attivita’ nel 2000 - attivita’ nel 2001 - Richieste finanziarie
17
Embed
LNL G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999 Sadirc2000 Proposta di esperimento al gr. 5 - Risultati principali esperimento SADIRC - Programma.
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999
LNL
Sadirc2000
Proposta di esperimento al gr. 5
- Risultati principali esperimento SADIRC
- Programma approvato per il 1999
- Sadirc2000- sezioni INFN e partecipanti- attivita’ nel 2000- attivita’ nel 2001
- Richieste finanziarie
G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999
LNLObiettivi di Sadirc
- Sadirc e’ stato proposto e approvato come esperimento biennale (1997 e 1998) per lo studio di reti a commutazione da utilizzare come event builder veloci nei sistemi di acquisizione dati negli esperimenti di fisica delle alte energie e di fisica nucleare. La proposta Sadirc e’ nata come esigenza comune di persone che afferivano ad esperimenti di fisica diversi: CMS, Euroball ed Icarus.
- Altri obiettivi di Sadirc sono stati:
- progettazione di controllori intelligenti di I/O veloci
- realizzazione di micro sistemi di acquisizione dati per il test di rivelatori sia in laboratorio che sotto fascio.
G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999
LNL
Il problema dell’event Builder nei moderni esperimenti di fisica
40 MHz
105 Hz
102 Hz
100 Tbyte/s
100 Gbyte/s
100 Mbyte/s
Level 1Trigger
Event Manager
Detector Frontend
Event Builder
Computing Services
Controls
Readout
Filter
Collision rate 40 MHzLevel-1 Maximum trigger rate 100 kHzAverage event size 1 MbyteNo. of In-Out units (200-5000 byte/event) 1000Event builder (512-512 switch) bandwidth 500 Gbit/sEvent filter computing power 5 106 MIPSData production Tbyte/dayNo. of readout crates 250No. of electronic boards 10000
Collision rate 40 MHzLevel-1 Maximum trigger rate 100 kHzAverage event size 1 MbyteNo. of In-Out units (200-5000 byte/event) 1000Event builder (512-512 switch) bandwidth 500 Gbit/sEvent filter computing power 5 106 MIPSData production Tbyte/dayNo. of readout crates 250No. of electronic boards 10000
Units
Units
G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999
LNL
Reti a commutazione studiate da Sadirc
Sadirc ha studiato le seguenti reti a switch:- ATM (155 Mbit/s)- Fibre Channel Standard (1 Gbit/s)- GigaEthernet (1 Gbit/s)- Myrinet (TriDAS/CMS Cern) (1 Gbit/s)
I risultati piu’ incoraggianti sono venuti da GigaEthernet e Myrinet.
0
20
40
60
80
100
120
Packet Size (Byte)
Rela
tive
Speed (
%)
ATM GE
FCS NGE
G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999
LNLGigaEthernet Tests
GE Switch
READOUTUNIT
READOUTUNIT
SFI SFI
EVENTMANAGER
LV-1
LV-2
FarmRequest
SFI
READOUTUNIT
SFI
READOUTUNIT
GE Switch
- A GigaEthernet based 4x4 Event Builder test bed has been set up
- Both Ru and FU are based on PII - 400 MHz commodity PC
- All the nodes run vxWorks 5.3
- Two 7 ports Intel Express Gigabit Switch are used
- Intel Pro 1000 PCI/GE interfaces are used
- Both RCN and FCN are implemented using GE itself (and exploiting its full duplex features)
- A standard vxWorks driver has been implemented according to the Pro 1000 specifications
- Optimised software for Event Manager, Readout Unit and SFI has been written.
G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999
LNLGigaEthernet: Event Builder Summary
B C DA
0
10
20
30
40
50
60
70
80
90
500 1000 1500 2000 2500 3000 3500
Fragment Size (Bytes)
Receiv
er E
vent
Rate
(kH
z)
1x1
2x2
3x3
4x4
0
20
40
60
80
100
120
140
160
180
500 1000 1500 2000 2500 3000 3500
Fragment Size (Bytes)
Receiv
er
Tim
e (
ms)
1x1
2x2
3x3
4x4
0
10
20
30
40
50
60
70
80
90
100
500 1000 1500 2000 2500 3000 3500
Fragment Size (Bytes)
Rece
iver
Ban
dw
idth
(M
Byte
/s)
1x1
2x2
3x3
4x4
G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999
LNLGigaEthernet: Point to Point 4x1x4
READOUTUNIT
READOUTUNIT
SFI SFI SFI
READOUTUNIT
SFI
READOUTUNIT
0
200
400
600
800
1000
1200
1400
68 200 400 600 800 1000 1200 1400 1522
Packet Size (Bytes)
Pack
et R
ate
(kH
z)
0
20
40
60
80
100
120
140
68 200 400 600 800 1000 1200 1400 1522
Packet Size (Bytes)
Ban
dwid
th (
MByt
e/s)
Test Point
G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999
LNL
GigaEthernet: Event Builder Latency Time
GE Switch
READOUTUNIT
READOUTUNIT
SFI SFI
EVENTMANAGER
LV-1
LV-2
SFI read Request SFI
READOUTUNIT
Event Builder Latency timeTime is taken from the SFI event read Request to the completion of the building of the relative event into the same SFI
0
50
100
150
200
250
300
500 1000 1500 2000 2500 3000 3500
Fragment Size (Bytes)
Eve
nt B
uild
er la
tenc
y ti
me
(s) 1x1
2x1
3x1
4x1
READOUTUNIT
GE Switch
SFI
G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999
LNLPrima generazione IOP di Sadirc
The i960RD IOP is based on:- a RISC core of 50 MIPS- 2 PCI bridges with DMA (33/32)- 1 PCI to PCI bridge- a local bus at 33 MHzIt is I2O compliant.
Primary PCI
Local Memory
i960RDPMC-1
PMC-2 Fast
Ethernet
CMS -IOPi960RD at 66 MHz32 Mbyte EDO RAMEmbedded FastEthernet2 PMC slot available2 form factor available:- standard PCI- VME/PMC to be connected to VME/RUM
G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999
LNLSeconda generazione IOP di Sadirc
Local Bus
PPC860T
CUSTOMFPGA
MEMORY PLX 9054
Custom I/Oor
PCI2
PCI Host Bus
ATX-CMS
Standard PMC connectors for PCI Host
Standard PMC connectors for Custom I/O or PCI2
- Form Factor PMC- CPU PPC 860T (Embedded Fast Ethernet)- Local Bus at 50 MHz- Memory- PLX 9054 PCI to Local Bus Bridge. I2O queues- FPGA for custom I/O (100 lines) or secondary PCI
Status of the project- 3 prototypes exist (pre-production)- 1 board fully mounted and running (ethernet and pci test in progress)-vxWorks ported and running (no ethernet)
This board has been designed by Atenix (Verona-Italy) underspecification of TriDAS group. Some part of the project aredeveloped in collaboration with LNL (secondary PCI, OS porting, etc.)
PowerQUICC II MPC 8260200 MHz EC603e core3 FastEthernetembedded 32 bit PCI bus
PowerQUICC II MPC 8260200 MHz EC603e core3 FastEthernetembedded 32 bit PCI bus
G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999
LNLI “micro” sistemi DAQ di Sadirc
Level 1Trigger
Event Manager
Detector Frontend
Event Builder
Computing Services
Controls
Readout
Filter
Units
Units
ReadoutUnit
VME Readout Unit(OS vxWorks, Linux)
PC Readout Unit(OS vxWorks, Linux) Filter
Unit
PC/WKS Filter Unit(OS Solaris, Linux)
INPUTPCIMXIETHERNET
OUTPUTETHERNETSCSI
Run Control based on Web
Analysis
Storage
PPC
VMEADCsTDCs
Lv-1PMC
PMCLv-2
EthernetEvents
MXI
TTL/NIMCAMAC
Lv-1
Lv-2
Events
MXITTL/NIM
PII
Ethernet
SCSIIDE
- New Gasp- Prisma- CMS muon chamber- Icarus 60 t
G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999
LNLEstensione dell’attivita’ al 1999
4 PC Pentium III 500 MHz 6 Ml4 PC PIII Dual Proc/Dual Bus 24 Ml8 Interfacce GigaEthernet 12 Ml
_________Totale (con IVA) 51 Ml
4 PC Pentium III 500 MHz 6 Ml4 PC PIII Dual Proc/Dual Bus 24 Ml8 Interfacce GigaEthernet 12 Ml
_________Totale (con IVA) 51 Ml
Configurazione di Test
GigaEthernet Switch
1 2 3 4 5 6 7 8
a b c d e f g h
EVM
Readout Units(standard Desktoprunning vxWorks)
Switch Farm Interfaces(Dual Proc/Dual Bus PCs
running vxWorks)
Sub-Farm PCs(standard Desktop
running Linux)
- I PC Readout unit ed EVM vengono recuperati dal prototipo funzionante e presentato in questa nota
- Si comprano 4 PC standard desktop
- Si comprano 4 PC dual proc/dual bus per provare la distribuzione degli eventi alle subfarm
- Lo switch a 17 porte viene fornito dalla Intel sotto accordo “beta site” approvato.
- I PC Readout unit ed EVM vengono recuperati dal prototipo funzionante e presentato in questa nota
- Si comprano 4 PC standard desktop
- Si comprano 4 PC dual proc/dual bus per provare la distribuzione degli eventi alle subfarm
- Lo switch a 17 porte viene fornito dalla Intel sotto accordo “beta site” approvato.
45 Ml
G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999
LNLLa proposta Sadirc2000
La proposta Sadirc2000 si articola nel seguente modo:
– Anno 2000:
• Testare GigaEthernet 1000 Base T. GigaEthernet su cavi cat. 5 (1000 Base T) e’ stato approvato recentemente come standard internazionale. Per fine anno 1999 ci saranno i primi prodotti. I prezzi saranno competitivi con fastethernet. GigaEthernet a 100$ a porta potrebbe essere la soluzione per i grossi esperimenti con event builder a migliaia di nodi. 1000 Base T usa gli stessi chip di interfaccia dell’attuale GE in fibra. Ci aspettiamo quindi medesime prestazioni, ma prezzi, a regime, anche 10 volte inferiori.
• Realizzare un dimostratore di event building 16x16 (16 sorgenti e 16 destinazioni) basato su 1000 Base T. Questo dimostratore estende i test positivi effettuati su GE in fibra (8x8), ne puo’ dimostrare la scalabilita’ , diventa un test significativo per verificare i simulatori (che poi scaleranno i risultati a 512x512 nodi). Il prezzo, se comparato al caso in fibra, e’ contenuto.
• Realizzazione di sub-farm basate su Linux seguendo lo stesso schema del 1999, ma utilizzando uno switch giga/fastethernet
– Anno 2001:
• Studio di sistemi dedicati all’IO molto efficienti che potrebbero sostituire i nodi Readout Unit e SFI. Seguire lo sviluppo tecnologico sulle nuove architetture di macchine con particolare riferimento a NGIO e Future IO. Realizare dei prototipi di readout unit e sfi basati su queste tecnologie
G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999
LNLNuove Architetture di IO
Ci sono almeno 2 iniziative promosse da grandi ditte produttrici di PC che sembrano molto interessanti per i nostri event filter. Queste iniziative hanno lo scopo didisegnare una nuova architettura di macchina nel tentativodi superare il bottleneck rappresentato dal modello a bus diIO condiviso (PCI).
Queste iniziative si chiamano Next Generation IO (NGIO promosso da Intel, Sun, Dell, Hitachi, NEC e Siemens) e Future IO (promosso da Adaptec, Compaq, HP, IBM e 3COM)
Le due proposte, a parte anche sostanziali differenze implementative, sono dal punto di vista architetturale moltosimili
MemCntrl
Mem
ChannelAdapter
Switch
IOCntrl
IOCntrlCPU
Ch
an
nel
Ad
ap
ter
Il Bus di IO diventa uno Switch
Il Bus di IO diventa uno Switch
Non ci sono piu’ slot, ma linksNon ci sono piu’ slot, ma links
Il bridge di IO diventa un DMA Engine
G. Maron, Presentazione Sadirc2000, LNL, 16 giugno 1999