広島大学における HEPnet -J 利用状況

広島大学におけるHEPnet-J 利用状況

広島大学理学研究科技術補佐員中宮　義英

12013/12/19 HEPnet-J 利用者会議 @ 奈良女子大学

報告概要• 計算機センター @ 広島大学

• 計算機センターの現状報告– Hiroshima T2 center for ALICE GRID– Local CPU cluster for local activities

• まとめ

22013/12/19 HEPnet-J 利用者会議 @ 奈良女子大学

計算機センター @ 広島大学• 並列計算資源 （総計 1164 Xeon-cores ）

– Xeon5355([email protected]) x 2cpu x 32boxes – Xeon5660([email protected]) x 2cpu x 42blades – Xeon5570([email protected]) x 2cpu x 26blades– Xeon5365([email protected]) x 2cpu x 20blades – Xeon5670([email protected]) x 2cpu x 3blades

• ストレージ容量– 408TB on 6 servers

• ネットワーク– 1Gbps on 40Gbps-SINET4 – 10Gbps for internal connection

32013/12/19 HEPnet-J 利用者会議 @ 奈良女子大学

計算機システム構成図 @ 広島大学

Hiroshima DC DMZ

FW

TRUSTED

Xrootd-client

WN

10Gbps L3

40Gbps

Nexus 5596/2248 siteBDII/APEL

Xrootd

VOBOX

CREAM-CE

GRID

Xeon X5660 @2.8G Xeon X5355 @2.7G

Equal Logic PS6510E2T SATA x 48 w/RAID6

Xeon [email protected]

Xeon X5570 @2.9G

Xeon X5660 @2.8G Xeon X5660 @2.8G

Xeon [email protected] RVAX-4U1TB SATA x 144 w/RAID6

Xeon X5660 @2.8G

Fortigate-200B

1Gbps

ALICE-T2 (GRID)• 864 Xeon cores w/ 2GB/core• 160+80 TB storage w/ Raid6

Local CPU cluster• 300 Xeon cores w/ 1GB/core• 80+70 TB storage w/ Raid6+Raid5

DPM/NFS

10Gbps

Secure/Robust subnets 10Gbps local connection (part.) Space/Energy saving

Xeon X5660 @2.8G

広島大学計算機システムの構成• ALICE T2 center (for ALICE GRID)• Local CPU cluster (for local activities)

42013/12/19 HEPnet-J 利用者会議 @ 奈良女子大学

2013/12/19 HEPnet-J 利用者会議 @ 奈良女子大学

Hiroshima T2 Center for ALICE GRIDGRID servers

siteBDII/APEL

Xrootd

VOBOX

CREAM-CE DPM/NFS Xrootd-client

GRID worker nodes

JCS RVAX-4U1TB SATA x 144 w/RAID6（ 240 TB ）Xeon [email protected]

Xeon X5660 @2.8GHzXeon X5560/X5570 @2.9GHz（ 608 Xeon-cores ）

Xeon X5355 @2.7GHz（ 256 Xeon-cores ）

5

⇒総計： 864 cores

HEPnet-J 利用者会議 @ 奈良女子大学

Hiroshima T2 center in ALICE computing model

T#: Tier-#CAF: CERN Analysis FacilityESD: Event Summary dataAOD: Analysis Object DataMC: Monte Carlo Data

disk buffer

tape

quick analysis

reconstruction/organized analyses

MC production/organized/user

analyses

full/partial export

file cat.

1st pass/pilotreconstruction

ALICE VO 1 T0 (CERN) 7 T1 (France, Germany, Italy, Netherland, Nordic, UK)73 T2 over 4 continents

DAQDAQDAQDAQ

DAQDAQDAQCPUCAF

ESDAOD

DAQDAQDAQT1

ESD

DAQDAQDAQT0ESD

AOD

DAQDAQDAQT1

ESDAOD

MC

DAQDAQDAQT2

ESD MC

DAQDAQDAQT2

AODMC

DAQDAQDAQT2

Korea,

Hiroshima T2 site

62013/12/19

Status for Hiroshima T2 center

システムの移行（ 4 月）• EGEE/gLite3.2→UMD/EMI-2• SLC5→SL6

72013/12/19 HEPnet-J 利用者会議 @ 奈良女子大学

• 4 月に GRID worker nodes のシステムを (1)EGEE/gLite3.2→UMD/EMI-2 (2)SLC5→SL6 に移行• 移行後は順調稼働

Contribution to ALICE production

82013/12/19 HEPnet-J 利用者会議 @ 奈良女子大学

Local CPU clusterServers

• LHC-ALICE/RHIC-PHENIX実験の解析環境整備

• バッチジョブ管理（ condor ）

• NFS サービス（ 150 TB ）

Xeon [email protected] Xeon X5570 @2.9GHz

最大で 424 ジョブの並列処理が可能

Worker nodes

• 主なユーザーグループ– 広島大・筑波大・東大 CNS

• 用途– シミュレーション

• 検出器応答の計算• 測定可否の評価• 物理トピックの開拓

– 実データ解析コード開発92013/12/19 HEPnet-J 利用者会議 @ 奈良女子大学

2013/12/19 HEPnet-J 利用者会議 @ 奈良女子大学衝突係数 (fm)

B×1013 (T)

原子核衝突による磁場生成（ by 谷崎麗未）

研究活動例 with local CPU cluster

10

p0(2g 崩壊）再構成効率（ by 湯浅友裕）

pT (GeV/c)

𝜀𝑟𝑒𝑐

Local CPU cluster はシミュレーションがメイン。

電子対測定可能性 @ 鉛 + 鉛 5.5 TeV （ by 中宮義英）

Mee (GeV/c2)

fw

赤点：全成分の合計青線：組み合わせ背景事象

まとめ• Hiroshima T2 center for ALICE

– 2013 年 4 月に GRID worker node のシステムを• EGEE/gLite3.2→UMD/EMI-2• SLC5→SL6

へ移行– 移行後は安定稼動。常時、～ 750 job （ 1086 max) が 処理されている

• Local CPU cluster– 広島大・筑波大・東大ＣＮＳの原子核実験グループ が使用– 検出器応答の計算・測定可否の評価・物理トピックの開拓 など多岐に渡るシミュレーションを継続中

• 今後– 次代 SINET に向けて 10Gbps の ネットワーク増強を計画

10 Gbps

40 Gbps

1Gbps⇒10 Gbps

ローカルネットワーク

112013/12/19 HEPnet-J 利用者会議 @ 奈良女子大学