Текущее состояние и Текущее состояние и перспективы развития ЦИВК перспективы развития ЦИВК ОИЯИ ОИЯИ Кореньков В.В Кореньков В.В Конференция пользователей ЦИВК ОИЯИ 6 февраля, 2008
Jan 01, 2016
Текущее состояние и перспективы Текущее состояние и перспективы развития ЦИВК ОИЯИразвития ЦИВК ОИЯИ
Кореньков В.ВКореньков В.В
Конференция пользователей ЦИВК ОИЯИ 6 февраля, 2008
Статус внешних коомуникаций ОИЯИ
Upgrade of Dubna-Moscow data link up to 10 Gbps in 2008 and up to 40 Gbps in 2010.
Проект развития канала связи Дубна-Москва
Внешний сетевой трафик ОИЯИ
0
50
100
150
200
250
300
2003 2004 2005 2006 2007
TB
Incoming
Outgoing
• Total:
incoming in 2007 – 241.9 TB, outgoing -227.8;
• Most of traffic:
CERN (88.8%),
DESY, INFN, SARA, IN2P3
• 47 local sub-networks;
• Local traffic – 77.6 TB
Created in 2007:• direct point-to-point data channel between JINR LAN and CERN as part of the JINR program of participating in LCG in CERN;• Dubna-City Internet eXchange.
Структура опорной сети ОИЯИ
• Comprises 5880 computers and nodes,Users - 3322Modem pool users - 689Remote VPN users (Lanpolis, Contact, TelecomMPK) - 500;• High-speed transport (1Gbps) (Min. 100 Mbps to each PC);• Controlled-access (Cisco PIX-525 firewall) at network entrance;• Partially isolated local traffic (8 divisions have ownsubnetworks with Cisco Catalyst 3550 as gateways);• General network authorization system involves many services (AFS, batch systems, Grid, JINR LAN remote access, etc.
• Comprises 5880 computers and nodes,Users - 3322Modem pool users - 689Remote VPN users (Lanpolis, Contact, TelecomMPK) - 500;• High-speed transport (1Gbps) (Min. 100 Mbps to each PC);• Controlled-access (Cisco PIX-525 firewall) at network entrance;• Partially isolated local traffic (8 divisions have ownsubnetworks with Cisco Catalyst 3550 as gateways);• General network authorization system involves many services (AFS, batch systems, Grid, JINR LAN remote access, etc.
Plans:Step-by-step modernization of the JINR Backbone – transfer to 10 GbpsDevelopment and modernization of the control system of the JINR highway network
Структура ЦИВК ОИЯИ
670 kSi2K
100 TB Disk
Contract prepared in Dec 2007: SuperBlade – 2 BOX40 CPU Xenon 5430 2.66 GHz Quad Core ~400 kSi2K
Total expected in March, 2008 - 1070 kSi2K
53 servers7 interactive nodes60 4-core computing nodes, Xeon 5150, 8GB RAM.6 2-core computing nodes, Athlon , 2GB RAM, Mirynet.
Site name: JINR-LCG2Internal CICC network – 1Gbit/secOperating system - Scientific Linux 4.4,
Scientific Linux CERN 4.5; Middleware version GLITE-3.1 File Systems – AFS (the Andrew File System) for user Software and home directories is a world-wide distributed file system. AFS permits to share easily files in an heterogeneous distributed environment (UNIXes, NT) with a unique authentication scheme (Kerberos). dCache- for data.User registration system – Kerberos 5 ( AFS use Kerberos 5 for authentication )
Состав ЦИВК ОИЯИ
Интегрированная схема функционирования
ЦИВК ОИЯИ
ЦИВК ОИЯИ в качестве Грид-сайта глобальной
инфраструктуры WLCG/EGEE
JINR provides the following services in the WLCG environment:JINR provides the following services in the WLCG environment:
Basic services - Basic services - Berkley DB Information Index (top level BDII); site BDII; Berkley DB Information Index (top level BDII); site BDII; Computing Element (CE); Computing Element (CE); Proxy Server (PX); Proxy Server (PX); Resource Broker (RB); Resource Broker (RB); Workload Management System + Logging&Bookkeeping Service (WMS+LB); Workload Management System + Logging&Bookkeeping Service (WMS+LB); RGMA-based monitoring system collector server (MON-box); RGMA-based monitoring system collector server (MON-box); LCG File Catalog (LFC); LCG File Catalog (LFC); Storage Element (SE), dCache 82 TB;Storage Element (SE), dCache 82 TB;
Special Services - Special Services - VO boxes for ALICE and for CMS; ROCMON;VO boxes for ALICE and for CMS; ROCMON;PPS and testing infrastructure - PPS and testing infrastructure - Pre-production gLite version; Pre-production gLite version;
Software for VOs: dCache xrootd door, AliROOT, ROOT, GEANT packages for Software for VOs: dCache xrootd door, AliROOT, ROOT, GEANT packages for ALICE; ATLAS packages; CMSSW packages for CMS and DaVinchi, Gauss ALICE; ATLAS packages; CMSSW packages for CMS and DaVinchi, Gauss packages for LHCb.packages for LHCb.
BATCH jobs at CICC2007 year: June - December
LaboratoryLaboratory JobsJobsnumbernumber
CPU time CPU time (kSi2(kSi2kk*hours)*hours)
LITLIT 284284 5142151421..3030
FLNRFLNR 10621062 11823.2611823.26
LPPLPP 36673667 10606.4410606.44
VBLHEVBLHE 363363 9762.619762.61
Foton2Foton2 195195 6992.836992.83
DLNPDLNP 735735 5206.625206.62
BLTPBLTP 2626 315.36315.36
TOTALTOTAL 63326332 96128.4296128.42
Grid Virtual Organizations at JINR CICC: June-December 2007
Grid VOGrid VO JobsJobsnumbernumber
CPU time CPU time (kSi2(kSi2kk*hours)*hours)
ALICEALICE 90 44190 441 1 370 820.401 370 820.40
ATLASATLAS 15 64315 643 48 980.4348 980.43
CMSCMS 52 24952 249 51 883.1851 883.18
LHCbLHCb 10 48410 484 6 604.506 604.50
BIOMEDBIOMED 25 10325 103 164 102.07164 102.07
FUSIONFUSION 9 2089 208 145 053.80145 053.80
OthersOthers(ops, dteam, hone)(ops, dteam, hone)
17 66517 665 47 022.1047 022.10
TOTALTOTAL 220 793220 793 1 834 466.491 834 466.49
dCache in JINR
Internet / GRID
lxfs07
lxfs07lxfs07
lxfs07lxpub01
lxfs07lxfs07
lxfs07wn…
lxfs07lxfs07
lxfs07lxfs71
RAID
82 TBAdmin
Doors
local
WNs
JINR Backbone
Protocols gFTP, SRM, XROOT
DCAP PNFS
lxfs07lxfs07
lxfs07rda02
Pools
dCache: Files, VO, Discs
0
20000
40000
60000
80000
100000
120000
140000
160000
180000
200000
Прочие BIOMED ATLAS CMS
Ряд1
ATLAS
CMS
FREE!Total 82 ТВ
Files
other
Проекты в области развития grid-технологий
проект проект EU DataGRIDEU DataGRID
WWLCG: LCG: проектпроект гридгрид длядля Большого Адронного Коллайдера Большого Адронного Коллайдера (Worldwide LHC Computing GRID)(Worldwide LHC Computing GRID)
EEGEE: развертываниеGEE: развертывание гридгрид--системсистем длядля e- e-наукинауки (The Enabling Grids (The Enabling Grids for E-sciencE)for E-sciencE)
RDIG: RDIG: Российский грид для интенсивных операций с данными Российский грид для интенсивных операций с данными
ЦБГС: Создание прототипа центра базовых grid-сервисов нового ЦБГС: Создание прототипа центра базовых grid-сервисов нового поколенияпоколения для интенсивных операций с распределенными для интенсивных операций с распределенными данными в федеральном масштабеданными в федеральном масштабе
Проект СКИФ-ГРИДПроект СКИФ-ГРИД
Грид мониторинг для эффективного функционирования Грид мониторинг для эффективного функционирования виртуальных организаций виртуальных организаций ((совместный с ЦЕРН)совместный с ЦЕРН)
Проект НаногридПроект Наногрид
Дубна-Грид: создание городской грид-инфраструктурыДубна-Грид: создание городской грид-инфраструктуры
ЦБГСЦБГС
Проект EGEE - Enabling Grids for E-sciencE направлен на создание международной инфраструктуры, основанной на технологиях грид. Проект выполняется консорциумом из 70 институтов в 27 странах, объединенных в региональные гриды.
EGEEEGEE (Enabling Grids for E-scienc (Enabling Grids for E-sciencEE))
Russian Data Intensive GRID (RDIG) Consortium EGEE Federation
ИФВЭ (ИФВЭ (Институт физики Институт физики высоких энергий, Протвиновысоких энергий, Протвино))ИМПБ (ИМПБ (Институт Институт математических проблем математических проблем биологии, Пущинобиологии, Пущино) .) .ИТЭФ (ИТЭФ (Институт теоретической Институт теоретической и экспериментальной физикии экспериментальной физики) ) ОИЯИ (ОИЯИ (Объединенный институт Объединенный институт ядерных исследований, Дубнаядерных исследований, Дубна) ) ИПМ (ИПМ (Институт прикладной Институт прикладной математикиматематики) ) ПИЯФ (ПИЯФ (Петербургский институт Петербургский институт ядерной физики, Гатчинаядерной физики, Гатчина) ) РНЦ «Курчатовский институт» РНЦ «Курчатовский институт» НИИЯФ МГУ (НИИЯФ МГУ (Научно-Научно-исследовательский институт исследовательский институт ядерной физики МГУядерной физики МГУ))
Структурные элементы
ROC – региональный операционный центр в РоссииROC – региональный операционный центр в России– Обеспечение функционирования базовых грид сервисов 24х7Обеспечение функционирования базовых грид сервисов 24х7– Мониторинг и реагирование на черезвычайные ситуацииМониторинг и реагирование на черезвычайные ситуации– Ведение учета ресурсов и выполненных работ (accounting) Ведение учета ресурсов и выполненных работ (accounting) – Управление и поддержка виртуальных организацийУправление и поддержка виртуальных организаций– Поддержка безопасности инфраструктуры, CAПоддержка безопасности инфраструктуры, CA– Сертификация (валидация) грид ПОСертификация (валидация) грид ПО– Поддержка пользователейПоддержка пользователей– Операционная поддержка ресурсных центровОперационная поддержка ресурсных центров
RC – ресурсные центры RC – ресурсные центры (CPU, Disk, Tape)(CPU, Disk, Tape)
VO – виртуальные организации:VO – виртуальные организации:– физика высоких энергий: LHC – ATLAS, ALICE, CMS, LHCb; физика высоких энергий: LHC – ATLAS, ALICE, CMS, LHCb;
PHOTON, HONE …PHOTON, HONE …– биомед биомед – Fusion Fusion – российские VOs: e-Earth (геофизикароссийские VOs: e-Earth (геофизика), ), – химфизика (химфизика (Черноголовка, МГУЧерноголовка, МГУ ++), ++),
нанотехнологии и наноиндустриянанотехнологии и наноиндустрия
EGEE-II
Основные направления EGEE-II
>20>200 0 ВО из различных ВО из различных областей наукиобластей науки– Астрономия и астрофизикаАстрономия и астрофизика– Безопасность населенияБезопасность населения– Вычислительная химияВычислительная химия– Вычислительные Вычислительные
науки/Программированиенауки/Программирование– Физика конденсированного Физика конденсированного
состояниясостояния– Науки о ЗемлеНауки о Земле– СинтезСинтез– Физика высоких энергийФизика высоких энергий– Науки о жизниНауки о жизни– ........
98k заданий/день
Приложения перешли со стадии тестирования на стадию рутинного и ежедневного использования с эффективностью ~80-90%
Collaborating e-Infrastructures
Potential for linking ~80 countries by 2008
LCG/EGEE Grid LCG/EGEE Grid infrastructureinfrastructure
GridGrid MonitoringMonitoring
В настоящее время RDIG –инфраструктура состоит из 15 ресурсных центров, в которых доступно около 1500 CPU и 500 TB дискового
пространства..
RDIG инфраструктура
RDIG Resource Centres:– ITEP– JINR-LCG2– Kharkov-KIPT– RRC-KI– RU-Moscow-KIAM– RU-Phys-SPbSU– RU-Protvino-IHEP– RU-SPbSU– Ru-Troitsk-INR– ru-IMPB-LCG2– ru-Moscow-FIAN– ru-Moscow-GCRAS– ru-Moscow-MEPHI– ru-PNPI-LCG2– ru-Moscow-SINP
RDIG monitoring&accounting http://rocmon.jinr.ru:8080
Monitored valuesCPUs - total /working / down/ free / busyJobs - running / waiting Storage space - used / availableNetwork - Available bandwidth Accounting valuesNumber of submitted jobsUsed CPU time
Totally sum in secondsNormalized (with WNs productivity)Average time per job
Waiting timeTotally sum in secondsAverage ratio waiting/used CPU time per job
Physical memoryAverage per job
Jun 07Jun 07 Jul 07Jul 07 Aug 07Aug 07 Sep 07Sep 07 Oct 07Oct 07 Nov 07Nov 07 DecDec07 TotalJINRJINR 103,238103,238 244,393244,393 136,615136,615 320,041320,041 365,456365,456 341,876341,876 322,850322,850 1,834,4691,834,469 47.3%47.3%
Russia and JINR Normalized CPU time per SITE (June 2007 - December 2007)
Network bandwidth and reliability of data transfers
The following LHC computing The following LHC computing centers serve as Tier1 centers serve as Tier1 centers for RDIG: centers for RDIG:
FZK (Karlsruhe) –FZK (Karlsruhe) – for ALICE, for ALICE, SARA (Amsterdam) – for ATLAS, SARA (Amsterdam) – for ATLAS, CERN – for CMS (CERN-PROD) CERN – for CMS (CERN-PROD)
and LHCb.and LHCb.
The quality of the JINR – Tier1s The quality of the JINR – Tier1s connectivity is under close connectivity is under close monitoringmonitoring
Average data movement from CERN to JINR 01.2007-11.2007
FTS Monitoring: CERN-JINR transfers
Best transfer-test results for CERN - JINR 01.08.2007-04.08.2007Average throughput 20 MB/s during the whole 04.08
RDIG SITESRDIG SITES
CPU UsageCPU Usage
KSI2KKSI2K Oct.2007 –Oct.2007 –
Jan. 2008Jan. 2008
ReliabilityReliability Data transfers Data transfers from CERN from CERN (TeraBytes) (TeraBytes) Oct.- JanOct.- JanOct.2007Oct.2007 Nov.2007Nov.2007 Dec.2007Dec.2007 Jan.2008Jan.2008
FIANFIAN 462462 5151 9494 4343 9898 --
IHEPIHEP 9939699396 7171 7272 8484 6868 38.538.5
INRINR 5233952339 7979 9393 3535 9393 --
ITEPITEP 462364462364 6363 9393 8844 9696 31.631.6
JINRJINR 10823271082327 9393 9393 9494 9999 6262
MEPHIMEPHI 479479 9292 9595 4444 9898 --
PhysSPbSUPhysSPbSU -- 9696 9797 9292 9696 --
PNPIPNPI 366723366723 4444 8585 00 00 55
RRC-KIRRC-KI 120120 8686 00 00 00 66
SINPSINP 110611110611 2525 00 4949 5858 11.211.2
SPbSUSPbSU 35563556 8686 8383 8888 9595 --
TotalsTotals 2 178 3772 178 377 154.3154.3
AverageAverage 7171 7373 5566 7373
Эффективность RDIG-сайтов
EGEE SITES: LHC VOs (ALICE, ATLAS, CMS and
LHCb) Normalised CPU time by SITE June 2007 - December 2007
1.1. IN2P3-CC 4 731 732IN2P3-CC 4 731 7322.2. CERN-PROD 4 393 875CERN-PROD 4 393 8753.3. FZK-LCG2FZK-LCG2 3 432 919 3 432 9194.4. TRIUMF-LCG2 3 358 117 TRIUMF-LCG2 3 358 117 5.5. INFN-T1 2 244 936INFN-T1 2 244 9366.6. IN2P3-LPC 1 705 242IN2P3-LPC 1 705 2427.7. INFN-PISA 1 438 029INFN-PISA 1 438 0298.8. UKI-NORTHGRID-MAN-HEP 1 369 207UKI-NORTHGRID-MAN-HEP 1 369 2079.9. GRIF 1 368 942GRIF 1 368 94210.10. RAL-LCG2 1 306 579RAL-LCG2 1 306 57911.11. JINR-LCG2 1 217 267JINR-LCG2 1 217 267
Statistics obtained from the EGEE Accounting Portal:Statistics obtained from the EGEE Accounting Portal:http://www3.egee.cesga.es/gridsite/accounting/CESGA/egee_view.htmlhttp://www3.egee.cesga.es/gridsite/accounting/CESGA/egee_view.html
EGEE SITES: LHC VOs (ALICE, ATLAS, CMS and
LHCb) Normalised CPU time by SITE November 2007 - January 2007
SITE Nov 07 Dec 07 Jan 08 Total
TRIUMF-LCG2 1,229,198 729,033 762,568 2,720,799
INFN-T1 358,604 910,196 625,190 1,893,990
FZK-LCG2 598,618 645,248 640,550 1,884,416
IN2P3-CC-T2 696,033 663,382 368,708 1,728,123
CERN-PROD 504,751 598,155 519,881 1,622,787
IN2P3-CC 466,991 436,611 270,292 1,173,894
NDGF-T1 478,403 405,428 0 883,831
INFN-PISA 339,839 316,014 219,363 875,216
JINR-LCG2 278,157 268,371 254,223 800,751
BNL_ATLAS_1 521,627 866,135 649,666 2,037,428
GLOW 504,109 407,331 175,525 1,086,965
USCMS-FNAL-WC1-CE 732,944 667,043 594,646 1,994,633
Планы развития ЦИВК ОИЯИ
20072007 20082008 20092009 20102010
CPUCPU
(kSI2K)(kSI2K)
670670
(1070)(1070)12501250 17501750 25002500
DiskDisk
(Tbytes)(Tbytes)100100 400400 800800 12001200
Active Active Tapes Tapes
(Tbytes)(Tbytes)00 00 100100 200200
Тор 500
Site Computer Processors Year Rmax Rpeak1Site Computer Processors Year Rmax Rpeak1
DOE/NNSA/LLNLDOE/NNSA/LLNL BlueGeneBlueGene/L /L United States IBM 212992 2007 478200 United States IBM 212992 2007 478200 59637825963782
Juelich (FZJ) Blue Gene/P Juelich (FZJ) Blue Gene/P Germany IBM 65536 2007 167300 2228223Germany IBM 65536 2007 167300 2228223New Mexico (NMCAC)New Mexico (NMCAC)United States SGI 14336 2007 126900 1720324United States SGI 14336 2007 126900 1720324CRLCRLIndia Hewlett-Packard 14240 2007 117900 1708805India Hewlett-Packard 14240 2007 117900 1708805Government AgencyGovernment AgencySweden Hewlett-Packard 13728 2007 102800 1464306Sweden Hewlett-Packard 13728 2007 102800 1464306NNSA/Sandia NNSA/Sandia United States Cray Inc. 26569 2007 102200 1275317United States Cray Inc. 26569 2007 102200 1275317Oak Ridge National LaboratoryOak Ridge National LaboratoryUnited States Cray XT4/XT3 23016 2006 101700 1193508United States Cray XT4/XT3 23016 2006 101700 1193508IBM Thomas J. Watson Research CenterIBM Thomas J. Watson Research CenterUnited States Blue GeneUnited States Blue Gene/L/L IBM IBM 4096040960 20052005 9129091290 11468891146889NERSC/LBNLNERSC/LBNLUnited StatesUnited States Cray XT4 Cray XT4 1932019320 20072007 8536885368 10046411004641Stony Brook/BNL, Stony Brook/BNL, United StatesUnited States Blue Gene Blue Gene/L /L IBMIBM 3686436864 20072007 8216182161 103219103219
Россия в TOP 500
В данной редакции списка Россия представлена 7 системами, что В данной редакции списка Россия представлена 7 системами, что является максимальным количеством за время существования Top500.является максимальным количеством за время существования Top500.
На рекордном для России 33 месте оказался суперкомпьютер Hewlett-Packard На рекордном для России 33 месте оказался суперкомпьютер Hewlett-Packard Cluster Platform 3000 BL460c, установленный в МСЦ РАН, 33.885 TFlop/s.Cluster Platform 3000 BL460c, установленный в МСЦ РАН, 33.885 TFlop/s.
На 181 месте списка суперкомпьютер IBM BladeCenter HS21 Cluster, в Уфимском На 181 месте списка суперкомпьютер IBM BladeCenter HS21 Cluster, в Уфимском государственном авиационном техническом университете, 9.287 TFlop/s.государственном авиационном техническом университете, 9.287 TFlop/s.
IBM BladeCenter HS21 Cluster с производительностью 9.287 TFlop/s, IBM BladeCenter HS21 Cluster с производительностью 9.287 TFlop/s, установленный в Сибирском федеральном университете (Красноярск), оказался установленный в Сибирском федеральном университете (Красноярск), оказался на 183 месте.на 183 месте.
На 199 место со 105 опустился суперкомпьютер "СКИФ Cyberia", установленный На 199 место со 105 опустился суперкомпьютер "СКИФ Cyberia", установленный в Томском Государственном Университете, с производительностью 9.01 TFlop/s.в Томском Государственном Университете, с производительностью 9.01 TFlop/s.
На 242 месте списка оказался суперкомпьютер Hewlett-Packard Cluster Platform На 242 месте списка оказался суперкомпьютер Hewlett-Packard Cluster Platform 3000 BL460c, в Вятском государственном университете (Киров), 8.160 TFlop/s.3000 BL460c, в Вятском государственном университете (Киров), 8.160 TFlop/s.
Со 187 на 408 место в новой редакции списка опустился российский Со 187 на 408 место в новой редакции списка опустился российский суперкомпьютер MVS-15000BM, установленный в МСЦ РАН, 6.646 TFlop/s.суперкомпьютер MVS-15000BM, установленный в МСЦ РАН, 6.646 TFlop/s.
Наконец, на 430 месте списка оказался суперкомпьютер IBM BladeCenter HS21 Наконец, на 430 месте списка оказался суперкомпьютер IBM BladeCenter HS21 Cluster, к "Industrial Company", с производительностью 6.341 TFlop/s.Cluster, к "Industrial Company", с производительностью 6.341 TFlop/s.
Объявление о начале выпуска системы – 26 июня 2007 г.Поставка в МГУ – 24 декабря 2007 г. (запуск-апрель 2008 г)Уникальные характеристики:масштабируемость, высокая надежность, низкое энергопотребление
Blue Gene/P @ MSU•2 стойки, •2048 4-ех ядерных узлов,общая пиковая производительность 27.2 Tflop/s (43 место в текущем списке TOP500)•4 TB общий объем ОЗУ
Blue Gene/P в MГУ
Полезные ссылки и информация
LCG: LCG: //lcg.web.cern.ch/LCG///lcg.web.cern.ch/LCG/
EGEE: EGEE: ////www.eu-www.eu-egeeegee.org.org
EGEE-RDIG: EGEE-RDIG: ////www.www.egeeegee-rdig.ru-rdig.ru
GRIDCLUB: //www.gridclub.ruGRIDCLUB: //www.gridclub.ru
Параллельные вычисления //Параллельные вычисления //parallel.ruparallel.ru
Инструкции, документация, сайты, информационные Инструкции, документация, сайты, информационные бюллетени, публикации, обзоры, курсы и т.д.бюллетени, публикации, обзоры, курсы и т.д.
Новые возможности для пользователей ЦИВК ОИЯИНовые возможности для пользователей ЦИВК ОИЯИ
Использование ГРИД-инфраструктуры для различных ВОИспользование ГРИД-инфраструктуры для различных ВО
Развитие системы суперкомпьютеров в РоссииРазвитие системы суперкомпьютеров в России
Новые возможности для проектов и групп пользователей: