Cоздание российского сегмента европейской инфраструктуры EU DataGRID Ильин В.А. (НИИЯФ МГУ), Кореньков В.В. (ОИЯИ) 4 Всероссийская конференция RCDL 2002 «Электронные библиотеки: перспективные методы и технологии, электронные коллекции» Дубна, 16 октября 2002 года
48
Embed
C оздание российского сегмента европейской инфраструктуры EU DataGRID
C оздание российского сегмента европейской инфраструктуры EU DataGRID. Ильин В.А. (НИИЯФ МГУ), Кореньков В.В. (ОИЯИ) 4 Всероссийская конференция RCDL 2002 «Электронные библиотеки : перспективные методы и технологии, электронные коллекции» Дубна, 16 октября 2002 года. - PowerPoint PPT Presentation
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Cоздание российского сегмента европейской инфраструктуры EU
The Anatomy of the Grid: Enabling Scalable Virtual Organizations,I. Foster, C. Kesselman, S. Tuecke, Intl J. Supercomputer Applns, 2001. www.globus.org/research/papers/anatomy.pdf
CERN
LHC in the LEP Tunnel Counter circulating beams of protons in the same beampipe.
Centre of mass collision energy of 14 TeV. 1000 superconducting bending magnets, each 13 metres long, field 8.4 Tesla.
Super-fluid Helium cooled to 1.90 K
World’s largest superconducting structure
The LHC detectors
CMSATLAS
LHCb
3.5 Petabytes/year 109 events/year
Событие в LHC
Online systemOnline system• Multi-level trigger
• Filter out background• Reduce data volume• Online reduction 107
• Trigger menus • Select interesting events • Filter out less interesting
Исследование в области Grid технологий; создание и тех. поддержка Globus Toolkit™; приложения.
GridPP gridpp.ac.ukU.K. eScience
Создание реальной Grid в Англии для исследований в области Физики Элементарных Частиц.
Некоторые Grid Проекты
Name URL/Sponsor
Focus
Grid Physics Network
griphyn.orgNSF
Cоздание технологий для анализа данных в физике: ATLAS, CMS, LIGO, SDSS
International Virtual Data Grid Laboratory
ivdgl.orgNSF
Создание реальной международной Grid для экспериментов над Grid технологиями и приложениями
TeraGrid teragrid.orgNSF
Научная инфраструктура в США, связывающая 4 организации 40 Gb/s
Particle Physics Data Grid
ppdg.netDOE Science
Создание реальной Grid для анализа данных в Физике Высоких Энергий и Ядерной физике
EDG overview : structure , work packages
The EDG collaboration is structured in 12 Work Packages WP1: Work Load Management System WP2: Data Management WP3: Grid Monitoring / Grid Information Systems WP4: Fabric Management WP5: Storage Element WP6: Testbed and demonstrators WP7: Network Monitoring WP8: High Energy Physics Applications WP9: Earth Observation WP10: Biology WP11: Dissemination WP12: Management
• WP1 is responsible for the Workload Management System (WMS).The WMS is currently composed by the following parts:– User Interface (UI) : access point for the user to the GRID ( using JDL)– Resource Broker (RB) : the broker of GRID resources,
matchmaking– Job Submission System (JSS) : Condor-G; interfacing
batch systems– Information Index (II) : an LDAP server used as a filter to
select resources– Logging and Bookkeeping services (LB) : MySQL
Implementation: RM: C++ classes (under development) RC : Globus Replica Catalog wrapper GDMP : C++ Spitfire : Java, Web Services
Data Managem.
SQL Database Services
WP2 main interfaces: The GRID Storage Element WP1 Resource Broker APIs WP3 GRID Info servicesWP7 network monitoring info providersEnd User (using GDMP)
Comment: some servers and services are under construction
Освоена технология создания информационных серверов GIIS, собирающих информацию о локальных вычислительных ресурсах и ресурсов по хранению данных (создаваемых GLOBUS службой GRIS на каждом узле распределенной системы) и передающих эту информацию в динамическом режиме в вышестоящий сервер GIIS. Таким образом, освоена и протестирована иерархическая структура построения информационной службы GRIS-GIIS. Организован общий информационный сервер GIIS (ldap://lhc-fs.sinp.msu.ru:2137), который передает информацию о локальных ресурсах российских институтов на информационный сервер GIIS (ldap://testbed1.cern.ch:2137) европейского проекта EU DataGRID.
Russian National GIIS
SRCC MSU, KIAM and TCSS participate only in Russian DataGrid project and are not involved in CERN projects.
В НИИЯФ МГУ создан Сертификационный центр (Certification authority, СА) для российского сегмента. Сертификаты этого центра принимаются всеми участниками европейского проекта EU DataGRID.
Разработана схема подтверждения запросов на сертификаты с помощью расположенных в других организациях Регистрационных центров (Registration authority, RC), заверяющих запросы пользователей электронной подписью с помощью сертификата GRID.
Разработаны программы постановки и проверки электронной подписи, а также пакет программ для автоматизации работы Сертификационного центра.
Предложенная схема CA+RC и пакет программ приняты в ЦЕРНе и других участниках европейского проекта EU DataGRID.
Инсталлирована и протестирована программа репликации файлов и баз данных GDMP (GRID Data Mirroring Package), которая создана для выполнения удаленных операций с распределенными базами данных. Она использует сертификаты GRID и работает по схеме клиент-сервер, т.е. репликация изменений в базе данных происходит в динамическом режиме. Сервер периодически оповещает клиентов об изменениях в базе, а клиенты пересылают обновленные файлы с помощью команды GSI-ftp. Текущая версия GDMP работает с объектно-ориентированнной базой данных Objectivity DB, а также создается версия с динамической репликацией обычных файлов. Программа GDMP активно используется для репликации в ЦЕРН распределенной базы смоделированных данных, создаваемой в ОИЯИ (Дубна), НИИЯФ МГУ и других институтах по физике высоких энергий для эксперимента LHC-CMS. Программа GDMP рассматривается в качестве GRID стандарта для репликации изменений в распределенных базах данных.
В ОИЯИ выполнен комплекс работ по мониторингу сетевых ресурсов, узлов, сервисов и приложений. Сотрудники ОИЯИ принимают участие в развитии средств мониторинга для вычислительных кластеров с очень большим количеством узлов (10.000 и более), используемых в создаваемой инфраструктуре EU DataGRID.
В рамках задачи Monitoring and Fault Tolerance (Мониторинг и устойчивость при сбоях) они участвуют в создании системы корреляции событий (Correlation Engine). Задача этой системы - своевременное обнаружение аномальных состояний на узлах кластера и принятие мер по предупреждению сбоев.
С помощью созданного прототипа Системы корреляции событий (Correlation Engine) ведется сбор статистики аномальных состояний узлов на базе вычислительных кластеров ЦЕРН. Производится анализ полученных данных для выявления причин сбоев узлов. На втором этапе предусмотрено расширение прототипа Correlation Engine с учетом полученных результатов и испытание системы автоматизированного предупреждения сбоев на практике.
Этот прототип установлен на вычислительных кластерах в ЦЕРН и ОИЯИ, где производится сбор статистики аномальных состояний узлов.
В сотрудничестве с Институтом прикладной математики имени M.И. Келдыша программа Metadispetcher установлена в российском сегменте инфраструктуры EU DataGRID.
Программа Metadispetcher предназначена для планирования запуска заданий в среде распределенных компьютерных ресурсов типа GRID.
Было проведено ее тестирование, по результатам которого программа была доработана для обеспечения эффективной передачи данных средствами GLOBUS.
Задача массовой генерациисобытий для CMS на LHC
PYTHIA NTPL GEANT3 FZORCA
ooHITS
PYTHIA NTPL GEANT3 FZORCA
ooHITS
data_set_1data_set_2 Objy/DB
signal
Objy/DB
pile up
ORCAdigis
ORCAuser
analysisObjy/DB
ROOT,NTPL
Задача массовой генерациисобытий для CMS на LHC (как это было)
RefDB at CERN
EnvironmentIMPALABOSS
GKbatch manager
NFS
jobs
mySQL DB
N1 N2 CMKINjob executer
Nn
UIUI
Задача массовой генерациисобытий для CMS на LHC (предложенное