Polska Infrastruktura Polska Infrastruktura Informatycznego Wspomagania Nauki Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczej w Europejskiej Przestrzeni Badawczej Aktualne postępy i osiągnięcia Aktualne postępy i osiągnięcia Polskiej Inicjatywy Gridowej Polskiej Inicjatywy Gridowej w ramach Projektu PL-Grid w ramach Projektu PL-Grid Jacek Kitowski i Łukasz Dutka ACK CYFRONET AGH, Kraków, Polska Instytut Informatyki AGH-UST we współpracy z Partnerami Projektu PL-Grid I Konferencja i3: internet - infrastruktury - innowacje Poznań, 4-6 listopada, 2009
19
Embed
Aktualne postępy i osiągnięcia Polskiej Inicjatywy Gridowej w ramach Projektu PL-Grid
Aktualne postępy i osiągnięcia Polskiej Inicjatywy Gridowej w ramach Projektu PL-Grid. Jacek Kitowski i Łukasz Dutka ACK CYFRONET AGH, Kraków, Polska Instytut Informatyki AGH-UST we współpracy z Partnerami Projektu PL-Grid. - PowerPoint PPT Presentation
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Polska Infrastruktura Polska Infrastruktura Informatycznego Wspomagania Nauki Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczejw Europejskiej Przestrzeni Badawczej
Aktualne postępy i osiągnięcia Aktualne postępy i osiągnięcia Polskiej Inicjatywy Gridowej Polskiej Inicjatywy Gridowej w ramach Projektu PL-Gridw ramach Projektu PL-Grid
Jacek Kitowski i Łukasz DutkaACK CYFRONET AGH, Kraków, Polska
Instytut Informatyki AGH-UST
we współpracy
z Partnerami Projektu PL-Grid
I Konferencja i3: internet - infrastruktury - innowacjePoznań, 4-6 listopada, 2009
PodziękowaniaPodziękowania ACK Cyfronet AGH
Kazimierz Wiatr Michał Turała Marian Bubak Tomasz Szepieniec Marcin Radecki Mariusz Sterzel Karol Krawentek Agnieszka Szymańska Andrzej Oziębło Tadeusz Szymocha Alex Kusznir Zofia Mosurska Teresa Ozga Aleksandra Mazur
ICM Piotr Bała Maciej Filocha
PCSS Norbert Meyer Krzysztof Kurowski Mirosław Kupczyk
WCSS Józef Janyszek Bartłomiej Balcerek Paweł Dziekoński
Narodowa Inicjatywa Gridowa w Polsce Motywacja Uzasadnienie i Podstawy Stan Zaawansowania
Projekt PL-Grid – Rezultaty Podsumowanie
Plan wystąpieniaPlan wystąpienia
Podejście e-Science do badań naukowych
Działania integracyjne zachodzące w świecie
Oczekiwania ze strony Środowisk NaukowychOczekiwania ze strony Środowisk Naukowych
E-Science: wspólne badania naukowe wspierane przez zaawansowane, rozproszone obliczenia – rozszerzenie paradygmatu Nauk Obliczeniowych Wielodyscyplinarne i międzynarodowe Wymagające postępów w zakresie informatyki i nauk obliczeniowych
Cel: aby umożliwić badania naukowe wyższej jakości we wszystkich dziedzinach Nauka na poziomie systemowym: uwzględnienie wielu zjawisk,
elementy komunikują się ze sobą i są od siebie zależne, eksperymenty in silico Aby generować, interpretować i analizować obszerne
zasoby danych• Pochodzące z eksperymentów, obserwacji
i symulacji • Przy wykorzystaniu zarządzania jakością,
wysokiej niezawodności i dokumentowania Aby tworzyć i badać modele symulacyjne
• Obliczenia i dane wieloskalowe• Wiarygodne, ekonomicznie uzasadnione,
o istotnym znaczeniu Aby umożliwić dynamiczną, rozproszoną współpracę
środowisk naukowych• Przez współdzielenie wiedzy i zasobów• Z wykorzystaniem bezpieczeństwa, wiarygodności, zarządzania i elastyczności
M. Atkinson, e-Science (...), Grid2006 & 2-nd Int.Conf.e-Social Science 2006, National e-Science Centre UK
I. Foster, System Level Science and System Level Models, Snowmass, August 1-2, 2007
Konsorcjum składa się z pięciu polskich centrów obliczeniowych, reprezentujących środowiska naukowe
Uczestnictwo w Międzynarodowych i Krajowych Projektach i we współpracy• ~35 międzynarodowych projektów FP5, FP6, FP7 dotyczących Gridów (50% wspólnych)• ~15 polskich projektów (50% wspólnych)
Istniejące potrzeby polskich środowisk naukowych• ~75% publikacji w pięciu środowiskach
Eksperci w F3 EU: „Research Infrastructure”, Projekty Infrastrukturalne
Narodowa Szerokopasmowa Infrastruktura Sieciowa dla wspomagania nauki
• (dzięki Narodowemu Projektowi Ponier)
Porozumienie podpisane w styczniu 2007
Konsorcjum PL-GridKonsorcjum PL-Grid
Projekt PL-GridProjekt PL-Grid
Motywacja Podejście E-Science do badań naukowych Działająca inicjatywa EGI we współpracy z NGIs
Projekt PL-Grid (2009-2012) Wystąpienie o dofinansowanie w ramach Programu Operacyjnego
Innowacyjna Gospodarka, Działanie 2.3 (we wrześniu 2008) Decyzja o przyznaniu finansowania – 2 marca 2009 (w ramach Europejskich Funduszy
Strukturalnych)
Polska Infrastruktura Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczej
European Grid Initiative (EGI) National Grid Initiative (NGI) PL-Grid
Odpowiedź na potrzeby polskich naukowców i bieżących aktywności gridowychw Polsce, w innych krajach europejskich i na całym świecie
Infrastruktura gridowa (usługi gridowe) PL-GridA
plik
acja
Apl
ikac
ja
Apl
ikac
ja
Apl
ikac
ja
Klastry Komputery dużej mocy Repozytoria danych
Krajowa sieć komputerowa PIONIER
Grid Dziedzino
wy
Zaawansowane Platformy Usługowe
Grid Dziedzino
wy
Grid Dziedzino
wy
Grid Dziedzino
wy
W ramach Polskiego Gridu tworzona jest wspólna bazowa infrastruktura – podobnie do rozwiązań zastosowanych w innych krajach.
Dziedzinowe systemy gridowe – włącznie z usługami i narzędziami zorientowanymi na specyficzne typy aplikacji – będą konstruowane na tej infrastrukturze.
Dziedzinowe systemy gridowe mogą być później rozwijane i zarządzane w ramach odrębnych projektów.
Efektywne wykorzystanie dostępnych środków finansowych. Stworzenie infrastruktury gridowej w pełni kompatybilnej i interoperabilnej z gridem europejskim i
światowym. Plany umożliwienia obliczeń HPC i klastrowych.
Założenia ProjektuZałożenia Projektu
Elementy i FunkcjonalnośćElementy i Funkcjonalność Oprogramowanie PL-Grid będzie obejmować:
narzędzia użytkownika • portale, systemy zarządzania i monitorowania
aplikacji, systemy wizualizacji wyników i inne zgodne z używanym w Projekcie oprogramowaniem niższych warstw;
biblioteki programistyczne; systemy wirtualnych organizacji:
• podsystemy certyfikatów i kont, rozliczanie wykorzystania zasobów, podsystem bezpieczeństwa;
systemy zarządzania danymi: • katalogi metadanych, zarządzanie replikami,
Do rozważenia w przyszłości: Chmury obliczeniowe Chmury danych Chmury wewnętrzne i
zewnętrzne Aspekty wirtualizacji
Centrum Operacyjne: RezultatyCentrum Operacyjne: Rezultaty
PL-Grid VO (vo.plgrid.pl) w pełni działająca Wirtualne zasoby produkcyjne dla użytkowników
PL-Grid w 4 centrach (Gdańsk, Kraków, Poznań, Wrocław)
Gotowe narzędzia do monitorowania infrastruktury (wykrywania problemów) - oparte na Nagios i EGEE SAM
Gotowe grupy wsparcia, narzędzia i procedury działań zgodne z EGEE/EGI - mające na celu osiągnięcie wysokiej dostępności zasobów
Baza wiedzy dla problemów dotyczących działania infrastruktury
Narzędzie śledzenia błędów – planowane do uruchomienia w listopadzie 2009
Tymczasowa procedura rejestracji użytkowników Portal rejestracji użytkowników w przygotowaniu
(pierwszy prototyp planowany do uruchomienia w w końcu października 2009)
Rozliczanie wykorzystania zasobów zintegrowane z EGEE
PCSS
Cyfronet
WCSS
Centrum Operacyjne: PlanyCentrum Operacyjne: Plany
Rejestracja Użytkowników– dostęp dla każdej osoby zarejestrowanej jako pracownik naukowy – www.opi.org.pl– portal przygotowywany (uruchomienie planowane w końcu października 2009)– dostęp do zasobów w oparciu o
• granty – przydzielanie praw do wykorzystania X CPUhours i TB przestrzeni dyskowej• usługi dostępowe – sposób na dostęp do zasobów w konkretnym centrum
obliczeniowym
Infrastruktura Badawcza PL-Grid – “zasoby na żądanie” – umożliwia zgłaszanie żądań dotyczących użycia maszyn do różnych celów:
– aby zainstalować grid middleware dla celów testowych– dla programistów – aby zbudować środowisko testowe– dla przeprowadzenia jakichkolwiek innych badań naukowych wymagających zasobów
gridowych– procedury są w trakcie tworzenia
Umożliwienie dostępu do zasobów UNICORE– niewielka liczba maszyn dedykowanych dla UNICORE’a– integracja UNICORE’a i gLite’a – przy wykorzystaniu tych samych zasobów
Rozwój oprogramowania i narzędzi: RezultatyRozwój oprogramowania i narzędzi: Rezultaty
Programiści badawczy: 20+ Główne zespoły badawcze: 8 Zaangażowane centra
obliczeniowe: 5 Dedykowane maszyny fizyczne i
wirtualne: 30+ Testowane infrastruktury:
EGEE, DEISA Nowe infrastruktury i rozszerzenia:
QosCosGrid, GridSpace Obecne aplikacje będące w fazie
integracji i procedur testowych: 10+
Obecne narzędzia użytkownika będące w fazie integracji i procedur testowych: 5+
Aktywna komunikacja z nowymi społecznościami użytkowników w Polsce: www.plgrid.pl/ankieta
Rozwój oprogramowania i narzędzi: PlanyRozwój oprogramowania i narzędzi: Plany Bliższa współpraca ze społecznościami użytkowników i programistów reprezentujących
różne dziedziny naukowe (w oparciu o wyniki uzyskane przy pomocy naszej ankiety) Adaptacja technik wirtualizacji polepszających użyteczność, odporność na
uszkodzenia, tworzenie punktów kontrolnych i zarządzanie klastrami Webowe GUI oparte na Liferay i Vine Toolkit, umożliwiające dostęp do istniejących i
rozszerzonych usług e-Infrastruktury Testy wydajnościowe różnych wielko-skalowych między-klastrowych aplikacji
równoległych przy użyciu ko-alokacji i zaawansowanych technik rezerwacji Dalsza analiza rozwiązań dotyczących zarządzania gridem, monitorowania i
bezpieczeństwa Wspólne repozytorium oprogramowania i zasady wdrażania Przykładowe usługi, narzędzia i aplikacje dostępne jako wirtualne skrzynki z różnymi
konfiguracjami Główne punkty kontrolne i oś czasu:
IX 09VI 09 IX 10 IV 11 I 12
Jesteśmy tutaj
Wsparcie użytkownika i szkolenia: Rezultaty i PlanyWsparcie użytkownika i szkolenia: Rezultaty i Plany Główne zadanie:
Uruchomienie usługi „helpdesk”, przeprowadzanie szkoleń dla użytkowników i realizacja wsparcia dla użytkowników
Pomoc przy efektywnym wykorzystaniu istniejącej infrastruktury, włącznie z wyborem aplikacji odpowiednich dla problemów użytkowników oraz uruchamianiem obliczeń na gridzie
PL-Grid jest infrastrukturą zorientowaną na użytkownika; zespoły wsparcia i szkoleń będą ściśle współpracowały z użytkownikami
Obecnie: Zespół wsparcia użytkowników został utworzony Rozpoczęło się już wewnętrzne szkolenie dla zespołu wsparcia Wybrano licencjonowane aplikacje, wymagane przez użytkowników, celem
instalacji na infrastrukturze PL-Grid Przeprowadzone zostało pierwsze szkolenie dla użytkowników.
Plany: Cykle szkoleń dla początkujących i zaawansowanych użytkowników gridu
Warstwa Bezpieczeństwa Warstwa Bezpieczeństwa PL-GridPL-Grid:: Rezultaty Rezultaty
Zdefiniowane wytyczne dotyczące bezpieczeństwa dla planowanej architektury
Zdefiniowana polityka bezpieczeństwa dla instalacji lokalnych elementów infrastruktury
Przegląd systemów zgłaszających incydenty, celem wybrania najbardziej odpowiedniego GGUS - Global Grid User Support RTIR - Request Tracking for Incident Response DIHS - Distributed Incident Handling System
Architektura i prototyp systemu do bezpośredniego mapowania użytkowników i rozpowszechniania danych uwierzytelniających użytkownika.
Warstwa Bezpieczeństwa Warstwa Bezpieczeństwa PL-GridPL-Grid:: Plany Plany
Ustanowienie NGI-wide CERT Zastosowanie polityk bezpieczeństwa do lokalnych instalacji infrastruktury Stworzenie i wdrożenie systemu monitorującego zgodność polityki
bezpieczeństwa lokalnych instalacji infrastruktury sprawdzającego czy oprogramowanie (jądro, usługi) są aktualne sprawdzającego porty nasłuchowe, reguły systemów bezpieczeństwa monitorującego listy suid/sgid i integralność
Stworzenie rozproszonego systemu korelacji alarmów zbudowanego ponad czujnikami sieciowymi i komputera-hosta.
Podsumowanie: DziałaniaPodsumowanie: Działania Krótkoterminowe
Utworzenie PL-Grid VO przy użyciu lokalnych zasobów Partnerów oraz zasobów EGEE
Zapewnienie środków dla pokrycia kosztów działania Zapewnienie środków dla podtrzymania bieżącej współpracy międzynarodowej
Długoterminowe – realizowane w sposób ciągły Wdrożenie oprogramowania i narzędzi Wsparcie użytkownika i szkolenia Dostarczenie, utrzymanie i rozbudowa koniecznej infrastruktury Rozwój i implementacja nowych paradygmatów obliczeniowych i integracja
środowisk• Obliczenia typu HPC i rozproszone (HPCaaS, IaaS, SaaS….)• Cloud Computing (wewnętrzne-zewnętrzne, chmury obliczeniowe, chmury
danych)• paradygmat SOA, wykorzystanie wiedzy … • „Internet Przyszłości” w sposób zdefiniowany przez EC w Programie