IPSL Climate Service & Expertise · 2017-06-19 · IPSL-CSE (Laboratoire d’Excellence L-IPSL) • Recherche sur le développement de méthodologies permettant d'adapter les simulations

Page 1

IPSL Climate Service & Expertise

Robert Vautard, Animateur activités de Services CLimatiquesGuillaume Levavasseur & Sébastien Denvil, IPSL-MesoCentre

IPSL-CSE committee:John BazireOlivier BoucherPascale BraconnotNada CaudSébastien DenvilMarie-Alice FoujolsFlorence HabetsSylvie Joussaume

Hervé Le TreutNathalie de NobletNicole PapineauAmélie RajaudSabrina SpeichBenjamin SultanRobert VautardMathieu Vrac

L’Institut Pierre-Simon Laplace

Etude du climat, de l’environnement

9 laboratoires, 14 lieux, 15 tutelles

LATMOS

LMD(3)LSCEGEOPS

LMD(1/2)LOCEAN (1)METISLERMA team

LISA

LOCEAN(2)

Plus de 1400 personnes

CEREA(2)

IPSL-CSE(Laboratoire d’Excellence L-IPSL)

• Recherche sur le développement de méthodologies

permettant d'adapter les simulations climatiques aux besoins des utilisateurs: descente d’échelle, correction de biais, sélection de sous-ensembles de simulations

• Diffusion de données de projections climatiques et indicateurs dans le cadre international ESGF: données échelle mondiale, européenne, demandant expertise ou accompagnement

• Développement de projets pilotes co-construits (démonstrateurs)

• Accompagnement et formation d’utilisateurs (expertise)

ESGF: Une infrastructure internationale de distribution des projections climatiques et services associés IPSL-Prodiguer

L’IPSL est l’un des « noeuds principaux » du système ESGF

Prévisions

météorologiques

et saisonnières

Données locales

et sectorielles

Produits

satellitesAutres secteurs

(santé, énergie,

eau, ressources

marines…)

…

Evaluation des

modèles sur le

Sénégal

Cartes de risques

et d’opportunités

pour les décideurs

Elaboration et

évaluation de stratégies

d’adaptation

Indicateurs de

changement

climatique au

Sénégal

Expertise et

recherche

Données

locales et

sectorielles

Lien avec les

parties

prenantes et

autres

disciplines

(besoins,

usage…)

Portail de Services Climatiques

Collaboration en

Afrique

Produits

Prochaine phase?

Scénarios de

changement climatique

Sorties de modèles de

climat sur le Sénégal et

l’Afrique

Risques pour

l’agriculture

Indicateurs pour

l’agriculture, options

d’adaptation

Collaborationavec

Projets pilotes: Risques pour l’agriculture

Débits mensuels minimums de période de retour 5 ans: QMNA5

Thèse Gildas Dayon, 2015

� En cours: Affinement des estimations via la prise en compte explicite des nappes phréatiques dans le projet Aqui-FR

Projets pilotes: Evolution des débits d’étiage

Démonstrateur européen de service pour accompagner la transition énergétique et l’adaptation dans le secteur de l’énergie

L’IPSL coordonne un projet européen

« Copernicus C3S» pour développer, de façon co-

construite avec des industriels, des données

climatiques adaptées au secteur de l’énergie

CLIM4ENERGY

Implications dans le programme européen « Copernicus Climate Change Service »

• Coordination du volet « données de simulations » des projections climatiques régionales européennes

• Coordination d’un démonstrateur pour le secteur de l’énergie http://clim4energy.climate.copernicus.eu

• Participation au volet « données » des projections globales

• Participation à la « roadmap Copernicus sur les projections globales »

• Participation au projet visant à élargir l’ensemble de projections régionales EURO-CORDEX (lead SMHI)

Développements au niveau national(soutien du MEEM et MESR [Labex L-IPSL])

Participation à DRIAS / Rapport

« Jouzel » avec Météo-France:

Méthodes statistiques, projections

climatiques à haute résolution

EXTREMOSCOPE: Attribution et

interprétation des événements

extrêmes dans le cadre du

changement climatique

(avec Météo-France)

Projets avec

plusieurs PMEs

Développement de

la start-up TCDF

Un nouveau cadre pour la coordination nationale : la « Convention Services Climatiques » (financement MEEM)

5 démonstrateurs de services

climatiques co-construits:Evolution des submersions côtières

Rendements agricoles en Afrique

Evolution des eaux sous-terraines

Définition des aires marines protégées en Médit.

Descente d’échelle et indicateurs du climat urbain

EXTREMOSCOPE

Suite: vers un service

opérationnel?

GICN

Formation

�Supports numériques

�3 thèses

Communication

� Journées thématiques

The IPSL mesocentre as a data andservices provider for climate services

Guillaume Levavasseur1

Sébastien Denvil1

June 1st, 2017

Timeline:

IntroductionIPSL Prodiguer Working TeamUnwieldy and bulky climate data

IPSL mesocentreInfrastructureArchive, distribute and analyse

Climate services or impact studies relationshipsConclusion

1CNRS/IPSL

Journée utilisateurs des services climatiques — Levavasseur, G. — June, 1st 2017 12

Introduction | IPSL mesocentre | Climate services or impact studies relationships | Conclusion

The IPSL PRODIGUER working team(8 engineers with the support of IPSL ISI team)

Software

Design, develop and deploy tools for data access facilities from the IPSL mesocentreStrengthening the ESGF infrastructure at the national and European

levels for efficient data distribution

Services

Download data of interest on demandBuild pipelines of various processes/algorithm (e.g., quality check,

grid interpolation, bias correction, etc.) NetCDF formatting (in some cases)Support and guidance

Expertise

Climate analysis experimentKnowledge of (meta)data standards and conventions (e.g., CF, MIP,

etc.)(« Big ») Data management plans (e.g., data reference syntaxes,

controlled vocabularies, data documentation, etc.)


Unwieldy and bulky climate data

Heterogeneous HPC environments…Large community (not always disciplined)…SSH and NetCDF are kings…No global view…Very complex workflows…Very dense information…etc.

… do not allow clear and easy analyses, especially for other scientific communities.

« I have not failed, I have just found 10000 ways that don’t work. » (A. Einstein)

CMIP6 horizon: increasing data amount and data management

IPSL example: data produced by IPSL models for CMIP6 are estimated at 4 PB and will be distributedfrom the data centres GENCI (i.e., from their production site). CMIP5 led to 400 TB of IPSL data distributedfrom centres (i.e., 200,000 files).



ESPRI committee = coordination and networking of computing andstorage ressources to ensure an optimal data management,archiving, processing and distribution for all scientific thematicsrelated to the IPSL.

The IPSL mesocentre — Overview

We formed a broadcast and data analysis « e-infrastructure »allowing scientific teams an optimal access to climate observationsand model results in the best possible conditions; especially duringintensive periods of scientific analysis preceding the publication of theIPCC reports.

2-sites infrastructure at UPMC andPolytechnique Campus with similar softwaresand computing environments, and dedicateddata access between each of them,Shared computing resources closest to thedata storage,Computational cluster over 1,200 cores and3 Tb RAM,ESGF nodes hosting,Server virtualisation for optimisation andreactivity,Close coopération with climate services,200k€/yr shared funds.

https://mesocentre.ipsl.fr



The IPSL mesocentre — Data content

The IPSL mesocentre gathers 1.6 PB of spatial or atmospheric data, reanalysis or climate modelsresults. Those data have been produced by the IPSL scientific community or replicated from other datacentres or communities. We aims to enhance synergies between models and data for trend and climatevariability analysis and help model evaluation.


Climate observations

Different types of observation data: in-situ,reanalyses, FCDR, etc.10-year reanalysis of atmospheric datafrom the SIRTA observatory,CFMIP-Observations, obs4MIPs, Gewex Cloud Assessment,Field campaigns: AMMA, Mistrals, balloons, etc.,Long term satellite observations (IAISI, GOSAT, MeteoSat, etc.).

Climate model results

IPSL climate models simulations,Multi-projects participation and replication,• MIPs (CMIP3/5/6, PMIP, TAMIP, GeoMIP, ISI-MIP).• (EURO)CORDEX & BCCORDEX,• LUCID,• EUCLIPSE.



The IPSL mesocentre — Data distribution

The IPSL Mesocentre hosts several ESGF nodes, part of a decentralised and federated nodes network withinternational collaboration. The PRODIGUER members are heavily involved in ESGF platform. Each ESGF Node iscomposed of services and applications that collectively enable metadata discovery, data access, and user management:

Operational since 2011Hundreds of users per monthHundreds of TB downloaded per monthAbout 10,000 registered users

IPSL mesocentre

ESGF indexnode

ESGF datanode

Scientific community

Metadata catalogs,Access protocols to data endpoints.

Indexes and broadcasts available data from all datanodes,Front-end with search UI,Links with models documentation,Redirects users requests to the appropriate


The IPSL mesocentre — Data analysis facilities

The IPSL developed SYNDA to mirrors at the request of its researchers a relatively large subset of ESG-F data (currently420 Tb) on its local filesystem. A post-processing pipeline is available to analyse MIP files in the best conditions andprovide easy access to high quality climate data.

ESGF nodes IPSL users requests Download with SYNDA

Post-processingSafe usable dataIPSL users


https://github.com/Prodiguer/synda


DOI

IPSL is allowed to generate DOI on data (INISTconvention)

ES-DOC

Standards based eco-system in support of earthsystem modelling documentation creation, analysis &dissemination.

ES-DOC errata

Web-service to provide timely information aboutknown issues and enable users to query aboutmodifications and/or corrections applied to the data.

The IPSL mesocentre — Data documentation

The potential to interpret, compare and reuse climate information results is strongly related to thequality of their description.



Climate services or impact studies relationships

The IPSL mesocentre is a computing and analysis infrastructure for all research teams in the scopeof IPSL supported thematics. Hydrologists, geologists and other research bodies are steadily interestedto access our database for impact studies. Moreover, the IPSL is turning increasingly towards climateservices through partnerships:

The Climate Data Factory

Distributing user-friendly climate projections data to facilitate and reducetime for adaptation strategies using specific data preprocessing (spatial andtemporal interpolations, bias correction).http://www.theclimatedatafactory.com/

The Copernicus Climate Change Service

Providing reliable and up-to-date information on how our planet and itsclimate are changing for decision makers, businesses and citizens.IPSL is especially involved in the « Climate and Energy » sectoralinformation system.http://www.copernicus.eu/main/climate-and-energy




National High Performance Data (HPD) Analysis Environment

Mutualised (delivered by IPSL laboratories, used by IPSL community and its french partners),Access services to ESGF system (users don't have to find, download, keep up to date and preprocess the data they

need),Analysis capabilities (ecosystem of tools for environmental data, compute and web services provision),Big data platform (access to curated and high-quality archive, +1Pb of high performance disk coupled to hundreds of cores

configured for analysis).

Model codeData management,Documentation and trainings,Search interfaces,Access protocols,Web (Mapping) Services,(Inter-)Monitoring,Automated atlas.

Climate engineer

Specific simulations, variables, frequency, time periods, etc.,Overviews on data with simple graphics or maps,Complex analyses using different languages (R, Python, Ferret, etc.),Analyse reproducibility.

Researcher

Clarifying access to available data,Simplifying simulations runs,Automating recurring needs (means, anomalies, etc.),Applying specific script,Ensuring support and data management.

Researcher-friendly platform

Journée utilisateurs des services climatiques — Levavasseur, G. — June, 1st 2017

Page 22

Journée Utilisateurs des Services Climatiques

Ier Juin 2017 – Campus Jussieu

Harilaos Loukos TCDF

Page 23

Une équipe issue de l’IPSL

Page 24

Une collaboration avec ‘IPSL

Traiter

statistiquement

les données des

modèles

climatiques pour

les rendre

« utilisables »

Traiter

statistiquement

les données des

modèles

climatiques pour

les rendre

« utilisables »

Développer les

outils

informatiques

nécessaires à un

traitement

« industriel »

Développer les

outils

informatiques

nécessaires à un

traitement

« industriel »

Diffuses les

données sur un

site «simplifié»

+ assister

techniquement

les utilisateurs

Diffuses les

données sur un

site «simplifié»

+ assister

techniquement

les utilisateurs

Page 25

données climatiques à valeur ajoutée

Re-

mapping

Re-

mapping

Ajustement

de biais

Ajustement

de biais

Controle

Qualité

Controle

Qualité

Données

Brutes

(ESGF)

Données

Brutes

(ESGF)

Vrac et al 2016

MESAN Rean.

WATCH-FDEI

Vrac et al 2016

MESAN Rean.

WATCH-FDEICDO (MPI)CDO (MPI)

CMOR (CF & DRS)

Tech QA (DKRZ)

Phy QA (IPSL/TCDF)

CMOR (CF & DRS)

Tech QA (DKRZ)

Phy QA (IPSL/TCDF)

CMIP5/CORDEX

6 variables de surf

Tout RCP/models

CMIP5/CORDEX

6 variables de surf

Tout RCP/models

Page 26

aussi simple que possible

Page 27

Pour un public professionel international

Chercheurs

Impacts

Chercheurs

Impacts

Professionnels

de l’adaptation

au CC

Professionnels

de l’adaptation

au CC

Consultants

Ingénieurs

Consultants

Ingénieurs

Page 28

un service innovant

Page 29

mercitheclimatedatafactory.com

Page 30

technology

Page 31

content distribrution netwok

Page 32

user friendly search (beta)

Page 33

user friendly search (beta)

Page 34

simple & extensive product info

0,00 €

IPSL Climate Service & Expertise · 2017-06-19 · IPSL-CSE (Laboratoire d’Excellence L-IPSL) • Recherche sur le développement de méthodologies permettant d'adapter les simulations

Documents