Calcul haute performance pour la simulation d’écoulements sanguins dans des géométries complexes V. Chabannes(G), V. Huber(S), M. Ismail(G), C. Prud’homme (S), M. Szopos(S) CeMoSiS, IRMA, Université de Strasbourg / CNRS LJK/Liphy, Université Joseph Fourier / CNRS Laboratoire National des Champs Magnétiques Intenses / CNRS Journée MesoChallenge IHP (Paris), 20 Septembre 2013 C. Prud’homme et al. (CeMoSiS et al) CHP pour les écoulements sanguins IHP 20/09/2013 1 / 16
20
Embed
Calcul haute performance pour la simulation d'écoulements ... · Scientific Linux & Modules & Environnement spécifique (C++11, Boost, Gmsh, PETSc...) Difficultés: nouveau, ressources
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Calcul haute performance pour la simulation d’écoulementssanguins dans des géométries complexes
V. Chabannes(G), V. Huber(S), M. Ismail(G), C. Prud’homme(S),M. Szopos(S)
CeMoSiS, IRMA, Université de Strasbourg / CNRSLJK/Liphy, Université Joseph Fourier / CNRS
Laboratoire National des Champs Magnétiques Intenses / CNRS
Journée MesoChallenge
IHP (Paris), 20 Septembre 2013
C. Prud’homme et al. (CeMoSiS et al) CHP pour les écoulements sanguins IHP 20/09/2013 1 / 16
Collaborateurs et Projets
Écoulements sanguins
S. Bertoluzza, IMATI, CNR, Pavia, Italy.
V. Doyeux, LIPHY, U. Joseph Fourier, Frenoble.
G. Pena, CMUC, Department of Mathematics, Coimbra, Portugal.
R. Tarabay IRMA, Université de Strasbourg / CNRS, France.
ANR Vivabrain http://www.vivabrain.fr
Autres projets
Feel++ community http://www.feelpp.org
Autres projets CHP(MesoStra), Modélisation et Simulation (Feel++ et al.)http://www.cemosis.fr
C. Prud’homme et al. (CeMoSiS et al) CHP pour les écoulements sanguins IHP 20/09/2013 2 / 16
Rhéologie des écoulements sanguinsUn outil de simulation pour les médecins
Compréhension, évolution de certaines pathologies : sténose, anévrisme, ...
Traitements thérapeutiques : stents, valves, ...
Expérimentation in silico pour des patients spécifiques
L’hémodynamique
La circulation du sang (circuit fermé)coeur→ artères→ capillaires→ veines→ coeur
Importance des globules rouges dans la rhéologie• Plasma (Newtonien) + Globules rouges + ...• Fluide complexe non Newtonien : rhéofluidifiant
L’élasticité de la paroi artérielle• Supporter la pression du flux sanguin• Réguler le débit cardiaque pulsé (grosses artères )• Autres propriétés : visco-élasticité, anisotropie
Interactions étudiéesSang / Paroi Artérielle
Plasma / Globules Rouges
C. Prud’homme et al. (CeMoSiS et al) CHP pour les écoulements sanguins IHP 20/09/2013 3 / 16
Rhéologie des écoulements sanguinsUn outil de simulation pour les médecins
Compréhension, évolution de certaines pathologies : sténose, anévrisme, ...
Traitements thérapeutiques : stents, valves, ...
Expérimentation in silico pour des patients spécifiques
L’hémodynamique
La circulation du sang (circuit fermé)coeur→ artères→ capillaires→ veines→ coeur
Importance des globules rouges dans la rhéologie• Plasma (Newtonien) + Globules rouges + ...• Fluide complexe non Newtonien : rhéofluidifiant
L’élasticité de la paroi artérielle• Supporter la pression du flux sanguin• Réguler le débit cardiaque pulsé (grosses artères )• Autres propriétés : visco-élasticité, anisotropie
Interactions étudiéesSang / Paroi Artérielle
Plasma / Globules Rouges
C. Prud’homme et al. (CeMoSiS et al) CHP pour les écoulements sanguins IHP 20/09/2013 3 / 16
Rhéologie des écoulements sanguinsUn outil de simulation pour les médecins
Compréhension, évolution de certaines pathologies : sténose, anévrisme, ...
Traitements thérapeutiques : stents, valves, ...
Expérimentation in silico pour des patients spécifiques
L’hémodynamique
La circulation du sang (circuit fermé)coeur→ artères→ capillaires→ veines→ coeur
Importance des globules rouges dans la rhéologie• Plasma (Newtonien) + Globules rouges + ...• Fluide complexe non Newtonien : rhéofluidifiant
L’élasticité de la paroi artérielle• Supporter la pression du flux sanguin• Réguler le débit cardiaque pulsé (grosses artères )• Autres propriétés : visco-élasticité, anisotropie
Interactions étudiéesSang / Paroi Artérielle
Plasma / Globules Rouges
C. Prud’homme et al. (CeMoSiS et al) CHP pour les écoulements sanguins IHP 20/09/2013 3 / 16
Choix des méthodes numériques
La méthode des éléments finis
Cadre théorique ( optimalité )
Domaines complexesPrécisions numériques• Approximation en espace, géométrie et temps d’ordre élevé
ALE/FSI : interaction sang / paroi artérielle
Modèle de fluide en domaine mobile (ALE)
Modèle de structure (Lagrangien)
Déformations géométriques d’ordre arbitraire
FBM/FSI : interaction plasma / globules rouges
Modélisation d’un fluide en domaine perforé
Couplage FBM - particules élastiques
Description précise des particules
C. Prud’homme et al. (CeMoSiS et al) CHP pour les écoulements sanguins IHP 20/09/2013 4 / 16
Choix des méthodes numériques
La méthode des éléments finis
Cadre théorique ( optimalité )
Domaines complexesPrécisions numériques• Approximation en espace, géométrie et temps d’ordre élevé
ALE/FSI : interaction sang / paroi artérielle
Modèle de fluide en domaine mobile (ALE)
Modèle de structure (Lagrangien)
Déformations géométriques d’ordre arbitraire
FBM/FSI : interaction plasma / globules rouges
Modélisation d’un fluide en domaine perforé
Couplage FBM - particules élastiques
Description précise des particules
C. Prud’homme et al. (CeMoSiS et al) CHP pour les écoulements sanguins IHP 20/09/2013 4 / 16
FEEL++: Finite Element Embedded Library [Prud’Homme et al., 2012]
Librairie C++ pour la résolution d’EDP
Méthode de Galerkin d’ordre arbitraire (cG, dG) en 1D, 2D et 3D
Supporte les maillages d’ordre élevé (simplex, hypercube)Langage très proche des mathématiques (FreeFem++)• Expressivité : modèles physiques et méthodes numériques (langages de haut niveau)• Efficacité : assemblages et résolutions algébriques (langages de bas niveau)
Trouver u qui vérifie :
−∆u = 1 dans Ω
u = 0 sur ∂Ω
Formulation=⇒
variationnelleTrouver u ∈ Vh tel que∫
Ω∇u · ∇v =
∫Ω
v , ∀v ∈ Vh
// forme lineaire : l(v) =∫
Ωv
auto l = form1(_test=Vh);l = integrate(_range=elements(mesh),
_expr=id(v));
// forme bilineaire : a(u, v) =∫
Ω∇u · ∇v
auto a = form2(_trial=Vh,_test=Vh);a = integrate(_range=elements(mesh),
_expr=gradt(u)*trans(grad(v)) );
// conditions aux limites : u = 0 sur ∂Ωa+=on(_range=boundaryfaces(mesh),
_rhs=l,_element=u,_expr=cst(0.) );
// resolution du systeme algebrique : AU = Fa.solve(_rhs=l,_solution=u);
C. Prud’homme et al. (CeMoSiS et al) CHP pour les écoulements sanguins IHP 20/09/2013 5 / 16
FEEL++: Finite Element Embedded Library [Prud’Homme et al., 2012]
Librairie C++ pour la résolution d’EDP
Méthode de Galerkin d’ordre arbitraire (cG, dG) en 1D, 2D et 3D
Supporte les maillages d’ordre élevé (simplex, hypercube)Langage très proche des mathématiques (FreeFem++)• Expressivité : modèles physiques et méthodes numériques (langages de haut niveau)• Efficacité : assemblages et résolutions algébriques (langages de bas niveau)
Trouver u qui vérifie :
−∆u = 1 dans Ω
u = 0 sur ∂Ω
Formulation=⇒
variationnelleTrouver u ∈ Vh tel que∫
Ω∇u · ∇v =
∫Ω
v , ∀v ∈ Vh
// forme lineaire : l(v) =∫
Ωv
auto l = form1(_test=Vh);l = integrate(_range=elements(mesh),
_expr=id(v));
// forme bilineaire : a(u, v) =∫
Ω∇u · ∇v
auto a = form2(_trial=Vh,_test=Vh);a = integrate(_range=elements(mesh),
_expr=gradt(u)*trans(grad(v)) );
// conditions aux limites : u = 0 sur ∂Ωa+=on(_range=boundaryfaces(mesh),
_rhs=l,_element=u,_expr=cst(0.) );
// resolution du systeme algebrique : AU = Fa.solve(_rhs=l,_solution=u);
C. Prud’homme et al. (CeMoSiS et al) CHP pour les écoulements sanguins IHP 20/09/2013 5 / 16
Stratégies HPC avec FEEL++
Ressources de calculObjectifs :
Géométries réalistes
Précision des calculs
Conséquences :
Mémoire
Performance
GPU
GPU
GPU
MPI MT GPGPU
maillage
partitionné
processeurs
coeurs
Technologies
MPI : Décomposition de domaines
MT : Assemblage global
GPU : Assemblage local
C. Prud’homme et al. (CeMoSiS et al) CHP pour les écoulements sanguins IHP 20/09/2013 6 / 16
Contexte général: projet ANR VIVABRAIN“De l’IRM réelle à l’IRM virtuelle : modéliser les flux sanguins dans le cerveau humain (ANRMONU 2012)Images MRA =⇒ Modèles vasculaires 3D =⇒ Maillages de calcul
simulation 3D+t d’écoulement sanguins dans des modèles complexes(arteriels et veineux)
⇓Simulation d’acquisition de données angiographiques de modèles 3D+t.
Developpement d’un pipeline pour la génération d’angiographie virtuelle(simulée) du réseauvasculaire cérébral humain associée à des modèles anatomiques (3D) et hémodynamiques (3D+t)
C. Prud’homme et al. (CeMoSiS et al) CHP pour les écoulements sanguins IHP 20/09/2013 7 / 16
MesoChallenge
Strasbourg
Tests de scalabilité jusqu’à 2048 coeurs
Premiers calculs Navier-Stokes dans le réseau veineux du cerveau
Premiers calculs interaction fluide-structure dans des vaisseaux sanguins
Géométries complexes : poly-helices (solénoides de cuivre)
Modèle Thermo-Electrique
Figure : Aimant poly-hélice
512 procs
8,5 millions de tétraèdres
C. Prud’homme et al. (CeMoSiS et al) CHP pour les écoulements sanguins IHP 20/09/2013 14 / 16
Conclusions
Experience
Déploiement du framework Feel++ et des projets associés automatisé
Prévoir des ressources humaines dédiées à temps pleinDes résultats physiques intéressants, beaucoup de travail reste à faire (Bio-Physique, Math,Info)• Conditions aux limites sur le système veineux et l’interaction fluide-structure• Couplage système artériel et veineux
Merci au Mesocentre de Strasbourg, R. David et M. Ringenbach pour leur support et au ConseilScientifique pour l’opportunité donnée.
C. Prud’homme et al. (CeMoSiS et al) CHP pour les écoulements sanguins IHP 20/09/2013 15 / 16
Bibliographie
Caldini Queiros, C., Chabannes, V., Ismail, M., Pena, G.,
Prud’Homme, C., SZOPOS, M., and Tarabay, R. (2012-12).Towards large-scale three-dimensional blood flow simulations inrealistic geometries.pp. 17, Submitted to ESAIM: Proc, CEMRACS 2012.
Prud’Homme, C., Chabannes, V., Doyeux, V., Ismail, M., Samake,
A., and Pena, G. (2012).Feel++: A Computational Framework for Galerkin Methods andAdvanced Numerical Methods.ESAIM: Proc., 38:429 – 455.
C. Prud’homme et al. (CeMoSiS et al) CHP pour les écoulements sanguins IHP 20/09/2013 16 / 16