Traitement d'incident: analyse Computing Element. Pierre Girard ( [email protected] ) French ROC deputy CC-IN2P3 administrator Activité SA1: “European Grid Support, Operation and Management”. Plan. Rappel du fonctionnement du LCG-CE Installation et vérification du CE - PowerPoint PPT Presentation
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
EGEE-II INFSO-RI-031688
Enabling Grids for E-sciencE
www.eu-egee.org
EGEE and gLite are registered trademarks
Traitement d'incident: analyse Computing Element Pierre Girard ([email protected])
French ROC deputyCC-IN2P3 administrator
Activité SA1: “European Grid Support, Operation and Management”
Enabling Grids for E-sciencE
Pierre Girard Atelier Sécurité – LCG-CE-02/04/2009 2
Plan
• Rappel du fonctionnement du LCG-CE• Installation et vérification du CE• Suivi d’incident sécurité• Conclusion
Enabling Grids for E-sciencE
Pierre Girard Atelier Sécurité – LCG-CE-02/04/2009 3
Fonctionnement du LCG-CE
• Soumission classique
TCP PORT RANGE2119 2811 2170
gatekeeper
Jobmanager
LCAS LCMAPS
gridftpGRIS/BDII
2) Authentification
3) Authorisation
1) soumission de job sur une queue
4) Fork avec l’utilisateur choisi
5) Soumet au batch et suit la
progression du job
Enabling Grids for E-sciencE
Pierre Girard Atelier Sécurité – LCG-CE-02/04/2009 4
Fonctionnement du LCG-CE
• Fork d’un programme sur le CE
TCP PORT RANGE2119 2811 2170
Jobmanager
LCAS LCMAPS
gridftpGRIS/BDII
2) Authentification
3) Authorisation
1) globus-job-run/submit en mode fork
4) Fork avec l’utilisateur choisi
JeFaisCeQueJeVeux.sh
gatekeeper
Enabling Grids for E-sciencE
Pierre Girard Atelier Sécurité – LCG-CE-02/04/2009 5
Pierre Girard Atelier Sécurité – LCG-CE-02/04/2009 6
Installation et vérification du CE
• Doit être paranoïaque car le lcg-CE est perméable• Quelques vérifications ne font pas de mal
– Droits d’accès utilisateurs réglés sur « Strict Minimum » $HOME des comptes grille peuvent contenir les proxies ~glite/.certs/ contient une copie du certificat serveur Petites vérifications
• find /home \( -type f -o -type d \) -perm -\a+r -ls 2>/dev/null
– Attention à ce que vous mettez et aux droits dans des répertoires comme /tmp
– Un outil « tripwire »-like est indispensable pour les invariants– Un petit « ps » de temps en temps pour voir ce qui tourne
• Réglage des logs– Si possible avec redirection sur une machine
Syslogd –r; syslod-ng; etc.
– Rétention de 90 jours des logs
Enabling Grids for E-sciencE
Pierre Girard Atelier Sécurité – LCG-CE-02/04/2009 7
Suivi d’incident sécurité
• Use Case: vol d’un certificat– Vous disposez du DN
– On y trouve par commande reçue Type (ping, jobmanager-<lrms>, jobmanager-fork) DN de l’utilisateur IP de la machine cliente Mapping vers le compte et groupe local EDG_WL_JOBID (si existe)
/var/log/gridftp-session.log (important pour les comptes partagés)• DN de l’utilisateur• Compte local• Hostname du client• Ce qui a été accédé (mais pas comment)
Etablir l’historique d’utilisation
Enabling Grids for E-sciencE
Pierre Girard Atelier Sécurité – LCG-CE-02/04/2009 11
Etablir l’historique d’utilisation
• Les logs du LRMS– Exemple LCG-CE PBS (@Eygene Ryabinkin)
/opt/edg/var/gatekeeper/grid-jobmap_*: summaries of job run by lcgpbs and friends.
/var/spool/pbs/server_priv/accounting/*: Torque logs that carry most activity traces, we are mainly interested in start/end events.
/var/spool/pbs/server_logs/*: carry more verbose Torque logs, but exist only on the Torque server, not necessarily on the CE.
– Doit vous permettre de retrouver l’historique des jobs sur les WNs Facilite la vie si à la soumission le DN est « attaché » au job
Enabling Grids for E-sciencE
Pierre Girard Atelier Sécurité – LCG-CE-02/04/2009 12
Autopsie de tout ce qui a été trouvé
• L’analyse des logs et la concertation entre acteurs– Identifier le ou les comptes locaux utilisés– Identifier les machines « visitées »– Identifier les actions entreprises via le MW– Trouver des « résidus »
• Sur chaque machine impactée – Pratiquer des autopsies (si possible, « in vivo »)
« lsof » sur les process de l’intrus « strings » des binaires Sauvegarde des logs et fichiers de l’intrus Etc.
– Vérifier s’il a pu avoir accès à des « proxies » (ex.: myvo-sgm)– Vérifier les services systèmes: cron, mail, etc.– Faite un rapport d’autopsie
Enabling Grids for E-sciencE
Pierre Girard Atelier Sécurité – LCG-CE-02/04/2009 13
Nettoyer et communiquer
• Nettoyer (Vous savez faire)– « kill » des process du ou des comptes utilisés– Suppression (après sauvergarde) des fichiers de l’utilisateur que vous
avez identifiés– Nettoyage des configurations (ex.: crontab)– Etc.
• Communiquer (coord. sécurité)– Rapport circonstancié aux instances de coordination « sécurité »
Description de l’utilisation de votre site Liste exhaustive des machines externes contactées Liste exhaustive des (DN, CA)s potentiellement exposés
– Prévenir et obtenir des informations de vos confrères dont le site a été identifié comme « utilisé »
Ex.: Utilisation d’un WMS externe, son administrateur pourra vous fournir l’IP de l’UI
– Contacter CA et VO, si vous suspectez le vol de certificats ou proxies Ex.: Probable lors d’un mapping sur un compte partagé (dteamsgm)
Enabling Grids for E-sciencE
Pierre Girard Atelier Sécurité – LCG-CE-02/04/2009 14
Conclusion
• LCG-CE est un agrégat de services– Tracer les agissements d’un individu demande de croiser les
données sur le CE– Mais c’est faisable, voire automatisable (« parsing » de logs)
• Si vous centralisez les logs– Vous pouvez analyser plusieurs machines d’un coup– N’hésitez pas à fouiller avant la période supposée de l’incident
La grille a une certaine inertie…
• Vivement le « non-LCG »-CE– CREAM CE: plus de fork possible sur le CE
• Service SCAS en cours de tests (avec glexec)– Permet de gérer la politique d’authentification/authorisation de
façon centralisée– Et donc de bannir un DN plus simplement