Top Banner
Economic Models for Economic Models for Ressource Managament and Ressource Managament and Scheduling in Grid Computing Scheduling in Grid Computing Présentation Présentation d’article d’article DEA DISIC DEA DISIC 2003 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger, The Journal of CCPE Fabrice Theoleyre Fabrice Theoleyre
33

Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

Apr 03, 2015

Download

Documents

Morgaine Cochet
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Page 1: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

Economic Models for Economic Models for Ressource Managament and Ressource Managament and

Scheduling in Grid ComputingScheduling in Grid Computing

Présentation d’articlePrésentation d’article

DEA DISIC DEA DISIC 20032003

R. Buyya, D. Abramson, J. Giddy & H. Stockinger, The Journal of CCPE, 2002

Fabrice TheoleyreFabrice Theoleyre

Page 2: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

PlanPlan

Introduction Les acteurs Etat de l’art Les modèles

économiques Etude de cas

DataGrids Project Nimrod-G

Conclusion

Page 3: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

Pourquoi un modèle Pourquoi un modèle économique?économique?

Un grand nombre de paramètres à prendre en compte Appartenance de la ressource Hétérogénéité (puissance…) Polices locales …

Centraliser perte de scalabilité

Page 4: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

Pourquoi un modèle Pourquoi un modèle économique?économique?

Bonne modélisation de l’économie classique Distribution des décisions en local Un grand nombre d’acteurs Organisations virtuelles (contributions variées)

Exploiter la dynamique du marché Tolérance aux pannes Disponibilité Charge …

Motiver les nouveaux acteurs

Page 5: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

Les acteurs (1)Les acteurs (1)

Les Grid Service ProvidersProposent des ressources aux

clientsLes Ressource Brokers

Consomment les ressourcesLes infrastructures

Un même middleware pour communiquer

Page 6: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

Les acteurs (2)Les acteurs (2)

L’offre et la demande Antagonisme moteur :

Vendeur maximiser les bénéfices

Acheteur minimiser le coût

Page 7: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

Etat de l’artEtat de l’art

Type de management de ressources : Single Domain Computing System (clusters) Database Management Storage Management Web-based distributed Systems Multi domain distributed Grid Systems

De nombreux essais Mungi (commodity market, pour stockage, location

d’espace de stockage, taxation, salaires, comptes bancaires…)

… Problèmes :

Un seul modèle d’interactions Pas de combinaison possible Implanté de façon monolithique

Page 8: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

Etat de l’artEtat de l’art

Critères de jugement d’un modèle :Bon pour tousPareto efficaceRationalité individuelleStabilitéDistributivitéEfficacité

Page 9: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

Les modèles économiquesLes modèles économiques

Modèles abstraits indépendants des ressources CPU Stockage Réseau (bande passante) …

Langage déclaratif pour décrire les besoins

Page 10: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

Les modèles économiques Les modèles économiques Commodity marketCommodity market

Les fournisseurs spécifient leur prix et les publient (GMD : grid market directory)

Valeur dépend de : Puissance Coût physique Overhead dû au service Demande Valeur perçue par l’utilisateur Préférences locales du propriétaire

Page 11: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

Les modèles économiques Les modèles économiques Commodity marketCommodity market

Facile à mettre en œuvreMécanismes simplesConfiguration locale des prix et

politiques

Page 12: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

Les modèles économiques Les modèles économiques Commodity marketCommodity market

Page 13: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

Les modèles économiques Les modèles économiques

Posted Price SystemPosted Price System

Similaire au modèle précédentEnvoie en plus des offres spéciales

:Conquérir des parts de marchéInciter à réserver des slots moins chers

Promotion conditions

(ex: vacances)

Page 14: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

Les modèles économiques Les modèles économiques Posted Price SystemPosted Price System

Offres spéciales

Page 15: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

Les modèles économiques Les modèles économiques

Bargaining ModelBargaining Model

Négociation avec le GSP (en fonction des besoins du client)

Durée d’utilisation plus longueCoût moins élevé

Jusqu’ à acceptation / ruptureGSP : baisse du coût sous peine de

sous-utilisationDéfinition plus fine du prix

Modèles de négociation à mettre en oeuvre

Page 16: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

Les modèles économiques Les modèles économiques

Bargaining ModelBargaining Model

Négociations du prix

Page 17: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

Les modèles économiques Les modèles économiques

Tender/Contract Net ModelTender/Contract Net Model

Le modèle le plus utilisé pour la négociation distribuée

Du point de vue du client :1. Le broker annonce ses exigences2. Les GSP évaluent la demande et y

répondent3. Le broker évalue et prend la

meilleure4. Le broker et le GSP communiquent et

utilisent la ressource

Page 18: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

Les modèles économiques Les modèles économiques

Tender/Contract Net ModelTender/Contract Net Model

Du point de vue du vendeur :1. Reçoit les offres2. Evalue ses capacités3. Répond4. Délivre le service5. Donne les résultats et la facture

Fournit un comparatif des prix du marché

Page 19: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

Les modèles économiques Les modèles économiques

Auction ModelAuction Model

Négociations un / multiple1. Les GSP annoncent leurs offres2. Les brokers proposent un prix3. L’étape (2) se répète jusqu’à fin4. Le GSP offre le service au gagnant5. Utilisation et Facture

De nombreux modèles d’enchères Double Auction bien adapté (budget, deadline,

stratégie…)

Facile à implémenter dans les grilles (distribution sauf pour le médiateur)

Page 20: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

Les modèles économiques Les modèles économiques

Bid Based Proportional Resource Sharing Bid Based Proportional Resource Sharing ModelModel

Approche populaire pour environnements de type clusters

1/3 des ressources

2/3 des ressources10 $

20 $

Page 21: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

Les modèles économiques Les modèles économiques

Bid Based Proportional Resource Sharing Bid Based Proportional Resource Sharing ModelModel

L’allocation dépend des autres offres QOS grâce à une offre élevée (proposition

importante si les besoins sont impératifs) Peu de ressources obtenues si nombreux

clients QOS molle (aucune garantie)

Modèle communautaire : ressources allouées au prorata du

financement sous forme de jetons

Page 22: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

Etude de cas – DataGrid Etude de cas – DataGrid ProjectProject

Problème lorsqu’une tâche demande calculs et données

DataGrids :Coût important d’accès aux

donnéesRépartition de la bande

passante

Page 23: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

Etude de cas – DataGrid Etude de cas – DataGrid ProjectProject

Environnement scientifique modèle communauté

Capacité de 10To distribution de 10*109 jetons

Répartition proportionnelle à la contribution

Heure de pointe + de tokens nécessaires

Page 24: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

Etude de cas – Nimrod-GEtude de cas – Nimrod-G

Pour des applications paramétriques (calcul)

Utilise le Globus ToolkitMiddleware (sécurité, accès

unique…)Langage déclaratif paramétrique

Modèle adaptable sur d’autres middleware (Condor…)

Page 25: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

Grid Node N

Grid User

Application

Grid Resource Broker

Grid Service Providers

Grid Explorer

Schedule Advisor

Trade Manager

Task FarmingEngine

Deployment Agent

Trade Server

Resource Allocation

ResourceReservation

R1

Misc. services

Information Server(s)

R2 Rm…

Pricing Algorithms

Accounting

Grid Node1

Grid Middleware Services

HealthMonitor

Grid Market Services

JobExec

Info ?

Secure

Trading

QoS

Storage

Sign-on

Etude de cas – Nimrod-GEtude de cas – Nimrod-G

Page 26: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

Etude de cas – Nimrod-GEtude de cas – Nimrod-G

ExpérienceGRACE :

Deadline + BudgetCommodity market

2 algorithmes de scheduling :Optimisation sur le tempsOptimisation sur le coût

Utilisation du WWG TestbedDynamique, hétérogène,…

Page 27: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

4h20mn - 141 869 $2h30mn – 199 968 $

Optimisation du temps Optimisation du coût

Page 28: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

Optimisation du coûtOptimisation du temps

Nb de processus en

cours d’exécution

Coût cumulé

Page 29: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

Conclusion - ApportsConclusion - Apports

+ Un bon Framework de scheduling économique

+ Des modèles économiques très variés+ Un exemple d’implémentation flexible

(Nimrod-G, modulaire)+ Bon état de l’art des solutions

économiques dans le scheduling, mais pas de développement de chaque modèle (stratégies…)

Page 30: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

Conclusion - LimitesConclusion - Limites

- Etude de cas : pas tous les paramètres- Description très succincte de GRACE- Fixation statique des prix.- Pas de détails sur toutes les fonctionnalités

économiques- Pas de présentation des modèles de

négociations- Pas encore d’accounting de type G-Bank

- Pas de tests de modèles différents- Proposition de modèles mais pas de

discussion de l’adéquation aux grilles

Page 31: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

Conclusion - LimitesConclusion - Limites

- Pas de discussion sur le nombre de paramètres économiques à prendre en compte (données, bande passante,…)

- Pas de développement de certains points économiques :- stratégies- ROI- prise de risque- …

- Un nombre réduit d’acteurs (pas d’intermédiaire grossiste)

- Pas d’étude de stabilité du marché pour les grilles

Page 32: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

RéférencesRéférences

1. Buyya R., Abramson D., and Giddy J. “An Economy Driven Resource Management Architecture for Global Computational Power Grids”. International Conference on Parallel and Distributed Processing Techniques and Applications (PDPTA2000). Las Vegas, USA. June. 2000.

2. Buyya R., Abramson D., and Giddy J.. “Nimrod/G: An Architecture for a Resource Management and Scheduling System in a Global Computational Grid”. HPC ASIA'2000. China. IEEE CS Press. USA. July. 2000.

3. R. Buyya, J. Giddy, D. Abramson & H. Stockinger. “An Evaluation of Economy-based Resource Trading and Scheduling on Computational Power Grids for Parameter Sweep Applications”. Proceedings of the 2nd International Workshop on Active Middleware Services (AMS 2000). Kluwer Academic Press. Pittsburgh, USA. August. 2000.

4. Buyya R., Abramson D., Giddy J., and Stockinger H. “Economic Models for Resource Management and Scheduling in Grid Computing”. The Journal of Concurrency and Computation: Practice and Experience (CCPE), Wiley Press, 14/13-15, 2002.

5. Buyya R., Abramson D., and Giddy J.. “A Computational Economy for Grid Computing and its Implementation in the Nimrod-G Resource Broker”. Future Generation Computer Systems, Elsevier Science. The Netherlands. 2002.

6. Buyya R., Murshed M., and Abramson D.. “A Deadline and Budget Constrained Cost-Time Optimization Algorithm for Scheduling Task Farming Applications on Global Grids”. The 2002 International Conference on Parallel and Distributed Processing Techniques and Applications. Las Vegas, Nevada, USA. June 2002.

7. Carman M., Zini F., Serafini L., Stockinger K.. “Towards an Economy-Based Optimisation of File Access and Replication on a Data Grid”. submitted for publication.

8. Heiser G., Lam F., Russell S. “Resource Management in the Mungi Single-Address-Space Operating System”. In Proc. 21st Australasian Comp. Sci. Conf, Perth, Australia, Feb. 1998.

9. Vazhkudai S., Von Laszewski G.. “A Greedy Grid - The Grid Economic Engine Directive”. First International Workshop on Internet Computing and E-Commerce (ICEC'01), San Francisco, California, USA, April 27, 2001

10. Wolski R., Plank J. S., Brevik J and Bryan T. “Analyzing Market-Based Resource Allocation Strategies for the Computational Grid”. The International Journal of High Performance Computing Applications, Sage Science Press, Volume 15, number 3, Fall, 2001, pages 258-281.

11. Youn C.. “Resource Management and Scheduling in Grid”, Koren 2002. March. 2002

Page 33: Economic Models for Ressource Managament and Scheduling in Grid Computing Présentation darticle DEA DISIC 2003 R. Buyya, D. Abramson, J. Giddy & H. Stockinger,

Des Questions ?Des Questions ?