-
Perfectionnement des algorithmes doptimisation par
essaim particulaire : applications en segmentation
dimages et en electronique
Abbas El Dor
To cite this version:
Abbas El Dor. Perfectionnement des algorithmes doptimisation par
essaim particulaire : ap-plications en segmentation dimages et en
electronique. Other. Universite Paris-Est, 2012.French. .
HAL Id: tel-00788961
https://tel.archives-ouvertes.fr/tel-00788961
Submitted on 15 Feb 2013
HAL is a multi-disciplinary open accessarchive for the deposit
and dissemination of sci-entific research documents, whether they
are pub-lished or not. The documents may come fromteaching and
research institutions in France orabroad, or from public or private
research centers.
Larchive ouverte pluridisciplinaire HAL, estdestinee au depot et
a la diffusion de documentsscientifiques de niveau recherche,
publies ou non,emanant des etablissements denseignement et
derecherche francais ou etrangers, des laboratoirespublics ou
prives.
https://hal.archives-ouvertes.frhttps://tel.archives-ouvertes.fr/tel-00788961
-
UNIVERSIT PARIS-EST
COLE DOCTORALE MATHEMATIQUES ET STIC
(MSTIC, E.D. 532)
THSE DE DOCTORATEN INFORMATIQUE
par
Abbas EL DORSujet de la thse
Perfectionnement des algorithmes
dOptimisation par Essaim Particulaire.Applications en
segmentation dimages et en lectronique
Thse soutenue le 5 dcembre 2012
Jury :
Damien TRENTESAUX Professeur des Universits Universit de
Valenciennes Prsident
Frdric SAUBION Professeur des Universits Universit dAngers
Rapporteur
Marc SEVAUX Professeur des Universits Universit de Bretagne-Sud
Rapporteur
Grard BERTHIAU Professeur des Universits Universit de Nantes
Examinateur
Laurent DEROUSSI Matre de Confrences Universit de
Clermont-Ferrand Examinateur
Maurice CLERC Ingnieur consultant Annecy Co-directeur de
thse
Patrick SIARRY Professeur des Universits Universit Paris-Est
Crteil Directeur de thse
-
Remerciements
Je voudrais tout dabord remercier Patrick Siarry, Directeur de
lquipe Traitement de
lImage et du Signal du Laboratoire Images, Signaux et Systmes
Intelligents, et Directeur
de cette thse, ainsi que Maurice Clerc, pour mavoir donn la
possibilit de faire cette
thse, et pour leur encadrement parfait. Ils ont toute ma
gratitude pour mavoir laiss
une grande libert dans mes recherches, aid et encourag dans les
moments difficiles et
mavoir consacr leur temps malgr leurs occupations.
Je tiens exprimerma gratitude Frdric Saubion et Marc Sevaux pour
avoir accept
dtre les rapporteurs de cette thse. Je voudrais galement
remercier Damien Trentesaux
pour avoir accept de prsider mon jury. Je remercie aussi Grard
Berthiau et Laurent
Deroussi pour avoir accept dexaminer mes travaux. Jadresse un
grand merci tous les
membres de mon jury, pour avoir ainsi marqu leur intrt pour mon
travail, et pour les
remarques quils ont apportes durant la relecture et la
soutenance de ma thse.
Je souhaite galement exprimer ma reconnaissance envers tous les
membres du LiSSi,
pour mavoir accueilli chaleureusement, et pour toutes les
conversations scientifiques ou
non que lon a pu avoir. Un grand merci Patricia Jamin, Sandrine
David et Frdric Du-
mont, pour mavoir aid surmonter toutes sortes de problmes. Je
remercie galement
Brigitte David, de lancienne Ecole Doctorale SIMME, et Sylvie
Cach, de la nouvelle ED
MSTIC.
Je remercie tous mes collgues doctorants, pour la bonne ambiance
et leur amiti. Merci
en particulier Kamel Aloui, Ilhem Boussad, Julien Lepagnot et
Mustapha Dakkak.
Jai eu la chance denseigner en tant que vacataire, pendant mes
deux premires annes
de thse, lUniversit Paris-Est Crteil. Jai beaucoup aim enseigner
luniversit, et je
souhaite remercier toute lquipe enseignante avec qui jai eu
lhonneur de travailler. Merci
notamment Eric Petit et Ahmed Raji.
II
-
Remerciements
Je suis trs reconnaissant envers les membres de lIUT de
Crteil/Vitry qui mont cha-
leureusement accueilli parmi eux. Un grand merci pour leur
bienveillance, et pour tous les
bons conseils quils mont prodigus.
Ce travail naurait pas pu tre ralis sans le soutien de ma
famille, que je remercie
tout particulirement. Un grand merci mes parents, mes frres et
mes surs, qui mont
soutenu tout au long de mes tudes et dont je serai indfiniment
redevable.
Je tiens aussi remercier tous ceux qui ont, de prs ou de loin,
aid rendre ce travail
possible, que ce soit par des ides ou par des
encouragements.
Merci tous !
III
-
Rsum
La rsolution satisfaisante dun problme doptimisation difficile,
qui comporte un
grand nombre de solutions sous-optimales, justifie souvent le
recours unemtaheuristique
puissante. Lamajorit des algorithmes utiliss pour rsoudre ces
problmes doptimisation
sont les mtaheuristiques population. Parmi celles-ci, nous
intressons lOptimisation
par Essaim Particulaire (OEP, ou PSO en anglais) qui est apparue
en 1995. PSO sinspire de
la dynamique danimaux se dplaant en groupes compacts (essaims
dabeilles, vols grou-
ps doiseaux, bancs de poissons). Les particules dun mme essaim
communiquent entre
elles tout au long de la recherche pour construire une solution
au problme pos, et ce en
sappuyant sur leur exprience collective. Lalgorithme PSO, qui
est simple comprendre,
programmer et utiliser, se rvle particulirement efficace pour
les problmes doptimi-
sation variables continues. Cependant, comme toutes les
mtaheuristiques, PSO possde
des inconvnients, qui rebutent encore certains utilisateurs. Le
problme de convergence
prmature, qui peut conduire les algorithmes de ce type stagner
dans un optimum lo-
cal, est un de ces inconvnients. Lobjectif de cette thse est de
proposer des mcanismes,
incorporables PSO, qui permettent de remdier cet inconvnient et
damliorer les per-
formances et lefficacit de PSO.
Nous proposons dans cette thse deux algorithmes, nomms PSO-2S et
DEPSO-2S,
pour remdier au problme de la convergence prmature. Ces
algorithmes utilisent des
ides innovantes et se caractrisent par de nouvelles stratgies
dinitialisation dans plu-
sieurs zones, afin dassurer une bonne couverture de lespace de
recherche par les parti-
cules. Toujours dans le cadre de lamlioration de PSO, nous avons
labor une nouvelle
topologie de voisinage, nomme Dcluster, qui organise le rseau de
communication entre
les particules. Les rsultats obtenus sur un jeu de fonctions de
test montrent lefficacit
des stratgies mises en uvre par les diffrents algorithmes
proposs. Enfin, PSO-2S est
appliqu des problmes pratiques, en segmentation dimages et en
lectronique.
Mots cls : Optimisation, optimisation continue, mtaheuristiques,
optimisation par essaim
particulaire, segmentation dimage.
IV
-
Abstract
The successful resolution of a difficult optimization problem,
comprising a large num-
ber of sub optimal solutions, often justifies the use of
powerfulmetaheuristics. A wide range
of algorithms used to solve these combinatorial problems belong
to the class of population
metaheuristics. Among them, Particle SwarmOptimization (PSO),
appeared in 1995, is ins-
pired by the movement of individuals in a swarm, like a bee
swarm, a bird flock or a fish
school. The particles of the same swarm communicate with each
other to build a solution
to the given problem. This is done by relying on their
collective experience. This algorithm,
which is easy to understand and implement, is particularly
effective for optimization pro-
blems with continuous variables. However, like several
metaheuristics, PSO shows some
drawbacks that make some users avoid it. The premature
convergence problem, where the
algorithm converges to some local optima and does not progress
anymore in order to find
better solutions, is one of them. This thesis aims at proposing
alternative methods, that can
be incorporated in PSO to overcome these problems, and to
improve the performance and
the efficiency of PSO.
We propose two algorithms, called PSO-2S and DEPSO-2S, to cope
with the prema-
ture convergence problem. Both algorithms use innovative ideas
and are characterized by
new initialization strategies in several areas to ensure good
coverage of the search space
by particles. To improve the PSO algorithm, we have also
developed a new neighborhood
topology, called Dcluster, which can be seen as the
communication network between the
particles. The obtained experimental results for some benchmark
cases show the effective-
ness of the strategies implemented in the proposed algorithms.
Finally, PSO-2S is applied
to real world problems in both image segmentation and
electronics fields.
Keywords : Optimization, continuous optimization,
metaheuristics, particle swarm optimiza-
tion, image segmentation.
V
-
Table des matires
Introduction gnrale 1
1 Mtaheuristiques doptimisation : tat de lart 41.1 Introduction
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . 41.2 Mtaheuristiques pour loptimisation mono-objectif
difficile . . . . . . . . . 5
1.2.1 Problme doptimisation . . . . . . . . . . . . . . . . . .
. . . . . . . . 51.2.2 Optimisation difficile . . . . . . . . . . .
. . . . . . . . . . . . . . . . . 51.2.3 Algorithmes doptimisation
approche . . . . . . . . . . . . . . . . . 7
1.2.3.1 Heuristiques . . . . . . . . . . . . . . . . . . . . . .
. . . . . 71.2.3.2 Mtaheuristiques . . . . . . . . . . . . . . . .
. . . . . . . . 7
1.2.4 Diffrentes approches en optimisation statique . . . . . .
. . . . . . . 91.2.4.1 Algorithme du recuit simul . . . . . . . . .
. . . . . . . . . 91.2.4.2 Algorithme de recherche tabou . . . . .
. . . . . . . . . . . 101.2.4.3 Les algorithmes volutionnaires . .
. . . . . . . . . . . . . . 121.2.4.4 Les algorithmes de colonies
de fourmis . . . . . . . . . . . . 151.2.4.5 Algorithme volution
diffrentielle . . . . . . . . . . . . . 18
1.3 Optimisation par Essaim Particulaire . . . . . . . . . . . .
. . . . . . . . . . . 211.3.1 Principe gnral . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . 211.3.2 Formalisation . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221.3.3
Amliorations de PSO . . . . . . . . . . . . . . . . . . . . . . . .
. . . 24
1.3.3.1 Confinement des particules . . . . . . . . . . . . . . .
. . . . 241.3.3.2 Coefficient de constriction . . . . . . . . . . .
. . . . . . . . 251.3.3.3 Topologie de voisinage . . . . . . . . .
. . . . . . . . . . . . 261.3.3.4 Coefficient dinertie . . . . . .
. . . . . . . . . . . . . . . . . 271.3.3.5 Stratgie FIPS . . . . .
. . . . . . . . . . . . . . . . . . . . . . 271.3.3.6 Algorithme
TRIBES . . . . . . . . . . . . . . . . . . . . . . . 281.3.3.7 PSO
et hybridation . . . . . . . . . . . . . . . . . . . . . . .
291.3.3.8 PSO cooprative . . . . . . . . . . . . . . . . . . . . .
. . . . 301.3.3.9 Autres variantes de PSO . . . . . . . . . . . . .
. . . . . . . 31
1.4 Validation des algorithmes . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . 321.4.1 Principales fonctions de test . . .
. . . . . . . . . . . . . . . . . . . . . 321.4.2 Problmes rels . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
1.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . 33
VI
-
Table des matires
2 laboration dun algorithme dOptimisation par Essaim
Particulaire PSO-2S 352.1 Introduction . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . 352.2 Description de
lalgorithme PSO-2S . . . . . . . . . . . . . . . . . . . . . . . .
36
2.2.1 Structure gnrale . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . 362.2.2 Utilisation de deux essaims . . . . . . . .
. . . . . . . . . . . . . . . . 382.2.3 Partitionnement de lespace
de recherche . . . . . . . . . . . . . . . . 392.2.4 Rpulsion
lectrostatique des particules . . . . . . . . . . . . . . . . .
422.2.5 Recherche locale de PSO-2S . . . . . . . . . . . . . . . .
. . . . . . . . 442.2.6 Rsultats et analyse . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . 49
2.2.6.1 Paramtrage . . . . . . . . . . . . . . . . . . . . . . .
. . . . 492.2.6.2 Analyse de complexit . . . . . . . . . . . . . .
. . . . . . . 502.2.6.3 Analyse de la sensibilit des paramtres . .
. . . . . . . . . 512.2.6.4 Comparaison avec dautres algorithmes .
. . . . . . . . . . 532.2.6.5 Comparaison de PSO-2S, avec et sans
heuristique de rpul-
sion, avec SPSO2007 . . . . . . . . . . . . . . . . . . . . . .
. 552.3 DEPSO-2S : hybridation de PSO-2S avec un algorithme
volution diffren-
tielle DELG . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . 572.3.1 Prsentation de lalgorithme DELG . .
. . . . . . . . . . . . . . . . . 592.3.2 Adaptation de DELG PSO-2S
. . . . . . . . . . . . . . . . . . . . . . 612.3.3 Algorithme
DEPSO-2S . . . . . . . . . . . . . . . . . . . . . . . . . . .
622.3.4 Rsultats et discussion . . . . . . . . . . . . . . . . . .
. . . . . . . . . 64
2.3.4.1 Paramtrage . . . . . . . . . . . . . . . . . . . . . . .
. . . . 642.3.4.2 Comparaison avec dautres algorithmes . . . . . .
. . . . . 64
2.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . 68
3 Topologie de voisinage dans PSO : tude et perfectionnement
703.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . 703.2 Notion de voisinage de PSO . . . .
. . . . . . . . . . . . . . . . . . . . . . . . 71
3.2.1 Voisinage gographique et social . . . . . . . . . . . . .
. . . . . . . . 723.2.1.1 Voisinage gographique . . . . . . . . . .
. . . . . . . . . . 723.2.1.2 Voisinage social . . . . . . . . . .
. . . . . . . . . . . . . . . 73
3.2.2 change des informations entre les particules dans
lalgorithme PSO 743.2.3 Diffrents modles de topologies . . . . . .
. . . . . . . . . . . . . . . 75
3.2.3.1 Topologies statiques . . . . . . . . . . . . . . . . . .
. . . . . 763.2.3.2 Topologies dynamiques . . . . . . . . . . . . .
. . . . . . . . 77
3.3 laboration de la topologie Dcluster : une combinaison de
deux topologies(statique et dynamique) . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . 813.3.1 Prsentation de la topologie
propose . . . . . . . . . . . . . . . . . . 823.3.2 Rsultats et
discussion . . . . . . . . . . . . . . . . . . . . . . . . . . .
83
3.3.2.1 Paramtrage . . . . . . . . . . . . . . . . . . . . . . .
. . . . 833.3.2.2 Analyse exprimentale et comparaison avec dautres
topo-
logies . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . 853.3.2.3 Analyse de convergence . . . . . . . . . . . . . . .
. . . . . 89
3.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . 91
VII
-
Table des matires
4 Application de PSO-2S en segmentation dimages et en
lectronique 934.1 Introduction . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . 934.2 Application de PSO-2S
en segmentation dimages . . . . . . . . . . . . . . . 93
4.2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . 934.2.2 Segmentation dimages par seuillage . .
. . . . . . . . . . . . . . . . 95
4.2.2.1 Formulation du problme . . . . . . . . . . . . . . . . .
. . 954.2.2.2 Mthodes de seuillage . . . . . . . . . . . . . . . .
. . . . . . 964.2.2.3 Seuillage par apprentissage . . . . . . . . .
. . . . . . . . . 96
4.2.3 Protocole exprimental et paramtrage . . . . . . . . . . .
. . . . . . 984.2.4 Rsultats et discussion . . . . . . . . . . . .
. . . . . . . . . . . . . . . 994.2.5 Conclusion . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . 103
4.3 Application de PSO-2S au dimensionnement de circuits
lectroniques . . . . 1034.3.1 Introduction . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . 1034.3.2 Convoyeur de
courant de seconde gnration . . . . . . . . . . . . . 1044.3.3 Les
fonctions objectifs de composants . . . . . . . . . . . . . . . . .
. 1074.3.4 Lvaluation des performances . . . . . . . . . . . . . .
. . . . . . . . 1094.3.5 Conclusion . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . 113
4.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . 113
Conclusion et perspectives 118
Annexe 122
Rfrences bibliographiques 140
VIII
-
Introduction gnrale
Les problmes doptimisation occupent actuellement une place
importante dans la
communaut des ingnieurs, des scientifiques et des dcideurs. En
effet, ce genre de pro-
blmes intervient dans leurs domaines dactivit qui sont trs
divers, comme la conception
de systmes mcaniques, le traitement dimages, llectronique ou la
recherche opration-
nelle.
Un problme doptimisation est dfini par un ensemble de variables,
une fonction ob-
jectif et un ensemble de contraintes. Lespace de recherche est
lensemble des solutions
possibles du problme. Rsoudre un problme doptimisation consiste
trouver la ou les
meilleures solutions (en minimisant et/ou maximisant la/les
fonctions objectifs du pro-
blme pos), tout en satisfaisant un ensemble de contraintes
dfinies par lutilisateur. Cer-
tains problmes doptimisation sont qualifis de difficiles, et
leur rsolution dans un temps
raisonnable ncessite lutilisation dalgorithmes sophistiqus,
comme les mthodes appro-
ches (Les heuristiques et les mtaheuristiques). Parmi les
mtaheuristiques destines
rsoudre ces problmes, plus prcisment les problmes variables
continues, loptimisa-
tion par essaim particulaire (OEP, ou PSO en anglais) est
apparue en 1995. Cest le sujet
principal de ce travail de thse.
PSO est une mthode doptimisation stochastique qui est inspir dun
comportement
social des animaux voluant en essaim. Ce comportement social est
modlis par une
quation mathmatique permettant de guider les particules durant
le processus de d-
placement. Le dplacement dune particule est influenc par trois
composantes : la com-
posante dinertie, la composante cognitive et la composante
sociale. Chacune de ces com-
posantes reflte une partie de lquation. PSO prsente lavantage
dtre efficace sur une
grande varit de problmes, sans pour autant que lutilisateur ait
modifier la structure
de base de lalgorithme. Cependant, comme toutes les mthodes
stochastiques, PSO pr-
sente des inconvnients, qui rebutent encore certains
utilisateurs. Parmi ceux-ci, nous ci-
tons le problme de convergence prmature, qui peut conduire les
algorithmes de ce type
stagner dans un optimum local. Lobjectif de cette thse est de
proposer des mthodes
1
-
Introduction gnrale
alternatives, incorporables PSO, qui permettent de remdier ce
problme et damliorer
lefficacit de PSO.
Cette thse a t prpare au sein de lUniversit Paris-Est Crteil
(UPEC), dans le Labo-
ratoire Images, Signaux et Systmes Intelligents (LiSSi, E.A.
3956). Elle a t finance par une
bourse libanaise (2 ans), puis par un demi-poste dattach
temporaire lenseignement et
la recherche (ATER), partag entre le LiSSi et lIUT de
Crteil-Vitry. Cette thse a t di-
rige par le Professeur P. Siarry, Directeur de lquipe Traitement
de lImage et du Signal, et
co-encadre par Monsieur M. Clerc, spcialiste de la mthode PSO.
Ont particip mon
travail de doctorat Julien Lepagnot, Matre de Confrences
lUniversit de Haute-Alsace,
Mulhouse, et Mourad Fakhfakh, Matre de Confrences lcole
Nationale dIngnieurs
de Sfax, en Tunisie.
Durant cette thse, nous avons tout dabord labor deux
algorithmes, nomms PSO-
2S et DEPSO-2S. Ces deux algorithmes utilisent des ides
innovantes et se caractrisent
par de nouvelles stratgies dinitialisation dans plusieurs zones
de lespace de recherche.
Les algorithmes proposs ont contribu remdier notablement au
problme de la conver-
gence prmature. Ensuite, toujours dans le cadre de lamlioration
de lalgorithme PSO,
nous nous sommes intresss la composante sociale de lquation
modlisant le dpla-
cement des particules, plus prcisment au rseau de communication
entre les particules,
appel aussi topologie de voisinage . En effet, nous avons propos
une nouvelle topo-
logie dynamique, appele Dcluster, qui est une combinaison de
deux topologies (statique
et dynamique). Enfin, les applications tudies ont port sur
lutilisation de PSO-2S pour
rsoudre des problmes de dimensionnement de circuits lectroniques
et de traitement
dimages.
Le mmoire se divise en quatre chapitres. Le premier est consacr
ltude bibliogra-
phique des mthodes doptimisation, dont la plus grande partie
concerne loptimisation
par essaim particulaire. Le deuxime chapitre est ddi aux
extensions que nous avons ap-
portes la mthode PSO (PSO-2S et sa varianteDEPSO-2S,
lhybridation de PSO avec un
algorithme dvolution diffrentielle (ouDifferential Evolution en
anglais). Le troisime cha-
pitre porte sur la notion de voisinage dans PSO et la nouvelle
topologie propose Dcluster.
Enfin, le dernier chapitre correspond aux applications de PSO-2S
des problmes rels .
Dans le premier chapitre, nous dcrivons dabord le cadre de
loptimisation difficile,
puis nous prsentons un tat de lart des mtaheuristiques
doptimisation pour les pro-
blmes mono-objectifs : lalgorithme du recuit simul, la recherche
tabou, les algorithmes
2
-
Introduction gnrale
volutionnaires, lalgorithme de colonies de fourmis et
lalgorithme volution diffren-
tielle. Ensuite, nous dtaillons lalgorithme dOptimisation par
Essaim Particulaire (OEP,
ou PSO en anglais). Enfin, nous prsentons des fonctions de test,
qui sont utilises dans le
deuxime et le troisime chapitre, pour mesurer les performances
des algorithmes.
Dans le deuxime chapitre, nous dcrivons lalgorithme PSO-2S, que
nous avons la-
bor durant cette thse. Il se caractrise par une nouvelle
stratgie dinitialisation dans
plusieurs zones de lespace de recherche. Cette stratgie est base
sur lutilisation de deux
types dessaims de particules (auxiliaire et principal), en
considrant les particules comme
des lectrons. Nous commenons par dcrire PSO-2S en dtail, puis
nous en prsentons
une analyse exprimentale. Une comparaison de ses performances
avec celles des autres
algorithmes doptimisation proposs dans la littrature est
galement effectu. Ensuite,
une variante amliore de PSO-2S, nomme DEPSO-2S, est dcrite et
analyse.
Dans le troisime chapitre, nous nous concentrons dabord sur le
concept de voisinage,
en tudiant les caractristiques des changes dinformations entre
les particules. Ensuite,
nous prsentons la topologie Dcluster, que nous avons labore
durant cette thse. Enfin,
nous effectuons une analyse exprimentale, ainsi quune
comparaison de ses performances
avec celles dautres algorithmes utilisant diffrentes topologies
connues dans la littrature
de PSO.
Le quatrime chapitre est consacr lapplication de PSO-2S en
segmentation dimages
et en lectronique. Dans la premire partie de ce chapitre, nous
prsentons la premire ap-
plication de PSO-2S en segmentation dimages. Le but est de
segmenter des images multi-
classes dont le nombre de classes est connu a priori. Dans le
cadre de nos travaux, nous
nous sommes limits lapproche par seuillage dimages pour
dterminer les seuils des
diffrentes classes. PSO-2S est utilis comme mthode doptimisation
pour minimiser un
critre qui permet de dterminer ces seuils. La deuxime partie de
ce chapitre porte sur
lapplication de PSO-2S au dimensionnement de circuits
lectroniques. Le but est de trou-
ver les dimensions des transistors qui permettent de faire
fonctionner de manire optimale
les circuits tudis. PSO-2S est utilis pour minimiser la
rsistance parasite et maximiser
la frquence de coupure dun convoyeur de courant de seconde
gnration CCII+.
Enfin, dans la conclusion gnrale du manuscrit, nous rcapitulons
nos principales
contributions, puis nous exposons quelques perspectives pour
amliorer les performances
des algorithmes dj dvelopps.
3
-
CHAPITRE UN
MTAHEURISTIQUES DOPTIMISATION : TAT DE
LART
1.1 Introduction
Lun des principes les plus fondamentaux de notre monde, qui
occupe aussi une place
importante dans le monde informatique, industriel, etc., est la
recherche dun tat optimal.
En effet, de nombreux problmes scientifiques, sociaux,
conomiques et techniques ont
des paramtres qui peuvent tre ajusts pour produire un rsultat
plus souhaitable. Ceux-
ci peuvent tre considrs comme des problmes doptimisation et leur
rsolution est un
sujet central en recherche oprationnelle. Des techniques ont t
conues pour rsoudre
ces problmes, notamment les problmes difficiles (par exemple
ceux qui prsentent
de nombreux extrema locaux pauvres), en dterminant des solutions
qui ne sont pas ri-
goureusement optimales, mais qui sen approchent. Ces mthodes,
appeles heuristiques
et mtaheuristiques, se basent gnralement sur des phnomnes
physiques, biologiques,
socio-psychologiques, et peuvent faire appel au hasard.
Ce chapitre est structur comme suit. Dans la section 1.2, nous
dcrivons dabord le
cadre de loptimisation difficile, puis nous prsentons un tat de
lart des mtaheuristiques
doptimisation pour les problmesmono-objectifs, telles que
lalgorithme du recuit simul,
la recherche tabou, les algorithmes volutionnaires, lalgorithme
de colonies de fourmis et
lalgorithme volution diffrentielle.
Dans la section 1.3, nous dtaillons lalgorithme dOptimisation
par Essaim Particulaire
(OEP, ou PSO en anglais), qui constitue le sujet principal de ce
travail de thse. LOpti-
misation par Essaim Particulaire est une mtaheuristiques invente
par Kennedy et Ebe-
rhart [Kenn 95] en 1995. Elle sinspire du comportement social
des animaux voluant en
essaim. Les diffrentes particules dun essaim communiquent
directement avec leurs voi-
sines et construisent ainsi une solution un problme, en
sappuyant sur leur exprience
collective.
4
-
Mtaheuristiques doptimisation : tat de lart
Enfin, dans la section 1.4, nous prsentons des fonctions
analytiques (principales fonc-
tions de test de CEC05 Congress on Evolutionary Computation et
problmes rels) dont
les minima globaux et locaux sont connus. Ces fonctions sont
utilises dans le deuxime et
le troisime chapitre pour mesurer les performances des
algorithmes.
1.2 Mtaheuristiques pour loptimisation
mono-objectifdifficile
1.2.1 Problme doptimisation
Un problme doptimisation au sens gnral est dfini par un ensemble
de variables,
une fonction objectif f et un ensemble de contraintes dgalit (ou
dingalit) que les va-
riables doivent satisfaire. Lensemble des solutions possibles du
problme forme lespace
de recherche E, o chaque dimension correspond une variable.
Lespace de recherche
E est fini puisque le dcideur prcise exactement le domaine de
dfinition de chaque va-
riable entre autres pour des raisons de temps de calcul. Suivant
le problme pos, nous
cherchons minimiser ou maximiser la fonction objectif f . Un
problme doptimisation
peut tre statique ou dynamique (i.e. la fonction objectif change
avec le temps), mono-
objectif ou multi-objectif (i.e. plusieurs fonctions objectifs
doivent tre optimises) et avec
ou sans contraintes. Ainsi, un problme doptimisation peut tre,
par exemple, la fois
continu et dynamique.
Il existe de nombreuses mthodes dterministes (ou exactes)
permettant de rsoudre
certains types de problmes doptimisation et dobtenir la solution
optimale du problme,
en un temps raisonnable. Ces mthodes ncessitent que la fonction
objectif prsente un
certain nombre de caractristiques telles que la convexit, la
continuit ou la drivabi-
lit. Nous pouvons citer, parmi les mthodes les plus connues, les
mthodes de program-
mation linaire [Schr 98], quadratique [Noce 00] et/ou dynamique
[Bert 95], la mthode
de Newton [Noce 00], la mthode du simplex [Neld 65] ou encore la
mthode du gra-
dient [Avri 76].
1.2.2 Optimisation difficile
Les mthodes de rsolution exacte ne sont pas adaptes toutes les
problmatiques,
et donc certains problmes sont trop complexes rsoudre par ces
mthodes. Parmi ces
5
-
Mtaheuristiques doptimisation : tat de lart
problmatiques, nous pouvons citer lexistence de discontinuits,
labsence de convexit
stricte, la non-drivabilit, la prsence de bruit ou encore la
fonction objectif peut ne pas
tre dfinie prcisment (e.g. quand cest un cout). En outre, les
mthodes de rsolution
exacte peuvent avoir un temps de rsolution trop long. Dans ce
cas, le problme doptimi-
sation est dit difficile, car aucune mthode exacte nest capable
de le rsoudre en un temps
raisonnable. Il est alors ncessaire davoir recours des
heuristiques de rsolution dites
mthodes approches, qui fournissent un rsultat sans garantie de
loptimalit.
Loptimisation difficile peut se diviser en deux types de
problmes : les problmes
variables discrtes et les problmes variables continues :
Un problme doptimisation variables discrtes consiste trouver,
dans un en-
semble discret, une solution ralisable. Le problme majeur rside
ici dans le fait que
le nombre de solutions ralisables est gnralement trs lev, donc
il est trs difficile
de trouver la meilleure solution dans un temps raisonnable . Les
problmes va-
riables discrtes rassemble les problmes de type NP-complets,
tels que le problme
du voyageur de commerce. Lutilisation dalgorithmes doptimisation
stochastiques,
tels que les mtaheuristiques, permettant de trouver une solution
approche en un
temps raisonnable est donc courante.
Dans le deuxime type, les variables du problme doptimisation
sont continues.
Cest le cas par exemple des problmes didentification, o lon
cherche minimiser
lerreur entre le modle dun systme et des observations
exprimentales. Ce type
de problmes est moins formalis que le prcdent, mais un certain
nombre de diffi-
cults sont bien connues, comme lexistence de nombreuses
variables prsentant des
corrlations non identifies, la prsence de bruit ou plus
gnralement une fonction
objectif accessible par simulation uniquement. En effet, la
grande majorit des mta-
heuristiques existantes ont t cres pour rsoudre des problmes
variables dis-
crtes [Dro 03]. Cependant, la ncessit croissante de mthodes
pouvant rsoudre ce
type de problmes a pouss les chercheurs adapter leurs mthodes au
cas continu.
Il est noter quil existe des problmes variables mixtes (i.e. le
problme prsente
la fois des variables discrtes et continues).
6
-
Mtaheuristiques doptimisation : tat de lart
1.2.3 Algorithmes doptimisation approche
1.2.3.1 Heuristiques
Lutilisation demthodes exactes nest pas toujours possible pour
un problme donn
cause dun certain nombre de contraintes, telles que le temps de
calcul souvent important
ou bien la difficult, voire limpossibilit dans certains cas,
dune dfinition spare du pro-
blme. Pour faire face ces contraintes, nous utilisons des
mthodes approches, appeles
heuristiques. Le terme heuristique drive du grec ancien
heuriskin et signifie trouver .
Il qualifie tout ce qui sert la dcouverte et lexploitation. Il
est souligner ici quune
mthode heuristique peut tre dterministe ou stochastique.
Une heuristique est un algorithme qui fournit rapidement (en un
temps polynomial)
une solution approche et ralisable, pas ncessairement optimale,
pour un problme dop-
timisation difficile. Cette mthode approximative est le
contraire dun algorithme exact qui
donne une solution optimale pour un problme donn.
Il y a une multitude dheuristiques qui ont dj t proposes dans la
littrature. Nous
pouvons citer des heuristiques trs simples telles que les
algorithmes gloutons [Corm 90,
DeVo 96] ou les approches par amlioration itrative [Basi 75]. Le
principe des mthodes
gloutonnes est de faire une succession de choix optimaux
localement, jusqu ce que lon
ne puisse plus amliorer la solution, et ce, sans retour en
arrire possible. Le fonctionne-
ment dune heuristique gloutonne est similaire celui dun
algorithme glouton exact. La
diffrence rside dans le fait que nous nimposons plus que la
solution obtenue soit opti-
male, nous obtenons donc un algorithme dapproximation.
1.2.3.2 Mtaheuristiques
Des heuristiques plus pousses, adaptables un grand nombre de
problmes diffrents,
sans changementsmajeurs dans lalgorithme, ont tmises au point et
ont donn naissance
une nouvelle famille dalgorithmes doptimisation stochastiques :
lesmta-heuristiques. Le
terme mta-heuristique a t invent par Fred Glover en 1986, lors
de la conception de la
recherche tabou [Glov 86].
Les mtaheuristiques forment une famille dalgorithmes
doptimisation visant r-
soudre des problmes doptimisation difficile, pour lesquels nous
ne connaissons pas de
mthodes classiques plus efficaces. Elles sont gnralement
utilises comme des mthodes
gnriques pouvant optimiser une large gamme de problmes
diffrents, do le qualifica-
tif mta. Leur capacit optimiser un problme partir dun nombre
minimal dinforma-
7
-
Mtaheuristiques doptimisation : tat de lart
tions est contrebalance par le fait quelles noffrent aucune
garantie quant loptimalit
de la meilleure solution trouve. Cependant, du point de vue de
la recherche opration-
nelle, ce constat nest pas forcment un dsavantage, puisque lon
prfre toujours une
approximation de loptimum global trouve rapidement une valeur
exacte trouve dans
un temps rdhibitoire.
Il existe un grand nombre demtaheuristiques diffrentes, allant
de la simple recherche
locale des algorithmes complexes de recherche globale. La
plupart des mta-heuristiques
utilisent des processus alatoires comme moyens de rcolter de
linformation et de faire
face des problmes comme lexplosion combinatoire. Les
mtaheuristiques peuvent tre
considres comme des algorithmes stochastiques itratifs, o elles
manipulent une ou
plusieurs solutions la recherche de loptimum. Les itrations
successives doivent per-
mettre de passer dune solution de mauvaise qualit la solution
optimale. Lalgorithme
sarrte aprs avoir atteint un critre darrt, consistant gnralement
en latteinte du
temps dexcution imparti ou en une prcision demande. Ces mthodes
tirent leur in-
trt de leur capacit viter les optima locaux, soit en acceptant
des dgradations de la
fonction objectif au cours du traitement, soit en utilisant une
population de points comme
mthode de recherche.
Les mtaheuristiques sont souvent inspires de processus naturels
qui relvent de la
physique (lalgorithme du recuit simul), de la biologie de
lvolution (les algorithmes g-
ntiques) ou encore de lthologie (les algorithmes de colonies de
fourmis ou loptimisation
par essaim particulaire).
Les mtaheuristiques se caractrisant par leur capacit rsoudre des
problmes trs
divers, elles se prtent naturellement des extensions. Pour
illustrer celles-ci, nous pou-
vons citer :
Les mtaheuristiques pour loptimisation multiobjectif [Coll 02] :
o il faut optimiser
plusieurs objectifs contradictoires. Le but ne consiste pas ici
trouver un optimum
global, mais trouver un ensemble doptima, qui forment une
surface de compromis
pour les diffrents objectifs du problme ;
Les mtaheuristiques pour loptimisation multimodale [Gold 87] : o
lon ne cherche
plus loptimum global, mais lensemble des meilleurs optima
globaux et/ou locaux ;
Les mtaheuristiques pour loptimisation de problmes bruits : o il
existe une incerti-
tude sur le calcul de la fonction objectif, dont il faut tenir
compte dans la recherche
de loptimum ;
8
-
Mtaheuristiques doptimisation : tat de lart
Les mtaheuristiques pour loptimisation dynamique [Bran 02] : o
la fonction objectif
varie dans le temps, ce qui ncessite dapprocher loptimum chaque
pas de temps ;
Les mtaheuristiques hybrides [Talb 02] : qui consistent combiner
diffrentes mta-
heuristiques, afin de tirer profit des avantages respectifs
;
Les mtaheuristiques parallles [Alba 05] : o lon cherche acclrer
le calcul, en
rpartissant la charge de calcul sur des units fonctionnant de
concert. Le problme
revient alors adapter les mtaheuristiques pour quelles soient
distribues.
En gnral, lutilisateur demande des mthodes efficaces et rapides
permettant dat-
teindre un optimum avec une prcision acceptable dans un temps
raisonnable, mais il a
besoin aussi des mthodes simples utiliser. Un des enjeux des
mtaheuristiques est donc
de faciliter le choix dune mthode et de simplifier son rglage
pour ladapter au mieux
un problme pos. De nombreuses mthodes existent dans la
littrature, certaines, parmi
les plus courantes, seront prsentes plus en dtail dans la
section 1.2.4.
1.2.4 Diffrentes approches en optimisation statique
1.2.4.1 Algorithme du recuit simul
Le recuit simul est une mthode empirique inspire dun processus
utilis en mtal-
lurgie (appel le recuit) o, pour atteindre les tats de basse
nergie dun solide, on chauffe
celui-ci jusqu des tempratures leves, avant de le laisser
refroidir lentement.
Lalgorithme du recuit simul a t propos par Kirkpatrick et al.
[Kirk 83] (et in-
dpendamment, Cerny [Cern 85]). La description classique du
recuit simul le prsente
comme un algorithme probabiliste, o un point volue dans lespace
de recherche. Le re-
cuit simul sappuie sur lalgorithme de Metropolis [Metr 53, Hast
70] dcrit par lAlgo-
rithme 1.1, qui permet de dcrire lvolution dun systme en
thermodynamique. Cette
procdure permet de sortir des minima locaux avec une probabilit
leve si la tempra-
ture T est leve et, quand lalgorithme atteint de basses
tempratures, de conserver les
tats les plus probables. Ici, la mthode de Metropolis (ou toute
autre mthode dchan-
tillonnage [Creu 83, Okam 95]) tient lieu de diversification,
associe la dcroissance de
temprature, qui contrle lintensification. Lalgorithme de recuit
simul est rsum en Al-
gorithme 1.2.
9
-
Mtaheuristiques doptimisation : tat de lart
Algorithme de Metropolis
1 Initialiser un point de dpart x0 et une temprature T
2 pour i=1 n faire3 tant que xi nest pas accept faire4 si f (xi)
f (xi1) alors5 accepter xi6 fin
7 si f (xi) > f (xi1) alors
8 accepter xi avec la probabilit ef (xi) f (xi1)
T
9 fin
10 fin
11 fin
ALGORITHME 1.1: Algorithme de Metropolis.
Les inconvnients du recuit simul rsident dans :
1. Les rglages , car lalgorithme dispose dun nombre lev de
paramtres (temp-
rature initiale, rgle de dcroissance de la temprature, dures des
paliers de temp-
rature, etc.) qui rendent les rglages de lalgorithme assez
empiriques ;
2. Les temps de calcul , qui peuvent devenir trs importants.
Cependant, il existe des tudes qui sattachent rgler de manire
optimale les paramtres
de lalgorithme [Cour 94]. Par ailleurs, pour surmonter le
problme de temps de calcul,
plusieurs mthodes de paralllisation des calculs ont t
introduites [Azen 92].
Par contre, la mthode du recuit simul a lavantage dtre souple
vis--vis des vo-
lutions du problme et facile implmenter. Elle a donn dexcellents
rsultats pour un
certain nombre de problmes, le plus souvent de grande taille.
Bien quinitialement cre
pour fonctionner avec des variables discrtes, la mthode du
recuit simul possde des
versions continues [Cour 94].
1.2.4.2 Algorithme de recherche tabou
La recherche tabou est une mtaheuristique itrative qualifie de
recherche locale
au sens large. Lide de la recherche tabou consiste, partir dune
position donne, en
explorer le voisinage et choisir le voisin qui minimise la
fonction objectif.
10
-
Mtaheuristiques doptimisation : tat de lart
Algorithme du recuit simul
1 Dterminer une configuration alatoire S
2 Choix des mcanismes de perturbation dune configuration
3 Initialiser la temprature T
4 tant que le critre darrt nest pas satisfait faire5 tant que
lquilibre nest pas atteint faire6 Tirer une nouvelle configuration
S
7 Appliquer la rgle de Metropolis
8 si f (S) < f (S) alors9 Smin = S
10 fmin = f (S)
11 fin
12 fin
13 Dcrotre la temprature
14 fin
ALGORITHME 1.2: Algorithme du recuit simul.
Lalgorithme de recherche tabou a t introduit par Fred Glover en
1986 [Glov 86]. Le
principe de base de cet algorithme est de pouvoir poursuivre la
recherche de solutions
mme lorsquun optimum local est rencontr et ce, en permettant des
dplacements qui
namliorent pas la solution, et en utilisant le principe de la
mmoire pour viter les re-
tours en arrire (mouvements cycliques). Il est essentiel de
noter que cette opration peut
conduire augmenter la valeur de la fonction (dans un problme de
minimisation) ; cest
le cas lorsque tous les points du voisinage ont une valeur plus
leve. Cest partir de
ce mcanisme que lon sort dun minimum local. En effet, comme
lalgorithme de recuit
simul, la mthode de recherche tabou fonctionne avec une seule
configuration courante,
qui est actualise au cours des itrations successives. La
nouveaut ici est que, pour viter
le risque de retour une configuration dj visite, on tient jour
une liste de mouvements
interdits (ou de solutions interdites), appele liste tabou . Le
rle de cette dernire vo-
lue au cours de la rsolution pour passer de lexploration (aussi
appele diversification )
lexploitation (galement appele intensification ). Cette liste
contient m mouvements
(t s) qui sont les inverses des m derniers mouvements (s t)
effectus. Lalgorithmemodlise ainsi une forme primaire de mmoire
court terme. Lalgorithme de recherche
11
-
Mtaheuristiques doptimisation : tat de lart
tabou peut tre rsum par lAlgorithme 1.3.
Dans sa forme de base, lalgorithme de recherche tabou prsente
lavantage de com-
porter moins de paramtres que lalgorithme de recuit simul.
Cependant, lalgorithme
ntant pas toujours performant, il est souvent appropri de lui
ajouter des processus
dintensification et/ou de diversification, qui introduisent de
nouveaux paramtres de
contrle [Glov 97].
Algorithme de recherche tabou
1 Dterminer une configuration alatoire s
2 Initialiser une liste tabou vide
3 tant que le critre darrt nest pas satisfait faire4
Perturbation de s suivant N mouvements non tabous
5 valuation des N voisins
6 Slection du meilleur voisin t
7 Actualisation de la meilleure position connue s
8 Insertion du mouvement t s dans la liste tabou9 s = t
10 fin
ALGORITHME 1.3: Algorithme de recherche tabou.
1.2.4.3 Les algorithmes volutionnaires
Les algorithmes volutionnaires (AEs), labors au cours des annes
1950 [Fras 57],
sont des techniques de recherche inspires par lvolution
biologique des espces. Ils sins-
pirent de lvolution des tres vivants (la thorie Darwinienne de
la slection naturelle des
espces) pour rsoudre des problmes doptimisation. Lide ici est
que, les individus qui
ont hrit des caractres bien adapts leur milieu ont tendance
vivre assez longtemps
pour se reproduire, alors que les plus faibles ont tendance
disparatre.
Au cours des annes 1970, avec lavnement des calculateurs de
forte puissance, de
nombreuses approches de modlisation de lvolution ont t ralises.
Nous pouvons
citer :
Les statgies dvolution [Rech 65, Beye 01] qui ont t conues pour
rsoudre des pro-
blmes variables continues. Elles sont axes sur la modlisation
des paramtres
12
-
Mtaheuristiques doptimisation : tat de lart
stratgiques qui contrlent la variation dans lvolution, autrement
dit lvolution
de lvolution ;
La programmation volutionnaire [Foge 62, Foge 66], qui vise
faire voluer les struc-
tures dautomates tats finis par des successions de croisements
et de mutations ;
Les algorithmes gntiques [Holl 75], qui ont t conus pour rsoudre
des problmes
doptimisation variables discrtes, en modlisant lvolution gntique
;
La programmation gntique [Koza 89, Koza 90], base sur les
algorithmes gntiques,
mais o les individus (ou chromosomes) sont des programmes
informatiques, repr-
sents en utilisant une structure darbre ;
Lvolution diffrentielle [Stor 97, Pric 05], qui a t conue pour
rsoudre des pro-
blmes variables continues. Sa stratgie consiste biaiser un
oprateur demutation,
appliqu un individu, en fonction des diffrences calcules avec
dautres individus
slectionns alatoirement. Une description complte et dtaille de
cet algorithme
est donne dans la section 1.2.4.5.
Les approches volutionnaires sappuient sur un modle commun
prsent en Algo-
rithme 1.4. Les individus soumis lvolution sont des solutions
possibles du problme
pos. Lensemble de ces individus constitue une population. Cette
population volue du-
rant une succession ditrations, appeles gnrations. Au cours de
chaque gnration, une
srie doprateurs est applique aux individus, pour crer la
population de la gnration
suivante. Chaque oprateur utilise un ou plusieurs individus,
appels parents, pour engen-
drer de nouveaux individus, appels enfants. A la fin de chaque
gnration, une slection
denfants crs durant la gnration remplace un sous-ensemble
dindividus de la popu-
lation.
Un algorithme volutionnaire dispose de trois oprateurs
principaux :
1. Un oprateur de slection, qui favorise la propagation des
meilleures solutions dans
la population, tout enmaintenant une certaine diversit gntique
au sein de celle-ci ;
2. Un oprateur de croisement, mis en uvre lors de la phase de
cration des enfants.
Son but est dchanger les gnes des diffrents parents pour crer
les enfants. Un
exemple de croisement simple pour des individus cods en
reprsentation binaire
est prsent dans la figure 1.1 ;
13
-
Mtaheuristiques doptimisation : tat de lart
Algorithme volutionnaire gnrique
1 Initialisation de la population de individus
2 Evaluation des individus
3 tant que le critre darrt nest pas satisfait faire4 Slection de
individus en vue de la phase de reproduction
5 Croisement des individus slectionns
6 Mutation des enfants obtenus
7 Evaluation des enfants obtenus
8 Slection pour le remplacement
9 fin
ALGORITHME 1.4: Algorithme volutionnaire gnrique.
3. Un oprateur de mutation, consistant tirer alatoirement une
composante de lindi-
vidu parent et la remplacer par une valeur alatoire. Lapport dun
caractre ala-
toire la cration de la descendance permet ainsi de maintenir une
certaine diversit
dans la population. La figure 1.2 montre un exemple de mutation,
pour un individu
cod en reprsentation binaire.
Parent 1 Parent 2
0 1 0 1 1 0 0 1 1 0 1 1 0 1 0 1 1 00 1 0 1 1 0 0 1 1 0 1 1 0 1 0
1 1 0
0 1 0 1 1 0 1 1 1 00 1 0 1 1 1 0 0
Enfant 1 Enfant 2
FIGURE 1.1: Exemple doprateur de croisement en reprsentation
binaire.
Le principe dun algorithme volutionnaire se dcrit simplement
(voir figure 1.3).
14
-
Mtaheuristiques doptimisation : tat de lart
0 1 0 1 0 0 1 1 1 0 1 0 0 1 1 1 0 0
0 1 0 1 0 0 1 1 1 1 1 0 0 1 1 1 0 0
FIGURE 1.2: Exemple doprateur de mutation en reprsentation
binaire.
valuation desperformancesdes individus
Slectionpour la
reproductionCroisements Mutations
non
valuation desperformances
Slectionpour la
Initialisationalatoire
Stop ? performancesdes individus
pour lareproduction
dunepopulation
Stop ?
oui
meilleur(s) individu(s)
FIGURE 1.3: Principe dun algorithme volutionnaire standard.
1.2.4.4 Les algorithmes de colonies de fourmis
Les algorithmes de colonies de fourmis sont des algorithmes
inspirs du comportement
des fourmis et constituent une famille de mtaheuristiques
doptimisation pour rsoudre
naturellement des problmes complexes. Une telle aptitude savre
possible en raison de
la capacit des fourmis communiquer entre elles indirectement,
par le dpt dans len-
vironnement de substances chimiques, appeles phromones. Ce type
de communication
indirecte est appel stigmergie. En anglais, le terme consacr la
principale classe dalgo-
rithmes est Ant Colony Optimization (ACO).
La principale illustration de ce phnomne est donne par la figure
1.4 : un obstacle est
plac sur le trajet des fourmis qui, aprs une tape dexploration,
finiront par emprunter
le plus court chemin entre le nid et la source de nourriture
[Goss 89]. Les fourmis qui sont
retournes le plus rapidement au nid en passant par la source de
nourriture sont celles
qui ont emprunt le chemin le plus court. Il en dcoule que la
quantit de phromones
dposes par unit de temps sur ce trajet est plus importante que
sur les autres. Par ailleurs,
15
-
Mtaheuristiques doptimisation : tat de lart
une fourmi est dautant plus attire un certain endroit que le
taux de phromones y
est important. De ce fait, le plus court chemin a une probabilit
plus importante dtre
emprunt par les fourmis que les autres chemins et sera donc,
terme, emprunt par toutes
les fourmis.
Le premier algorithme doptimisation sinspirant de cette analogie
a t propos par
Colorni, Dorigo et Maniezzo [Colo 91, Dori 96], afin de rsoudre
le problme du voyageur
de commerce. LAlgorithme 1.5 rsume lapproche par colonies de
fourmis propose par
les auteurs. Si lon considre un problme de voyageur de commerce
N villes, chaque
fourmi k parcourt le graphe et construit un trajet de longueur n
= N. Pour chaque fourmi,
le trajet dune ville i une ville j dpend de :
La liste des dplacements possibles Jki , quand la fourmi k est
sur la ville i ;
Linverse de la distance entre les villes ij = 1dij , appele
visibilit. Cette information
est utilise pour diriger les fourmis vers des villes proches et,
ainsi, viter de trop
longs dplacements ;
La quantit de phromones dpose sur larte reliant deux villes
ij(t), appele in-
tensit de la piste. Cette quantit dfinit lattractivit dune piste
et est modifie aprs
le passage dune fourmi. Cest en quelque sorte la mmoire du
systme.
La rgle de dplacement est la suivante :
pkij(t) =
(ij(t))(ij)
lJk
i(il(t))(il)
si j Jki
0 sinon
(1.2.1)
o et sont deux paramtres contrlant limportance relative de
lintensit de la piste et
de la visibilit.
Aprs un tour complet, chaque fourmi dpose une quantit de
phromones kij(t) sur
lensemble de son parcours. Cette quantit dpend de la qualit de
la solution trouve et
est dfinie par :
kij(t) =
QLk(t)
si (i, j) Tk(t)
0 sinon
(1.2.2)
16
-
Mtaheuristiques doptimisation : tat de lart
nid nourriture nid nourritured ou u e d ou u e
obstacle
(a)
obstacle
(b)(a) (b)
nid nourriture nid nourriturenid nourriture nid nourriture
obstacle obstacle
(c) (d)
FIGURE 1.4: Illustration de la capacit des fourmis chercher de
la nourriture en minimi-sant leur parcours. (a) Recherche sans
obstacle, (b) Apparition dun obstacle, (c) Recherchedu chemin
optimal, (d) Chemin optimal trouv.
ACO
1 t 12 tant que le critre darrt nest pas satisfait faire3 pour k
= 1 m faire4 Choisir une ville au hasard
5 pour chaque ville non visite i faire6 Choisir une ville j dans
la liste Jki des villes restantes selon (1.2.1)
7 fin
8 Dposer une quantit de phromones kij(t) sur le trajet Tk(t)
conformment
(1.2.2)
9 fin
10 Evaporer les phromones selon (1.2.3)
11 t t+ 112 fin
ALGORITHME 1.5: Algorithme de colonies de fourmis pour le
problme du voyageur decommerce.
17
-
Mtaheuristiques doptimisation : tat de lart
o Tk(t) est le trajet effectu par la fourmi k litration t, Lk(t)
est la longueur de Tk(t) et
Q est un paramtre de rglage.
Enfin, il est ncessaire dintroduire un processus dvaporation des
phromones. En
effet, pour viter de rester pig dans des optima locaux, il est
ncessaire quune fourmi
oublie les mauvaises solutions. La rgle de mise jour est la
suivante :
ij(t+ 1) = (1 )ij(t) + ij(t) (1.2.3)
o ij(t) = mk=1
kij(t), m est le nombre de fourmis et est un paramtre de
rglage.
La dmarche initie par cette analogie a t tendue la rsolution
dautres problmes
doptimisation, discrets et continus [Dori 05, Dro 03]. ACO
prsente plusieurs caractris-
tiques intressantes, telles que le paralllisme intrinsque lev,
la robustesse (une colonie
peut maintenir une recherche efficace, mme si certains de ses
individus sont dfaillants)
ou encore la dcentralisation (les fourmis nobissent pas une
autorit centralise).
1.2.4.5 Algorithme volution diffrentielle
Lvolution diffrentielle (Differential Evolution DE) est une
mtaheuristique stochas-
tique doptimisation qui a t inspire par les algorithmes gntiques
et des stratgies
volutionnaires combines avec une technique gomtrique de
recherche. Les algorithmes
gntiques changent la structure des individus en utilisant la
mutation et le croisement,
alors que les stratgies volutionnaires ralisent lauto-adaptation
par une manipulation
gomtrique des individus. Ces ides ont t mises en uvre grce une
opration
simple, mais puissante, de mutation de vecteurs, propose en 1995
par K. Price et R.
Storn [Stor 97]. Mme si, lorigine, la mthode de lvolution
diffrentielle tait conue
pour les problmes doptimisation continus et sans contraintes,
ses extensions actuelles
peuvent permettre de traiter les problmes variables mixtes et
grent les contraintes non
linaires [Lamp].
Dans la mthode DE, la population initiale est gnre par tirage
alatoire uniforme
sur lensemble des valeurs possibles de chaque variable. Les
bornes infrieures et sup-
rieures des variables sont spcifies par lutilisateur selon la
nature du problme. Aprs
linitialisation, lalgorithme effectue une srie de
transformations sur les individus, dans
un processus appel volution.
18
-
Mtaheuristiques doptimisation : tat de lart
La population contient N individus. Chaque individu xi,G est un
vecteur de dimension
D, o G dsigne la gnration :
xi,G = (x1i,G, x2i,G, ..., xDi,G) avec i = 1, 2, ...,N
(1.2.4)
Le standard DE utilise trois techniques (mutation, croisement et
slection) comme les
algorithmes gntiques. A chaque gnration, lalgorithme applique
successivement ces
trois oprations sur chaque vecteur pour produire un vecteur
dessai (trial vector) :
ui,G+1 = (u1i,G+1, u2i,G+1, ..., uDi,G+1) avec i = 1, 2, ...,N
(1.2.5)
Une opration de slection permet de choisir les individus
conserver pour la nouvelle
gnration (G+ 1).
a - Mutation
Pour chaque vecteur courant xi,G, on gnre un vecteur mutant
vi,G+1 qui peut tre cr en
utilisant une des stratgies de mutation suivantes :
- Rand/1 :
vi,G+1 = xr1,G + F.(xr2,G xr3,G) (1.2.6)
- Best/1 :
vi,G+1 = xbest,G + F.(xr1,G xr2,G) (1.2.7)
- Current to best/1 :
vi,G+1 = xi,G + F.(xr1,G xr2,G) + F.(xbest,G xi,G) (1.2.8)
- Best/2 :
vi,G+1 = xbest,G + F.(xr1,G xr2,G) + F.(x3,G x4,G) (1.2.9)
- Rand/2 :
19
-
Mtaheuristiques doptimisation : tat de lart
vi,G+1 = xr1,G + F.(xr2,G xr3,G) + F.(xr4,G xr5,G) (1.2.10)
Les indices r1, r2, r3, r4 et r5 {1, 2, . . . ,N} sont des
entiers alatoires et tous diffrents. Ilssont galement choisis
diffrents de lindice courant i. xbest,G est le meilleur individu
la
Gme gnration. F [0, 2] est une valeur constante, appele
differential weight, qui contrlelamplification de la variation
diffrentielle de (xri,G xrj,G).
b - Croisement
Aprs la mutation, une opration de croisement binaire forme le
vecteur dessai final
ui,G+1, selon le vecteur xi,G et le vecteur mutant correspondant
vi,G+1. Lopration de croi-
sement est introduite pour augmenter la diversit des vecteurs de
paramtres perturbs.
Le nouveau vecteur ui,G+1 est donn par la formule suivante :
uji,G+1 =
v1i,G+1 si (randb(j) CR) ou j = rnbr(i)
xji,G si (randb(j) > CR) et j 6= rnbr(i)pour tout j {1,2, . .
. ,D}
(1.2.11)
o randb(j) est la jme valeur procure un gnrateur de nombre
alatoire uniforme appar-
tenant lintervalle [0,1]. CR est le coefficient de croisement
qui appartient lintervalle
[0,1] et est dtermin par lutilisateur. rnbr(i) est un indice
choisi au hasard dans len-
semble {1, 2, . . . ,N}.
c - Slection
Pour dcider quel vecteur, parmi ui,G+1 ou xi,G, doit tre choisi
dans la gnration G + 1,
on doit comparer les valeurs de fonction du cout de ces deux
vecteurs. En effet, on garde le
vecteur ayant la plus petite valeur de fonction du cout en cas
de minimisation. Le nouveau
vecteur xi,G+1 est choisi selon lexpression suivante :
xi,G+1 =
ui,G+1 si f (ui,G+1) < f (xi,G)
xi,G sinon
(1.2.12)
Il est clair quun bon rglage des principaux paramtres de
lalgorithme (taille de la popu-
lation N, facteur demutation F et facteur de croisement CR)
contribue de faon importante
lefficacit de la mthode. Lauto-adaptation de ces paramtres parat
donc intressante
20
-
Mtaheuristiques doptimisation : tat de lart
pour lamlioration de lalgorithme. Une comparaison des versions
adaptatives et auto-
adaptatives de lalgorithme volution diffrentielle (FADE [Liu
05], DESAP [Teo 06],
SaDE [Qin 05] et jDE [Bres 06]) est prsente dans [Bres 07].
1.3 Optimisation par Essaim Particulaire
1.3.1 Principe gnral
Loptimisation par essaim particulaire (OEP), ou Particle Swarm
Optimization (PSO) en
anglais, est un algorithme volutionnaire qui utilise une
population de solutions candi-
dates pour dvelopper une solution optimale au problme. Cet
algorithme a t propos
par Russel Eberhart (ingnieur en lectricit) et James Kennedy
(socio-psychologue) en
1995 [Kenn 95]. Il sinspire lorigine du monde du vivant, plus
prcisment du compor-
tement social des animaux voluant en essaim, tels que les bancs
de poissons et les vols
groups doiseaux. En effet, on peut observer chez ces animaux des
dynamiques de dpla-
cement relativement complexes, alors quindividuellement chaque
individu a une intel-
ligence limite, et ne dispose que dune connaissance locale de sa
situation dans lessaim.
Linformation locale et la mmoire de chaque individu sont
utilises pour dcider de son
dplacement. Des rgles simples, telles que rester proche des
autres individus , aller
dans une mme direction ou aller la mme vitesse , suffisent pour
maintenir la coh-
sion de lessaim, et permettent la mise en uvre de comportements
collectifs complexes et
adaptatifs.
Lessaim de particules correspond une population dagents simples,
appels parti-
cules. Chaque particule est considre comme une solution du
problme, o elle possde
une position (le vecteur solution) et une vitesse. De plus,
chaque particule possde une
mmoire lui permettant de se souvenir de sa meilleure performance
(en position et en va-
leur) et de la meilleure performance atteinte par les particules
voisines (informatrices) :
chaque particule dispose en effet dun groupe dinformatrices,
historiquement appel son
voisinage.
Un essaim de particules, qui sont des solutions potentielles au
problme doptimisa-
tion, survole lespace de recherche, la recherche de loptimum
global. Le dplacement
dune particule est influenc par les trois composantes suivantes
:
1. Une composante dinertie : la particule tend suivre sa
direction courante de dpla-
21
-
Mtaheuristiques doptimisation : tat de lart
cement ;
2. Une composante cognitive : la particule tend se diriger vers
le meilleur site par
lequel elle est dj passe ;
3. Une composante sociale : la particule tend se fier lexprience
de ses congnres
et, ainsi, se diriger vers le meilleur site dj atteint par ses
voisins.
La stratgie de dplacement dune particule est illustre dans la
figure 1.5.
Vers sa meilleure
performance
Position
actuelle
p
Nouvelle
position Vers la meilleure
f dactuelle performance des
particules voisines
Vers le point
accessible avec sa
vitesse courante
FIGURE 1.5: Dplacement dune particule.
1.3.2 Formalisation
Dans un espace de recherche de dimension D, la particule i de
lessaim est mod-
lise par son vecteur position ~xi = (xi1, xi2, . . . , xiD) et
par son vecteur vitesse ~vi =
(vi1, vi2, . . . , viD). La qualit de sa position est dtermine
par la valeur de la fonction ob-
jectif en ce point. Cette particule garde en mmoire la meilleure
position par laquelle elle
est dj passe, que lon note ~Pbesti = (pbesti1, pbesti2, . . . ,
pbestiD). La meilleure position
atteinte par les particules de lessaim est note ~Gbest =
(gbest1, gbest2, . . . , gbestD). Nous
nous rfrons la version globale de PSO, o toutes les particules
de lessaim sont consid-
res comme voisines de la particule i, do la notation ~Gbest
(global best).
Remarque : le terme de vitesse est ici abusif, car les vecteurs
~vi ne sont pas homognes une
vitesse. Il serait plus appropri de parler de direction de
dplacement . Cependant, pour respecter
lanalogie avec le monde animal, les auteurs ont prfr utiliser le
terme de vitesse .
22
-
Mtaheuristiques doptimisation : tat de lart
Au dpart de lalgorithme, les particules de lessaim sont
initialises de manire
alatoire/rgulire dans lespace de recherche du problme. Ensuite,
chaque itration,
chaque particule se dplace, en combinant linairement les trois
composantes cites ci-
dessus. En effet, litration t+ 1, le vecteur vitesse et le
vecteur position sont calculs
partir de lquation (1.3.1) et de lquation (1.3.2),
respectivement.
vt+1i,j = wvti,j + c1r
t1i,j [pbest
ti,j xti,j] + c2rt2i,j [gbest
tj xti,j], j {1, 2, ...,D} (1.3.1)
xt+1i,j = xti,j + v
t+1i,j , j {1, 2, ...,D} (1.3.2)
o w est une constante, appele coefficient dinertie ; c1 et c2
sont deux constantes, appeles
coefficients dacclration ; r1 et r2 sont deux nombres alatoires
tirs uniformment dans
[0, 1], chaque itration t et pour chaque dimension j.
Les trois composantes mentionnes ci-dessus (i.e. dinertie,
cognitive et sociale) sont repr-
sentes dans lquation (1.3.1) par les termes suivants :
1. wvti,j correspond la composante dinertie du dplacement, o le
paramtre w
contrle linfluence de la direction de dplacement sur le
dplacement futur ;
2. c1rt1i,j [pbestti,j xti,j] correspond la composante cognitive
du dplacement, o le
paramtre c1 contrle le comportement cognitif de la particule
;
3. c2rt2i,j [gbesttj xti,j] correspond la composante sociale du
dplacement, o le para-
mtre c2 contrle laptitude sociale de la particule.
Une fois le dplacement des particules effectu, les nouvelles
positions sont values et les
deux vecteurs ~Pbesti et ~Gbest sont mis jour , litration t+ 1,
suivant les deux quations
(1.3.3) (dans le cas dune minimisation) et (1.3.4) (dans une
version globale de PSO), res-
pectivement. Cette procdure est prsente dans lAlgorithme 1.6, o
N est le nombre de
particules de lessaim.
~Pbesti(t+ 1) =
{
~Pbesti(t), si f (~xi(t+ 1)) ~Pbesti(t)~xi(t+ 1), sinon
(1.3.3)
~Gbest(t+ 1) = arg min~Pbesti
f (~Pbesti(t+ 1)), 1 i N. (1.3.4)
23
-
Mtaheuristiques doptimisation : tat de lart
OEP
1 Initialiser alatoirement N particules : position et
vitesse.
2 Evaluer les positions des particules
3 Pour chaque particule i, ~Pbesti = ~xi
4 Calculer ~Gbest selon (1.3.4)
5 tant que le critre darrt nest pas satisfait faire6 Dplacer les
particules selon (1.3.1) et (1.3.2)
7 Evaluer les positions des particules
8 Mettre jour ~Pbesti et ~Gbest selon (1.3.3) et (1.3.4)
9 fin
ALGORITHME 1.6: Algorithme doptimisation par essaim
particulaire.
1.3.3 Amliorations de PSO
1.3.3.1 Confinement des particules
Pour viter que le systme n explose en cas damplification trop
grande doscilla-
tions (il est possible que le dplacement dune particule soit
trop rapide et la conduise
sortir de lespace de recherche), nous pouvons introduire un
nouveau paramtre Vmax, qui
permet de limiter la vitesse sur chaque dimension et ainsi de
contrler lexplosion du sys-
tme [Eber 96]. Notons que cela ne restreint pas les valeurs de
xi lintervalle [Vimin,Vimax],
mais limite seulement la distance maximale quune particule va
parcourir au cours dune
itration. Cette mthode permet de contrler la divergence de
lalgorithme et de raliser
ainsi un compromis efficace entre intensification et
diversification.
De plus, une stratgie de confinement des particules peut tre
introduite. Une telle
stratgie permet de ramener une particule sortie de lespace de
recherche lintrieur de
celui-ci. Dans ce cadre, plusieurs mthodes peuvent tre employes
:
La particule est laisse lextrieur de lespace de recherche, mais
on nvalue pas sa
fonction objectif. Ainsi, elle ne pourra pas attirer les autres
particules en dehors de
lespace de recherche ;
La particule est arrte la frontire et les composantes associes
sa vitesse sont
annules ;
La particule rebondit sur la frontire. La particule est stoppe
sur la frontire, mais
24
-
Mtaheuristiques doptimisation : tat de lart
les composantes correspondantes de la vitesse sont multiplies
par un coefficient tir
alatoirement dans lintervalle [-1,0].
1.3.3.2 Coefficient de constriction
Des amliorations ont t apportes lalgorithme de base, notamment
du point de
vue du contrle de la divergence : en particulier, lintroduction
du paramtre Vmax que
nous avons vu dans le paragraphe prcdent, et qui permet de
limiter la divergence des
particules. En outre, beaucoup dautres tudes ont t menes sur la
dynamique des parti-
cules et qui sattachent analyser sous quelles conditions une
convergence de lessaim est
assure [Kenn 98, Ozca 99, Van 01].
La combinaison des paramtres w, c1 et c2 permet de rgler
lquilibre entre les phases
de diversification et dintensification du processus de recherche
[Kenn 01]. Dans [Cler 02],
Clerc et Kennedy ont dmontr quune bonne convergence peut tre
obtenue en ren-
dant dpendants ces paramtres. Lutilisation dun coefficient de
constriction (ou facteur
de constriction) permet de mieux contrler la divergence de
lessaim et de saffranchir de la
dfinition de Vmax [Cler 02]. Cette variante de PSO, qui a t
largement utilise dans la lit-
trature, est connue sous le nom de canonical PSO. En utilisant
le coefficient de constriction,
lquation (1.3.1) devient :
vij(t+ 1) = (
vi,j(t) + 1 r1(
pbesti,j(t) xi,j(t))
+ 2 r2(
gbestj(t) xi,j(t)))
(1.3.5)
avec :
=2
2+
2 4(1.3.6)
o : = 1 + 2, > 4.
Les valeurs optimales de 1 et 2 ont t dtermines dans [Cler 02],
en effectuant de
nombreux tests. En gnral, on utilise = 4,1 et 1 = 2, ce qui
donne un coefficient
= 0,7298844.
Dans [Eber 00], les auteurs ont indiqu que lutilisation dun
coefficient de constric-
tion donne gnralement un meilleur taux de convergence, sans
avoir fixer de vitesse
25
-
Mtaheuristiques doptimisation : tat de lart
maximale Vmax. Cependant, dans certains cas, le coefficient de
constriction seul ne per-
met pas la convergence vers la solution optimale pour un nombre
ditrations donn.
Pour remdier ce problme, il pourrait tre intressant de fixer
Vmax = (xmax xmin)/2en plus du coefficient de constriction, ce qui,
selon les tudes de Shi et Eberhart, per-
met damliorer les performances globales de lalgorithme. Ainsi,
il est noter que PSO,
utilisant un coefficient de constriction, nest pas la seule
version de PSO qui garan-
tisse la convergence vers un tat dquilibre. Dautres exemples
peuvent tre trouvs
dans [Van 01, Trel 03, Peer 03, Zhen 03], qui permettent aussi
de provoquer la convergence
de lalgorithme.
1.3.3.3 Topologie de voisinage
Comme nous lavons vu dans les deux sous-sections 1.3.1 et 1.3.2,
PSO est une m-
thode doptimisation stochastique inspire dun comportement
social. Ce comportement
a t modlis par les deux quations (1.3.1) et (1.3.2) pour guider
les particules durant le
processus de dplacement. Le choix dune topologie (le rseau de
communication entre les
particules) a donc une influence importante sur les performances
de PSO.
A lorigine, dans la version de PSO rsume dans lAlgorithme 1.6,
les auteurs ont d-
fini une topologie entirement connecte (i.e. chaque particule
est relie toutes les autres).
Cette version de PSO est appele version globale (Gbest), car la
particule est informe par
la totalit des autres, et linformation effectivement utilise est
incarne par le terme ~Gbest
de la troisime composante de lquation (1.3.1). Cette version a
linconvnient majeur de
ne pas donner lieu une exploration suffisante, ce qui peut
conduire une stagnation
dans un optimum local et donc une convergence prmature. De
nombreuses variantes
de la version originale, dites versions locales (Lbest), ont t
proposes dans la littrature
de PSO, afin damliorer sa convergence. Parmi ces variantes, nous
pouvons citer celle
propose dans [Eberhart et al., 1995] et qui utilise un graphe
dinformation statique sous
forme danneau (cette version est connue comme tant la version
locale classique). Dans les
versions locales, le terme ~Gbest est remplac par les
termes~Lbesti, o, pour chaque parti-
cule i, on dfinit un ensemble de voisinage (i.e. linformation
qui doit tre partage est la
meilleure solution trouve dans le voisinage de chaque particule
(~Lbesti)). Cette partie sera
traite et dtaille dans le chapitre 3, o nous prsenterons aussi
une nouvelle topologie
dynamique, nomme Dcluster.
26
-
Mtaheuristiques doptimisation : tat de lart
1.3.3.4 Coefficient dinertie
Le coefficient dinertie w, introduit par Shi et Eberhart [Shi
99], contrle linfluence de
la direction de la particule sur le dplacement futur. Le but de
lintroduction de ce para-
mtre est de raliser un quilibre entre la recherche locale
(exploitation) et la recherche
globale (exploration). Lintensit de lexploration de lespace de
recherche dpend de la
valeur du poids dinertie, une grande valeur de w facilitant une
exploration globale, alors
quune petite valeur facilite lexploration locale. Du fait de son
influence sur les perfor-
mances de lalgorithme PSO, le poids dinertie a suscit un grand
intrt de la part de la
communaut des chercheurs. Dans [Shi 99], les auteurs ont propos
un coefficient diner-
tie dynamique qui varie au cours du temps. Il commence par une
valeur proche de 0,9 et
descend linairement pour arriver 0,4. Cette stratgie a beaucoup
amlior les perfor-
mances de PSO pour plusieurs problmes doptimisation. Le
coefficient dinertie w varie
linairement avec le temps selon la formule suivante :
w = wmin + (wmax wmin).(iter
maxiter) (1.3.7)
o iter est litration courante et maxiter est le nombre maximal
ditrations. wmax et wmindsignent respectivement les valeurs maximum
et minimum du coefficient w (gnrale-
ment, wmin,wmax [0, 1]).
Dans [Chat 06], Chatterjee et Siarry ont utilis une autre
stratgie non-linaire pour
dfinir un coefficient dinertie dynamique. Dans [Eber 01],
Eberhart et Shi ont propos
une autre variante, dans laquelle le coefficient dinertie est
choisi au hasard, selon une
distribution uniforme, dans lintervalle [0,5, 1]. Cet intervalle
a t inspire du facteur de
constriction propos par Clerc et Kennedy (la valeur attendue du
coefficient dinertie, dans
ce cas, est gale 0,75 0,729).
1.3.3.5 Stratgie FIPS
Kennedy et Mendes [Mend 04] ont propos une nouvelle manire
dutiliser la topolo-
gie Gbest, appele FIPS (Fully Informed Particle Swarm). FIPS
utilise une partie des informa-
tions de chaque voisine, au lieu de se baser seulement sur les
informations de la meilleure
voisine et la meilleure exprience propre la particule. Par
consquent, lutilisation dune
topologie entirement connecte ne signifie pas que linformation
utilise soit seulement
27
-
Mtaheuristiques doptimisation : tat de lart
la meilleure solution trouve par lessaim. En effet, dans FIPS,
elle est toujours utilise,
mais elle nest pas la seule. Pour les algorithmes bass sur le
principe de la topologie FIPS,
linformation utilise pour dplacer les particules est issue de
toutes les autres particules.
Ainsi, toutes les voisines contribuent lajustement de la vitesse
dune particule :
vt+1i =
(
vti +Ni
n=1
U(0,)(ptnbr(n) xti)Ni
)
(1.3.8)
o Ni est le nombre de voisins de la particule i, nbr(n) est la
nime particule voisine de la
particule i et est la constante dacclration, qui permet de
contrler la convergence des
particules. Cette dernire est fixe 4,1, suite lanalyse de Clerc
et al [Cler 02].
1.3.3.6 Algorithme TRIBES
TRIBES est un algorithme doptimisation par essaim particulaire
sans paramtres de
contrle, qui a t propos par Clerc [Cler 03]. Cet algorithme
prsente la particularit
dtre totalement adaptatif, cest--dire que tous les paramtres de
contrle sont calculs
de manire autonome par lalgorithme. En effet, TRIBES est dfini
comme une bote noire,
pour laquelle lutilisateur na plus aucun paramtre rgler. Il doit
seulement dfinir le
problme rsoudre (i.e. la fonction objectif, lespace de
recherche, les contraintes), ainsi
que son critre darrt. Cependant, il est signaler que TRIBES ne
peut pas rsoudre tous
les problmes. De plus, ses rsultats sont probabilistes cause de
son caractre stochas-
tique. Le but de TRIBES, daprs son auteur, est dtre efficace
dans la plupart des cas
et de permettre ses utilisateurs de gagner du temps, en vitant
ltape de rglage de la
mtaheuristique.
Dans TRIBES, lessaim particulaire est divis en plusieurs
sous-essaims appels tri-
bus . Les tribus sont de tailles diffrentes, qui voluent au
cours du temps. Le but est
dexplorer simultanment plusieurs rgions de lespace de recherche,
gnralement des
optima locaux, avant de prendre une dcision globale. Dans le but
de prendre un telle
dcision, les tribus changent leurs rsultats tout au long du
traitement. Deux types de
communications sont donc dfinir : la communication intra-tribu
et la communication
inter-tribus. Chaque tribu est compose dun nombre variable de
particules. En effet, une
tribu qui peine amliorer ses rsultats gnre des particules plus
exploratrices . Les
particules gnres par les diffrentes tribus forment une nouvelle
tribu, qui reste en com-
munication avec ses gnitrices. Inversement, une tribu efficace
tendra supprimer celles
28
-
Mtaheuristiques doptimisation : tat de lart
de ses particules qui nont pas contribu sa bonne
performance.
TRIBES est un algorithme comptitif, qui permet de trouver
rapidement des optima
locaux (trs utile pour loptimisation dynamique). Cependant, les
particules ont tendance
rester dans ces optima locaux et ont du mal en sortir.
La thse de Yann Cooren [Coor 08] sattache particulirement
lalgorithme TRIBES,
qui est en dtail. Cest ainsi que Cooren a propos deux ides qui
permettent damliorer
les performances de cet algorithme :
La premire ide consiste utiliser un nouveau mode dinitialisation
(initialisation
rgulire) pour assurer une couverture plus uniforme de lespace de
recherche par
les particules. En pratique, les particules sont initialises de
manire tre les plus
loignes possible les unes des autres et les plus loignes
possible des frontires de
lespace de recherche.
La deuxime ide consiste utiliser une nouvelle stratgie de
dplacement, base sur
une hybridation avec un algorithme estimation de distribution,
pour maintenir la
diversit au sein de lessaim, tout au long du traitement.
Les rsultats obtenus montrent une relle amlioration apporte
lalgorithme initial.
Dans sa thse, Yann Cooren a propos aussi une version performante
pour les problmes
multi-objectifs, dnomme MO-TRIBES.
1.3.3.7 PSO et hybridation
Ces dernires annes, lhybridation des algorithmes a attir
lattention de nombreux
chercheurs afin damliorer leurs performances. Lobjectif de
lhybridation est de combiner
les caractristiques de plusieurs algorithmes pour tirer profit
de leurs avantages [Talb 02].
Mais lalgorithme rsultant risque dhriter galement de leurs
faiblesses. De plus, un al-
gorithme rsultant de lhybridation de plusieurs algorithmes peut
avoir une complexit
importante. Comme pour toutes les mtaheuristiques, lhybridation
a aussi touch le do-
maine de PSO dans le but damliorer ses performances. Dans ce qui
suit, nous prsentons
quelques exemples dhybridations entre PSO et dautres
algorithmes.
Dans [Ange 98], Angeline a propos la premire hybridation dun
algorithme PSO. Il
introduit un processus de slection et un processus de mutation
inspirs des algorithmes
volutionnaires. Le processus de slection est utilis pour choisir
des bonnes parti-
cules qui vont subir une mutation, et des mauvaises particules
qui sont limines.
29
-
Mtaheuristiques doptimisation : tat de lart
Dans [Zhan 09], une approche originale dhybridation, qui est une
combinaison de PSO et
DE (DE-PSO), est propose. Cette approche consiste dfinir une
stratgie de dplacement
alatoire pour accrotre la capacit dexploration et en mme temps
acclrer la conver-
gence de lalgorithme, en utilisant des oprateurs de lalgorithme
DE. Dans cette approche,
trois stratgies demise jour de la particule ont t utilises
:DEUpdating Strategy (DEUS),
Random Updating Strategy (RUS) et PSO Updating Strategy (PSOUS).
Dans [Mira 02], une
hybridation entre PSO et les stratgies volutionnaires est
propose. Les paramtres chi,
1 et 2, ainsi que ~g, sont perturbs selon une distribution
gaussienne. La variance de cette
distribution est dtermine laide dun processus de slection. Dans
[Robi 02], une hy-
bridation entre PSO et les algorithmes gntiques est dveloppe. Il
est dmontr dans cet
article que PSO est favorable dans la phase de diversification,
alors que les algorithmes g-
ntiques sont plus efficaces dans la phase dintensification. Dans
[Shel 07], un algorithme
de PSO est hybrid avec un algorithme de colonies de fourmis.
Lide sous-jacente consiste
utiliser PSO comme mthode de recherche globale, alors que
lalgorithme de colonies
de fourmis est cens amliorer le processus dintensification, en
tant utilis comme une
recherche locale. Dans [Iqba 06], un algorithme de PSO utilisant
des principes des algo-
rithmes estimation de distribution est prsent. Les meilleures
particules sont ici utili-
ses pour attirer les autres particules de lessaim laide de
lestimation dune distribution
de probabilit. Enfin, il existe aussi plusieurs mthodes
hybridant PSO avec une recherche
locale. Parmi ces mthodes, nous citons NM-PSO, qui est une
combinaison de la technique
de Nelder-Mead (NM) et de PSO. Dans NM-PSO, le processus hybride
ralise lexploration
par lalgorithme PSO et lexploitation par lalgorithme NM [Fan
04].
1.3.3.8 PSO cooprative
Les algorithmes de recherche coopratifs, notamment ceux de PSO,
ont t large-
ment tudis ces dernires annes, surtout pour rsoudre les problmes
doptimisation de
grande tailles. Lapproche de base consiste avoir plus dun module
de recherche en cours
dexcution (peut-tre travers des sous-essaims) et un change
dinformations entre eux,
afin dexplorer plus efficacement lespace de recherche et
datteindre de meilleures solu-
tions.
Dans [Berg 04], les auteurs proposent deux variantes de PSO :
Cooperative PSO
(CPSO-Sk) et Hybrid CPSO (CPSO-H). La premire variante CPSO-S
divise lespace n-
dimensionnel (vecteur de solutions de dimension n) en
sous-espaces (de plus petits vec-
30
-
Mtaheuristiques doptimisation : tat de lart
teurs), o chaque sous-espace est optimis par un essaim spar. Le
vecteur global de so-
lutions est construit partir des solutions trouves par la
meilleure particule de chaque
essaim. Dans le cas particulier o n = k, lalgorithme est appel
CPSO-S et utilise
n essaims 1-dimensionnel pour effectuer la recherche dans chaque
dimension spar-
ment. La deuxime variante CPSO-H consiste en deux phases de
recherche squentielle.
Chaque phase sexcute seulement pour une itration et communique
la meilleure solu-
tion trouve la phase suivante. La premire phase utilise un
CPSO-S (avec des essaims
1-dimensionnel) et la seconde phase utilise lalgorithme de base
de PSO.
Dans [Bask 04], lalgorithme Concurrent PSO (CONPSO) considre
deux essaims en
concurrence qui sont gnrs laide de deux variantes de PSO : PSO
de base et Fitness-
to-Distance Ratio PSO (FDR-PSO) [Pera 03]. Ces deux essaims
effectuent la recherche en
mme temps avec un change frquent dinformations. Les informations
changes sont
les meilleures solutions globales gbest1 et gbest2 de deux
essaims. Aprs chaque point
dchange, les particules des essaims sont obliges de suivre la
meilleure solution globale
trouve entre les deux.
Dans [Yen 08], les auteurs prsentent une autre mthode dchange
dinformations
entre les essaims, dans laquelle la population des particules
est divise en m sous-essaims
qui cooprent entre eux. Au moment de lchange, chaque sous-essaim
prpare deux en-
sembles de particules : les particules envoyer un autre
sous-essaim et les particules
remplacer par dautres particules venant dautres sous-essaims.
Lchange dinformations
se fait entre sous-essaims du mme voisinage, dtermin par une
distance qui change au
cours de lexcution de lalgorithme. Ceci fournit une
configuration dynamique entre les
sous-essaims, grce au changement de distance, qui permet chacun
dentre eux de com-
muniquer avec dautres groupes.
Un autre algorithme de PSO cooprative a t propos dans [Niu 07],
bas sur un mo-
dle matre-esclave. Dans cet algorithme, la population se compose
dun essaim matre
et plusieurs essaims esclaves . Les essaims esclaves excutent un
seul PSO indpen-
damment pour maintenir la diversit des particules, tandis que
lessaim matre volue en
fonction de son information propre et de celle des essaims
esclaves.
1.3.3.9 Autres variantes de PSO
Dans [Hsie 09], Hsieh et al. proposent un algorithme (EPU-PSO)
bas sur une popu-
lation de taille variable qui utilise trois ides principales
pour amliorer les performances
31
-
Mtaheuristiques doptimisation : tat de lart
de PSO. La premire ide introduit un gestionnaire de la
population o, selon ltat de
la recherche, lalgorithme ajoute ou supprime des particules.
Cette dynamicit affecte
considrablement les performances et augmente la capacit trouver
loptimum global.
La deuxime ide est base sur la stratgie dite solution-sharing
strategy, qui permet aux
meilleures particules de partager leurs informations et de
mettre jour leurs vitesses. La
troisime ide porte sur la technique dite searching range sharing
(SRS), qui empche les
particules de tomber dans un optimum local. En outre, SRS tend
lexploration de lespace
de recherche des zones inexplores. CLPSO [Lian 06] est une
variante de PSO qui utilise
une nouvelle stratgie dapprentissage (learning strategy) pour
mettre jour les vitesses des
particules utilisant des informations historiques. UPSO [Pars
04] est un algorithme de PSO
qui regroupe les variantes globale et locale de PSO, en
combinant leurs capacits dexplo-
ration et dexploitation.
1.4 Validation des algorithmes
Dans cette section, nous allons prsenter les fonctions et les
problmes rels utiliss
pour comparer les rsultats obtenus par les algorithmes que nous
proposons dans ce ma-
nuscrit ceux dautres algorithmes existants dans la littrature.
Nous nous appuyons, pour
comparer les algorithmes, sur la procdure de test dfinie dans le
cadre de la confrence
2005 IEEE Congress on Evolutionary Computation (CEC05) [Suga
05].
Le critre darrt peut tre diffrent suivant le problme pos. Si
loptimum global est
connu a priori, on peut dfinir une erreur acceptable comme
critre darrt. Sinon, il est
habituel de fixer un nombre maximum dvaluations de la fonction
objectif ou un nombre
maximum ditrations comme critre darrt. Cependant, selon le
problme pos et les
exigences de lutilisateur, dautres critres darrt peuvent tre
utiliss.
1.4.1 Principales fonctions de test
Les principales fonctions de test sont classes en quatre groupes
(voir Tableau 1.1) en
fonction de leurs proprits [Suga 05, Tu 04, Yao 99].
Dans lannexe, nous dtaillons ces quatre groupes.
32
-
Mtaheuristiques doptimisation : tat de lart
Groupe Type de fonction Nom de fonction
A Fonctions unimodalesf1. Sphere functionf2. Quadric
function
B Fonctions multimodales
f3. Rosenbrocks functionf4. Ackleys functionf5. Rastrigins
functionf6. Weierstrasss functionf7. Generalized penalized
functionf8. Griewanks functionf9. Tripods function
C Fonctions pivotes
f10. Rotated Quadric functionf11. Rotated Rosenbrocks
functionf12. Rotated Ackleys functionf13. Rotated Rastrigins
functionf14. Rotated Weierstrasss functionf15. Rotated Generalized
penalized function
D Fonctions dcales
f16. Shifted Rosenbrocks functionf17. Shifted Ackleys
functionf18. Shifted Rastrigins functionf19. Shifted Griewanks
functionf20. Shifted Sphere function
TABLEAU 1.1: Les principales fonctions de test.
1.4.2 Problmes rels
Quelques problmes rels trs frquents dans le domaine
doptimisation et utiliss
pour mesurer les performances des algorithmes, sont prsents dans
le tableau 1.2 et d-
taills dans lannexe.
1.5 Conclusion
Dans ce chapitre, nous avons prsent un tat de lart sur les
mthodes dopti