2
• Idée générale• Définition• Le principe de boosting• Historique• AdaBoost
–L'Algorithme de AdaBoost– ILLUSTRATION–Les avantages et les inconvénients
pratiques de AdaBoost• Conclusion
• Le mot boosting s’applique à des méthodesgénérales capables de produire des décisionstrès précises à partir d’un ensemble de règlesde décision « faibles ».
« Le boosting combine des hypothèses dites
faibles en une hypothèse dite forte »
4
• Faire simple pour faire compliqué
il est facile de trouver des règles simples,
généralement justes.
il est très difficile de trouver une règle "fortes" qui
est vérifiée dans tous les cas.
• Le principe est issu de la combinaison de classifieurs (appelés également hypothèses).
5
• La catégorisation
• Détection et classement d’objet dans des images
• Le filtrage de texte
• Bioinformatique
6
7
1989 1990 1992 1996
Schapirealgorithme de weaklearner
FreundAlgorithmeoptimal par
votes pondérés
Drucker & al Premières mises en
œuvres réellesFreund & Schapire
Adaboost
• Adaboost (Adaptive Boosting, R.Scharpire,Y.Freund, 1996) est une méthode deboosting (intelligence artificielle,apprentissage automatique) introduite parYoav Freund et Robert Schapire.
• Adaboost consiste à transformer, d’une manièreefficace, un classifieur «faible» en un classifieur«fort» en réduisant les taux d’erreur.
8
Les avantages:• très rapide.
• Simple et facile à programmer.
• Une seul paramètre à régler.
• Permet de trouver les exemples aberrants.
Les inconvénients:Les performances d’ADABOOST sont influencées par :
• Le choix du weak learner.
• La nature des données d’apprentissage.
16
Le boosting est un outil efficace expérimentalement Basé sur une théorie mathématique et trois principes essentiels:
1- Combiner les estimations de différents experts.
2- Modifier, avant chaque ajout d’un expert, la distribution des exemples.
3- Au final, utiliser une moyenne des « votes » des experts, pondérée par leurs fiabilités respectives.
• Permet d’obtenir un très bon classifieur en associant des classifieurs « faibles »
17