Introduction Approches discriminantes Approches g ´ en´ eratives et les inclassables M´ ethodes ensemblis Quelques algorithmes usuels de classification supervis ´ ee C´ ecile Capponi, R ´ emi Eyraud, Sebastien Delecraz [email protected]Universit ´ e d’Aix-Marseille L3 Informatique – UFR Sciences Introduction ` a l’Apprentissage Automatique
102
Embed
Quelques algorithmes usuels de classification superviséeremi.eyraud/AA/L3InfoIAA...Introduction Approches discriminantes Approches gen´ ´eratives et les inclassables M´ethodes
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Quelques algorithmes usuels declassification supervisee
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Outline
1 Introduction
2 Approches discriminantesLes approches par separation lineaire
De quoi parle-t-on ?Le perceptronLes Separateurs a Vastes MargesLa regression logistique
Approches non lineairesDe la separation lineaire a la separation non-lineaireLe perceptron multi-couchesLes arbres de decision
3 Approches generatives et les inclassablesClassifieur naıf de BayesLes k plus proches voisins
4 Methodes ensemblistesMotivationsLe BaggingRandom subspacesForets aleatoiresUn cas particulier : le boostingCombinaison de noyaux (MKL)
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Rappel de la problematique : classification binaire supervisee
Apprentissage automatique = apprendre un modele formel a partir dedonnees observees
Classification supervisee – formalisation
X espace d’entree, Y espace des cibles (fini en classification)
Une variable aleatoire Z = (X ,Y ) a valeurs dans X × YLes exemples sont des couples (x , y) ∈ X × Y tires selon la distributionjointe P(Z = (x , y)) egale a P(X = x)P(Y = y |X = x) si P(X = x) 6= 0.
D distribution sur Z = X × YStrain = {(xi , yi)}n
i=1 echantillon de n v.a. Independamment etIdentiquement Distribuees (IID) suivant D
A partir de Strain trouver f : X → Y telle que h∗ = argminh R(h) ouR(h) = PX ,Y∼D(h(X ) 6= Y )
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Rappel de la problematique : classification binaire supervisee
Apprentissage automatique = apprendre un modele formel a partir dedonnees observees
distributioninconnue
p(y|x)
etiquetage
y
soit la plus petite possible.
x
S = {(x1, y1), . . . , (xl, yl)} tire selon p(x, y) = p(x)p(y|x)
z
non deterministep(x)
X : domaine des descriptions Y : ensemble des classes
Objectif : trouver f : X → Y dont l’erreur R(f) = P (y 6= f(x))
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Classification grossiere des approches en classification supervisee
Les approches discriminantes (extrait)
Approches fondees sur l’apprentissage d’un modele discriminatif = modelede la probabilite conditionnelle de la cible Y etant donnee une observationX : modelisation de P(Y |X = x) ; seuil de decision.
Regression logistique, Arbres de decisions
Perceptron, SVM et Reseaux de neurones
Les approches generatives (extrait)
A partir d’une variable observee X et d’une variable cible Y , un modelegeneratif est un modele statistique de la distribution jointe P(X ,Y ).
Classification naıve de Bayes
Analyse lineaire discriminante
Quelques cas particuliers (extrait)
Les k -plus-proches voisins – pas de modele
Methodes ensemblistes (e.g. boosting) – melanges de modeles
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Outline
1 Introduction
2 Approches discriminantesLes approches par separation lineaire
De quoi parle-t-on ?Le perceptronLes Separateurs a Vastes MargesLa regression logistique
Approches non lineairesDe la separation lineaire a la separation non-lineaireLe perceptron multi-couchesLes arbres de decision
3 Approches generatives et les inclassablesClassifieur naıf de BayesLes k plus proches voisins
4 Methodes ensemblistesMotivationsLe BaggingRandom subspacesForets aleatoiresUn cas particulier : le boostingCombinaison de noyaux (MKL)
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Outline
1 Introduction
2 Approches discriminantesLes approches par separation lineaire
De quoi parle-t-on ?Le perceptronLes Separateurs a Vastes MargesLa regression logistique
Approches non lineairesDe la separation lineaire a la separation non-lineaireLe perceptron multi-couchesLes arbres de decision
3 Approches generatives et les inclassablesClassifieur naıf de BayesLes k plus proches voisins
4 Methodes ensemblistesMotivationsLe BaggingRandom subspacesForets aleatoiresUn cas particulier : le boostingCombinaison de noyaux (MKL)
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Dans R2, recherche d’une droite qui separe les classes
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
De quoi parle-t-on ?
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Notations
Du cas 1 dimension au cas d dimensions : chez les informaticiens
x un scalaire, x = 5.07824
x un vecteur, x =
x1
x2
· · ·xd
, transpose : xT = (x1, x2, · · · , xd)
M une matrice, M =
x1,1 x1,2 · · · x1,d
x2,1 x2,2 · · · x2,d
· · · · · · · · · · · ·xn,1 xn,2 · · · xn,d
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Rappels : espaces vectoriels
u, v,w, c sont des vecteurs
w = u− v (vecteurs rouges)
c = 12 (u + v) (en bleu)
Ici, 0 < λ < 1
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Rappels : produit scalaire (suite)
Produit scalaire et orientation de vecteurs
〈u− v, e〉 > 0: u− v et e vont dans le meme sens
〈u− v, f〉 = 0: u− v et f sont orthogonaux
〈u− v,g〉 < 0: u− v et g vont dans des sens opposes
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Un simple classifieur lineaire
Centres de gravite des classes
c+ = 1n+∑
i:yi=+1 xi
c− = 1n−∑
i:yi=−1 xi
c = 12 (c
+ + c−)w = c+ − c−
Fonction de decision
Elle classe chaque x dans la classe qui a le centre le plus proche
Pour x ∈ X , il suffit de prendre le signe du produit scalaire entre w etx− cSi h(x) = 〈w, x− c〉, on a le classifieur f (x) = sign(h(x))Hyper-plan en pointilles (H), de vecteur normal w, est la surface dedecision
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Apprentissage de discriminants lineaires : bilan
Quelle expressivite ? Observons le cas de deux classes (binaire)
Apparemment peu d’expressivite, mais on remarque que :
2 points de R1 sont toujours lineairement separables
3 points (ou moins) de R2 sont toujours lineairement separables
4 points (ou moins) de R3 sont toujours lineairement separables
n (ou moins) points de Rn−1 sont toujours lineairement separables
Validite de l’approche dans des espaces de grandes dimensions
(Un peu) moins de points que de dimensions decrivant ces points
Renforcee par methodes a noyaux dans autres cas
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Le perceptron
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Initialement, imitation du fonctionnement d’un neurone
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
La machine perceptron de Rosenblatt (1958-62)
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Perceptron = un algorithme d’apprentissage de discriminant lineaire,cas binaire
Hypothese : les donnees sont lineairement separables
Un vieux truc qui a bien evolue (1958–2012→∼ 50 ans)
Association de plein de perceptrons agglomeres en couches de perceptronsindependants, associees a d’autres telles couches anterieures etposterieures, de tailles diverses : les reseaux de neurones ! Le deeplearning !
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Outline
1 Introduction
2 Approches discriminantesLes approches par separation lineaire
De quoi parle-t-on ?Le perceptronLes Separateurs a Vastes MargesLa regression logistique
Approches non lineairesDe la separation lineaire a la separation non-lineaireLe perceptron multi-couchesLes arbres de decision
3 Approches generatives et les inclassablesClassifieur naıf de BayesLes k plus proches voisins
4 Methodes ensemblistesMotivationsLe BaggingRandom subspacesForets aleatoiresUn cas particulier : le boostingCombinaison de noyaux (MKL)
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
De la separation lineaire a la separationnon-lineaire
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
L’astuce du noyau (kernel trick)
Classification lineaire dans l’espace des caracteristiquesfeature spa e Hinput spa e X �Implementer un algorithme lineaire connu (perceptron, SVM) dans H :
h(x) =∑
i=1,...,n
αi〈φ(xi), φ(x)〉H + b
Comment trouver cette transformation φ ?
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
L’astuce du noyau (kernel trick)
separating surfaceone possible separating hyperplaneno separating hyperplane
input spa e X input spa e Xfeature spa e H�La recette de l’astuce du noyau
Choisir un algorithme de classification lineaire (exprime en termes deproduits scalaires 〈·, ·〉)Remplacer chaque occurence de 〈·, ·〉 par un noyau k(·, ·)
Classifieur obtenu :
f (x) = sign
∑i=1,...,n
αik(xi , x) + b
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Illustration sur le classifieur kernelise, cas du noyau gaussien
Noyau RBF (gaussien)
k(u, v) = exp(− ‖u−v‖2
2σ2
), σ2 > 0
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Illustration sur le classifieur kernelise, cas du noyau gaussien
σ = 0.05, 0.1, 0.2
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Cas des SVM a noyaux : bilan
Performants sur des jeux de donnees de dimension raisonnable
Separation lineaire tolerante au bruit (marges douces)
Adaptes a l’astuce du noyau (SVM originaux = SVM lineaire = SVM anoyau k(x , x ′) = 〈x , x ′〉)Quelques hyper-parametres a regler
Il existe des fonctions noyaux bien connues, mais (presque) pas derecette pour choisir la bonne...
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Deep learning = apprentissage profond
Plusieurs couches cachees (≥ 3) : profondeur
Apprentissage de representations abstraites des donnees
De nombreux parametres a apprendre pour obtenir un modelenon-lineaire
De nombreuses architectures, PMC = cas particulier
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Les arbres de decision
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Arbres de decision : modele a base de regles
Definition
Arbre de regles portant sur des tests effectues sur les attributs des donnees
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Arbres de decision : modele a base de regles
Definition
Arbre de regles portant sur des tests effectues sur les attributs des donnees
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Arbres de decision : modele a base de regles
Definition
Arbre de regles portant sur des tests effectues sur les attributs des donnees
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Structure generique de l’algorithme
Require: echantillon S1: Initialiser l’arbre courant a vide : racine = noeud courant2: repeat3: Decider si le noeud courant est terminal4: if noeud terminal then5: Lui affecter une classe6: else7: Selectionner un test et creer autant de nouveaux noeuds qu’il y a
de reponses possibles au tests8: end if9: Passer au noeud suivant non-explore (s’il existe)
10: until Plus de noeud sans classe11: return Arbre de decision A
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Structure generique de l’algorithme (cont’d)
Noeud terminal ?
Lorsque (presque) tous les exemples de S en ce noeud sont dans lameme classe,
Lorsqu’il n’y a plus d’attributs a tester a ce niveau
Quelle classe a un noeud terminal ?
Classe majoritaire
Classe la plus representee, si egalite
Selection d’un test ?
Choix de l’attribut qui fait le mieux progresser la discrimination des donneesde S : gain en information.
Indice de Gini (CART)
Critere d’entropie (C4.5)
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Arbres de decision, bilan
Principe general
Construction top-down, gloutonne et recursive, d’un petit arbre consistantavec la plupart des donnees
Remarques
Instabilite
Sur-apprentissage si arbres trop profonds
Interpretabilite
Efficace sur donnees symboliques, adaptation necessaire sur colonnescontinues
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Outline
1 Introduction
2 Approches discriminantesLes approches par separation lineaire
De quoi parle-t-on ?Le perceptronLes Separateurs a Vastes MargesLa regression logistique
Approches non lineairesDe la separation lineaire a la separation non-lineaireLe perceptron multi-couchesLes arbres de decision
3 Approches generatives et les inclassablesClassifieur naıf de BayesLes k plus proches voisins
4 Methodes ensemblistesMotivationsLe BaggingRandom subspacesForets aleatoiresUn cas particulier : le boostingCombinaison de noyaux (MKL)
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Le classifieur naıf de Bayes
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Rappel : algorithme du classifieur naıf de Bayes
Algorithme d’apprentissage, cas des attributs discrets
A partir de l’echantillon d’apprentissage, si K est le nombre de classes :
pour tout attribut x j , estimer P(x j |y) par des calculs de frequences
estimer p(y) par la frequence de chaque classe possible
retourner {P(x j |yk )}d,Kj=1,k=1, et {P(yk )}K
k=1
Fonction de decision
Pour tout nouvel exemple xq = [x1q , x2
q , . . . , xdq ], pour toute classe yk possible,
calculer la probabilite
πk = P(xq |yk )P(yk ) = P(yk )d∏
j=1
P(x jq |yk )
Renvoyer la classe yk pour laquelle πk est la plus grande
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Les k plus proches voisins
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Un premier algorithme d’apprentissage les k -plus proches voisins
Methode de classification supervisee, avec la definition d’une distance entreles points d : X → R+ (ex. distance euclidienne)
Intuition de la methode, soit l’echantillon S = {(xi , yi)}ni=1
Pour chaque nouvel exemple x ∈ X , calculer ses k plus proches voisins dansS selon une distance d a definir, et choisir pour x l’etiquette majoritaire parmices k voisins.
Algorithme en O(n)
En parcourant chaque xi ∈ X , extraire Vk (x) = {r1, · · · , rk} = les indices idans S des k plus proches voisins de x
Calculer f (x) = argmaxy∈Y
k∑j=1
I(y = yrj )
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Illustration des k -NN (1)
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Illustration des k -NN (2)
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Pro’s and con’s des k -NN
Avantages
Simple, non-parametrique
Choix de k facile, par validation croisee
Sous sklearn : https://scikit-learn.org/stable/modules/generated/sklearn.neighbors.KNeighborsClassifier.html
Inconvenients
Overfitting si k est grand, underfitting si k petit
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Outline
1 Introduction
2 Approches discriminantesLes approches par separation lineaire
De quoi parle-t-on ?Le perceptronLes Separateurs a Vastes MargesLa regression logistique
Approches non lineairesDe la separation lineaire a la separation non-lineaireLe perceptron multi-couchesLes arbres de decision
3 Approches generatives et les inclassablesClassifieur naıf de BayesLes k plus proches voisins
4 Methodes ensemblistesMotivationsLe BaggingRandom subspacesForets aleatoiresUn cas particulier : le boostingCombinaison de noyaux (MKL)
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Apprentissage par selection aleatoire de sous-espaces
Random subspaces : principe proche de celui du Bagging
Plusieurs modeles appris sur des sous-ensembles d’attributs
Algorithme d’apprentissage de F = {ft(.)}Tt=1 sur S = {(xi , yi)}n
i=1
Avec xi ∈ Rd , yi ∈ Y, T la taille de l’ensemble de classifieurs, nt < n lenombre d’attributs a selectionner pour apprendre le modele t
1 Pour chaque modele t de l’ensemble, creer un sous-echantillond’apprentissage St constitue des n exemples de S decrits selon nt
attributs choisis aleatoirement avec remise.
2 Pour chaque sous-echantillon St , apprendre un classifieur ft(x)3 Decision finale f (x) =
∑Tt=1 ft(x)/T (ou autre combinaison)
En pratique
Pallier la seule focalisation sur les attributs hautement predictifs
Favorable quand d >> n (small data)
sklearn : meme classe que le bagging
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Outline
1 Introduction
2 Approches discriminantesLes approches par separation lineaire
De quoi parle-t-on ?Le perceptronLes Separateurs a Vastes MargesLa regression logistique
Approches non lineairesDe la separation lineaire a la separation non-lineaireLe perceptron multi-couchesLes arbres de decision
3 Approches generatives et les inclassablesClassifieur naıf de BayesLes k plus proches voisins
4 Methodes ensemblistesMotivationsLe BaggingRandom subspacesForets aleatoiresUn cas particulier : le boostingCombinaison de noyaux (MKL)
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Forets aleatoires (random forests) : un bagging + RS sur arbres
Principe : decorreler les arbres de l’ensemble
Pour decorreler leurs erreurs
Chaque arbre est appris sur un sous-ensemble de l’echantillon initial S(en pratique, boostrap 66% avec remise)
Lors de l’apprentissage de chaque arbre, chaque test est selectionnesur la base de k attributs tires aleatoirement parmi les d de l’espace dedescription, souvent k =
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Schema general des random forests
Source: Y. Mansiaux
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Outline
1 Introduction
2 Approches discriminantesLes approches par separation lineaire
De quoi parle-t-on ?Le perceptronLes Separateurs a Vastes MargesLa regression logistique
Approches non lineairesDe la separation lineaire a la separation non-lineaireLe perceptron multi-couchesLes arbres de decision
3 Approches generatives et les inclassablesClassifieur naıf de BayesLes k plus proches voisins
4 Methodes ensemblistesMotivationsLe BaggingRandom subspacesForets aleatoiresUn cas particulier : le boostingCombinaison de noyaux (MKL)
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
La metaphore des aveugles face a un elephant
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
ADABOOST [Freund et.al, 1996]
Principe du boosting et d’AdaBoost
Apprendre une regle de classification forte a partir d’un vote pondere deregles faibles globalement (a peine mieux que le hasard), maisattendues expertes localement
Un algorithme iteratif avec changement progressif de la distribution del’echantillon d’apprentissage : inciter l’iteration suivante a se focaliser surles exemples difficiles
Illustration
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
ADABOOST [Freund et.al, 1996]
Principe du boosting et d’AdaBoost
Apprendre une regle de classification forte a partir d’un vote pondere deregles faibles globalement (a peine mieux que le hasard), maisattendues expertes localement
Un algorithme iteratif avec changement progressif de la distribution del’echantillon d’apprentissage : inciter l’iteration suivante a se focaliser surles exemples difficiles
Illustration
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
ADABOOST [Freund et.al, 1996]
Principe du boosting et d’AdaBoost
Apprendre une regle de classification forte a partir d’un vote pondere deregles faibles globalement (a peine mieux que le hasard), maisattendues expertes localement
Un algorithme iteratif avec changement progressif de la distribution del’echantillon d’apprentissage : inciter l’iteration suivante a se focaliser surles exemples difficiles
Illustration
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
ADABOOST [Freund et.al, 1996]
Principe du boosting et d’AdaBoost
Apprendre une regle de classification forte a partir d’un vote pondere deregles faibles globalement (a peine mieux que le hasard), maisattendues expertes localement
Un algorithme iteratif avec changement progressif de la distribution del’echantillon d’apprentissage : inciter l’iteration suivante a se focaliser surles exemples difficiles
Illustration
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
ADABOOST [Freund et.al, 1996]
Principe du boosting et d’AdaBoost
Apprendre une regle de classification forte a partir d’un vote pondere deregles faibles globalement (a peine mieux que le hasard), maisattendues expertes localement
Un algorithme iteratif avec changement progressif de la distribution del’echantillon d’apprentissage : inciter l’iteration suivante a se focaliser surles exemples difficiles
Illustration
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
AdaBoost : cadre supervise
AdaBoost [Freund et al. 1996]
Donnees : S = {(x1, y1), ..., (xn, yn)} ou xi ∈ X , yi ∈ {−1,+1}Initialiser D1(i) = 1/nPour t = 1...T :
1 Extraire aleatoirement de S un sous-echantillon St i.i.d. selon Dt
2 Apprendre ht : X → {−1,+1} sur St ,Dt avec erreur
εt =n∑
i=1
Dt(i)I(ht(xi 6= yi)
3 Choisir αt =12 ln( 1−εt
εt)
4 Mise a jour de la distribution :
Dt+1(i) =Dt(i)exp(−αtytht(xi))
Zt
ou Zt est un coefficient de normalisation
Sortie : H(x) = sign(∑T
t=1 αtht(x))
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Complements : comportement sur differents problemes
Chaque point = un dataset = (erreur algo1, erreur algo2)
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Autres omplements
Proprietes
the good bonnes proprietes de generalisation, rarement desur-apprentissage, pas d’hyper-parametre trop complique aajuster, calculable, facile a implementer, jolies garantiestheoriques
the bad mauvaise tolerance au bruit, necessite pas mal de donnees,necessite des apprenants faibles un peu instables
and the crazy Fonctionne aussi sur classifieurs forts, mais pas toujours
Variantes
Des centaines de variantes
Gradient Boosting : autres fonctions de perte (M1)
Ca marche grace a la marge (cf. SVM)
Introduction Approches discriminantes Approches generatives et les inclassables Methodes ensemblistes
Boosting : bilan
A retenir
Prediction finale issue d’une combinaison lineaire de predictions(locales)
Methode iterative, gloutonne
Chaque classifieur depend des precedents (pas d’independance commedans bagging)