Complexité et Classification

Complexit et ClassificationQuelques aspects algorithmiques de problmes de classificationRichard NockDSI-GRIMAAGUniversit Antilles-Guyane,Campus de Schoelcher,Schoelcher, Martinique, Francernock@martinique.univ-ag.frhttp://www.martinique.univ-ag.fr/~rnockGroupe de Recherche en Informatique et Mathmatiques Appliques des Antilles-GuyaneDpartement Scientifique Interfacultaire

BackgroundIngnieur Agronome (1993)DEA Informatique (1993)Doctorat Informatique (1998) directeur: O. GascuelMcf UAG Guadeloupe (1998-2000)Mcf UAG Martinique (2000-)

Thmes de recherche actuelsAlgorithmes dapprentissage/classificationThorie(Complexit, stats/probas)Analyse dimages

Graph1

311

8

22

Repas

#REF!

#REF!

Feuil1

Repas

3

8

22

Thmes de recherche actuelsNP-CompltudeRsultats dinapproximabilit appliqus en ML/CConcentration de v.a.Bornes derreur sur algorithmes dapprentissage+-

Graph1

311

8

22

Repas

#REF!

#REF!

Feuil1

Repas

3

8

22

RsumApprentissage et classificationComplexit algorithmiqueApplication lapprentissageConclusion

Apprentissage et classificationIntroduction

Apprendre ?Apprendre = capacit pour une entit damliorer ses capacits de manire automatique, par lexprience.Valiant (1984): 2 contraintes: Algorithmique: apprendre rapide Statistique: apprendre fiable

Apprendre ??Quapprends-ton dun point de vue informatique ?Dtail des contraintes du modle de Valiant ?

Apprentissage et classificationLe modle PACde L. Valiant

Observations et ExemplesDomaineConceptExemples

Un exemplecibletirs selon D2 classes

Grandes tapesyx1- Collecte des exemples2- Construction dune hypothse3- Qualit de lhypothse ?

EvaluationyxABCProb. Err.=Problme ??

Evaluationyx1- Pas daccs Prob. Err. !2- Uniquement Freq. Err.3- Comment assurer qualit ?Problme !Freq. Err. =04- Et si distrib. quelconque ??5- Et si distrib. inconnue ???

Solution: modle PAC Iyx1- Requrir Prob. Err. limiteavec une forte probabilit2- Sachant la distribution mais fixequelconqueinconnue3- Tirer suffisamment dexemples

Modle PAC II1- A partir de l, comment trouver la meilleure formule ?Indp. du nb dexemples2- Il suffirait de disposer dun algorithme numranttoutes les formules possiblesProblme ?3- Enumration souvent exponentielledonc inutilisableProblme !

Solution1- Exiger que lalgorithme fonctionne rapidement2- Exiger un algorithme polynomialRectangles en 2D: facile

Modle de Valiant (1984)Une classe de reprsentation de concepts C est apprenable au sens du modle PAC ssi il existe un algorithme A vrifiant les deux conditions suivantes:

Modle de ValiantA fonctionne en temps polynomialTaille du conceptcible# Variables de descriptionConfianceFiabilit

Prouver que C nest pas PACTrop dexemples ncessaires pour satisfaire la premire condition Temps de calcul rhdibitoire pour satisfaire la deuxime condition

Complexit algorithmiqueIntroduction

Les problmes de dcisionProblme de dcision:InstanceQuestionEnsemble dexemplesFormule de C consistante ??Oui

Les problmes de dcisionProblme de dcision:InstanceQuestionEnsemble dexemplesFormule de C consistante ??Non

Classes de complexit?Classe des problmes de dcision admettant un algorithme de rsolution de temps polynomial en la taille de linstanceNPClasse des problmes de dcision admettant un algorithme non dterministe de rsolution de temps polynomial en la taille de linstanceP

Hypothse(s) fondamentale(s)NPPP=P +tempsP=

Hypothse(s) fondamentale(s)NPPQPQPQP=QPet bien sur

Hypothse(s) fondamentale(s)NPPQPet bien surpour un

Hypothse(s) fondamentale(s)NPPQPet bien sur???Quy a-til ici ?

Problmes difficilesinstancesABsolutionsOuiOuipolyUn est Poly Tous sont Poly NP-Complets Hyp. de comp. Tous difficiles !

Complexit algorithmiqueDcision etoptimisation

Problme doptimisationDfinition:InstanceEns. SolutionsEnsemble dexemples LSFormules de C consistantes avec LSFonction de CotTaille de la formuleObjectifTrouver une sol. min. (max.) la fonct. de cotDcision vs Optimisation:La plupart des problmes de dcision admettent (au moins) une version doptimisation naturelle

Problme doptimisationProblmes doptimisation difficilesExistence ?Procdure ?Le cot dune instance est le cot optimal dune solutionpour cette instance

Difficult dapproximation IProb. dc. NP-CompletOuiNonProb. MinimisationCot des instancesRductiongap

Difficult dapproximation IIHypothse: le problme de minimisationdapproximation de ratioadmet un algorithmeComment arriver une contradiction ?

Difficult dapproximation IIOuiNonAlgorithme hypothtiquedapproximationInstancesSolutionsEtapesABCOuiNonOn rsoud le problme NP-Complet !!

Difficult dapproximation IIISi il existe une rduction de temps polynomial depuis unprob. NP-Complet vers un problme de minimisation, t.q.Les instances Oui sont transformes en inst. de cotLes instances Non sont transformes en inst. de cotAlors, sous lhypothsele prob. de minimisationnest pas approximable moins de

Remplacement de P par QPSi on remplace lexigence polynomiale par une exigenceQuasi-PolynomialeTemps de la rductionTemps de lalgorithme dapproximation hypothtiqueAlors, sous lhypothsele prob. de minimisationnest pas approximable moins deDfinition de lapproximabilit

Pourquoi remplacer P par QP ?Avantage direct:Les ratios dinapproximabilit peuvent tre bcp + grandsHypothse bcp plus forte, et donc moins ralisteInconvnient:devientAvantage indirect:On peut aussi remplacerparet (esprer) des ratios encore + grands !

Application lapprentissageRductionstraditionnelles

Preuves directesOn part dun problme difficile (NP-Complet) traditionnelOn construit une instance difficile dun problme de classification, formul comme un problme de dcision, ou doptimisation

ExempleKearns, Li, Pitt, Valiant (STOC87++)Problmes:Consistance (DNF):InstanceQuestionEnsemble dexemples, entier k>0k-term-DNF consistante ?Optimisation (DNF):InstanceEns. SolutionsEnsemble dexemplesDNF consistantesFonction de CotNb de monomes de la DNF

(k-term-)DNFUn monome (Boolen): conjonction de littraux:Une DNF: disjonction de monomes:Une k-term-DNF: disjonction dau plus k monomes2 classes: exemples positifs et ngatifs(10110110,1)(0101010,0)

Reprsentation du problmeLS2-term-DNF cons. ??OUI

La rductionInstanceQuestionG=(X,E), entier k>0k-coloration de G ?k=3OuiInstanceQuestionEch. dex., k>0k-term-DNF ?Oui

La rductionProprit:Le nombre minimal de couleurstaille minimale de la DNF consistante=

Rsultat dinapproximabilitOuiNonColorabilit minimaleNombre de couleursRductiongapSATFeige, Kilian96

CommentairesSachant que la colorabilit est (trivialement) approximable un ratio On ne peut donc pas obtenir de ratio dinapproximabilitDe plus, on nobtient rien dintressant en replaantpour la DNF consistante minimalelhypothse de complexit par une hypothse plus forte

Application lapprentissageRductionsself-improving

Notre SolutionA) Faire des rductions directement lintrieur du problme dapprentissage.Rduction ordinaireABProblmesBBBd fois

Notre SolutionB)Sarranger pour que le ratio dinapproximabilit augmente brutalement avec les rductionsRduction ordinairePbAratioBBBBd foisconservation

Notre SolutionC)Sarranger pour que le ratio dinapproximabilit explose en remplaant lhypothse de complexitRduction ordinairePbAratioBconservation

PropritLa complexit de la rduction est

Le ratio dinapproximabilit est en

Application lapprentissageSynthsePour DNF

La rduction IIOn combine lesobservationsOn combine lesclasses paret-logique+

La rduction IIOn ajoute quelques astuces supplmentaires:On a besoin de graphes trs particuliersOn combine en ralit 4 rductions

Consquence ISi d est constant: La rduction est toujours polynomiale, Le ratio explose

Consquence IISi d devient polylogLa rduction est quasi-polynomiale,Mais le ratio est boost davantageRsultat extrme (d encore + gd):

Consquence IIILe rsultat de complexit permetde donner des bornes infrieures sur le complexit de tout algorithme PAC pour DNFde montrer la non-apprenabilit de larges sous-classes de DNF

Application lapprentissageProgrammationLogique Inductive

Application II: ILPILP= Programmation Logique InductiveFormalisme puissant de reprsentation de connaissanceUtilisation de Clauses de Horn plus ou moins contraintes, en prsence de Background Knowledge

Application II: ILPObjectif:et raliser le moins derreurs !En utilisant:Couvrir le plus dexemples positifs,Couvrir le moins dexemples ngatifs

Application II: ILPProblme:InstanceEns. SolutionsFonction de CotEns. dex. LS, poids w/chaque exempleNomWapprox(g(.)-function-free-Horn-Clauses)g(.)-function-free-Horn-Clauses(erreur de h sur LS)

Application II: ILPThorme(s):constanteValeur de g(.)Ratio dinapprox.hypothsepolylogSans utiliser les rductions self-improvingEn utilisant les rductions self-improving

Application lapprentissageSlection deVariables/Prototypes

Application III: Slection de variables/prototypesBlum94: nearly all results in machinelearning deal with problems ofseparating relevant from irrelevantinformation in some wayQuestion: difficult algorithmique de latche?

Application III: Slection de variables/prototypesvariablesexemples1) enlve une variable2) enlve un exempleclasse

Application III: Slection de variables/prototypes#Variables #Exemples Mesuredinformation Approximationdun conceptContrainteFct. de cotRductions self-improving

Application III: Slection de variables/prototypesExemples/Mesure dinformation:Fonction f permissible:f: [0,1][0,1]f symmtrique / x=1/2f(1/2)=1, f(0)=f(1)=0f concaveEntropie bin.Critre de GiniCritre de Boosting

Application III: Slection de variables/prototypesExemples/Mesure dinformation:Quantit dinformation dune variableObjectif (informel):Rduire le nombre dexemples en assurantque les variables informatives le restent

Application III: Slection de variables/prototypesThorme(s):Ratio dinapprox.hypothseSans utiliser les rductions self-improvingEn utilisant les rductions self-improving

Application III: Slection de variables/prototypes#Variables #Exemples Mesuredinformation Approximationdun conceptContrainteFct. de cot

Parallle IntressantUne technique de classification rcente extrmement puissante (Breiman96) combine les solutions dalgorithmes dapprentissage modrment fiables, et retourne une nouvelle solution beaucoup plus fiable (Boosting).

Parallle IntressantNotre technique combine les instances de problmes doptimisation en apprentissage/classification modrment difficiles, et retourne une nouvelle instance beaucoup plus difficile.

Application lapprentissageAutresrsultats

Autres rsultats de complexitKohavi et al.98: lerreur nest pas le meilleur critre optimiser pour le Data Mining.Utilisation de nouveaux critres (courbes ROC, contraintes, etc.).Quelle est la difficult algorithmique de ces nouveaux critres ?

Autres rsultats de complexitEn utilisant un sous-ensemble des clauses de Horn, on a montrque ces critres entrainent une difficult algorithmique considrable (mme si on autorise la multiplication arbitraire des clauses de Horn).que loptimisation de lerreur seule est facile en comparaison.

Publications directement concernesInternational Conference on Inductive Logic Programming (ILP98, ed. Springer Verlag)International Symposium on Algorithms and Computation (ISAAC98, ed. Springer Verlag)International Conference on Algorithmic Learning Theory (ALT99, ALT00, ed. Springer Verlag)et dautres indirectement concernes.

ConclusionApprenabilit et approximabilit de DNF=un des problmes fondamentaux de la thorie de Valiant, conjectur ngatif par Valiant en 1985.En 1998, nous avions le ratio dinapproximabilit le plus important pour DNF (mais encore trs loin de loptimum !).

ConclusionLes problmes dapprentissage semblent tre de bons candidats aux rductions self-improving.mais lintrt des rsultats ngatifs reste limit en apprentissage.heureusement, je dveloppe aussi des rsultats positifs sur quelques problmatiques de classification (voir diapositive suivante)

Merci pour votre attention !dans R.Nock, Fast and Reliable Region Merging inspired byDecision-Tree PruningIEEE Int. Conf. on Computer Vision and Pattern Recognition(Dcembre 2001)