Top Banner
Complexité et Classification Quelques aspects algorithmiques de problèmes de classification Richard Nock DSI-GRIMAAG Université Antilles-Guyane, Campus de Schoelcher, Schoelcher, Martinique, France rnock@martinique.univ-ag.fr http://www.martinique.univ-ag.fr/~rnock Groupe de Recherche en Informatique et Mathématiques Appliquées des Antilles-Guyane Département Scientifique Interfacultaire
81

Complexité et Classification

Jan 24, 2016

Download

Documents

neil

Complexité et Classification. Richard Nock DSI-GRIMAAG Université Antilles-Guyane, Campus de Schoelcher, Schoelcher, Martinique, France rnock@martinique.univ-ag.fr http://www.martinique.univ-ag.fr/~rnock. Quelques aspects algorithmiques de problèmes de classification. - PowerPoint PPT Presentation
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
  • Complexit et ClassificationQuelques aspects algorithmiques de problmes de classificationRichard NockDSI-GRIMAAGUniversit Antilles-Guyane,Campus de Schoelcher,Schoelcher, Martinique, Francernock@martinique.univ-ag.frhttp://www.martinique.univ-ag.fr/~rnockGroupe de Recherche en Informatique et Mathmatiques Appliques des Antilles-GuyaneDpartement Scientifique Interfacultaire

  • BackgroundIngnieur Agronome (1993)DEA Informatique (1993)Doctorat Informatique (1998) directeur: O. GascuelMcf UAG Guadeloupe (1998-2000)Mcf UAG Martinique (2000-)

  • Thmes de recherche actuelsAlgorithmes dapprentissage/classificationThorie(Complexit, stats/probas)Analyse dimages

    Graph1

    311

    8

    22

    Repas

    #REF!

    #REF!

    Feuil1

    Repas

    3

    8

    22

  • Thmes de recherche actuelsNP-CompltudeRsultats dinapproximabilit appliqus en ML/CConcentration de v.a.Bornes derreur sur algorithmes dapprentissage+-

    Graph1

    311

    8

    22

    Repas

    #REF!

    #REF!

    Feuil1

    Repas

    3

    8

    22

  • RsumApprentissage et classificationComplexit algorithmiqueApplication lapprentissageConclusion

  • Apprentissage et classificationIntroduction

  • Apprendre ?Apprendre = capacit pour une entit damliorer ses capacits de manire automatique, par lexprience.Valiant (1984): 2 contraintes: Algorithmique: apprendre rapide Statistique: apprendre fiable

  • Apprendre ??Quapprends-ton dun point de vue informatique ?Dtail des contraintes du modle de Valiant ?

  • Apprentissage et classificationLe modle PACde L. Valiant

  • Observations et ExemplesDomaineConceptExemples

    Un exemplecibletirs selon D2 classes

  • Grandes tapesyx1- Collecte des exemples2- Construction dune hypothse3- Qualit de lhypothse ?

  • EvaluationyxABCProb. Err.=Problme ??

  • Evaluationyx1- Pas daccs Prob. Err. !2- Uniquement Freq. Err.3- Comment assurer qualit ?Problme !Freq. Err. =04- Et si distrib. quelconque ??5- Et si distrib. inconnue ???

  • Solution: modle PAC Iyx1- Requrir Prob. Err. limiteavec une forte probabilit2- Sachant la distribution mais fixequelconqueinconnue3- Tirer suffisamment dexemples

  • Modle PAC II1- A partir de l, comment trouver la meilleure formule ?Indp. du nb dexemples2- Il suffirait de disposer dun algorithme numranttoutes les formules possiblesProblme ?3- Enumration souvent exponentielledonc inutilisableProblme !

  • Solution1- Exiger que lalgorithme fonctionne rapidement2- Exiger un algorithme polynomialRectangles en 2D: facile

  • Modle de Valiant (1984)Une classe de reprsentation de concepts C est apprenable au sens du modle PAC ssi il existe un algorithme A vrifiant les deux conditions suivantes:

  • Modle de Valiant cC, A a accs un Oracle rtribuant des exemples selon c et une distribution D inconnue, quelconque, mais fixe, et, tant donns deux paramtres 0
  • Modle de ValiantA fonctionne en temps polynomialTaille du conceptcible# Variables de descriptionConfianceFiabilit

  • Prouver que C nest pas PACTrop dexemples ncessaires pour satisfaire la premire condition Temps de calcul rhdibitoire pour satisfaire la deuxime condition

  • Complexit algorithmiqueIntroduction

  • Les problmes de dcisionProblme de dcision:InstanceQuestionEnsemble dexemplesFormule de C consistante ??Oui

  • Les problmes de dcisionProblme de dcision:InstanceQuestionEnsemble dexemplesFormule de C consistante ??Non

  • Classes de complexit?Classe des problmes de dcision admettant un algorithme de rsolution de temps polynomial en la taille de linstanceNPClasse des problmes de dcision admettant un algorithme non dterministe de rsolution de temps polynomial en la taille de linstanceP

  • Hypothse(s) fondamentale(s)NPPP=P +tempsP=

  • Hypothse(s) fondamentale(s)NPPQPQPQP=QPet bien sur

  • Hypothse(s) fondamentale(s)NPPQPet bien surpour un

  • Hypothse(s) fondamentale(s)NPPQPet bien sur???Quy a-til ici ?

  • Problmes difficilesinstancesABsolutionsOuiOuipolyUn est Poly Tous sont Poly NP-Complets Hyp. de comp. Tous difficiles !

  • Complexit algorithmiqueDcision etoptimisation

  • Problme doptimisationDfinition:InstanceEns. SolutionsEnsemble dexemples LSFormules de C consistantes avec LSFonction de CotTaille de la formuleObjectifTrouver une sol. min. (max.) la fonct. de cotDcision vs Optimisation:La plupart des problmes de dcision admettent (au moins) une version doptimisation naturelle

  • Problme doptimisationProblmes doptimisation difficilesExistence ?Procdure ?Le cot dune instance est le cot optimal dune solutionpour cette instance

  • Difficult dapproximation IProb. dc. NP-CompletOuiNonProb. MinimisationCot des instancesRductiongap

  • Difficult dapproximation IIHypothse: le problme de minimisationdapproximation de ratioadmet un algorithmeComment arriver une contradiction ?

  • Difficult dapproximation IIOuiNonAlgorithme hypothtiquedapproximationInstancesSolutionsEtapesABCOuiNonOn rsoud le problme NP-Complet !!

  • Difficult dapproximation IIISi il existe une rduction de temps polynomial depuis unprob. NP-Complet vers un problme de minimisation, t.q.Les instances Oui sont transformes en inst. de cotLes instances Non sont transformes en inst. de cotAlors, sous lhypothsele prob. de minimisationnest pas approximable moins de

  • Remplacement de P par QPSi on remplace lexigence polynomiale par une exigenceQuasi-PolynomialeTemps de la rductionTemps de lalgorithme dapproximation hypothtiqueAlors, sous lhypothsele prob. de minimisationnest pas approximable moins deDfinition de lapproximabilit

  • Pourquoi remplacer P par QP ?Avantage direct:Les ratios dinapproximabilit peuvent tre bcp + grandsHypothse bcp plus forte, et donc moins ralisteInconvnient:devientAvantage indirect:On peut aussi remplacerparet (esprer) des ratios encore + grands !

  • Application lapprentissageRductionstraditionnelles

  • Preuves directesOn part dun problme difficile (NP-Complet) traditionnelOn construit une instance difficile dun problme de classification, formul comme un problme de dcision, ou doptimisation

  • ExempleKearns, Li, Pitt, Valiant (STOC87++)Problmes:Consistance (DNF):InstanceQuestionEnsemble dexemples, entier k>0k-term-DNF consistante ?Optimisation (DNF):InstanceEns. SolutionsEnsemble dexemplesDNF consistantesFonction de CotNb de monomes de la DNF

  • (k-term-)DNFUn monome (Boolen): conjonction de littraux:Une DNF: disjonction de monomes:Une k-term-DNF: disjonction dau plus k monomes2 classes: exemples positifs et ngatifs(10110110,1)(0101010,0)

  • Reprsentation du problmeLS2-term-DNF cons. ??OUI

  • La rductionInstanceQuestionG=(X,E), entier k>0k-coloration de G ?k=3OuiInstanceQuestionEch. dex., k>0k-term-DNF ?Oui

  • La rductionProprit:Le nombre minimal de couleurstaille minimale de la DNF consistante=

  • Rsultat dinapproximabilitOuiNonColorabilit minimaleNombre de couleursRductiongapSATFeige, Kilian96

  • ThormeEn utilisant Kearns & al.87 + Feige & Kilian96, on obtient:Thorme:La DNF minimale consistante pas approximable moins deProblme ?Renvoie Oui, Non, ? (Pr(?)=cst
  • CommentairesSachant que la colorabilit est (trivialement) approximable un ratio On ne peut donc pas obtenir de ratio dinapproximabilitDe plus, on nobtient rien dintressant en replaantpour la DNF consistante minimalelhypothse de complexit par une hypothse plus forte

  • Application lapprentissageRductionsself-improving

  • Notre SolutionA) Faire des rductions directement lintrieur du problme dapprentissage.Rduction ordinaireABProblmesBBBd fois

  • Notre SolutionB)Sarranger pour que le ratio dinapproximabilit augmente brutalement avec les rductionsRduction ordinairePbAratioBBBBd foisconservation

  • Notre SolutionC)Sarranger pour que le ratio dinapproximabilit explose en remplaant lhypothse de complexitRduction ordinairePbAratioBconservation

  • PropritLa complexit de la rduction est

    Le ratio dinapproximabilit est en

  • Application lapprentissageSynthsePour DNF

  • La rduction IIOn combine lesobservationsOn combine lesclasses paret-logique+

  • La rduction IIOn ajoute quelques astuces supplmentaires:On a besoin de graphes trs particuliersOn combine en ralit 4 rductions

  • Consquence ISi d est constant: La rduction est toujours polynomiale, Le ratio explose

  • Consquence IISi d devient polylogLa rduction est quasi-polynomiale,Mais le ratio est boost davantageRsultat extrme (d encore + gd):

  • Consquence IIILe rsultat de complexit permetde donner des bornes infrieures sur le complexit de tout algorithme PAC pour DNFde montrer la non-apprenabilit de larges sous-classes de DNF

  • Application lapprentissageProgrammationLogique Inductive

  • Application II: ILPILP= Programmation Logique InductiveFormalisme puissant de reprsentation de connaissanceUtilisation de Clauses de Horn plus ou moins contraintes, en prsence de Background Knowledge

  • Application II: ILPObjectif:et raliser le moins derreurs !En utilisant:Couvrir le plus dexemples positifs,Couvrir le moins dexemples ngatifs

  • Application II: ILPProblme:InstanceEns. SolutionsFonction de CotEns. dex. LS, poids w/chaque exempleNomWapprox(g(.)-function-free-Horn-Clauses)g(.)-function-free-Horn-Clauses(erreur de h sur LS)

  • Application II: ILPThorme(s):constanteValeur de g(.)Ratio dinapprox.hypothsepolylogSans utiliser les rductions self-improvingEn utilisant les rductions self-improving

  • Application lapprentissageSlection deVariables/Prototypes

  • Application III: Slection de variables/prototypesBlum94: nearly all results in machinelearning deal with problems ofseparating relevant from irrelevantinformation in some wayQuestion: difficult algorithmique de latche?

  • Application III: Slection de variables/prototypesvariablesexemples1) enlve une variable2) enlve un exempleclasse

  • Application III: Slection de variables/prototypes#Variables #Exemples Mesuredinformation Approximationdun conceptContrainteFct. de cotRductions self-improving

  • Application III: Slection de variables/prototypesExemples/Mesure dinformation:Fonction f permissible:f: [0,1][0,1]f symmtrique / x=1/2f(1/2)=1, f(0)=f(1)=0f concaveEntropie bin.Critre de GiniCritre de Boosting

  • Application III: Slection de variables/prototypesExemples/Mesure dinformation:Quantit dinformation dune variableObjectif (informel):Rduire le nombre dexemples en assurantque les variables informatives le restent

  • Application III: Slection de variables/prototypesThorme(s):Ratio dinapprox.hypothseSans utiliser les rductions self-improvingEn utilisant les rductions self-improving

  • Application III: Slection de variables/prototypes#Variables #Exemples Mesuredinformation Approximationdun conceptContrainteFct. de cot

  • Parallle IntressantUne technique de classification rcente extrmement puissante (Breiman96) combine les solutions dalgorithmes dapprentissage modrment fiables, et retourne une nouvelle solution beaucoup plus fiable (Boosting).

  • Parallle IntressantNotre technique combine les instances de problmes doptimisation en apprentissage/classification modrment difficiles, et retourne une nouvelle instance beaucoup plus difficile.

  • Application lapprentissageAutresrsultats

  • Autres rsultats de complexitKohavi et al.98: lerreur nest pas le meilleur critre optimiser pour le Data Mining.Utilisation de nouveaux critres (courbes ROC, contraintes, etc.).Quelle est la difficult algorithmique de ces nouveaux critres ?

  • Autres rsultats de complexitEn utilisant un sous-ensemble des clauses de Horn, on a montrque ces critres entrainent une difficult algorithmique considrable (mme si on autorise la multiplication arbitraire des clauses de Horn).que loptimisation de lerreur seule est facile en comparaison.

  • Publications directement concernesInternational Conference on Inductive Logic Programming (ILP98, ed. Springer Verlag)International Symposium on Algorithms and Computation (ISAAC98, ed. Springer Verlag)International Conference on Algorithmic Learning Theory (ALT99, ALT00, ed. Springer Verlag)et dautres indirectement concernes.

  • ConclusionApprenabilit et approximabilit de DNF=un des problmes fondamentaux de la thorie de Valiant, conjectur ngatif par Valiant en 1985.En 1998, nous avions le ratio dinapproximabilit le plus important pour DNF (mais encore trs loin de loptimum !).

  • ConclusionLes problmes dapprentissage semblent tre de bons candidats aux rductions self-improving.mais lintrt des rsultats ngatifs reste limit en apprentissage.heureusement, je dveloppe aussi des rsultats positifs sur quelques problmatiques de classification (voir diapositive suivante)

  • Merci pour votre attention !dans R.Nock, Fast and Reliable Region Merging inspired byDecision-Tree PruningIEEE Int. Conf. on Computer Vision and Pattern Recognition(Dcembre 2001)