Introduction à lIntelligence Artificielle 2007 – Khaled Hadj Hamou, Samuel Bassetto.

Introduction à l’Intelligence Artificielle

2007 – Khaled Hadj Hamou, Samuel Bassetto

L’I.A. ça n’est pas…

• Ingénieur Adjoint

• MATRIX

• I.A.

• Les temps modernes

L’I.A c’est plutôt…

• Démarche cognitive assistée par ordinateur

• Donner à une machine des moyens habituellement réservées à des êtres vivants: perception, raisonnement, décision, apprentissage, action

http://www.symbio.jst.go.jp/PINO/OpenPINO/open_pino.html

historique

• Antiquitié à 1954, une émergence des machines « intelligentes »

• 1954: congrès à Darmouth, USA, Mc Carthy, Minsky, Shannon, Newell, Simon => programmes doués d’intelligence

• Quelques noms célèbres:– Babbage (machine à calculer, 1842)– Turing (machine universelle, 1936)... (apple)– Wiener ( cybernétique, 1943)– McCulloch & Pitt, Sutton, Barto, Haton,…

Des applications de l’I.A.

• Démonstration de théorèmes• Traitement Automatique du Langage Naturel• Traitement Automatique de la Parole• Interprétation d’images & vision• Robotique• Jeux• Systèmes d’aide à la décision (SE, SbC,

classification, discrimination)

Plan

• Introduction• Le raisonnement• L’apprentissage

• Quelques outils– SE– RN– DL– SMA– SàBdCas– SàBdContraintes

Introduction

• 4 processus de définition d’un système intelligent:– Search : résolution de problèmes – recherche

d’une solution dans un espace de solutions– Pattern Matching : reconnaissance de formes– Inferencing or reasoning : raisonnement– Knowledge representation : représentation des

connaissances

Introduction

Processus de traitement symbolique

Reconnaissance de formes

inférence Représentation

des connaissances

Résolution

de pbs

IHMExplications

Reconnaissance vocale

ApprentissageAcquisition des

données

Reconnaissance visuelle

Introduction

• Deux approches aux développements– Réaliser un esprit

• I.A. symbolique, systèmes à bases de connaissances

– Modéliser le vivant• I.A. connexionniste• Mc Culloch & Pitt• Rosenblatt

Plan



Le raisonnement

• La résolution de problèmesP = {Initial, Opérateurs, Buts}

– Méthodes d’exploration des arbres

En p

rofo

ndeurEn largeur

Le raisonnement

• Pb : l’arbre peut être un peu grand – 1KAn pour la résolution d’un problème d’échec– Nécessiter d’adopter des Stratégies de parcours de

l’arbre

• Pb: nécessité de formaliser COMPLETEMENT le pb (temps non négligeable)

Classe de problèmes formalisables et difficiles pour l’homme (ex: les lois, le diagnostique médical, automobile…)

Le raisonnement

• Ex trivial:

A

B

CB

C

A

ButI{O}

?

Le raisonnement

B

C

A

B

CA

B

C

A

B

C

A

BC

A

B

C

A

B

C

A

11 21

1222

2313 14

• 1 voie: 4 pas• 2 voie: 3 pas• + long si on passe passe

en revue toutes les combinaisons d’empilage et dépilage

Le raisonnement

• Raisonnement itératif:– À partir de I– Branche (i)– Appliquer les opérations x fois => B est

atteint ? Sinon, on remonte à I et on passe à la branche (i+1)

…

• Utilisation de connaissances « d’experts » sur l’arborescence méthodes heuristiques

Le raisonnement

• Représentation des connaissances:

• Connaissance est qualifiée (superficielle, profonde, spécifique, incertaine, précise, complète, incomplète…)

• Heuristique: confiance accordée à une connaissance

CONFIANCE? K ?

Le raisonnement

• Les formules logiques– Logique des propositions: une proposition

syntaxiquement vraie ou fausseEx: VIN(Bordeaux) = VRAI ; VIN(Clio)=FAUX

Vin() Prédicat ; Bordeaux, Clio Argument

Assertion Assertion

Le raisonnement

• Les formules logiques– Les prédicats peuvent avoirs plusieurs arguments

Modèle(Couleur, Voiture)– Liens entre les prédicats

• Négation ¬• Et ^• Ou v

– Implication =>– Equivalence – Une formule bien formée permet de

représenter un fragment de connaissance

Le raisonnement

• Insuffisance des formules des propositions– Représenter que toutes les voitures ont un moyen de

propulsion… (on ne va pas énumérer chaque voiture)

• Logique des prédicats du 1er ordre (quantification des variables)– Même opérateurs que la logique des

propositions– Ajout d’une quantification des variables par les

opérateurs :∀ (quelque soit) et ∃ (il existe)Ex: ∀y Q(y) signifie Quelque soit y du domaine,

Q(y) est Vrai.

Le raisonnement

• « Modus Ponens »P et P=>Q, permet de dériver Q

• « Modus Tollens »¬Q et P=>Q, permet de dériver ¬P

• Formule de Skolem: toute formule bien posée peut être transformée en un ensemble de clauses (écriture de la formule par des disjonctions)

Ex: (∀x) (ENSGI(x) => Classepreparatoires(x) v CPP(x)) (∀x) (¬ ENSGI(x) v Classepreparatoire(x) v CPP(x))

• P• ¬P NIL

Le raisonnement

• Les limitations des raisonnements logiques du 1er ordre:– Nécessité de formaliser complètement le pb.– Pas d’appréciations nuancées

• Existances d’autres logiques:– Multivaluées (Valeur de vérité > 2)– Modales (modalités d’implication (possible,

peut être…))– Floue– Non monotones (une assertion vraie à un

instant, ne le sera plus à l’instant suivant)– De description (description de concepts)

Le raisonnement

• Les réseaux sémantiques– Permet de décrire des concepts, faire

des liens (relations entre les concepts et les individus)

– Raisonner sur des réseaux sémantiques Modéliser le pb par un réseau

• Pb: trouver le mécanisme de mise en correspondance structurelle

Le raisonnement

• Les réseaux sémantiques

Le raisonnement

• Une règle de production:“parcelle de connaissance”

SI prémisses ALORS conclusion (coefficient)

Si les prémisses sont vrais alors, la règle s’applique et la conclusion est vrai

Base des systèmes experts

Le raisonnement

• Les systèmes à base de règle

Base de faits

Base de règles

Moteur d’Inférence

Le raisonnement

• Le raisonnement : chaînage avant– Guidé par les données, il envisage les règles

dans le sens conditions =>conclusions– Détection des règles don’t la partie “prémisses”

est vérifiée par la base de faits– Sélection d’une règle parmi les candidats

(résolution de conflits choix d’une branche de l’arbre)

– Application de la règle, les prémisses disparaîssent de la base de faits et les conclusions viennent l’enrichir

Le raisonnement

• Le raisonnement : chaînage arrière– Raisonnement guidé par un but, il utilise les règles

dans le sens conclusions->conditions : réduction du problème

1. Détection des règles qui concluent sur le but recherché

2. Sélection de la règle à envisager3. Application de cette règle et à considérer les

prémisses comme de nouveaux sous buts à atteindres. S’ils sont déjà présent dans la BF, le travail est fait, sinon, ils sont empilés dans la pile des buts

Plan



Apprentissage

• L’apprentissage et la mémoire• La mémoire: processus de stokage et

d’exploitation d’une connaissance antérieurement acquise

• Processus de mémorisation en 4 étapes:– Information– Acquisition– Stockage– Exploitation

Apprentissage

• Les différents types de mémoires

mémoire

Mémoire déclarative

Mémoire non

déclarative

Faits (sémantique

)Evènements (épisodique)

Aptitudes procédurale

sConditionnement

Apprentissage non associatif

Apprentissage perceptif

Savoir Quoi

Savoir

Comment

Apprentissage

• Les différents types de mémoires:– A chaque mémoire, son mode

d’apprentissage– Ex:…– Apport des neurosciences => Classification

et caractérisation des mémoires• Chez l’homme, l’empan mnésique est de 10E5

signes ! (=> la mémoire visuelle n’existe pas !)• Etat actuel de la science, rien ne dit qu’il n’y a pas

d’autres types de mémoires

Apprentissage

• L’accès aux mémoires:– Par adresse/ contenu– Accès séquentiel/parallèle– Représentation statique/dynamique– Représentation localisée/distribuée

Apprentissage

• L’apprentissage statistique:– Classification– Discrimination– Catégorisation– Régression

• Différents types d’apprentissage:– Supervisé– Non supervisé– Par renforcement (semi-supervisé)

Apprentissage

• La notion d’agent: un agent est une entité qui perçoit son environnement à travers des capteurs et qui agit sur son environnement par des effecteurs. (capteurs et effecteurs peuvent être logiciels…)

• Les perceptions servent à agir mais également à apprendre

• L’agent apprend une correspondance entre les perceptions et les actions en évaluant et maximisant ses performances (renforcement) fournie par l’environnement

• Il peut y avoir un décalage entre l’action et le signal de l’environnement

Apprentissage

• Passer de D à F en suivant les actions {Droite, Gauche, Haut, Bas}, en utilisant les perceptions {x,y,recomp} où recomp=0 si (x,y)=(xf,yf),sinon recomp=-1, si (x,y) = mur => recomp = -10

D

F

Apprentissage

• L’apprentissage par renforcement, un modèle d’agent

is

Environnement

actionEtat

récompenseAgent

1ia

1ir

Apprentissage

L’apprentissage par renforcement : • S: ensemble des états• A: ensemble des actions

...... 1210

1

1

0

0

t

a

t

aa

ssssst

rtrr

Apprentissage

L’apprentissage par renforcement : • Hypothèse de markov : la probabilité de passer

de l’état s à l’état s’ par l’action a dépend seulement de s et de a, pas des états précédents.

),'(),...,,,,'( 100111 aasssspasasaassssp tttttttt

Apprentissage

L’apprentissage par renforcement : • Fonction objectif à maximiser, γ ds [0,1],

fonction de rabais, pour tenir compte des récompenses passées et orienter le cheminement.

014

33

221 ...

kkt

kttttt rrrrrR

Apprentissage

L’apprentissage par renforcement : - cas stationnaire

Apprentissage

L’apprentissage par renforcement : • Fonction de valeur d’un état s sous une

politique π, l’objectif est de trouver π qui maximise cette fonction

Apprentissage

L’apprentissage par renforcement : • Fonction de valeur d’une action a, d’un état s

sous une politique π, l’objectif est de trouver π qui maximise cette fonction

Apprentissage

• L’apprentissage par renforcement

– Conflit principal: exploration vs exploitation d’un résultat (différent de l’apprentissage supervisé où la récompense est immédiate)

– Notations:S: ensemble fini d’étatsA: ensemble fini d’actionsΠ est la politique qui associé à

un état, une action à réaliser, elle est probabiliste

SV

sAS

ssaassrEr

ssatactionssT

ttttass

ttass

:

)(/:

',,/

,)(/'

11'

1'

Action a effectuer quand l’agent est à

s

Espérance des récompenses

cumulées

Notations:

Apprentissage

L’apprentissage par renforcement : • Equation de Bellman pour l’apprentissage

Apprentissage

• Problème: quelle action a mener à un instant t ?

)(* aQValeur estimée de Q*(a) à l’instant t)(aQt

Moyenne réelle de la récompense consécutive à a

Apprentissage

• Problème: quelle action a mener à un instant t ?– Greedy response => action choisie /

– Méthode excluant l’exploration des actions possibles, or la somme des optimums n’est pas forcément l’optimum des actions

Aatt aQa

))(max(arg*

Apprentissage

• Problème: quelle action a mener à un instant t ?– ε-Greedy response => action choisie /

– ε->0 : méthode greedy, ε->1 : exploration pure

paRandom

paQaAa

tt

),(

)1(,))(max(arg*

Apprentissage

• Problème: quelle action a mener à un instant t ?– Greedy response => action choisie /

– ε-Greedy response

)(* aQValeur estimée de Q*(a) à l’instant t)(aQt

Moyenne réelle de la récompense consécutive à a

Aatt aQa

))(max(arg*

Apprentissage

• Classification : mise en évidence des relations entre des objets et entre des objets et leurs paramètres.

• Discrimination : processus de classement, recherche de séparations entre des classes existantes.

• Notion de distances, de similarités.• Objectif : produire une partition homogène de

l’ensemble des objets

Plan



Les outils techniques

• Les réseaux de neurones

Du neurone biologique au neurone formel



Du neurone biologique au neurone formeldendrite

axone

+

Seuillage

Sommation



Du neurone biologique au neurone formele1

Ei

en

Si

0

,,1)(

ValeurEsiEfS

ewE

iii

jjiji


• Les réseaux de neurones– Les connexions entre les neurones sont de tous

types– La plus utilisée, la structure en couches.

1 2 3 4 5 6 7 8 90


• Les réseaux de neurones– Pour réaliser cette analyse, il faut discriminer les

populations ‘0’, de ‘1’, de ‘2’,…de ‘9’

1 2 3 4 5 6 7 8 90


• Les réseaux de neurones– Structuration des réseaux– Pondération des réseaux– Apprentissage:

• Supervisé• Non supervisé• Orienté


• Les réseaux de neurones– Apprentissage: règle de Hebb:

Wij(t+1)=Wij(t)+kSiSj

La modification du poids est proportionnelle aux activités pré et post synaptiques

Si et Sj = activation des neurones i et jWij = poids de la connexion entre les neurones i & j


• Les réseaux de neurones– Le perceptron : réseau à 1 couche

N1

N2

N3

N4

S1,D1

S2,D2

S3,D3

S4,D4

Apprentissage supervisé, on réinjecte l’erreur:Wij(t+1)=Wij(t)+k(Di-Si)ej

ΔWij=k(Di-Si)ej = erreur

On ne prend en compte que l’erreur post synaptique

e1

e7


• Les réseaux de neurones– Limite du perceptron : il ne sait faire que de la

discrimination de pb linéairement séparables.

N SS=1 si x1w1+x2w2-N>0S=0 si x1w1+x2w2-N<0

x1

x2

w1

w2

S=1

S=0x1

x2

Trouver w1 et w2 trouver l’équation de l’hyperplan séparant le problème !


• Les réseaux de neurones– L’idée est de décomposer la non linéarité en un

succession de pb linéaires et de rajouter 1 couche !

D1: x1w1+x2w2-N=0D2: x1w’1+x2w’2-N=0

x1

x2Oui

H2

H1

N

x2

w1

w2

Nw’2

w’11,5

1

1Non


• Les réseaux de neurones– Pb dans un réseau multicouches, déterminer le

poids des couches intermédiaires de sorte à minimiser l’erreur de sortie, cependant, on ne connaît pas l’erreur !

– Solution : rétropropager l’erreur à chaque niveau– Algorithme de descente du gradient


• Les réseaux de neuronesObjectif : atteindre à la sortie

On diminue de manière incrémentale cette fonction:

On retrouve la loi d’apprentissage du perceptron

2)( ii ydMin

2)( ii ydC

jiiij

jij

kkl

ij

i

ij

i

ij

iiiiij

eydwDonc

ew

ew

w

y

w

d

w

ydyd

w

Cw

)(2,

)()(,0

)(

)()(2



Objectif : propager l’erreur pour modifier les poids sur la couche cachée i

On fait passer l’erreur post-synaptique en erreur présynaptique

Il faut ensuite répartir cette erreur présynaptiques aux différentes branches



Fonction de transfert = filtre

sortie

Entrée



On positionne les neurones dans les plages d’entrées tels qu’ils réagissent à leur position

Réseaux s’auto-organisants: Les neurones s’ajoutent là où il y a le moins

d’activation

D’autres outils techniques

• Les systèmes à base de cas

• Les systèmes à base de contraintes

• Les systèmes multi agents

• Les systèmes logiques de description

• Les systèmes experts

Des applications (1/5)

• Oui, il y en a! ;-) ex, sur l’optimisation des opérations de ctrls vs opérations de production.

Op de fabrication

Op de fabrication

Op de fabrication

Op de ctrl

Op de ctrl

Op de fabrication

Op de ctrl

Une application (2/5)

• Influences possibles sur une machine de production

C C C C C C

Dérive de la machine de production

Influence des opérations précédentesConception des gammes opératoires

Architecture produit

Dérive de la machine de métrologieConception de la gamme de contrôle

Lot produit


• Source d’information pour l’analyse en temps réel et prise de décision

C C C C C C

Lot produit

FDC

GMAO

Qualité prod

Rebus

Régulation

AlarmesSPC

Qualitémesures

MES


• Scénario: le lot est mesuré « mauvais »

• L’équipement précédent est arrêté… mais est ce que cette décision est juste ? vue la quantité d’influences possibles ?

C C C C C C

Lot produit


• Pour traiter cette question, une négiciation s’engage entre des agents lots – des agents équipements (qui vérifient leurs états) et qui se mettent en défaut ou pas

C C C C C C

Lot produit

Très (trop) courte bibliographie

Jean-Paul Haton, Marie Christine Haton, “L’intelligence Artificielle, Que sais-je ?”, N°2444, PUF, 1993, ISBN 2130455123

Sutton & Barton, “Reinforcement learning, an introduction”, Cambridge, MA, 1998

Jacques Ferber, “MultiAgents, vers une intelligence collective”, Ed InterEditions, Collection iia, 1995

L’apprentissage par rétropropagation du gradian



Objectif : propager l’erreur pour modifier les poids

ineuroneentréeAi

ineuronesortieXi

désirableseuilf

__:

__:

_:

ii

jiij

i

iij

kkk

jjijiii

A

Cf

XA

C

w

A

A

C

w

C

ySCMin

xwAAfX

**

)(

),(

2

notons jiij

Xfw

C*,

alors



Objectif : propager l’erreur pour modifier les poids

Sur la dernière couche:

)(')(2

)('*)(*2*)(*2*

iiii

iiii

iii

i

i

ii

AfYSf

Donc

AfYSA

SYS

A

S

S

C

A

C



Objectif : propager l’erreur pour modifier les poids sur la couche cachée i

jjijii

j jiji

i

ij

ijji

i

j i

j

jj i

j

ji

fwAff

A

CwAf

A

C

Donc

AfwA

C

A

X

X

A

A

C

A

A

A

C

A

C

)('

)('

)('*****

fi dépend de fj, de la couche supérieure

On descend bien l’erreur d’une couche

Introduction à lIntelligence Artificielle 2007 – Khaled Hadj Hamou, Samuel Bassetto.

Documents

connaissances page

connaissance page

concepts page

raisonnement pb

automobile page

discrimination page

raisonnement b c

des applications