Page 1
https://kemlg.upc.edu
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
Intelligent Decision Support Systems
(Part V - DISCRIMINANT MODELS / PREDICTIVE MODELS)Miquel Sànchez i Marrè, Karina Gibert
[email protected] , [email protected]
http://kemlg.upc.edu/menu1/miquel-sanchez-i-marre
http://kemlg.upc.edu/menu1/karina-gibert
Course 2011/2012
Page 2
https://kemlg.upc.edu
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
PART 5 – DISCRIMINANT MODELS / PREDICTIVE MODELS
Page 3
https://kemlg.upc.edu
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
Discriminant Models
Page 4
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 20094
Discriminant Models
Models discriminants Raonament basat en regles
– (IA) Arbres de decisió– (IA) Regles de classificació– (Es) Anàlisi discriminant– (IA&Stats) Inducció de regles basada en box-plots
Raonament basat en casos– (IA) Aprenentatge basat en instàncies (IBL)
Aprenentage Bayesià
Page 5
https://kemlg.upc.edu
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
Models discriminantsRaonament basat en regles (RBR)
Page 6
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 20096
Sistemes Experts Definició:
Són Sistemes Basats en el Coneixement que resolen
problemes molt especialitzats i complexes, pels que es
confia habitualment en experts humans, per a la seva
resolució, en un domini concret
Page 7
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 20097
Per què van sorgir els SE? Necessitats econòmiques
Disposar d’experts altament qualificats és car i no sempre possible
Eines econòmiques d’aprenentatge per a altres experts/no experts
Preservació del coneixement dels experts
Necessitats d’eficiència computacional
Els mètodes generals de resolució de problemes són força ineficients (mètodes febles)
Page 8
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 20098
Coneixement expert
DADES + ALGORISME = PROGRAMA
CONEIXEMENT + INFERÈNCIA = SE
Page 9
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 20099
Classificació dels SE segons les tasques [Hayes-Roth et al., 1983] (1)
Sistemes d’Interpretació Inferir descripcions de situacions, a partir d’observacions
/ dades
Sistemes de Predicció Inferir conseqüències versemblants a partir de situacions
o successos
Sistemes de Diagnòstic Inferir les falles del sistema a partir de símptomes
Sistemes de Disseny Desenvolupar configuracions d’objectes que satisfan
certes restriccions
Page 10
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200910
Classificació dels SE segons les tasques [Hayes-Roth et al., 1983] (2)
Sistemes de Planificació Generar seqüències d’accions per a conseguir certs
objectius
Sistemes de Monitorització Estudiar el comportament d’un sistema al llarg del temps
Sistemes de Correció /Reparació Generar solucions per a les falles d’un sistema
Sistemes de Control Estudiar i governar el comportament d’un sistema
dinàmic
Page 11
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200911
Fases de l’enginyeria del coneixement (1)
PROVA
IDENTIFICACIÓ
CONCEPTUALITZACIÓ
FORMALITZACIÓ
IMPLEMENTACIÓ
REQUERIMENTS
CONCEPTES
ESTRUCTURA
REGLES
REFORMULACIÓ
REDISSENY
REFINAMENT
[Buchanan et al., 1983]
Page 12
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200912
IDENTIFICACIÓ
Viabilitat de la construcció del SE
Cercar les fonts de coneixement (experts, llibres, etc.)
Determinar les dades necessàries per a resoldre el problema
Determinar els objectius (solucions) i els criteris que determinen la solució
Fases de l’enginyeria del coneixement (2)
Page 13
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200913
Fases de l’enginyeria del coneixement (3)
CONCEPTUALITZACIÓ
Detallar els elements bàsics per a caracteritzar el domini (fets rellevants) i les seves relacions.
Distingir les evidències, les hipòtesis i les accions a realitzar
Detallar les diferents hipòtesis/objectius
Descomposar el problema en subproblemes
Caracteritzar els blocs de raonament i el flux de raonament
Page 14
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200914
Fases de l’enginyeria del coneixement (4)
FORMALITZACIÓ
Determinar els esquemes de raonament necessaris:
Classificació / diagnosi / planificació temporal / estructures causals / disseny espaial / configuració
Identificar l’espai de cerca i el tipus de cerca
Identificar la metodologia de la resolució:
classificació heurística / resolució constructiva / hipòtesi i prova jeràrquica
Analitzar la inexactitud (incertesa, imprecisió o incompletitud) i la completesa
Page 15
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200915
Fases de l’enginyeria del coneixement (5)
IMPLEMENTACIÓ Representació i implementació del coneixement
Definició de la base de fets Estructura modular de la base de coneixements Definició de les regles d’inferència dels mòduls
Decisions sobre el control de la resolució (metaconeixement) Definició de les meta-regles associades als mòduls
PROVA
Determinar amb el/s expert/s un conjunt de casos de prova
Avaluar el funcionament del sistema (prototipus) Correctesa? / Completesa? / Inexactitud? / Credibilitat i
explicacions?
Page 16
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200916
Arquitectura d’unSistema Expert
U S E R
U S E R I N T E R F A C E
K N O W L E D G E A C Q U I S I T I O N
K N O W L E D G E E N G I N E E R I N T E R F A C E
K N O W L E D G E E N G I N E E R E X P E R T S
D A T A B A S E
K N O W L E D G E B A S E
I N F E R E N C E E N G I N E S / R E A S O N I N G
M E T A - R E A S O N I N G S T R A T E G I E S
E X P L A N A T I O N M O D U L E
S E N S O R S / A C T U A T O R S I N T E R F A C E
S E N S O R S /
A C T U A T O R S E X E C U T I O N C O N T R O L U N I T
Page 17
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200917
Base de Coneixements (1) Coneixement del domini + coneixement heurístic
Tipus de coneixement:
Coneixement Factual
Coneixement Condicional
Coneixement Relacional
Objectes i característiques
Condicions i deduccions
Relacions temporals, causalsi conceptuals
Page 18
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200918
Base de Coneixements (2)
Sistemes de regles d’inferència/Sistemes de Producció:Els més habituals i els primers
Representacions estructurades
Representacions mixtes: Regles + Representacions estructurades
Per a descriure el domini
Xarxes semàntiques/Frames
Per a modelitzar objectes i relacions
Abans-de
Tipus de
Part_de
Mètodes de Representació del Coneixement
Page 19
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200919
Base de Coneixements (3) Organització del coneixement sobre el domini i sobre el
procés de resolució
Regles d’inferència
SI <Condicions> LLAVORS <Accions>
Page 20
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200920
Base de coneixements (4) Cadascuna de les regles pot incorporar:
<Indentificador-regla>
<Condicions o premisses>
Proposicions Predicats d’ordre 1
<Certesa de la regla>
<Accions o conclusions> Noves deduccions Accions Càlculs
Page 21
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200921
Base de coneixements (5) Exemples
(RDECP03 (R08007Concentració-fang-decp-alta No NeutropèniaNo Purga-fang-decp Associades-dermatologia ectima-gangrenosum0.8 molt-possibleNetejar-canonada Pseudomones. . . ) . . . )
Page 22
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200922
Motors d’inferències
Motor d’inferències Mòdul de raonament
Motor d’inferències
Intèrpret de regles + Estratègia de control
Deduir nous fets, executar accions per aresoldre el problema plantejat, a partir d’unconjunt inicial de fets i d’un cert coneixement,amb la interacció de l’usuari.
Page 23
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200923
Cicle general d’un motor d’inferències
Detecció: Obtenció del conjunt de regles aplicables
Formació del conjunt de conflictes
Selecció: Selecció de la regla a aplicar
Resolució de conflictes
Aplicació: Aplicació de la regla seleccionada
Inferència
Page 24
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200924
Cicle general: Detecció Construcció del conjunt de regles candidates a ser
aplicades
Les regles seran candidates o no depenent de l’estratègia de control
L’intèrpret de regles fa els càlculs i les instanciacions necessàries que siguin possibles en cada estat de resolució del problema.
Una regla es pot utilizar amb vàries instanciacions (CP1)
Page 25
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200925
Cicle general: Selecció
Selecció de la millor regla d’entre les obtingudes en el pas anterior
La selecció dependrà de l’estratègia de resolució de conflictes emprada pel motor d’inferències.
Criteris més utilizats (sovint es combinen varis criteris) : La més/menys utilitzada
La més específica/més general
La més informativa dóna un major número de fets desconeguts
La regla amb un grau de certesa més alt
La primera regla en ordre
Page 26
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200926
Cicle general: Aplicació
L’intèrpret de regles executa la regla seleccionada
modificant l’estat de la base de fets amb noves deduccions, càlculs, accions i/o nous subojectius
Propagació de les instanciacions (en CP1)
Si s’escau, propagació de la certesa de les premisses cap
a les conclusions, mitjançant les diferents connectives
lògiques
Page 27
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200927
Fi del cicle El cicle acaba quan ja no hi ha cap més regla aplicable,
o bé quan es troba la conclusió desitjada
Depenent del problema i de l’estratègia de control pot ser que la cadena de raonament quedi tallada
Cal reconsiderar passos anteriors
Page 28
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200928
Motors d’Inferència: estratègies (I) Motors Deductius/Encadenament progressiu
Encadenament cap endavant forward chaining
Estratègia dirigida per les dades data driven
Evidències, símptomes, dades conclusions i/o hipòtesis
A B C H
Page 29
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200929
Motors d’Inferència: estratègies (II)
Motors Inductius/Encadenament regressiu
Encadenament cap enrera backward chaining
Estratègia dirigida pels objectius goal driven
Conclusions i/o hipòtesis Evidències, símptomes, dades
A B C H
Page 30
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200930
Encadenament cap endavant Basat en el modus ponens:
A, AB |- B
És un mètode deductiu segons la lògica clàsica
Resolució del problema: Cerca des de l’estat inicial fins el final (l’objectiu), passant pels estats intermitjos que marquen les cadenes d’inferència que es deriven de l’aplicació de les regles
Partir de les evidències/simptomes/dades i deduir tot el es pugui
Page 31
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200931
Encadenament cap endavant. Funcionament
La base de fets s’inicialitza amb el conjunt de fets coneguts
Obtenir les conseqüències derivables del conjunt de fets:
Seleccionar les regles aplicables. Les que tenen els antecedents coneguts (ie són a la base de fets) o bé són preguntables.
Afegir les noves conclusions/valors a la base de fets
Page 32
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200932
Encadenament cap endavant. Pros i contres
Problemes
No focalitza en l’objectiu: La estratègia de resolució de conflictes es crítica
Explosió combinatoria: Degut a les possibles instanciacions dels predicats de les premisses (CP1)
Avantatges
Facilita la formalització del coneixement
El modus ponens és força intuitiu
Page 33
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200933
Encadenament cap endavant. Exemple
Base de coneixements Base de fets Objectiu
R1: A B C D A G??R2: A E F G ER3: B C D H BR4: E CR5: A H FR6: A C H
Page 34
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200934
Encadenament cap endavant. Exemple
1: A, E, B2: A, E, B, C(R4)
A,E,B,C,D A,E,B,C,H
R1 R6
3:
R3 R6
A,E,B,C,D,H A,E,B,C,D,H
R5 R6
A,E,B,C,D,H,F A,E,B,C,D,H
A,E,B,C,D,H,F,G! A,E,B,C,D,H,F ....
R1 R5
Page 35
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200935
Encadenament cap enrera
Es un mètode inductiu: trenca el sentit de la deducció:
B, AB ¬ |- A
Està guiat per un objectiu: Hipòtesi que es vol validar. Reconstruir la cadena de raonament en ordre invers
Cada pas implica nous subobjectius o subhipòtesis que s’han de validar
Page 36
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200936
Encadenament cap enrera. Funcionament Inicialitzar la base de fets amb un conjunt inicial de fets
Inicialitzar el conjunt d’hipòtesis o objectius a verificar
Mentre hi hagi hipòtesis per a validar fer
Validar una hipòtesi de la llista
Fmentre
Validar l’hipòtesi consisteix en: si ja ho està treure-la de la llista
Comprovar si ja està verificada en la BF
sino usar la BC i la BF per a validarla
Seleccionar una regla
Afegir les premisses de la regla com nous subobjectius a validar en lloc de la hipòtesi
Page 37
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200937
Encadenament cap enrera. Avantatges
La resolució del problema està millor dirigida. Només es considera el necessari per a la resolució del problema
El procés de resolució consisteix en l’exploració d’un graf i/o
Page 38
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200938
Encadenament cap enrera. Exemple (I)
Base de coneixements Base de fets Objectiu
R1: A B C A H??R2: C D BR3: E F G R4: A ER5: D GR6: A G H
Page 39
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200939
Encadenament cap enrera. Exemple (II)
H
R6 A
GH
R6 A
G
E
F
DR5
R3 H
R6 A
G
E
F
DR5
R3
R4A
H AG
G EF
G AF
Page 40
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200940
Encadenament cap enrera. Exemple (III)
H
R6 A
G
E
F
DR5
R3
R4A
Suposem que F és preguntable
NO
G AF = NO
S ha de tornar enrera i reconsideraraltres opcions
Page 41
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200941
Encadenament cap enrera. Exemple (IV)
H
A
G D
R6
R5
G H
H
A
G D
R6
R5C
D C
R2
Page 42
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200942
Encadenament cap enrera. Exemple (V)
H
A
G D
R6
R5C
C A B
R2A
B
Page 43
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200943
Avantatges dels SE
Adequats en dominis poc estructurats
Eficaços en tasques de diagnosi i classificació
Capacitat d’autoexplicació
Facilitat de comunicació amb l’usuari
Permet extensions fàcilment (raonament aproximat)
Page 44
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200944
Inconvenients dels SE Fragilitat
Dificultat amb el control del raonament
Baixa reusabilitat de les B.C.
Són incapaços d’aprendre
Problemàtica de l’adquisició del coneixement
Problemàtica de la validació
Page 45
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200945
Història dels SE (1)
Els més antics 1965
DENDRAL (1965-1970)
Interpretació d’espectografia de masses i ressonàncies magnètiques de molècules orgàniques
META-DENDRAL (1970)
Construcció de regles heurístiques a partir de dades
MACSYMA
Manipulació de fórmules algebraiques
Page 46
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200946
Història dels SE (2)
MYCIN (1972-1976) Diagnosi d’enfermetats infeccioses a la sang
400 regles
Raonament amb incertesa
EMYCIN (1980)
Exporta el sistema de control de MYCIN
Primer entorn de SE (shell)
HEARSAY-II (1975)
Interpretació del LN (hear + say)
1000 paraules
Page 47
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200947
Història dels SE (3)
PROSPECTOR (1977) Prospeccions mineres
Un altre mètode de raonament amb incertesa
R1/XCON (1980)
Configuració d’entorns computacionals
DEC, 200.000 regles
INTERNIST (1982)
Diagnosi en medicina interna
500.000 - 1.000.000 regles
Page 48
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200948
CENTAUR (1983) Diagnosi d’infeccions pulmonars
Regles i prototipus
MOLE (1986)
Shell de SE per a classificació
TEST (1987)
Troubleshooting Expert System Tool
Diagnosi / classificació
VT (1988)
Vertical Transportation
Disseny de sistemes elevadors
Història dels SE (4)
Page 49
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200949
Metaconeixement / Metaraonament Metaconeixement coneixement sobre el (propi)
coneixement
Control sobre com i quan aplicar el coneixement
Metaconeixement implícit
Estratègia de resolució de conflictes (criteris) En els primers Sistemes Experts : Premisses artificials per a
controlar l’aplicabilitat de les regles (ie repeat o !)
Metaconeixement explícit Introdució de les meta-regles (Davis, 1980) : Regles que
actuen sobre les regles Separació entre control i coneixements Mecanisme de raonament unificat: Motor d’inferències utilizat
per les regles i les meta-regles Concepte d’estratègia: Ordenació del elements necessaris
per a la resolució
Page 50
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200950
Meta-regles
Meta-regla: unitat de control sobre el coneixement
Tipus de meta-regles.
Meta-regles sobre regles Inhibir / desinhibir regles
Meta-regles sobre mòduls Tipus de cerca en els mòduls (endavant, enrera) Nivell de tall en la certesa mínima de les regles Subsumpció de regles
Meta-regles sobre estratègies Estratègia: conjunt ordenat de mòduls a ser tractats Excepcions
Meta-regles sobre plans d’actuació Quina estratègia s’aplica primer quan n’hi ha més d’una
Page 51
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200951
(MR-DECP01OK-BOMBA1.0
(INHIBIR-REGLES RDECP005RDECP006 RDECP007RDECP008 RDECP009RDECP019 RDECP020))
(MR-PRINCTÉ-FEBRE1.0
(MOTOR-ENRERA GRIP))
(MR-ESTR01CLASSE1POSSIBLE
(MÒDULS-A-TRACTAR C1))
(MR-03024SIDAPOSSIBLE
(MÒDULS-A-TRACTAR BACTERIANA-ATÍPICA PNEUMOCISTIS-CARINI TBC CITOMEGALOVIRUS CRIPTOCOCNOCARDIA ASPERGILLUS PNEUMOCOC ENTEROBACTÈRIES))
(MR-02012EDAT < 14SEGUR
(PARAR-SISTEMA))
Meta-regles: exemples
Page 52
https://kemlg.upc.edu
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
Discriminant ModelsRule-Based Reasoning (RBR)
Decision trees
Page 53
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200953
Decision trees
The nodes are qualitative attributes The branches are the possible values of a qualitative
attribute
The leaves of the tree have the qualitative prediction of the attribute that acts as a class label
Model the process of deciding to which class belongs a new example of the domain
Page 54
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200954
Decision tree for the contact lens data
Decision Tree: example 1
Page 55
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200955
Decision tree for the weather data
Decision Tree: example 2
Page 56
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200956
ID3 algorithm (1)
ID3 Induction Decision Tree [Quinlan, 1979], [Quinlan, 1986]
Machine Learning Technique
Decision Tree Induction
Top-Down strategy
From a set of examples/instances and the class to which theybelong, it builds up the best decision tree which explains theinstances
Criteria
Compactness the more compact better complexity
Goodness predictive/discriminant ability
Page 57
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200957
ID3 (2)
It is a greedy algorithm selecting at each step
the best attribute
the best one
is the most discriminant one (potentially more useful)
Page 58
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200958
ID3 (3)
The construction process is iterative: (1) It selects a subset (window) of the
examples (training set). (2) It is constructed a decision tree that allows to
discriminate the set of examples of the window (3) If the decision tree induced explains the rest of
examples of the training setThen
the decision tree is the definitiveElse
the badly classified examples (exceptions)are added to the window and go again to (2)
EndIf
Page 59
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200959
ID3 (4)
E1 ((A1V11) (A2 V12) ....(An V1n) Ci)E2 ((A1V21) (A2 V22) ....(An V2n) Cj )E3 ((A1V31) (A2 V32) ....(An V3n) Ck )
······
Em ((A1Vm1) (A2 Vm2) ....(An Vmn) Ck )
Training setWindow
Page 60
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200960
ID3: idea bàsica (5)
Select at each step the attribute which can discriminate
more.
The selection is done through maximizing a certain
function G (X, A).
Page 61
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200961
A B C D1. 1 1 5 -2. 2 1 5 -3. 2 1 7 +4. 1 1 7 +5. 2 2 5 -6. 2 2 7 -7. 1 2 7 -8. 2 3 7 +
(1)p n h(p,n) e
A=1 1 2 0,6365 0,6593A=2 2 3 0,6730
B=1 2 2 0,6931 0,3465B=2 0 3 0,0000B=3 1 0 0,0000
C=5 0 3 0,0000 0,4206C=7 3 2 0,6730
(2)
B=1
=2 =3
A C D1. 1 5 -2. 2 5 -3. 2 7 +4. 1 7 +
5. 2 5 -6. 2 7 -7. 1 7 -
8. 2 7 +
(3)
p n h(p,n) eA=1 1 1 0,6931 0,6931A=2 1 1 0,6931
C=5 0 2 0,0000 0,0000C=7 2 0 0,0000
(4)
B=1 =2 =3
- +
- +
C
(5)=5 =7
Page 62
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200962
ID3: formalization (6)
X set of examples {xj}j=1,m
A set of attributes {Ak}k=1,n
C set of classes {Ci}i=1,p
# Cardinality
Ai A, an attributex X, an examplev, a value
V(Ai) set of possible values for attribute AiAi(X) value of X for AiA-1
i(v) ={xX: Ai(x)=v}
V(Ai) {vl} l=1,q
Page 63
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200963
ID3: selection criteria (7)
Seleccit Ak which maximizes the gain of information
G(X, Ak) = I(X,C) - E(X, Ak) E(X, Ak) 0
where
I(X,C) = - p(X,ci) * log2p(X,ci)CiC
p(X,ci) = # Ci / #X
E(X, Ak) = p(X,vl) * I(A-1k(vl),C)
vlV(Ak)
p(X,vl) = # A-1k(vl) / #X
entropy
information
Probability that one examplebelongs to class Ci
Probability that oneexample has thevalue vl for theattribute Ak
Page 64
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200964
ID3: algorithm (8)
Function ID3 (in X,A are sets) returns decision tree isvar tree1, tree2 are decision tree endvaroption
case (Ci: xj X --> xj Ci) dotree1 buildTree (Ci)
case no (Ci: xj X --> xj Ci) dooption
case A doAmax max AkA {G(X,Ak)};tree1 buildTree(Amax);for each v V(Amax) dotree2 ID3(A-1
max (v), A-{Amax});tree1 addBranch(arbre1, arbre2, v)
endforeachcase A = do
tree1 buildTree(majorityClass(X))endoption
endoptionreturns tree1
endfunction
Page 65
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200965
ID3: example (9)
Eye Colour Hair Colour Height Class
E1 Blue Blonde Tall C+
E2 Blue Brown Medium C+
E3 Brown Brown Medium C-
E4 Green Brown Medium C-
E5 Green Brown Tall C+
E6 Brown Brown Low C-
E7 Green Blonde Low C-
E8 Blue Brown Medium C+
Page 66
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200966
ID3: example (10)
I(X,C) = -1/2 log2 1/2 -1/2 log2 1/2 = 1(1,2,5,8) (3,4,5,7)
C+ C-
E(X, Eye-colour) = 3/8 (-1 log2 1 - 0 log2 0) + 2/8 (-0 log2 0 - 1 log2 1) +3/8 (-1/3 log2 1/3 - 2/3 log2 2/3) = 0.344
E(X, Hair-colour) = 2/8 (-1/2 log2 1/2 - 1/2 log2 1/2) + 6/8 (-3/6 log2 3/6 - 3/6 log2 3/6) = 1
E(X, Height) = 2/8 (-1 log2 1 - 0 log2 0) + 4/8 (-1/2 log2 1/2 - 1/2 log2 1/2) + 2/8 (-0 log2 0 - 1 log2 1) = 0.5
Page 67
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200967
ID3: example (11)
G(X, Eye-colour) = 1 - 0.366 = 0.656G(X, Hair-colour) = 1 - 1 = 0G(X, Height) = 1- 0.5 = 0.5
Eye-colour
1,2,8 3,6 4,7, 5+ - - +
Hair-colour Height ClassE4 Brown Medium C-E5 Brown Tall C+E7 Blonde Low C-
BlueBrown
Green
Page 68
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200968
ID3: example (12)
I(X,C) = -1/3 log2 1/3 -2/3 log2 1/3 = 0,918(5) (4,7)
E(X, Hair-colour) = 1/3 (- log2 - 1 log2 1) + 2/3 (-1/2 log2 1/2 - 1/2 log2 1/2) = 2/3
E(X, Height) = 1/3 (-0 log2 0 - 1 log2 1) + 1/3 (-1 log2 1 - 0 log2 0) + 1/3 (-0 log2 0 - 1 log2 1) = 0
G(X, Hair-colour) = 0,918 - 0,666 = 0,252G(X, Height) = 0,918 - 0 = 0,918
Blonde
Page 69
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200969
ID3: example (13)
Eye-colour
1,2,8 3,6 4,7, 5+ - - +
Blue
Brown
Green
HeightTall
MediumLow
5 4 7+ - -
Page 70
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200970
ID3: example (14)
Eye-colour = Blue C+
Eye-colour = Brown C-
Eye-colour = Green Height = Tall C+
Eye-colour = Green Height = Medium C-
Eye-colour = Green Height = Low C-
Page 71
https://kemlg.upc.edu
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
Discriminant Models Rule-Based Reasoning (RBR)
Classification Rules
Page 72
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200972
Classification Rules / Association Rules
Let express knowledge over data though expressions like: if condition/s then conclusion Example:
if salary > 300000 and number-of-children [1,2] then potential customer
Conditions Format: conjunctive c1 & c2 & ... & cn
k-term-DNF conj1 o ... o conjk’, k’<k k-DNF conj1 o ... o conjk k-CNF disj1 & ... & disjk
Selector-Based A selector is the pair: Attributei = Valueij
Page 73
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200973
Classification Rules and Trees
Classificactions: Rules vs. Trees
Rules:IF Attribute1 = Value11 AND Attribute2 = Value12 then Class = Class1
IF Attribute1 = Value11 AND Attribute2 = Value22 then Class = Class2
Decision Tree:
Page 74
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200974
Rule Induction Process
Classification Rule Induction:
Classified Instances
Page 75
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200975
Classification Rule induction Algorithms
Rules [Pham & Askoy, 1995]
Prism [Cendrowska, 1987]
CN2 [Clark & Niblett, 1989]
Rise [Domingos, 1996]
Page 76
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200976
Rules
algorithm RULESNumberCombinations 1Rules mentre (NumberCombinations NombreAttributes) i
no Totes les instàncies classificades ferFind all selectors (pairs Attribute-Value) from NON classified instancesForma condicions com a combinació de NombreCombinacions selectorsPer cada condició Condiciói
Si les instàncies que satisfan la condició pertanyen a una única classe Cillavors
Crea la regla R: Condiciói CiComprova condicions irrellevantsRules Rules + R
FsiFper cada
NombreCombinacions NombreCombinacions + 1FMentreretorna (Rules)
Page 77
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200977
Example Lents
Age VisualDeficiency Astigmatism Tear
ProductionRecommendedlents
jove miope no Reduïda capjove miope no normal tovesjove miope sí reduïda capjove miope sí normal duresjove hipermetrope no reduïda capjove hipermetrope no normal tovesjove hipermetrope sí reduïda capjove hipermetrope sí normal durespre-prebiòpic miope no reduïda cappre-prebiòpic miope no normal tovespre-prebiòpic miope sí reduïda cappre-prebiòpic miope sí normal durespre-prebiòpic hipermetrope no reduïda cappre-prebiòpic hipermetrope no normal tovespre-prebiòpic hipermetrope sí reduïda cappre-prebiòpic hipermetrope sí normal capprebiòpic miope no reduïda capprebiòpic miope no normal capprebiòpic miope sí reduïda capprebiòpic miope sí normal duresprebiòpic hipermetrope no reduïda capprebiòpic hipermetrope no normal tovesprebiòpic hipermetrope sí reduïda capprebiòpic hipermetrope sí normal cap
Page 78
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200978
Example Lents with Rules (1)
Càlcul dels selectors: edat = jove edat = pre-prebiòpic edat = prebiòpic deficiència = miope deficiència = hipermètrope astigmatisme = sí astigmatisme = no producció llacrimal = normal producció llacrimal = reduïda
Generació de regles amb 1 selector a l’antecedent:
R1: producció llacrimal = reduïda Lents = cap
Page 79
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200979
Example Lents with Rules (2)Age Visual
Deficiency Astigmatism TearProduction
Recommended Lents
jove miope no reduïda capjove miope no normal tovesjove miope sí reduïda capjove miope sí normal duresjove hipermetrope no reduïda capjove hipermetrope no normal tovesjove hipermetrope sí reduïda capjove hipermetrope sí normal durespre-prebiòpic miope no reduïda cappre-prebiòpic miope no normal tovespre-prebiòpic miope sí reduïda cappre-prebiòpic miope sí normal durespre-prebiòpic hipermetrope no reduïda cappre-prebiòpic hipermetrope no normal tovespre-prebiòpic hipermetrope sí reduïda cappre-prebiòpic hipermetrope sí normal capprebiòpic miope no reduïda capprebiòpic miope no normal capprebiòpic miope sí reduïda capprebiòpic miope sí normal duresprebiòpic hipermetrope no reduïda capprebiòpic hipermetrope no normal tovesprebiòpic hipermetrope sí reduïda capprebiòpic hipermetrope sí normal cap
Page 80
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200980
Example Lents with Rules (3)
Age VisualDeficiency Astigmatism Tear
ProductionRecommendedLents
jove miope no normal tovesjove miope sí normal duresjove hipermetrope no normal tovesjove hipermetrope sí normal durespre-prebiòpic miope no normal tovespre-prebiòpic miope sí normal durespre-prebiòpic hipermetrope no normal tovespre-prebiòpic hipermetrope sí normal capprebiòpic miope no normal capprebiòpic miope sí normal duresprebiòpic hipermetrope no normal tovesprebiòpic hipermetrope sí normal cap
Page 81
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200981
Example Lents with Rules (4) Càlcul dels selectors:
edat = jove edat = pre-prebiòpic edat = prebiòpic deficiència = miope deficiència = hipermètrope astigmatisme = sí astigmatisme = no producció llacrimal = normal
Generació de regles amb 2 selectors:
R2: Astigmatisme = no AND Deficiència visual = hipermètrope Lents = toves
… Si encara queden instàncies per classificar, generació de regles amb 3 selectors:
… Si encara queden instàncies per classificar, generació de regles amb 4 selectors:
…
Page 82
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200982
Example Lents with Rules (5)
Age VisualDeficiency Astigmatism Tear
ProductionRecommendedLents
jove miope no normal tovesjove miope sí normal duresjove hipermetrope no normal tovesjove hipermetrope sí normal durespre-prebiòpic miope no normal tovespre-prebiòpic miope sí normal durespre-prebiòpic hipermetrope no normal tovespre-prebiòpic hipermetrope sí normal capprebiòpic miope no normal capprebiòpic miope sí normal duresprebiòpic hipermetrope no normal tovesprebiòpic hipermetrope sí normal cap
Page 83
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200983
Prismalgorisme PRISMPrism Per cada classe Ci ferE conjunt d’instàncies de la classe Ci
mentre E ferCrear regla R: Ci
mentre no R sigui perfecta i hi hagi més atributs per emprar ferPer cada parell atribut-valor (A-V) que no aparegui a R fer
Forma R’a-v extenent la regla R afegint-li la condició A=V a l’antecedentCalcula la precisió p/t (positius/totals) de R’a-v
fper cadaSelecciona R’op com la R’a-v tal que maximitzi la precisió p/t en totes les instàncies
{en cas d’empat, agafem la que tingui una p més gran}R R’op
fmentreE E – instàncies que cobreix RPrism Prism + R
fmentrefper cadaretorna (Prism)
Page 84
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200984
Example Lents with Prism (1)
Edat Deficiencia visual Astigmatisme Producció
llacrimal
Tipus de lents recomanades
jove miope no reduïda cap jove miope no normal toves jove miope sí reduïda cap jove miope sí normal dures jove hipermetrope no reduïda cap jove hipermetrope no normal toves jove hipermetrope sí reduïda cap jove hipermetrope sí normal dures pre-prebiòpic miope no reduïda cap pre-prebiòpic miope no normal toves pre-prebiòpic miope sí reduïda cap pre-prebiòpic miope sí normal dures pre-prebiòpic hipermetrope no reduïda cap pre-prebiòpic hipermetrope no normal toves pre-prebiòpic hipermetrope sí reduïda cap pre-prebiòpic hipermetrope sí normal cap prebiòpic miope no reduïda cap prebiòpic miope no normal cap prebiòpic miope sí reduïda cap prebiòpic miope sí normal dures prebiòpic hipermetrope no reduïda cap prebiòpic hipermetrope no normal toves prebiòpic hipermetrope sí reduïda cap prebiòpic hipermetrope sí normal cap
Page 85
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200985
Example Lents with Prism (2)
Per classe Ci: Fixem Ci = dures
R: Si ? Lents = dures
Edat = jove 2/8Edat = pre-presbiòpic 1/8Edat = presbiòpic 1/8Deficiència visual = miope 3/12Deficiència visual = hipermetrope 1/12Astigmatisme = no 0/12Astigmatisme = sí 4/12Producció llacrimal = reduïda 0/12Producció llacrimal = normal 4/12
Si Astigmatisme = sí Lents = dures
Page 86
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200986
Example Lents with Prism (3)
Edat Deficiencia visual Astigmatisme Producció
llacrimal
Tipus de lents recomanades
jove miope no reduïda cap jove miope no normal toves jove miope sí reduïda cap jove miope sí normal dures jove hipermetrope no reduïda cap jove hipermetrope no normal toves jove hipermetrope sí reduïda cap jove hipermetrope sí normal dures pre-prebiòpic miope no reduïda cap pre-prebiòpic miope no normal toves pre-prebiòpic miope sí reduïda cap pre-prebiòpic miope sí normal dures pre-prebiòpic hipermetrope no reduïda cap pre-prebiòpic hipermetrope no normal toves pre-prebiòpic hipermetrope sí reduïda cap pre-prebiòpic hipermetrope sí normal cap prebiòpic miope no reduïda cap prebiòpic miope no normal cap prebiòpic miope sí reduïda cap prebiòpic miope sí normal dures prebiòpic hipermetrope no reduïda cap prebiòpic hipermetrope no normal toves prebiòpic hipermetrope sí reduïda cap prebiòpic hipermetrope sí normal cap
Page 87
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200987
Example Lents with Prism (4)
Per classe Ci: Continua perquè R no és perfecta
R: Si Astigmatisme = sí AND ? Lents = dures
Edat = jove 2/4Edat = pre-presbiòpic 1/4Edat = presbiòpic 1/4Deficiència visual = miope 3/6Deficiència visual = hipermetrope 1/6Producció llacrimal = reduïda 0/6Producció llacrimal = normal 4/6
Si Astigmatisme = sí AND Producció Llacrimal = normal Lents = dures
Page 88
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200988
Example Lents with Prism (5)
Edat Deficiencia visual Astigmatisme Producció
llacrimal
Tipus de lents recomanades
jove miope no reduïda cap jove miope no normal toves jove miope sí reduïda cap jove miope sí normal dures jove hipermetrope no reduïda cap jove hipermetrope no normal toves jove hipermetrope sí reduïda cap jove hipermetrope sí normal dures pre-prebiòpic miope no reduïda cap pre-prebiòpic miope no normal toves pre-prebiòpic miope sí reduïda cap pre-prebiòpic miope sí normal dures pre-prebiòpic hipermetrope no reduïda cap pre-prebiòpic hipermetrope no normal toves pre-prebiòpic hipermetrope sí reduïda cap pre-prebiòpic hipermetrope sí normal cap prebiòpic miope no reduïda cap prebiòpic miope no normal cap prebiòpic miope sí reduïda cap prebiòpic miope sí normal dures prebiòpic hipermetrope no reduïda cap prebiòpic hipermetrope no normal toves prebiòpic hipermetrope sí reduïda cap prebiòpic hipermetrope sí normal cap
Page 89
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200989
Example Lents with Prism (6)
Per classe Ci: Continua perquè R no és perfecta
R: Si Astigmatisme = sí AND Producció llacrimal = normal AND ? Lents = dures
Edat = jove 2/2Edat = pre-presbiòpic 1/2Edat = presbiòpic 1/2Deficiència visual = miope 3/3Deficiència visual = hipermetrope 1/3
R1: Si Astigmatisme = sí AND Producció Llacrimal = normal AND deficiència visual = miope Lents = dures
R1 ja és 100% precisa !!
Page 90
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200990
Example Lents with Prism (7)
Edat Deficiencia visual Astigmatisme Producció
llacrimal
Tipus de lents recomanades
jove miope no reduïda cap jove miope no normal toves jove miope sí reduïda cap jove miope sí normal dures jove hipermetrope no reduïda cap jove hipermetrope no normal toves jove hipermetrope sí reduïda cap jove hipermetrope sí normal dures pre-prebiòpic miope no reduïda cap pre-prebiòpic miope no normal toves pre-prebiòpic miope sí reduïda cap pre-prebiòpic miope sí normal dures pre-prebiòpic hipermetrope no reduïda cap pre-prebiòpic hipermetrope no normal toves pre-prebiòpic hipermetrope sí reduïda cap pre-prebiòpic hipermetrope sí normal cap prebiòpic miope no reduïda cap prebiòpic miope no normal cap prebiòpic miope sí reduïda cap prebiòpic miope sí normal dures prebiòpic hipermetrope no reduïda cap prebiòpic hipermetrope no normal toves prebiòpic hipermetrope sí reduïda cap prebiòpic hipermetrope sí normal cap
Page 91
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200991
Example Lents with Prism (8)
Per classe Ci : Ja tenim 3 instàncies de la classe Ci = dures classificades
per R1 Continua perquè encara ens queda 1 instància de Ci per a
classificar . . .
Page 92
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200992
CN2: previous concepts
Un complex és una combinació de selectors.
CN2 Construeix regles a partir d’anar buscant el millorcomplex (la millor combinació de selectors).
El procediment de trobat el millor complex és un algorisme de cerca heurística que va guardant els K millors complexos trobats (k-beam), on K la defineix l’usuari.
Fa servir 2 heurístics per a determinar quins són els millors.
Un cop troba el millor complex, forma una regla amb el millor complex com a l’antecedent i el conseqüent amb la classe moda de totes les instàncies que cobreixen el complex regles no 100% segures!
Al final, quan no pot trobar més complexos, si encara queden instàncies no cobertes per cap regla, afegeix al final de la llista una regla per defecte, que classifica les instàncies segons la classe moda d‘aquestes
Page 93
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200993
CN2algorisme CN2 (k)E conjunt d’instàncies de la BDCalcula SELECTORSCN2_LIST BEST_CPX = Find_Best_Complex (E, k)mentre BEST_CPX NUL i E ferE' instàncies cobertes pel BEST_CPXC la classe moda del conjunt d’instàncies E’ Construeix la Regla R: “si BEST_CPX classe C”E E - E’ CN2_LIST CN2_LIST + R {s’afegeix ordenadament al final de la llista}BEST_CPX = Find_Best_Complex (E, k)
fmentresi E llavorsC la classe moda del conjunt d’instàncies E Construeix la Regla RpD: “si classe C” CN2_LIST CN2_LIST + Rpd {s’afegeix ordenadament al final de la llista}
fsiretorna (CN2_LIST)_______________________________________________Procediment Find_Best_Complex (E, k)
Page 94
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200994
Example Lents with CN2 (1) Selectors:
Edat = jove edat = pre-prebiòpic edat = prebiòpic deficiència=miope deficiència = hipermètrope astigmatisme = sí astigmatisme = no producció llacirmal = normal producció llacrimal = reduïda
Millor complex (Best_complex): Edat =jove AND deficiencia = miope AND producció llacrimal = reduïda
Cerca la classe moda de les instàncies cobertes pel millor complex Lents = cap
R: Edat =jove AND deficiencia = miope AND producció llacrimal = reduïda Lents = CAP
Page 95
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200995
Example Lents with CN2 (2)
Edat Deficiencia visual Astigmatisme Producció
llacrimal Tipus de lentsrecomanades
jove miope no reduïda cap jove miope no normal toves jove miope sí reduïda cap jove miope sí normal dures jove hipermetrope no reduïda cap jove hipermetrope no normal toves jove hipermetrope sí reduïda cap jove hipermetrope sí normal dures pre-prebiòpic miope no reduïda cap pre-prebiòpic miope no normal toves pre-prebiòpic miope sí reduïda cap pre-prebiòpic miope sí normal dures pre-prebiòpic hipermetrope no reduïda cap pre-prebiòpic hipermetrope no normal toves pre-prebiòpic hipermetrope sí reduïda cap pre-prebiòpic hipermetrope sí normal cap prebiòpic miope no reduïda cap prebiòpic miope no normal cap prebiòpic miope sí reduïda cap prebiòpic miope sí normal dures prebiòpic hipermetrope no reduïda cap prebiòpic hipermetrope no normal toves prebiòpic hipermetrope sí reduïda cap prebiòpic hipermetrope sí normal cap
Page 96
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200996
Risealgorisme RISERuleSet E {E és el conjunt d’instàncies de la BD. Cada instància és una regla}Precisió_final Precisió (RuleSet)repeteix
Precisió_inicial Precisió_final per cada regla R RuleSet
I instància més propera a la regla R que no la cobreixi i sigui de la mateixa classeR’ Most_Specific_Generalization (R,I)RuleSet’ RuleSet – R + R’ {R’ en lloc de R}si Precisió (RuleSet’) ≥ Precisió (RuleSet) llavors RuleSet RuleSet’si R’ RuleSet llavors {és idèntica a alguna altra}
RuleSet Ruleset - R’fsi
fsifperPrecisió_final Precisió (RuleSet)
fins que Precisió_final Precisió_inicialretorna (RuleSet)___________________________________________________________________________Càlcul de distàncies mitjançant funcions de distància: Clark, Canberra, Manhattan, Euclidea,
L’Eixample, etc.Most_Specific_Generalization: ampliació de rangs per a atributs continus.
Page 97
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200997
Example Lents with Rise (1)
Edat Deficiencia visual Astigmatisme Producció
llacrimal Tipus de lentsrecomanades
jove miope no reduïda cap jove miope no normal toves jove miope sí reduïda cap jove miope sí normal dures jove hipermetrope no reduïda cap jove hipermetrope no normal toves jove hipermetrope sí reduïda cap jove hipermetrope sí normal dures pre-prebiòpic miope no reduïda cap pre-prebiòpic miope no normal toves pre-prebiòpic miope sí reduïda cap pre-prebiòpic miope sí normal dures pre-prebiòpic hipermetrope no reduïda cap pre-prebiòpic hipermetrope no normal toves pre-prebiòpic hipermetrope sí reduïda cap pre-prebiòpic hipermetrope sí normal cap prebiòpic miope no reduïda cap prebiòpic miope no normal cap prebiòpic miope sí reduïda cap prebiòpic miope sí normal dures prebiòpic hipermetrope no reduïda cap prebiòpic hipermetrope no normal toves prebiòpic hipermetrope sí reduïda cap prebiòpic hipermetrope sí normal cap
Page 98
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200998
Example Lents with Rise (2)
Conjunt de regles inicials = conjunt d’instàncies:
R1: Edat =jove AND deficiencia = miope AND astigmatisme = no AND producció llacrimal = reduïda Lents = cap
R2: Edat =jove AND deficiencia = miope AND astigmatisme = no AND producció llacrimal = normal Lents = toves
…R24: Edat = prebiòpic AND deficiència = hipermètrope AND Astigmatisme = sí
AND producció llacrimal = normal Lents = cap
Page 99
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 200999
Example Lents with Rise (3)
Edat Deficiencia visual Astigmatisme Producció
llacrimal Tipus de lentsrecomanades
jove miope no reduïda cap jove miope no normal toves jove miope sí reduïda cap jove miope sí normal dures jove hipermetrope no reduïda cap jove hipermetrope no normal toves jove hipermetrope sí reduïda cap jove hipermetrope sí normal dures pre-prebiòpic miope no reduïda cap pre-prebiòpic miope no normal toves pre-prebiòpic miope sí reduïda cap pre-prebiòpic miope sí normal dures pre-prebiòpic hipermetrope no reduïda cap pre-prebiòpic hipermetrope no normal toves pre-prebiòpic hipermetrope sí reduïda cap pre-prebiòpic hipermetrope sí normal cap prebiòpic miope no reduïda cap prebiòpic miope no normal cap prebiòpic miope sí reduïda cap prebiòpic miope sí normal dures prebiòpic hipermetrope no reduïda cap prebiòpic hipermetrope no normal toves prebiòpic hipermetrope sí reduïda cap prebiòpic hipermetrope sí normal cap
Page 100
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 2009100
Example Lents with Rise (4)
Per cada regla, trobem la instància més propera:
R1: Edat =jove AND deficiencia = miope AND astigmatisme = noAND producció llacrimal = reduïda Lents = cap
I3: Edat =jove AND deficiencia = miope AND astigmatisme = siAND producció llacrimal = reduïda Lents = cap
. . . Generalitzem:
Nova ReglaEdat =jove AND deficiencia = miope AND producció llacrimal =
reduïda Lents = cap
Page 101
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 2009101
Results and Evaluation
Testing of all algorithms with:
5 different databases Discretization of continuous attibutes in different ranges Defining as a class attribute both discrete and continuous attributes
Page 102
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 2009102
Conclusions
Algorithm performance:
Rules: pot arribar a trigar molt en executar-se. Possible explosió combinatòria. (BD no necessàriament són grans, amb molts selectors). Recomanem discretitzar els atributs continus en 3 o 5 rangs en comptes de 10.
Prism: cost temporal baix. Poques regles, totes de precisió 100%. CN2: El cost temporal és directament proporcional al nombre del nombre
d’atributs, el nombre de parells atribut-valor i el valor K. Rise: genera moltes regles. Naturalesa específic-general. Temps d’execució
proporcional al nombre d’instàncies.
Page 103
https://kemlg.upc.edu
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
Models discriminantsRaonament basat en casos (CBR)
Aprenentatge basat en instàncies (IBL)
Page 104
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè, KEMLG – Advanced 104
CBR vs RBR? (1) Why CBR?
Problem: Most of the time the trouble in building Expert Systems comes from trying to fit experience into rules.
Usually it is hard for an expert in a domain the abstraction needed to create generic rules from specific past episodes.
Experience
RULESRules
Page 105
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè, KEMLG – Advanced 105
CBR vs RBR (2) The CBR Solution:
to directly use experience (past episodes) in the reasoning (reason by analogy).
No translation is needed.
OldExperience
NewExperience
Page 106
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè, KEMLG – Advanced Techniques in Machine Learning. Course 106
What is CBR? (3) A definition:
“.... transferring knowledge from past problem solvingepisodes to new problems that share significantaspects with corresponding past experience andusing the transferred knowledge to constructsolutions to new problems.”
(Carbonell, 1986)
Page 107
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè, KEMLG – Advanced 107
What is CBR? (2)
CBR: A methodology of solving new problems by adapting the solutions of previous similar problems
It uses cases as an episodic memory (Case Library).
Solution
Problem
New Solution
New Problem
Page 108
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè, KEMLG – Advanced 108
CBR Antecedents
Foundations of CBR
Our general knowledge about situations is recorded as scripts [Schank & Abelson, 1977]
Cognitive model is the Theory of Dynamic Memory [Schank, 1982]:
Indexing is the key to use experience in understanding
Remembering, understanding, experiencing, and learning cannot be separated from each other
Human memory is dynamic, and change as a result of its experiences
CBR derives from a view of understanding problem-solving as an explanation process [Riesbeck & Schank, 1989]
Page 109
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 2009109
Raonament Basat en Casos (VI)
newcase
retrievedcases
bestcase
adaptedsolution
evaluatedsolution
(fail/success)
Retrieve
Adapt Eval
Learncase
to store
CASELIBRARY
DOMAINKNOWLEDGE
El cicle del CBR:
Page 110
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè, KEMLG – Advanced 110
Comparison against other methods
Rule-Based Reasoning Rules express generic knowledge
(patterns) Rules used in the inferential process
exactly match with the input problem
It is difficult to learn new rules andmaintain the consistency Static knowledge No learning skills
It is difficult to acquire the expert knowledge to build the Rule Base
Performance is constant
Case-Based Reasoning Cases express specific or episodic
knowledge (constants) Cases used in the inferential process
partially match with the input problem It is easy to learn new cases, storing
them in the Case Base Dynamic knowledge Learning skills
It is relatively easy to acquire the expert knowledge to build the Case Base
Performance improves along time
Page 111
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè, KEMLG – Advanced 111
ExamplesExtracted from [Kolodner, 1993] CHEF [Hammond, 1986, 1989], a case-based planner for recipe creation
CASEY [Koton 1988, 1989], a case-based diagnosis program to diagnose a causal explanation of the patient disorders
JULIA [Hinrichs 1988-1992], a case-based designer in the domain of mealplanning
HYPO [Ashley, 1990], a case-based interpretive program that works in thedomain of law
PROTOS [Bareiss, 1989], a case-based classification program for audiological disorders
CLAVIER [Hennessy & Hinkle, 1992], a case-based program for configuration of the layout of composite airplane parts for curing in autoclave
BATTLE [Goodman, 1989], a case-based program for battle planning
ARCHIE [Pearce et al., 1992], a case-based design program for architecture
MEDIATOR [Simpson, 1985], a case-based arbitration program for dispute resolution
Page 112
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 2009112
Components d’un sistema CBR
Casos Plans o estructurats
Llibreria de casos Memòria plana o jeràrquica/xarxa
Mètode/s de recuperació Cerca o indexació a la llibreria Avaluació de la semblança
Mètodes/s d’adaptació
Mètode/s d’avaluació
Tipus d’aprenentatge
Page 113
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 2009113
Exemples
CHEF [Hammond, 1986, 1989], a case-based planner for recipe creation
CASEY [Koton 1988, 1989], a case-based diagnosis program to diagnose a causal explanation of the patient disorders
JULIA [Hinrichs 1988-1992], a case-based designer in the domain of meal planning
HYPO [Ashley, 1990], a case-based interpretive program that works in the domain of law
PROTOS [Bareiss, 1989], a case-based classification program for audiological disorders
CLAVIER[Hennessy & Hinkle, 1992], a case-based program for configuration of the layout of composite airplane parts for curing in autoclave
Page 114
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 2009114
Representació dels casos Attribute-value representation: a case is a set of
features case identifier derivation of the case description of the problem diagnostic of the problem solution to the problem evaluation of the solution (success/failure) utility measure other relevant information
Structured representation: a case is a structure relating features and other elements tree or network
Page 115
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 2009115
Recuperació de Casos / Retrieve (1) Recuperació de casos és més difícil que la
recuperació(consulta) en BD. Recuperació en BD = “matching” exacte
Recuperació en CBR = “matching” parcial (semblança)
Semblança: es calcula entre descripcions de casos,
sol esser una funció d’evaluació heurística o distància,
pot esser dependent del domini.
un exemple: descripció del cas = conjunt d’atributs
mesura de semblança =
La Recuperació ha d’intentar maximitzar la semblança entre el cas actual i el(s) cas(os) recuperat(s).
n
kjkikkji CCdistatrwCCdist
1),(_),(
Page 116
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 2009116
Recuperació de Casos / Retrieve (2) La eficiència del procés de recuperació depén
fortament de la organització de la Case Library dues aproximacions:
La estructura de la Case Lib. i la representació del cas facilita la recuperació dels casos rellevants i la seva comparació amb el problema en curs
Memòries planes
• Fàcils de gestionar• Lentes a la recuperació• Sempre troba el millor
Memòries jeràrquiques
• Difícils de gestionar• Ràpides a la recuperació• Cerca heurística
Page 117
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 2009117
Adaptació / Adaption Quan el cas seleccionat de la Case Lib. no concorda
perfectament amb el nou cas, la solució antiga ha d’esser adaptada poer obtenir la nova solució.
Estratègies:
adaptació nul·la
adaptació estructural
mètodes de substitució
mètodes de transformació
adaptació ad-hoc (special-purpose)
adaptació derivacional
La adaptació és un procés altament depenent del domini.
Page 118
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 2009118
Avaluació / Evaluation Qualificar la qualitat de la solució.
Tres formes de fer-ho:
Executar la solució en el mon real
Preguntar a un expert humà
Fer una simulació (laboratori, computeritzada, etc…)
Aprenentatge:
Aprenentatge per observacions (conj. de casos inicials)
Aprenentatge per experiència
Aprenentatge dels èxits
Aprenentatge del fracàs
Page 119
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 2009119
Aprenentatge / Learning
Aprenentatge per observacions (conj. de casos inicials)
Aprenentatge per experiència
Aprenentatge dels èxits
Aprenentatge del fracàs
Page 120
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè, KEMLG – Advanced 120
CBR Applicability
When a large historical data repository is available
When experts describe their domain through examples
When experience is so valuable as the knowledge from textbooks
When problems are not completely understood (weakdomain models, porr domain knowledge)
There are too many exceptions to general knowledge
When cases with similar solutions have similar problem descriptions
Page 121
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 2009121
Aplicacions del CBR
Diagnòsi de fallades en màquines
Diagnòsi de xarxes de computadors
Diagnòsi mèdica
Anàlisi de crèdits
Predicció de diposits geològics
Planificació de Batalles
Classificació dels missatges Telex d’un banc
Reconeixement de la parla
Page 122
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè, KEMLG – Advanced 122
CBR Advantages
Fast solution proposal, as it does not start from scratch, using previous experiences
Easiness to extract expert or domain knowledge to createthe case library
Past failed experiences can be used to prevent making thesame mistakes in the future
Integration of learning skills is simple CBR system improves its performance along time
Exceptional cases could be easily managed
Page 123
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè, KEMLG – Advanced 123
CBR Shortcomings
The whole Case Base is not always explored, and thusnon-optimal solutions could be found
A large size of memory could be required
Global consistency of all the cases could be difficult tomaintain
Adaptation functions must be defined for each domain.
A CBR system cannot reason about what has neverhappened
Page 124
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè, KEMLG – Advanced 124
Comparison against other methods
Rule-Based Reasoning Rules express generic knowledge
(patterns) Rules used in the inferential process
exactly match with the input problem
It is difficult to learn new rules andmaintain the consistency Static knowledge No learning skills
It is difficult to acquire the expert knowledge to build the Rule Base
Performance is constant
Case-Based Reasoning Cases express specific or episodic
knowledge (constants) Cases used in the inferential process
partially match with the input problem It is easy to learn new cases, storing
them in the Case Base Dynamic knowledge Learning skills
It is relatively easy to acquire the expert knowledge to build the Case Base
Performance improves along time
Page 125
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 2009125
Combination of CBR and RBR?
Engegar tots dos sistemes alhora Les regles diuen que s’ha de fer normalment Els casos recorden experìencies pasades (positives o
negatives) Problema: Què fer quan es contradiuen?
Extracció de coneixement genèric a partir de coneixement específic Quan es té un conjunt de casos amb similars solucions,
es pot generalitzar el coneixement en forma de regla i incorporar-ho a la Base de Regles Aprenentatge segur de regles
Page 126
https://kemlg.upc.edu
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
Predictive Models
Page 127
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 2009127
Predictive Models
Predictive Models (IA) Connectionist Models, Evolutionary Computation, Collective
Computation (Smart Intelligence). (Stats) Simple and Multiple Linear Regression, Variance Analysis,
Time Series Models. (IA&Stats) Regression Trees, Model Trees
Page 128
https://kemlg.upc.edu
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
Predictive Models
(AI) Connectionist Models (ANNs)
Page 129
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
ANN emulate the Neural Network of the brain
Human brain contains 10 billion neurons approx. Each one connected, at least, to other 10.000 neurons.
Signals are transmitted through the neurons
Input Output
Signal
Artificial Neural Networks (ANN)
Page 130
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
A simple model of one artificial neuron
x0
x1
x2y
xr
...
Σ f
w1,0
w1,r
b
1
inputs neuron
output y = f(Wx+b)n
N: network input
F: Activation function
wij: weights
Artificial Neural Networks (ANN)
Page 131
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
Brain properties emulated by ANNs:
Parallel and Distributed Computation Dense connection of basic units Connections can be modified through experience Learning is constant
Elements input
hidden layer
output layer
Structure of a multi-layer network
Artificial Neural Networks (ANN)
Page 132
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 2009132
Artificial Neural Networks (ANN)
Coding or Training Step Decoding or Classification Step Perceptrons, Backpropagation technique and Kohonen
Maps.
Page 133
https://kemlg.upc.edu
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
Predictive Models
(AI) Evolutionary Computing (GA, GP)
Page 134
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 2009134
Genetic Algorithms
Evolutionary behaviour inspired in Biology
Steps Set a characterisation of the problem to be solved with a
determined string coding each individual/chromosome (usually binary code)
Generate an initial population of individuals (random) Evaluate the chromosomes according to the fitness function Select the best chromosomes Stop the process if a satisfactory solution or a maximum number
of iterations is reached Apply genetic operators (crossover, mutation, inversion, etc.) to
the best chromosomes Configure the new evolved population and go to step 3
Page 135
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 2009135
Genetic Operators
Simple Crossover
Double Crossover
Mutation
Inversion
Page 136
https://kemlg.upc.edu
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
Predictive Models
(Stats) Multiple Linear Regression
Page 137
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 2009137
Models for the CPU performance data
PRP =- 56.1+ 0.049 MYCT+ 0.015 MMIN+ 0.006 MMAX+ 0.630 CACH- 0.270 CHMIN+ 1.46 CHMAX
Linear Regression
Page 138
https://kemlg.upc.edu
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
Predictive Models
(AI & Stats) Hybrid Regression Models
Page 139
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 2009139
Models for the CPU performance data
Regression Tree
Page 140
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 2009140
Models for the CPU performance data
Model Tree
Page 141
Inte
llige
nt D
ecis
ion
Supp
ort S
yste
ms
© Miquel Sànchez i Marrè & Karina Gibert, KEMLG, 2011141
Miquel Sànchez i Marrè, Karina Gibert([email protected] , [email protected] )
http://kemlg.upc.edu/