3. Árboles de decisión 3.1 Introducción ? Método para aproximación de funciones objetivo que tengan valores discretos (clasificación) ? Uno de los métodos mas extensamente usados para inferencia inductiva ? Capaz de aprender hipótesis que se conformen de una disjunción (busca un espacio de hipótesis completamente expresivo) ? Resultado puede ser representado con reglas if- then ? Sesgo inductivo: preferencia por árboles pequeños (navaja de Occam)
23
Embed
3. Árboles de decisión - Departamento de Sistemas e ... · PDF filetravés del espacio de posibles árboles de decisión (ID3 y C4.5)? ... El ID3 usa todos los...
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
3. Árboles de decisión
3.1 Introducción? Método para aproximación de funciones objetivo
que tengan valores discretos (clasificación)? Uno de los métodos mas extensamente usados
para inferencia inductiva? Capaz de aprender hipótesis que se conformen
de una disjunción (busca un espacio de hipótesis completamente expresivo)
? Resultado puede ser representado con reglas if-then
? Sesgo inductivo: preferencia por árboles pequeños (navaja de Occam)
3. Árboles de decisión
3.2 Representación de árboles de decisión
? Cada nodo prueba algún atributo de la instancia siendo evaluada
? Se va ramificando la búsqueda hasta llegar a una hoja -> función objetivo
? Un árbol de decisión representa (en toda su extensión) una disjunción de conjunciones de restricciones sobre los atributos
3.5 Búsqueda por el Espacio de Hipótesis en Árboles de decisión? El espacio de hipótesis del ID3 es un espacio
completo de funciones finitas? El ID3 mantiene sólo una hipótesis mientras
busca otra por el espacio? El ID3 en su forma pura no realiza backtracking? El ID3 usa todos los ejemplos de entrenamiento
en cada paso de la búsqueda (realiza estadísticas)
3. Árboles de decisión
Búsqueda por el Espacio de Hipótesis
3. Árboles de decisión
3.6 Sesgo Inductivo en DTLSesgo inductivo aproximado del ID3: Se prefieren Árboles más cortos. Se prefieren árboles que ubiquen una ganancia de información alta cerca de la raíz.
? El ID3 busca incompletamente en un Espacio de Hipótesis completo (sesgo de prefencia)
3. Árboles de decisión
? Por qué se prefieren hipótesis pequeñas?
Navaja de Occam:
“Preferir la hipótesis más simple que explica el fenómeno”
3. Árboles de decisión
3.7 Cuestiones en DTLs
?Evitar el sobreentrenamiento? Parar de crecer el árbol temprano? Postprocesamiento del árbol (poda)
Cómo?? Usar un conjunto de ejemplos de validación? Usar estadísticas
3. Árboles de decisión
3. Árboles de decisión
3. Árboles de decisión
3. Árboles de decisión
? Podado para reducir error? Los nodos son podados iterativamente, siempre
eligiendo que al removerlo incrementa mejor la exactitud del DTL sobre el conjunto de validación
3. Árboles de decisión
? DTL Avanzados
? Incorporar atributos con valores continuos
? Otras medidas para seleccionar atributos
? Manejo de datos con valores de atributos faltantes