Data Mining Para C.R.M.
Data Mining
Para C.R.M.
Contenido
1. ¿Qué es Data Mining?2. El Círculo Virtuoso de Data Mining3. El Consumidor y su Ciclo de Vida4. Algoritmos y Técnicas de Data Mining
1. RFM2. Market Basket Analysis3. Estadísticas Clásicas: Regresión, Cluster Analysis4. OLAP5. Arboles de Clasificación6. Redes Neurales
Contenido (cont.)
5. Casos de Estudio:1. Banco2. Telecomunicaciones3. Supermercado4. Data Base Marketing
6. Implantación de Data Mining para CRM7. Conclusiones
1. ¿Qué es Data Mining?Data Mining (DM) es:“El proceso de exploración y análisis, por medios automáticos o semi-automáticos, de grandes cantidades de Datos, para el descubrimiento de patrones y reglas útiles.”(*), en nuestro contexto, para las gerencias de Mercadeo, Ventas, Atención al ClienteCon DM podemos:
• Describir• Clasificar (1/0, si/no,…)• Estimar (Valores continuos)• Predecir• Determinar reglas de Asociación / Secuencia
(*)Berry, Linoff 1997
1. ¿Qué es Data Mining? (cont.)Conjunto de Herramientas de origen diverso: Estadísticas, Computación, Inteligencia artificial, para: Clasificar, Estimar, Predecir, Agrupar y Describir a los consumidores y su comportamiento
¿Porqué DM?Generación de enormes cantidades de Datos de transacciones con clientes: Supermercados (Scanners), Tarjetas de Crédito, Televisión por Cable (Pay-perView), Ventas por Catálogo, etc.
¿ Porqué DM (cont.)
. Las empresas están inviertiendo grandes recursos en almacenar esos datos en un ambiente común (Data WareHouses), aunque las fuentes sean diversas (facturación, reclamos, reservación,...)
. Las computadoras son cada vez más poderosas a precios más accesibles
. El software para realizar DM está disponible y es cada vez más amigable
¿ Qué es DM (cont.)
¿ Qué es DM (cont.)La presión de la competencia obliga a ser más eficiente. Esta se basa cada vez más en información para lograr una relación estrecha con el consumidor :MassCustomization / One-to-One Marketing. No se puede esperar a ver signos obvios de insatisfacción para actuar: Se debe ser Proactivo y Anticiparse a las necesidades de los Consumidores: Se requiere automatizar en lo posible la Oferta adecuada a la Persona adecuada, en el Momento adecuado, a través del Canal adecuado.
¿ Qué es DM (cont.)DM y CRMCRM es el proceso de Gerencia de la Interacción entre losConsumidores y la Empresa.Para ser exitosa, ésta necesita identificar los segmentos conClientes más rentables o prospectos con mayor potencial, Para luego diseñar y ejecutar campañas de mercadeo de alto Impacto económico para la empresa.⇒Requiere Datos relevantes de los consumidores y su comportamiento⇒Estos se “Minan”, creándose modelos, definiéndose Segmentos⇒Estos resultados alimentan el software de gerencia deCampaña
¿ Qué es DM (cont.)DM y CRM
El software de Gerencia de Campaña se encarga de: Administrar y Monitorear las comunicaciones con el consumidor a través de múltiples puntos de interacción, como: Corréo directo, telemarketing, Servicio al consumidor, Punto de Venta, Internet, Oficinas, etc.
El software de Gerencia de Campaña Automatiza e Integra la Planificación, Ejecución, Evaluación de distintas campañas dirigidas a múltiples segmentos
Para maximizar las probabilidades de éxito, El software de Gerencia de Campaña y el proceso de DM y generación de Scores deben estar intimamente integrados.
¿ Qué es DM (cont.)DM y CRM
Evaluando los beneficios del modeloR
0%
Aleatorio
Por Sc
ore
espu
esta
s
100%
¿ Qué es DM (cont.)DM y CRM
Aplicaciones de DM en CRM:
Determinación de la Rentabilidad del cliente. DM puedeayudar a detectar los segmentos más rentables,y predecirla rentabilidad futura de una campaña.
Adquisición de Nuevos Clientes. Aplicando modelos de DM a los datos de los clientes actuales, se puedeidentificar segmentos con mayor probabilidad de hacernegocio con nuestra empresa, en una base de datos de Clientes Potenciales
¿ Qué es DM (cont.)DM y CRM
Aplicaciones de DM en CRM (cont.):
Ventas cruzadas: Algoritmos de DM permiten identificarqué productos son usualmente comprados en conjunto poruna misma persona, y el conocimiento de estos resultadosfavorece una mejor recomendación de productos al consumidor
Retención de Clientes: La identificación de los patronesde comportamiento de los clientes que abandonaron la empresa permite crear modelos y aplicarselos al resto de los clientes y tomar así acciones preventivas
¿ Qué es DM (cont.)DM y CRM
Mercadeo. El conocimiento del perfíl de los distintossegmentos de los consumidores y su comportamientofacilita la implantación de Campañas de Retención, Promociones a segmentos objetivos específicos, análisisde la Rentabilidad de los mismos, etc. disminuyendocostos y aumentando la eficacia de las campañas
Detección de Fraudes y Evaluación de Riesgo. Compañías de Seguro, Bancos, Telecomunicaciones,etc.
¿ Qué es DM (cont.)Ejemplos:
. ¿Qué Consumidores son más probables de irse a la competencia (telecomunicaciones)?
. ¿Cuál es la probabilidad de que el consumidor compre al menos $100 de productos de mi catálogo?
. ¿Cuales clientes potenciales tienen mayor probabilidad de responder a mi oferta?
=> Se logra a través del “Scoring” de la Base de Datos
2. El Círculo Virtuoso de DM
Transformar Datos enInformación con DM
IdentificarProblemas/Oportunidades
Actuar
Medir Resultados
2. El Círculo Virtuoso de DM (cont.)
1. Identificar Problema/Oportunidad
⇒ Estrecha interelación / comunicaciónTécnicos DM y Expertos del negocio. Permite responder preguntas como:. ¿Se justifica el esfuerzo de realizar DM?. ¿Existe un segmento particularmente atractivo?. ¿En qué estado están los datos? Están disponibles y “limpios”?. ¿Qué les dice su intuición y conocimiento del negocio quees importante?
2. El Círculo Virtuoso de DM (cont.)2. Transformando Datos en Información con DM
EvaluarDesempeñodel Modelo
“Entrenar”El Modelo
Crearconjunto
De modelo
IdentificarReq. de Data
ObtenerData
ValidarExplorarLimpiar Data
TrasponerData
AgregarVariablesDerivadas
SeleccionarTécnica deModelaje
SeleccionarMejorModelo
2. El Cículo Virtuoso de DM (cont.)
2. El Cículo Virtuoso de DM (cont.)Premisas del Modelaje:
⇒El comportamiento pasado es un buen predictor del comportamiento futuro
⇒ Los Datos están disponibles
⇒La Data contiene lo que queremos predecir
2. El Círculo Virtuoso de DM (cont.)
3. Actuar Sobre los Resultados obtenidos:
⇒Comunicar aprendizaje sobre el negocio a los interesados
⇒ Generar un “Scoring” de la base de datos de clientes
⇒Generar programa de mercadeo con base en esosresultados
2. El Círculo Virtuoso de DM (cont.)4. Evaluar la Eficiencia del ( de los ) Modelo(s)
=> Se comparan los resultados utilizándo el ModeloVs. La Realidad del Mercado=> Se construye nuevo modelo con los nuevos datosobtenidos:
Es un Proceso Iterativo
3. El Ciclo de Vida del Cliente
Se puede enfocar desde dos puntos de vista:
1. El Ciclo de vida del Cliente como Cliente
2. El Ciclo de vida del Cliente como Persona
3. El Ciclo de Vida del Cliente (cont.)
1. Como Cliente:
Empieza como PROSPECTO: personas pertenecientesa nuestro mercado objetivoAlgunos pasan a responder a nuestras ofertas y se convierten en CLIENTES OCASIONALES(Respondent)Parte de estos se hacen CLIENTES ESTABLECIDOSFinalmente, algunos DESIERTAN voluntaria o involuntariamente, es decir dejan de ser clientes
3. El Ciclo de Vida del Cliente (cont.)
“Respondente”MercadoPotencial
NuevoCliente
AltoValor
Alto Potencial
BajoValor
DeserciónVoluntaria
Deserción
Forzada
Prospectos Ocasionales Establecidos Desertores
3. El Ciclo de Vida del Cliente (cont.)
¿Dónde interviene DM?:
Con DM se puede obtener el perfíl de clientes que hanrespondido en el pasado a campañas similares. Se buscarán prospectos con perfíl similar.
DM permitirá determinar cuáles de los respondentestienen mayor probabilidad de convertirse en ClientesEstablecidos
3. El Ciclo de Vida del Cliente (cont.)¿Dónde interviene DM? (cont.):
El comportamiento de los Clientes establecidosalimentará modelos de DM que permitirán:
Segmentarlos
Realizar campañas de Ventas Cruzadas
Realizar campañas de “Up-Selling” (incentivar el uso/compra de productos/servicios superiores)
DM permite identificar patrones comunes de losDesertores Voluntarios, lo que puede ser utilizadopara prevenir mayores fugas de clientes y/o campañasde Recuperación
3. El Ciclo de Vida del Cliente (cont.)2. Como PersonaAdicionalmente, es importante conocer en que fase del ciclo de Vida como Persona se encuentra el Cliente. Algunos eventos Personales pueden afectar sucomportamiento como Cliente. Por ejemplo:
Cambiar de TrabajoEl primer hijoCasarseDivorciarseRetirarseMudarseEtc.
Estos Eventos son oportunidadespara estrechar las relaciones con el Cliente. Aunque estos datos no son siempre fáciles de conseguir, existen maneras de derivarlos: Cambios de nombre, subsripcióna revistas, pólizas, etc.
4. Herramientas de Data Mining
. RFM (Recency, Frequency, Monetary)
. OLAP (On-Line Analytic Processing)
. Market Basket Analysis (Asociación)
. Clustering (Agrupación/Segmentación)
. Regresión múltiple / Regresión Logística
. Arboles de Decisión: CHAID / CART
. Redes Neurales Artificiales
Recency - Frequency - MonetaryValue
Modelo simple (¿simplista?) utilizado en Data Based Marketing, que clasifica a los clientes según los tres indicadores siguientes:
1. Qué tan recientemente compró (R)2. Con qué frecuencia compra (F)3. Qué monto total nos ha comprado (M)
Recency - Frequency - MonetaryValue (cont.)
Se basa en el criterio empírico que los clientes más propensos a comprarnos nuevamente son aquellos que nos compraron más recientemente; luego, entre estos, los más probables que repitan su compra son los que compran con mayor frecuencia, y finalmente, los más interesantes son aquellos que compraron más.Se ordena la base de dato en consecuencia:125 clasificaciones, desde 111 (Más Reciente, más Frecuente, Mayor Monto) hasta 555 (Menos reciente, menos frecuente, menor monto)
4. Herramientas de Data Mining (cont.)
Recency - Frequency - Monetary Value (cont.)
F=1
F=2
F=3
F=4
F=5
M5M
=4M=3M
=2M=1
511 521 531 541 551
411 421 431 441 451
311 321 331 341 351
211 221 231 241 251
111 121 131 141 151
R=5
R=4
R=3
R=2
R=1
4. Herramientas de Data Mining (cont.)
Recency - Frequency - Monetary Value (cont.)Resumen: Metodología sencilla, de facíl implantación, con resultados superiores a muestreo aleatorio.
Sin embargo, no tiene poder predictivo para nuevos clientes incorporados a la base de datos
Existen mejores modelos: Regresión Logística, CHAID / CART, por ej.
Market Basket Analysis. Objetivo: Deteminar qué productos son comprados simultaneamente. Areas de aplicación: Supermercados ; Tarjetas de crédito (Hoteles, alquiler de vehículos); Telecomunicaciones (mensaje, conferencia, voice mail...); Bancos (servicios, instrumentos financieros); Seguros...
4. Herramientas de Data Mining (cont.)
4. Herramientas de Data Mining (cont.)Market Basket Analysis (cont.)
Los resultados se pueden clasificar así:. Los útiles (Cerveza y pañales son comprados simultanamente los jueves pm). Los triviales (Si compró un martillo también compró clavos). Los inexplicables (La mayonesa se vende muy frecuentemente con el shampoo)
Regresión LinealRegresión Lineal
Y = a X + b
Y
X
4. Herramientas de Data Mining (cont.)
4. Herramientas de Data Mining (cont.)
Regresión Lineal Múltiple
Regresión Múltiple: Y = a1 X1 + a2 X2 + …an Xn + b
Betas: coeficientes Normalizados: Importancia relativa de Variables
Y = ß 1 X1 + ß 2 X2 +... ßn Xn
Cuales son las variables que explican SIGNIFICATIVAMENTE la variación de Y: p-value
4. Herramientas de Data Mining (cont.)Regresión Logística
Cuando la variable dependiente varía entre 0 y 1 (p.ej. Probabilidad de que compre un nuevo producto) la regresión lineal múltiple no funciona (valores < 0, y > 1). En estos caso un modelo adecuado sería regresión logística1.0
0.0
Prob
abili
dad
Ingreso mensual
F(y)= Ln { p/(1-p) } = A0 + A1X1
4. Herramientas de Data Mining (cont.)
Clustering: SegmentaciónMetodología: K-Means
Se selecciona el número de segmentos deseadoEl Modelo asigna arbitrariamente K centros de segmentos arbitrariosAsigna cada punto al centro más cercanoRecalcula el nuevo centroRepite hasta convergencia
Reto: Describir los segmentos de manera Util…
Semilla 1 Semilla 2 Semilla 3
X2
4. Herramientas de Data Mining (cont.)Clustering: Segmentación (cont.)
X1
4. Herramientas de Data Mining (cont.)Arboles de Decisión
Objetivo: obtener un árbol de manera inductiva, que describa un conjunto de datos
Tipos de árboles:
. Arbol de Clasificación (CHAID): Genera reglas Jerárquicas que permiten Clasificar la data
. Arbol de Regresión (CART): Generan reglas Jerárquicas que permiten Predecir valores
4. Herramientas de Data Mining (cont.)
Ejemplo de Arbol de DecisiónIngreso > 12 MM
Más de 5 añosEmpleado
Alto endeudamiento
Si No Si No
BajoRiesgo
BajoRiesgo
AltoRiesgo
AltoRiesgo
7.500 S2.500 N
6.000 S1.000 N
100 S1.400 N
1.400 S100 N
6.000 S0 N
0 S1.000 N
Ingreso
Antiguedad Deuda
<12MM >=12MM
<5 >=5 Mucha Poca
4. Herramientas de Data Mining (cont.)Hacer “Crecer” el árbol
1.500 S1.500 N
Arboles de Decisión: Clasificación
1.400 S100 N
4. Herramientas de Data Mining (cont.)
Se aplican las reglas generadas por el árbol a nuevos clientes, y según sus datos, este es asignado al “nodo” adecuado. Por ejemplo si el nuevo integrante tiene un ingreso menor a 12 MM, y una antiguedad mayor a 5 años, se le asigna el valor “S”
4. Herramientas de Data Mining (cont.)Arboles de Decisión: Generación
de Reglas
El modelo genera las reglas de decisión de manera explicita. Por ejemplo:
IF INGRESO > 12MM AND DEUDA = “ALTA”THEN RIESGO = “S”
Redes Neurales Artificiales
Modelos matemático que simula el comportamiento del cerebrohumano.“Aprenden” a partir de un conjunto de datosde entrenemiento (Training Data Set), generalizando los patrones descubiertos para clasificar y predecir comportamientoInconveniente: “Caja Negra” : Dificil de entender el modelo que genera
4. Herramientas de Data Mining (cont.)
Redes Neurales Artificiales (cont.)
Neuronas Capa OcultaEntradas
Salida
Capa de Entrada Capa de Salida
Redes Neurales Artificiales (cont.)
Salida
Σ
P1 P3
Función deCombinación (ej. Prom. Ponderado/combinación lineal)
Función de Transferencia (Lineal/No Lineal)Función de
Activación
P2
Entradas
4. Herramientas de Data Mining (cont.)
Redes Neurales Artificiales (cont.)
Fortalezas:. Aplicables a una amplia gama de problemas,
tanto de predicción como de clasificación. Produce buenos resultados en áreas
complejas: No hay asunción de linearidad en los datos (ej. Aceptación de Galleta Vs Tempreratura de horno)
4. Herramientas de Data Mining (cont.)
Redes Neurales Artificiales (cont.)
Debilidad:
. No se puede siempre entender el modelo, o porqué funciona, cuales son las reglas, ecuaciones,…
. Riesgo de “Sobre - Entrenar” el modelo (Over-Fitting)
4. Herramientas de Data Mining (cont.)
Redes Neurales Artificiales (cont.)
5. Casos de Estudio1. Data Base Marketing: Venta por Catálogo – Vermont Country Store (VCS)
Objetivo: Maximizar el ingreso por catálogo enviado
Datos almacenados: Cliente, Nº períodos con al menos un pedido,Modo de pago, Nº compras, Nº días desde últimacompra, Compras por categoría, Monto compradopor período, datos Demográficos
5. Casos de Estudio (cont.)1. Data Base Marketing: Venta por Catálogo – Vermont Country Store (VCS) – (cont.)
Enfoque Técnico:1. RFM => mail pequeña escala => respuesta =>
Jerarquización de las celdas2. Regresión (EM) => Modelo con incremento de ventas
del 3.89%3. Redes Neurales (EM) => Modelo con incremento de
ventas del 2.86%4. Arbol de Clasifiación (EM) => Modelo con incremento
de ventas del 12.83% !!
5. Casos de Estudio (cont.)2. Telefonía Celular: Modelación del “Churn” (deserción de Clientes)
Problema: El lider del mercado de Telefonía Celular en un país en desarrollo se enfrenta a la realidad de la apertura del mercado, ya en fase de madurez => Focalización en ClientesActuales Vs. Nuevos Clientes, Cómo conservarlos, Cómohacerlos más rentables
Proyecto: Después de depurar la data e invertir en Data WareHouse, OLAP, se inició el proyecto de modelación de Churn con DM
5. Casos de Estudio (cont.)5. Casos de Estudio (cont.)2. Telefonía Celular: Modelación del “Churn” (deserción de Clientes)
Características del Mercado: La empresa tiene 5 MM de Clientes con una tasa de
deserción del 1% mensualClientes de Alto Valor pertenecen al “Club” (1.5 MM)
=>Descuentos, cupones, etc. Tasa deserción 1.3% /mes(non Club: 0.9%/mes)
Promedio de llamadas: 12/díaNo se cobran llamadas recibidas=> ∃ Data2/3 con cargo automático T.C. / Cta. Corriente.
5. Casos de Estudio (cont.)2. Telefonía Celular: Modelación del “Churn” (deserción de Clientes)
Definición de Churn: Existen distintos tipos de deserción:. Deserción Involuntaria: Cuando la empresa
suspende el servicio al cliente: Falta de pago. Deserción Voluntaria. Esta a su vez se divide en
Deserción por :. Mudanzas a áreas no servidas. Defunción del Cliente. Incapacidad de seguir pagando el servicio. Atracción por el servicio de la competencia. Deseo de obtener nuevo celular (subsidiado
por la competencia)
5. Casos de Estudio (cont.)
¿Cuándo? No solo es intereante predecir quién se irá, sinocuándo
Por todo lo anterior, este proyecto se concentro en identificar a los desertores voluntarios (sin distinciones), y luego se creó otro modelo para identificar el porquédesiertan
5. Casos de Estudio (cont.)Objetivos del Proyecto:1. Corto Plazo: Identificar listado de probables desertores.
Se focalizó el esfuerzo en los miembros del Club2. Mediano Plazo: Elaborar una aplicación de Gerencia del
Churn (Churn Management Application: CMA).Además de crear el modelo inicial, el CMA se encarga de:
. Gerenciar los modelos
. Importar la data y transformarla para su uso en modelos
. Exportar los Scores generados por los modelos⇒ Se Trata de Automatizar al máximo la generación de
modelos3. Largo Plazo:Completar el CRM
5. Casos de Estudio (cont.)Enfoque del Proyecto:1. Definir Deserción2. Inventariar la Data disponible:
. Sistema de información del usuario (edad, sexo, dirección,etc.)
. Archivo de la cuenta del Cliente (antiguedad, plan, servicios adicionales, etc.)
. Sistema de facturación (Nº llamadas rea;lizadas / recibidas, duración llamadas, Círculo de influencia,monto mensual, roaming, internacionales, llamadas a atención al cliente, etc.)
5. Casos de Estudio (cont.)
Enfoque del Proyecto (cont.):
4. Asignar Scores: probabilidad de desertar
5. Medición de Resultados: comparación Scores y Realidad
3. Construir Modelos: Arboles de Decisión / Redes Neurales/ Regresiones
5. Casos de Estudio (cont.)
Lecciones aprendidas en modelaje de Deserción:- Identificar las variables más signicativas. En este casoresulto ser la ma
… Demo del Enterprise Minerde SAS Institute …