Transcript
Soft Computing – 55, quai de Grenelle – 75015 Paris – tél. +33 (0)1 73 00 55 00 – www.softcomputing.com
Big data : quoi de neuf en 2015 ?
12/02/2015
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 3
Les intervenants
Soft Computing:
Eric Fischmeister Président
et co-fondateur
Gilles Venturi Directeur Général et co-fondateur
Sylvain Bellier Directeur du
Pôle Marketing Services
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 4
SOMMAIRE SOMMAIRE
1. A propos de Soft Computing
2. Objectifs
3. Big data : de quoi parle-t-on ?
4. Big data : ce qui a vraiment changé ces derniers mois
5. Cas d'usage
6. Big data et data mining
7. Comment avancer
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 5
Carte d’identité
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 6
Continuum de services
Concevoir, développer et déployer des solutions CRM, Big Data et Digital performantes, pragmatiques et adaptées
Cadrage et Business Case Refonte de processus et conception de systèmes d’informations Architecture et urbanisation Gestion de programmes et de projets Assistance à Maîtrise d’Ouvrage Développement et intégration Recette Change Management et formation Centres de services et Tierce Maintenance Applicative
Imaginer, bâtir et opérer des programmes de conquête et de fidélisation cross-canaux, rentables et innovants Stratégie relationnelle : connaissance client marché, conquête, développement et fidélisation, optimisation de l'expérience client Création : design de sites, apps mobiles, emails, pages facebook, mailing, optimisation sites web Technologie : Référentiels Client Unique, bases marketing, moteurs de recommandation, moteur de fidélité, gestion de campagnes marketing, DMP, Business Intelligence, Web analytics, Big Data Exécution et mesure : community management, routage email, sms, push notification mobile, réseaux sociaux et fulfilment, gestion des campagnes marketing et mesure de résultats, gestion de la fidélité, gestion du MDM client Customer Insights : datamining, écoute des réseaux sociaux et enquêtes, SEM SEO, Data quality et conseil fichiers, reporting client-produit-canaux
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 7
Centre de services de
gestion des campagnes
marketing multicanal.
Ecoute et analyse des
sentiments des clients sur
les réseaux sociaux.
Programme relationnel
multi-devices.
Maintien en conditions
opérationnelles et
évolution du SI marketing
on et offline.
Gestion opérationnelle
des plates-formes
analytiques et marketing
ciblé.
Dispositif d’acquisition de
prospects sur tablette en
magasin.
Cadrage, conception et
déploiement d’un service
client pro-actif.
Centre de services de
datamining, de
campagnes ciblées et de
diffusion des reportings.
Personnalisation en temps
réel des contenus et
valorisation d’audience.
Déploiement d’un outil
d’automatisation des
forces de ventes.
Définition d’une stratégie
de Business Intelligence.
Applications mobiles et
personnalisation.
Pilotage de la qualité de
l’expérience client.
Optimisation des parcours
client et du taux de
transformation sur
Internet.
Référentiel client
transversal multicanal et
multiservice.
Extraits de références 2013
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 8
Experts reconnus
Enseigner
Ecrire
Echanger
http://blog.softcomputing.com/
https://twitter.com/#!/SoftComputing
http://www.facebook.com/softcomputing
http://www.softcomputing.com/fr/news/
http://fr.slideshare.net/softcomputing
http://www.linkedin.com/company/soft-computing
http://www.viadeo.com/fr/company/soft-computing
https://plus.google.com/+Softcomputing/
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 9
SOMMAIRE SOMMAIRE
1. A propos de Soft Computing
2. Objectifs
3. Big data : de quoi parle-t-on ?
4. Big data : ce qui a vraiment changé ces derniers mois
5. Cas d'usage
6. Big data et data mining
7. Comment avancer
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 10
Big Data : ça reste à mode
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 11
Oui, mais on aborde la vallée des désillusions
Big Data
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 12
Du vécu métier
2003 2015 Web mining
15 M Clients 5 ans
Recommandations Temps réel
Réseaux d’influence
Analyse de sentiments
50 To+
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 13
Du recul aussi sur le plan technique
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 14
Mais également de l’humilité…
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 15
SOMMAIRE SOMMAIRE
Focus sur les utilisations marketing
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 16
SOMMAIRE SOMMAIRE
1. A propos de Soft Computing
2. Objectifs
3. Big data : de quoi parle-t-on ?
4. Big data : ce qui a vraiment changé ces derniers mois
5. Cas d'usage
6. Big data et data mining
7. Comment avancer
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 17
Défi technique #1 : se préparer à gérer des volumes inimaginables
2005 2015
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 18
Défi technique #2 : sortir du cadre
2005 2015
Disponibilité
« Les données sont toujours accessibles »
Tolérance
« seul la panne totale interrompt »
Cohérence
« Les commits rendent l’ensemble
des données cohérentes »
Disponibilité
« Les données sont toujours accessibles »
Tolérance
« seul la panne totale interrompt »
Cohérence
« Les commits rendent l’ensemble
des données cohérentes »
Commit en 2 phases
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 19
Défi technique #3 : exécuter tout calcul en moins de 0,14 secondes
2005 2015
Trading Desk (ATD)
Editeur de site
Demand Side
Platform (DSP)
Ad exchange (Adex)
Supply Side
Platform (SSP)
Annonceur ou Agence
média
Ad Server de l’éditeur
ou Ad network
RTB & programma
tique
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 20
La genèse
http://www.visualizing.org/full-screen/52776
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 21
Au centre, la famille NoSQL
SQL
Cohérence indispensable
Relationnel
Oracle, SQL Server, DB2…
Clé-valeur
Structure simple
Stockage clé valeur
Dynamodb, Redis, MS Azure table, Oracle NoSQL
Colonnes
Analytique
Stockage en colonne pour des
recherches rapides
Bigtable, Cassandra, Hbase,
Hadoop
Document
Structure complexe, temps
de réponse
Clé-valeur avec de multiples attributs (semi-structuré
(XML…)
Couchdb, Mongodb
Autres
Hérarchiques (ldap…), Graph
(Neoj4…), OODB (Versant…)
Principes techniques :
Shared-nothing
Schemaless
Interfaces Restful simples
Avantages : Evolutivité des schémas
Scalabilité horizontale
Protocoles simples
Inconvénients :
Requêtes plus complexes
Pas de cohérence garantie
Pas de clé unique garantie
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 22
Les caractéristiques communes Nosql
Nosql
Non-relationnel
Evolutivité horizontale
Traitement distribué
Débit rapide
Matériel banalisé
Haute disponibilité
Tolérance
Cohérence éventuelle
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 23
Segmentation de l’offre
Xaas
Hardware
Projets Open Source Distributions
Données Analyse Visualisation Application
Professional services (tec & biz)
En bn$ 2013,
Nosql
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 24
Un marché (sur?) peuplé
Xaas
Hardware
Projets Open Source Distributions
Données Analyse Visualisation Application
EMR Bigquery
Professionnal services (tec & biz)
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 25
SOMMAIRE SOMMAIRE
1. A propos de Soft Computing
2. Objectifs
3. Big data : de quoi parle-t-on ?
4. Big data : ce qui a vraiment changé ces derniers mois
5. Cas d'usage
6. Big data et data mining
7. Comment avancer
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 26
Big data 2014
Démocratisation
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 27
Démocratisation hardware
5 nœuds 1 namenode, 20 cœurs, 192 Go ram 4 datanodes, 64 cœurs, 64 Gb ram, 10 To DD
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 28
Démocratisation : stockage
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 29
Démocratisation : outils de datavisualisation
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 30
Démocratisation : de plus en plus de données en libre service
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 31
Démocratisation : de plus en plus de données à coût modique
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 32
Démocratisation : analytique ML en cloud
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 33
Impact sur les usages
+
Données Détail
Temps réel
Prédictif
Non-structuré
Ouvert sur
l’extérieur
Autonome
Hybride
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 34
Données Détail
Elément de structure
Région Segment
Bonne gamme
Client
Mr XXX Contrat
Compte courant
Ecriture
Code commerçant
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 35
Décisionnel analytique
Temps réel
Transaction opérationnelle
Evénements
Traitement métier
Stockage données
Interception à la source
Analyse
Ex : page vue, ….
Ex : display Résultats Alerte Ex : RTB
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 36
Prédictif
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 37
Non-structuré
Streams sociaux Weblogs Capteurs E-mails
Détail transactions Pages web Documents scannés Trace GPS
Données boursières Enregistrements téléphoniques
Video-surveillance Données d’usage
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 38
Autonome
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 39
Hybride S
ystè
mes s
ou
rces
Systè
mes b
ancaires d
e p
roduction
Exte
rnes
ETL Appliance
Entrepôt Vision
unique du client
Datamarts
Sandbox
Entrepôt Hadoop
Usages
Reporting
Tableaux de bord
Cubes OLAP
Statistique (SAS...)
Systèmes front-end
Base métier
Données de référence
Synthèses transactions
Données externes structurées
Données externes peu structurées
Données volumétrie importante
Réintégration données après pré-traitement
Sa
s d
e
sé
cu
rité
Accès Accès
Accès
Données externes à la demande
Eléments de ciblage (dont scores)
Extractions Métiers (dont scores, segmentations...)
Base métier
Base métier
Base métier
Base métier
Base métier
Web Services
Services temps réel À destination des front-end
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 40
SOMMAIRE SOMMAIRE
1. A propos de Soft Computing
2. Objectifs
3. Big data : de quoi parle-t-on ?
4. Big data : ce qui a vraiment changé ces derniers mois
5. Cas d'usage
6. Big data et data mining
7. Comment avancer
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 41
ACQUISITION
FIDELISATION
RETENTION
ROI / ROE
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 42
L’omnicanal un enjeu clé mais comment le rendre opérationnel
TRAVAILLER LA PREFERENCE DE MARQUE
Expérience client Qualité de service
LA DONNEE, SA CENTRALISATION, SON UTILISATION SON
ACTIONNABILITE, SA VALORISATION
Performance
média, marketing
et commerciale
Digitalisation
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 43
L’usage de la donnée P
ropriéta
ires
Part
agées
Permanentes
Volatiles
Données Tiers : 3 rd party Open Data
CRM
données
nominatives et
transactionnelles
Tracking
Web, email,
display…
Semantiques:
Contenu web
fan pages, avis…
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 44
L’usage de la donnée : tendance P
ropriéta
ires
Part
agées
Permanentes
Volatiles
Données Tiers : 3 rd party Open Data
CRM
données
nominatives et
transactionnelles
Tracking
Web, email,
display…
Semantiques:
Contenu web
fan pages, avis…
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 45
L’usage de la donnée : tendance P
ropriéta
ires
Part
agées
Permanentes
Volatiles
Données Tiers : 3 rd party Open Data
CRM
données
nominatives et
transactionnelles
Tracking
Web, email,
display…
Semantiques:
Contenu web
fan pages, avis…
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 46
L’usage de la donnée : tendance P
ropriéta
ires
Part
agées
Permanentes
Volatiles
Données Tiers : 3 rd party Open Data
CRM
données
nominatives et
transactionnelles
Tracking
Web, email,
display…
Semantiques:
Contenu web
fan pages, avis…
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 47
L’usage de la donnée : tendance P
ropriéta
ires
Part
agées
Permanentes
Volatiles
Données Tiers : 3 rd party Open Data
CRM
données
nominatives et
transactionnelles
Tracking
Web, email,
display…
Semantiques:
Contenu web
fan pages, avis…
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 48
Parcours clients
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 49
L’objectif
Extraire des parcours client pour qualifier
des bases marketing, définir des
programmes relationnels et des plans de vie
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 50
Ecoute active des réseaux sociaux
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 51
L’objectif
Analyses des tweets, pages de marque,
blog/commentaires afin d’identifier des
ambassadeurs, détecter et analyser des
évolutions
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 52
Recommandations personnalisées
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 53
L’objectif
Faire des propositions personnalisées à la
volée au visiteur identifié ou non à base
d’auto-apprentissage ?
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 54
Synthèse
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 55
SOMMAIRE SOMMAIRE
1. A propos de Soft Computing
2. Objectifs
3. Big data : de quoi parle-t-on ?
4. Big data : ce qui a vraiment changé ces derniers mois
5. Cas d'usage
6. Big data et data mining
7. Comment avancer
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 56
SOMMAIRE SOMMAIRE
1. A propos de Soft Computing
2. Objectifs
3. Big data : de quoi parle-t-on ?
4. Big data : ce qui a vraiment changé ces derniers mois
5. Cas d'usage
6. Big data et data mining
7. Comment avancer
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 57
Débuter simple : log, stream, transaction
Streams sociaux Weblogs Capteurs E-mails
Transactions bancaires
Pages web Documents scannés Trace GPS
Données boursières Enregistrements téléphoniques
Video-surveillance Données d’usage
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 58
Do It Yourself ou Appliance ? Ikea ou Roche Bobois ?
Exemple Do it yourself Oracle appliance
Application datamining / banque - 5 M clients actifs
300 nœuds – 900 Go RAM – 650 To DD
Configuration 54 Dell serveurs*6 cœurs-16 Go-12 To
Appliance Sun 18 serveurs*12 cœurs-48 Go-36 To
Coût 150 K€ 150 K€
Avantage Evolutivité Clé en main
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 59
Où mettre les données ?
En cible, 3 environnements : 1- Données chaudes 2- Analytique gros volumes 3- Datawarehouse structuré et agrégats DMP Attention à la souveraineté des données Enjeu sur les historiques dans le cloud Nota : le marketing n’est pas que digital
Big data : données chaudes
Big data : données froides
Dataware : données
structurées
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 60
Cohabitation Datawarehouse et big data
SGBDR Connecteurs
SQL
Loader (import/export)
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 61
Open Source et Xaas Capex : 0 Opex progressifs Ouverture vers le onpremise et l’enterprise
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 62
3 compétences d’emblée
Marketing Datascience Programmation
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 63
R.O.I.
Connaissance Datamining
Assortiments en magasins
Rapports
Rapports industriels
Données : vision 360° client et produit
Campagnes ciblées
Technologies
1
2
3
4
Business Driven
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 64
Cibler des R.O.I. < 6 mois
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 65
Reconsidérer chaque année les ROI : les barrières à l’entrée baissent toujours plus
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 66
Victoires rapides : 3 à 6 mois , 1 pilote
1. DMP : Data : Weblogs Objectif : extraire des parcours client pour qualifier des bases marketing, définir des programmes relationnels et des plans de vie. Cible : : eCommerce et medias
2. Ecoute active des réseaux sociaux : Data : Streams sociaux Objectif : analyses des twits, pages de marque, blog/commentaires afin d’identifier des ambassadeurs, détecter et analyser des évolutions et d’animer les échanges (services de community management) Cible : retail et pgc
3. Recommandations personnalisées : Data : Weblogs et BDM Objectif : faire des propositions personnalisées à la volée au visiteur à base d’autoapprentissage Cible : retail et eCommerce
www.softcomputing.com Reproduction interdite sans l’accord écrit de Soft Computing 16/02/2015 67
Offre de services
S ensibilisation
tratégie
andbox
R oadmap
ollout
un
top related