Pentaho BigDataParis_session_20170306

IoTDonnées vers Information,

Information vers Savoir

6 mars 9h30 – Big Data Paris 2017

Que feriez-vous?« Si vous aviez des informations parfaites, universelles et opportunes? »

Question du matin !

OT105+YEARS

INDUSTRIAL

CONSUMER

BUSINESS

CITY

IoTINSIGHT

Hitachi

IT55+

YEARS

IT SYSTEMS

ARTIFICIAL

INTELLIGENCE

COMMUNICATIONS

BIG DATA

ANALYTICS

CLOUD

Cs

of

IoT

Connections

Conversions

Centralisation

Cognition (“Savoir”)

Continuous improvement

What Is IoT?

L’IoT contient généralement…

LOTS OF DATADATA SCIENCE &

MACHINE LEARNING

HADOOPLOTS OF

COMPUTE

Connaissances et intelligence machine

• Automated Data Ingestion

• Descriptive Statistics

• Open Metadata Catalogue

Deep Profiling

• Pattern Exploration

• Master Data Discovery

• Value Matching

Deep Analysis • Correlation Detection

• Anomaly Detection

• Event Prediction

• Human-Machine Collaboration

Deep Discovery

Données Information Savoir

Connections

ConversionsCentralisation

Cognition

Continuous

improvement

Apporter du”Savoir” dans vos marchés

79% 78%Les « data

scientists » passent

79% de leur temps à

collecter, nettoyer et

organiser les

données

78% des “data

scientists”

considèrent que

ces taches sont les

plus laborieuses de

leur travail

3+

“Operationalizing and Embedding Analytics for

Action,” TDWI, 2016

La majorité des

modèles prédictif

prennent 3 mois ou

plus à être mis en

production

“2016 Data Science Report,” CrowdFlower 2016“2016 Data Science Report,” CrowdFlower 2016

Hitachi Rail (UK)

Business Challenges

▪ Moderniser et améliorer les liaisons de transport

ferroviaire en U.K

▪ Réduire les coûts de maintenance

Use Case

▪ XaaS / « Train As A Service »

▪ Maintenance prédictive & Optimisation des horaires

▪ Internet of Things (IoT)

▪ Big Data Science Pentaho’s technology allows us to innovate

without legions of Big Data Experts!

Apporter du “Savoir” avec Pentaho

• Chargement des enregistrements de retard des trains

• Croisement des retards avec les référentiels et préparation des données

pour l’algorithme prédictif

• Exécution de l’algorithme prédictif (Python) directement dans PDI

• Export des « patterns » de retard (lieu, train opérateur, motif) dans un

fichier

Data injection and processing

Alg

orith

m

imple

menta

tion

Data Lake

Architecture Globale du Projet

TMS

OBS

Files

IoT

Analyzer

Alerting

Trend

Monitoring

VisualMap

Reduce

MachineLearning

Ingestion Préparation Analyse

Reports

Dashboard

SGBD

MetadataIngestion

Notre plateforme analytique

Near-RT

Compute

Batch

Hadoop

MR

ETL Cluster

ETL

Colle

cte

r &

In

gére

rV

isualis

er &

Em

barq

uer

Transformer & Enrichir

Predict

Weka R Python

Administration Securité Cycle de vieProvenance des données

Data Pipeline Dynamique

Monitorer Automatiser

Data Engineering

Gestion et automatisation du Pipeline

Ingestion AnalysePréparation

Une approche de bout en bout

Pentaho Data IntegrationInterface graphique pour construire des “data pipelines” complet

100+ Etapes de

Transformation

Développement

Drag & drop

Configuration

100% GUI-based

Modéliser, Analyser,

et Visualiser

Relational

Applications

Big Data

Much More

Résumé: Votre boîte à outils

▪ Systèmes de capture de données

▪ Plateforme de communication “Pipeline”

▪ Plateforme de stockage et de calcul de données

▪ “Data Science”

▪ Outils d'abstraction graphique

▪ Ne vous laissez pas « berner » par la visualisation

IoTDonnées, Information,Savoir

Merci

Sebastien Cognet

Avant-Vente France

[email protected]

@opentoile