Intégration de données / ETL (Talend Open Studio) Séminaire CATI Ecoinformatique

9 Octobre 2009

Intégration de données / ETL

(Talend Open Studio)

Séminaire CATI Ecoinformatique

9 Octobre 2009

• Intégration de donnéesIntégration de données – DéfinitionDéfinition

– Pourquoi ?Pourquoi ?

– Les outilsLes outils..

• L’ETL TOS :L’ETL TOS :– Qu’est-ce ?Qu’est-ce ?

– Pourquoi ?Pourquoi ?• Travaux dirigésTravaux dirigés

– DécouverteDécouverte

Plan

9 Octobre 2009

Intégration de donnéesIntégration de données

• Définition Définition – Ensemble des processus par lesquels les données Ensemble des processus par lesquels les données

provenant de différentes parties du système provenant de différentes parties du système d'information sont déplacées, combinées et d'information sont déplacées, combinées et consolidées.consolidées.

– Ces processus consistent habituellement à extraire des données de différentes sources (bases de données, fichiers, applications, Services Web, emails, etc.), à leur appliquer des transformations (jointures, lookups, déduplication, calculs, etc.), et à envoyer les données résultantes vers les systèmes cibles

9 Octobre 2009

Intégration de donnéesIntégration de données

• Pourquoi ?Pourquoi ?– Synchronisation de différents SI :Synchronisation de différents SI :

• Alimentation de bases par des fichiers à platAlimentation de bases par des fichiers à plat

• Alimentation d’entrepôts de données.Alimentation d’entrepôts de données.

• Systèmes répliqués.Systèmes répliqués.

– Migration de S.IMigration de S.I

9 Octobre 2009

Intégration de donnéesIntégration de données

• Outils Outils – Développement spécifiques (moulinettes) Développement spécifiques (moulinettes)

• Difficulté de maintenance.Difficulté de maintenance.

• Manque de cohérence.Manque de cohérence.

• Peu de documentation.Peu de documentation.

– Outils dédiés (ETL : Extract – Transform – Load)Outils dédiés (ETL : Extract – Transform – Load)• Facilité de maintenance.Facilité de maintenance.

• Meilleure productivité.Meilleure productivité.

9 Octobre 2009

ETL TOSETL TOS

Qu’est-ce que c’est ?Qu’est-ce que c’est ?– Atelier de développement :Atelier de développement :

• Une interface graphiqueUne interface graphique

• Des composants spécialisés (plusieurs centaines) prêt à l’emploi.Des composants spécialisés (plusieurs centaines) prêt à l’emploi.

• Facilité de documentationFacilité de documentation

– Générateur de programme (Java et Perl)Générateur de programme (Java et Perl)

– Basé sur Eclipse :Basé sur Eclipse :• MultiplateformeMultiplateforme

9 Octobre 2009

ETL TOSETL TOS

Pourquoi ?Pourquoi ?– Solution libre dans la version de base :Solution libre dans la version de base :

– Communauté grandissante.Communauté grandissante.

– Une démarche non isolée (URGI – ISIE – DSI …)Une démarche non isolée (URGI – ISIE – DSI …)

– Un outil accessible même aux non informaticiensUn outil accessible même aux non informaticiens

9 Octobre 2009

Travaux dirigésTravaux dirigés

TD1 : Alimentation fichier CSVTD1 : Alimentation fichier CSV– Création d’un JobCréation d’un Job

– Création d’un schéma (métadonnées)Création d’un schéma (métadonnées)

– Création / Liaison / Configuration de composantsCréation / Liaison / Configuration de composants

– Exécution du jobExécution du job

– Génération du programme indépendantGénération du programme indépendant

– Génération de la documentationGénération de la documentation

9 Octobre 2009

Travaux dirigésTravaux dirigés

TD1 : ScénarioTD1 : Scénario

Tableau enrichi

9 Octobre 2009

Fin

Merci de votre attention

• Intégration de données Intégration de données – DéfinitionDéfinition– Pourquoi ?Pourquoi ?– Les outils.Les outils.

• L’ETL TOS :L’ETL TOS :– Qu’est-ce ?Qu’est-ce ?– Pourquoi ?Pourquoi ?

• Travaux dirigésTravaux dirigés– DécouverteDécouverte