Alphorm.com Formation ETL Talend Open Studio (1/2) - Les fondamentaux

Une formation

FormationTalend Open Studio for Data Integration

Les fondamentaux

Aimad TAHI

Une formation

Talend est un éditeur de logicielCréé le 2006 à Suresnes (France)Plus de 500 salariés10 paysDeux types de logiciels :

1. Produits commerciaux2. Produits Open Source gratuits

Introduction

Une formation

Talend Produits

Une formation

ETL

900 composants et connecteurs

Interface intuitive

Concepteur de tâches

Modélisateur métier

Open Source

TOS for Data Integration

Une formation

Cursus TOS DI

Les fonctionnalités avancéesLes fondamentaux

Une formation

Plan de la formationIntroduction

1. Présentation ETL

2. Présentation et installation de Talend Open Studio

3. Définir un projet

4. Présentation de l'environnement Talend Open Studio

5. Modélisation et documentation

6. Conception d’un Job

7. Gestion des métadonnées

8. Gestion des Jobs

9. Les routines

Conclusion

Une formation

Public concerné

Développeur DBA Chef de projet

Une formation

Connaissances en SQL et Java

Prérequis

Une formation

Talend DI v6 Certified Developer

60 questions

1 heure 30

Résultat minimum : 80%

Certification

Une formation

Aimad TAHI

Projet de la formation

Une formation

Sujet Migration de données

En entréeFichiers csv, xml

En sortie1. Fichier csv, xml

2. Table (sgbdr)

Plan

Une formation

Fonctionnement

Une formation

Présentation ETL

Aimad TAHI

Une formation

Plan

Présentation

Problématique

Solution

ETL Commercial vs Opensource

Une formation

ETL : Extract TransformLoad

Présentation

Une formation

Problématique

Une formation

Faciliter : • les études d’impact• la maintenance• transfert de connaissance

Centraliser les traitements et les métadonnéesRéduire le coût

Solution

Une formation

Simplicité avec un ETL

Une formation

Type d’ETL

1. ETL propriétaire

2. ETL Open Source

Une formation

Mise en œuvre rapide

Interface généralement complète

Achat des licences et formations

Coût élevé dès le début du projet

ETL Propriétaire

Une formation

Coût

Temps

Coût ETL Propriétaire

Une formation

Pas de licence

Coût de la formation et souscriptionhotline technique

Coût constant tout au long du projet

Partage des travaux

ETL Open Source

Une formation

Coût

Temps

Coût ETL Open Source

Une formation

Intégration opérationnelle et décisionnelle

Aimad TAHI

Une formation

Plan

Comment réussir son intégration?

Intégration décisionnelle

Intégration opérationnelle

Une formation

Comment réussir son intégration?

Une formation

Progiciels (ERP, CRM, etc.)Bases de donnéesEntrepôts de données Magasins de donnéesApplications OLAP

Intégration décisionnelle

Une formation

ChargementMigration de donnéesSynchronisationRéplication de données

Intégration opérationnelle

Une formation

Prérequis à l'utilisation des produits Talend

Aimad TAHI

Une formation

Prérequis

Recommandations relatives à la mémoire

Recommandations logicielles

Installation de Java

Une formation

Recommandations mémoire

3 Go

Une formation

Recommandations logicielles

Une formation


Une formation


Java SE Runtime Environment 8

Merci

Une formation

Téléchargement et installation de TOS DI

Aimad TAHI

Une formation

Plan

Télécharger https://fr.talend.com/download/talend-open-studio#t4

Installer

Démarrer

Une formation

Les concepts dans TOS DI

Aimad TAHI

Une formation

Plan

Référentiel

Projet

Workspace

Job

Composant

Élément

Une formation

Créer et Exporter un projet

Aimad TAHI

Une formation

Créer un projet

Projet 1

Projet 2

Projet n

Une formation

Exporter un projet

Projet 1

Projet 2

Projet n

Une formation

Supprimer et importer etun projet

Aimad TAHI

Une formation

Supprimer un projet

Projet 1

Projet 2

Projet n

Une formation

Importer un projet

Projet 1

Projet 2

Projet n

Une formation

Créer un workspace

Aimad TAHI

Une formation

Création d’un workspace

Workspace 1

Workspace 2

Workspace n

Projet 2

Projet n

Projet 1

Projet 2

Projet n

Projet 1

Projet 2

Projet n

Projet 1

Une formation

Présentation de la barre d'outils et des menus

Aimad TAHI

Une formation

Présentation du Repository (le référentiel)

Aimad TAHI

Une formation

Plan

Business Models

Job Designs

Contexts

Code

SQL Templates

Metadata

Documentation

Recycle bin

Une formation

Designer (éditeur graphique) et Palette des composants

Aimad TAHI

Une formation

Utilisation du Business Model

Aimad TAHI

Une formation

Plan

Objectifs

Création ou ouverture d’un BM

Modélisation

Une formation

Gérer la documentation et l'assigner

Aimad TAHI

Une formation

Plan

Commenter et réarranger un BM

Propriétés

Assigner un document

Modification d’un BM

Une formation

Conception d’un Job

Aimad TAHI

Une formation

Plan

Objectifs

Créer ou Ouvrir un Job

Conception d’un Job

Une formation

Les entrées et les sorties

Aimad TAHI

Une formation

Plan

Définition d’une entrée (source)

Définition d’une sortie (cible)

Une formation

Exemple d’entrée et sortie

Aimad TAHI

Une formation

Connexion des composantsRow 1/2

Aimad TAHI

Une formation

Plan

Connexion Main

Connexion Lookup

Connexion OutPut

Connexion Filter

Une formation

Connexion des composantsRow 2/2

Aimad TAHI

Une formation

Plan

Connexion Unique

Connexion Duplicate

Une formation

Connexion des composantsIterate

Aimad TAHI

Une formation

Plan

Connexion Iterate

Exemple

Une formation

Connexion des composantsTrigger

Aimad TAHI

Une formation

Plan

Connexion Trigger

Exemple

Une formation

Exécution d’un job

Aimad TAHI

Une formation

Plan

Exécuter en mode normal

Exécuter un Job dans un contexte défini

Exécuter en mode debug

Une formation

Entrées/sorties multiples

Aimad TAHI

Une formation

Plan

Composant à multiples sources

Composant à multiples cibles

Composant à multiples s/c

Une formation

Exemple des Entrées/sorties multiples

Aimad TAHI

Une formation

Personnaliser les sous-jobs

Aimad TAHI

Une formation

Plan

Surlignage des sous-jobs

Affichage du titre du SJ

Modifier les couleurs

Format du libellé des composants

Une formation

Pré-job/Post-job et composant Start

Aimad TAHI

Une formation

Définition des propriétés d’un composant

Aimad TAHI

Une formation

Plan

Paramètre simple (Basic Settings)

Advanced settings

Paramètres dynamiques (AdvencedContext)

View

Documentation

Une formation

Les schémas de métadonnées

Aimad TAHI

Une formation

Plan

Connexion aux bases de données

Fichiers métadonnées

Une formation

Mapping de flux de données1/3

Définition

Aimad TAHI

Une formation

Plan

Flux en entrée et sortie du tMap

Mapping de variables

Expression editor

Schema editor

Une formation

Mapping de flux de données2/3

Jointure & Optimisation

Aimad TAHI

Une formation

Plan

Modifier les types des jointures

Optimisation tMap avec les filtres

Utiliser les variables

Une formation

Mapping de flux de donnéesAlimentation de Table

3/3

Aimad TAHI

Une formation

Plan

Alimentation d’une Table BD

Les actions sur la table

Les actions sur les données

Une formation

La connexion à la base de données

Aimad TAHI

Une formation

Plan

Configurer une connexion BD

Partager une connexion

Une formation

Les contextes et les variables

Aimad TAHI

Une formation

Plan

Utiliser les variables dans un Job

Définir les variables à partir de la vue Contexts

Une formation

Centraliser les contextes dans le Repository

Aimad TAHI

Une formation

Gérer les mises à jour des éléments du Repository

Aimad TAHI

Une formation

Plan

Modifier un élément du Repository

Mettre à jour automatiquement les Jobs impactés

Mettre à jour manuellement les Jobs impactés

Une formation

Activation et désactivation d’un Job ou d’un sous-Job

Aimad TAHI

Une formation

Plan

Désactiver un composant et sous-Job

Désactiver plusieurs composants et sous-Job

Une formation

Générer la documentation du Job

Aimad TAHI

Une formation

Plan

Générer la documentation HTML

Mettre la documentation à jour

Une formation

Configurer un schéma File Delimited

Aimad TAHI

Une formation

Plan

Chargement du fichier

Définition du schéma

Validation du schéma final

Une formation

Configurer un schéma DB

Aimad TAHI

Une formation

Plan

Configurer une connexion à une BD

Récupérer les schéma de table

Une formation

Configurer un schéma XML

Aimad TAHI

Une formation

Plan




Une formation

Configurer un schéma Excel

Aimad TAHI

Une formation

Plan




Une formation

Génération des scripts (sous Linux/Aix et Windows)

Aimad TAHI

Une formation

Plan

Exporter des Job scripts sous Windows

Exporter des Job scripts sous Linux

Une formation

Import et export d’un élément

Aimad TAHI

Une formation

Plan

Import d’un élément

Export d’un élément

Une formation

Accéder aux routines système

Aimad TAHI

Une formation

Plan

Définition des routines

Accéder aux routines système

Une formation

Créer vos routines

Aimad TAHI

Une formation

Plan

Création d’une routines

Tester une routine

Une formation

Appeler une routine à partir d'un Job

Aimad TAHI

Une formation

Plan

Personnaliser les routines système

Appeler une routine à partir d’un Job

Une formation

Conclusion

Aimad TAHI

Une formation

Bilan

Création de projet sous Talend

Utiliser les interfaces Talend

Modéliser avec Business Model

Création des Jobs (métadonnées, routine)

Une formation

Prochaine formation

Gestion des contextes avancés

Réalisation des jobs complexes

Implémentation en java

Manipulation des fichiers XML

Optimisation

Création et ajout de composant

Déploiement des jobs hors Talend

Alphorm.com Formation ETL Talend Open Studio (1/2) - Les fondamentaux

Technology

Transcript of Alphorm.com Formation ETL Talend Open Studio (1/2) - Les fondamentaux