Talend Data Mapper : Simplifiez-vous l'intégration de SAP !

Copyright Synaltic 2015 1

DataMapper, Simplifiez-vous l’intégration de SAP

Talend Connect 2015


Présentation

Pourquoi Talend ?

Le choix du DataMapper

Design Pattern de développements

Échanges avec SAP

Les Gains & Problèmes rencontrés

Conclusion

Sommaire


Patrick N.Patrick N. est chef de projet pour un grand industriel. Après 15 années dédiées à déployer SAP en Belgique et en Europe, il se consacre au management du système d’information ainsi qu’à la gestion des processus et à l’amélioration continue. Il travaille actuellement en tant que Projects Manager pour l’implémentation Talend (DI et MDM).

Sébastien VanottiSébastien est en charge de la cellule expertise au sein de Synaltic Group. Il a développé de fortes compétences sur l’ensemble des briques Talend.

Présentation Intervenants

Copyright Synaltic 2015

Pourquoi Talend ?


Choix à l’origine de la solution MDM :Agnostique quant au Master Data (Modèle générique)Vaste choix de connecteurs y compris SAPCoût

Migration de BIS SeeburgerOpportunité

Contexte initial du besoin


Le choix du DataMapper


Contexte SAP avec l’utilisation des IDOC Fichiers multi-structures à plat (positionnel ou XML) utilisés pour les interfaces

Plusieurs solutions proposées par la société TalendUne approche Data Integration classiqueL’utilisation du nouveau composant DataMapper (début 2014)

Un contexte SAP


Très forte complexité à traiter ces fichiers en version DI (tXMLMap)

Première solution proposée par Talend : utilisation du tXMLMap


Exemple de mapping à l’aide du DataMapper

Deuxième solution proposée : Le DataMapper (Mars 2014)


Nouvelle brique logicielle rajoutée à la plateforme Talend (Version 5.5)Perspective dédiée, appelable depuis un composant tHMap en DI

ObjectifsManipuler des fichiers à structures complexe (hiérarchique, multi-boucles)

IDOCEDIFACTHL7X12

Types d’import possibles

Qu’est-ce que le DataMapper ?


Réalisation d’un prototype par Talend en Mars 2014Prototype concluant

Migration de la version 5.4.1 vers la version 5.5.1 (Août 2014)Présence du DataMapper dans cette versionNouvelles fonctionnalités

Le DataMapper


Intervention de Synaltic pour Expertise MDM & DI en Septembre 2014Forte expertise sur les domaines MDM et DI Expérience naissante sur le DataMapperSynaltic et le client acceptent de relever le challenge dans ce contexte

A la suite des premiers ateliers, le choix final s’est porté sur une solution hybride Data Integration et Data Mapper.

Orchestration de jobs en Data IntegrationAppel des mapping DataMapper à certains niveauxEnrichissements des données effectués en Data Integration

Le DataMapper & Synaltic


Design Pattern de développements


Mise en place d’une solution hybride : DataMapper + Data Integration

Palier à certaines absences de fonctionnalitésUtiliser les avantages des deux outilsLiaison entre les deux : le composant tHmap

Utilisation de demi-flux et de formats pivotsEvolutivité et adaptabilitéFaciliter la lisibilité et la maintenance

Approche choisie


ORDER RESPONSE Confirmation de commande

DESADV Note d’envoi

ORDER Commande (vente et achat)

INVOICE Facture client

SUPPLIER INVOICE Facture fournisseur

Types de documents SAP


Jobs d’interfaçage avec les différentes gateway (applications sources)

Découpage des traitements en plusieurs étapes Fichier texte vers format XML

Faciliter la lisibilitéFichier XML vers format Pivot (XML)

Format du type de documents + enrichissementUtilisation du composant tHMap

Pivot vers format de sortie attendu Transformation à l’aide du composant tHmap

Routing du fichier généré vers les environnements ciblesFTP, SAP, Répertoire réseau, Mail…

Archivage du fichier

Design de développement


Etape spécifique : Fichier XML vers format PivotEnrichissement des données à l’aide de base de données (Oracle) ou SAP effectué en Data Integration

Instabilité à cette époque de l’utilisation de la base de données dans le datamapperCréation d’une joblet spécifique

Valorise les balises vides du format pivot avec des données provenant d’autres sources

Développement de classes Java spécifiques pour certaines transformations dans le DataMapper

Permet d’étendre les capacités du DataMapper

Spécificités


Création d’une table de paramétrage permettant de « router » les fichiers générés vers une ou plusieurs cibles

Fonctionnement proche de l’ESB

Routage variable en fonction du clientPar exemple, le client1 est paramétré pour recevoir une facture sur sa plateforme dédiée, être notifié par mail (avec éventuellement fichier en pièce jointe) et peut être sur un serveur FTP d’archivage.

Amélioration de la maintenance et du suivi des éléments envoyés aux clients

Gestion Multicanal


Mise en place d’un monitoring fonctionnelTables de monitoring spécifiques alimentées à l’aide des composants de log TalendGestion de mails d’alerte en cas d’erreurIndexation des données dans ElasticsearchTableaux de bord Kibana

Ajout d’une gestion de reprise d’erreur spécifique orientée document

Extension de la fonctionnalité d’origine de reprise sur erreur de TalendPossibilité de reprendre un document à n’importe quelle étape du traitement et dans l’état correspondant

Monitoring


TALEND PLATFORM

ArchitectureGATEWAYS

RFC SERVER Clients et Fournisseur

s

SAP

RFC

Table

BAPIBases de données Oracle

TAC JobServer

Elastic/Kibana

Nexus

MDM


Échanges avec SAP


Dans le cadre du projet, la quasi-totalité des composants SAP disponibles dans la palette Talend ont été utilisés

Lecture table SAP (tSAPTableInput)

Appels BAPI (tSAPBAPI)

Push d’IDOC dans SAP (tSAPIDocOutput)

Problème rencontré avec le composant de lecture des IDOCSFormat du fichier XML récupéré non exploitableImpossibilité de le faire fonctionner avec le mode SNCToujours le cas même en version 5.6.1

SAP & Talend : Les composants


Le contexte du projet nécessite l’utilisation d’une connexion sécurisée avec SAP, appelée SNC

Nécessite des paramétrages supplémentairesParamétrage avancé des composants SAP (propriétés spécifiques du driver JCO fourni par SAP)Paramétrage de l’utilitaire SAPCrypto fourni par SAP (installé sur le serveur Talend)Paramétrage des autorisations utilisateurs dans SAP

Difficultés rencontréesPeu de documentation sur la méthode à suivre pour le driver JCONombreuses briques à prendre à compte

SAP : Connexion sécurisée SNC


Nouvelle brique logicielle de la version 5.6.2

Ajouté suite aux nombreuses demandes client sur SAPRéactivité de la part de Talend.

Permet de récupérer les IDOC provenant de SAP de manière aisée

Utilisation d’un nouveau composant dédié : tSAPIdocReceiver

Possibilité d’utiliser une connexion SNC

SAP & Talend : Le RFC Server


Les Gains et Problèmes rencontrés


ProjetsManque de connaissance du produit à remplacerDifficulté à accéder aux sources (BIS Seeburger)Montée en compétences difficile liée au changement technologique et au manque de documentation (DataMapper)

ProduitManque de documentation au démarrage du projetFaible intégration de l’outil dans Talend (en 5.5.1, lié à la récente acquisition du produit). Routines Talend non disponibles dans le DataMapperFormats requis non présents mais supportés (EDIFACT)

Les difficultés rencontrées


FonctionnelsPossibilité d’évolution : capacité à satisfaire plus de demandesPossibilité d’étendre le spectre des activités grâce aux fonctionnalités Talend (ex. connexion SAP)

TechniquesPlateforme moderne, évolutive et performante Réappropriation des flux (Refactoring & lisibilité)Plus stable : Mise en place d’une Exploitation et Supervision (interface conviviale, suivi plus détaillé)

Les gains


Conclusion


Après X mois d’utilisation de Talend, nous le recommandons comme outil pour d’autres projets

Choix du DataMapper s’est avéré le bon choix

Réactivité de Talend sur l’implémentation de nouvelles fonctionnalités.

« Si un client aujourd’hui veut démarrer de l’interfaçage SAP Talend, il ne doit pas hésiter. La version 6 apporte des évolutions importantes qui rendent son utilisation plus aisée »

Conclusion


Data Driven Approach

Questions / Réponses


Data Driven Approach Merci de votre attention.

Contacts :[email protected]@synaltic.fr

@synaltichttp://www.synaltic.fr

mailto:[email protected]

mailto:[email protected]

Talend Data Mapper : Simplifiez-vous l'intégration de SAP !

Presentations & Public Speaking

Transcript of Talend Data Mapper : Simplifiez-vous l'intégration de SAP !