Avantages d’une mise à niveau vers InfoSphere DataStage 8.7Optimisez votre investissement InfoSphere DataStage grâce à un traitement en parallèle haute performance

Logiciel IBM Fiche technique

Points clés• Permetuneextractiondedonnées

hauteperformanceparlotsetentempsréel,latransformationdecesdonnéesetleurchargement.

• Fournituneévolutivitéintégréepourgarantirlapérennitédevotrearchitecture.

• Permetauxdéveloppeursd’êtreplusefficacesetplusproductifsàtraversl’automatisationetlaréutilisationdetâchescommunesdedéveloppement

Les experts du secteur s’accordent à dire que les exigences en matière de traitement des analyses et des données sont en hausse : Par exemple, l’IDC prédit que « la quantité d’informations gérées par les centres de données des entreprises sera multipliée par 50 »1 au cours des dix prochaines années. Au même moment, de nouvelles exigences en matière de gouvernance des informations et d’exploration des données renforcent le rôle de l’analyse et de la livraison de solutions dans les services informatiques.

Par conséquent, les besoins en intégration de données et les exigences en matière d’accords de niveau de service (SLA) de votre entreprise pour l’obtention d’informations et la livraison de projet à temps mettent un accent particulier sur l’infrastructure existante, ce qui augmente considérablement les coûts tandis que les services informatiques essaient de s’adapter à la vitesse des déploiements de projets et à la croissance démesurée des données. La collaboration et la réutilisation sont essentielles durant ces cycles d’hyper-développement pour garder le contrôle des coûts et préserver la qualité de la solution.

IBM® InfoSphere® DataStage® a satisfait aux exigences prévues en 2001 en ajoutant un moteur de traitement haute performance en parallèle unique, annexé à un référentiel intégré unique pour une intégration optimale et une collaboration entre les membres de l’équipe. L’association de l’environnement de conception graphique « build as you think » (conception libre) au moteur parallèle permet de concentrer l’évolutivité et la vitesse sur l’automatisation de fonctions communes pour tous les développeurs. Durant les dix dernières années, des milliers de clients ont profité des fonctions avancées pour répondre à leurs exigences de traitement en matière d’intégration de données.

Logiciel IBM Fiche technique

2

Plusieurs avantages significatifs ont convaincu ces clients d’effectuer une mise à niveau d’InfoSphere DataStage Server vers la technologie parallèle et automatisée d’InfoSphere DataStage. Le moteur parallèle puissant et leader sur le marché fournit une évolutivité intégrée pour garantir la pérennité de votre architecture via une approche « design-once-and-deploy-anywhere » (une conception unique déployée partout) (voir Figure 1). En outre, les nouvelles fonctions avancées de transformation permettent aux développeurs d’être plus efficaces et plus productifs à travers l’automatisation et la réutilisation de tâches communes de développement.

Figure 1 : InfoSphereDataStage8.7prendenchargeuneexécutionflexibleetévolutiveallantdelacouchedeconnectivitéàl’adaptationàdegrosvolumesdedonnées,enpassantpartouteslestâchesdetransformation,cequipermetderéduirelesintervallesdetraitementparlotsetlaconfigurationmatériellerequise.

Qu’est-cequ’InfoSphereDataStage?InfoSphereDataStageestleproduitphared’IBMenmatièred’intégrationdedonnées.Ilpermetuneextractiondedonnéeshauteperformanceparlotsetentempsréel,latransformationdecesdonnéesetleurchargementenparallèleentreplusieurssourcesetciblesgrâceàdesfonctionsautomatiséesdedéveloppement.LaversionactuelleestInfoSphereDataStage8.7.

Qu’est-cequ’InfoSphereDataStageServer?InfoSphereDataStageServerestleproduitIBMoriginald’extraction,detransformationetdechargement(ETL).Ileffectueuneextraction,unetransformationetunchargementdedonnéesàtraversunenvironnementdeconceptiongraphiquesimple.

Pourquoieffectuerunemiseàniveaud’InfoSphereDataStageServerversInfoSphereDataStage8.7?Lesfonctionsautomatiséesdetraitementenparallèled’InfoSphereDataStage8.7garantissentlapérennitédel’architecturedevotreentreprise.Parconséquent,àmesurequevosvolumesdedonnéesaugmentent,votreenvironnementd’intégrationdedonnéespeutsatisfairecontinuellementcesbesoins.Ilfournitplusieursfonctionsquiaméliorentconsidérablementlaproductivitédesdéveloppeursetoffrentdesniveauxd’automatisationplusélevésparrapportàsonprédécesseur,InfoSphereDataStageServer.Enoutre,InfoSphereDataStagecontientunevariétéd’étapes,defonctionsetdemodulescomplémentairesquinesontpasdisponiblesdansInfoSphereDataStageServer.

CommentlamiseàniveauversInfoSphereDataStage8.7permet-elleàvotreentreprisedegagnerdutempsetdel’argent?Premièrement,votrearchitectures’adaptedemanièreplusefficacedanslamesureoùvouspouvezprofiterpleinementdesfonctionsdevotrematériel,ycomprisdesconfigurationshautedisponibilitépermettantdegarantiruntempsd’exécutionoptimallorsquelematérielprincipaltombeenpanne.Deuxièmement,letraitementdeplusdedonnéesenuntempsréduitpermetàvotreorganisationderesterconformeauxaccordsdeniveaudeservice(SLA)etauxautresaccordsbaséssurlaperformance.Troisièmement,lafonctionnalitéamélioréefournitdesoptionsstandardiséesetconfigurablespourplusieursproblèmescomplexesd’intégrationdedonnées,cequipermetauxdéveloppeursderespecterlesdélaisdesprojetsetdelimiterlesdépassementsbudgétairesdusàuncodagepersonnalisé.Enfin,InfoSphereDataStagefonctionnedefaçonintuitiveaveclesautrescomposantsIBMInfoSphereInformationServeretoffreauxclientsdesfonctionscomplètespouraccélérerlacollectedesexigencesetlaconceptiondeleurstravaux,surveilleretgérerlaqualitédesdonnéesetbienplusencore.

Design logic once

Run and scale anywhere

Logiciel IBM Fiche technique

3

Amélioration de la productivité des développeursInfoSphere DataStage 8.7 offre des fonctions non disponibles dans InfoSphere DataStage Server, qui améliorent la productivité des développeurs et accélèrent les temps de réalisation pour les initiatives centrées sur l’information. Ces fonctions clés incluent les éléments suivants :

• Étapes avancées pour les exigences d’intégration de données complexes

- Étape de dimension à évolution lente - Étape d’axe vertical - Étape de gestion de clé de substitution améliorée - Recherche de gamme pour la validation de données - Étape de somme de contrôle - Étapes de traitement de baies• Améliorations de l’étape de transformation - Fonction de boucles et de mise en cache pour une logique personnalisée de traitement à lignes multiples - Utilitaires robustes pour de fonctions mathématiques de date/ heure et de chaîne• Fonctions de débogage de pointe - Débogueur interactif prenant en charge les environnements SMP, MPP et de grille qui s’exécutent à différents degrés de parallélisme - Exemple de génération de données - Échantillonnage des données en amont et en aval du flux de données - Production dirigée de données passant par un lien vers le journal des travaux• Composants extensibles qui permettent aux scripts, aux

routines et autres codes existants d’être réutilisés et déployés en parallèle

• Cinq méthodes puissantes d’assemblage de données  : Assembler, Fusionner, Acheminer, Consultation de base de données et Consultation en mémoire (égalité et gamme), toutes prenant en charge un traitement à travers plusieurs partitions

Mise à disposition d’une connectivité avancée avec une performance supérieureInfoSphere DataStage 8.7 offre une connectivité avancée conçue pour une performance et une exploitation améliorées du nouveau matériel par rapport aux options précédentes disponibles dans InfoSphere DataStage Server. Par exemple :

Des chargeurs natifs partitionnés et des lecteurs pour les systèmes de gestion de base de données (DBMS) comme IBM DB2®, IBM Netezza®, Oracle et Teradata.• Un échange d’informations avec d’importantes sources de

données telles que Hadoop Distributed File System.• Des connecteurs pour sources analytiques telles

qu’Hyperion et SAS.

« Mes clients ont découvert que les nouveaux produits et fonctions associés à la version 8.5 avaient beaucoup à offrir. J’ai effectué une mise à niveau vers la version 8 pour de nombreux clients, afin qu’ils puissent migrer d’InfoSphere DataStage Server vers InfoSphere DataStage Parallel et sa gamme de produits. Les développeurs ont facilement adopté les nouvelles techniques de développement parallèle au bout de quelques jours de formation et ont rapidement fourni une performance 5 à 10 fois supérieure sur des projets stratégiques. »

– Andy Sorrell, Consultant indépendant

Logiciel IBM Fiche technique

4

• Des fonctions d’automatisation complètes pour les systèmes d’intégration des applications d’entreprise comme SAP, PeopleSoft, salesforce.com, etc.

• Des connecteurs intégrés avec d’autres solutions IBM, y compris CDC (Change Data Capture) pour les sources de données basées sur des journaux.

• Des étapes des transactions distribuées avec une livraison en temps réel garantie à partir des sources MQ ou CDC vers différentes cibles DBMS via une validation en deux phases.

Prise en charge étendue pour les fichiers plats multi-formats, lecture de fichiers en parallèle, étape de fichier IBM z/OS® et étape d’entreprise iWay.

Adaptation simple aux charges de travail les plus exigeantesLe puissant moteur parallèle d’InfoSphere DataStage permet d’augmenter le débit de données et de réduire le temps de traitement par lots.

• Le parallélisme est contrôlé au moment de l’exécution, et non pendant la conception, pour minimiser la complexité opérationnelle et du développement.

• L’utilisation de jeux de données parallèles est conçue pour éviter les tables temporaires inefficaces et les fichiers séquentiels pour le stockage.

• L’évolutivité linéaire signifie que les entreprises peuvent profiter du nouveau matériel au fur et à mesure que les exigences d’entreprise évoluent.

• Une amélioration significative de la performance est incluse pour les tris de données, les jointures et les collectes utilisant des fonctions parallèles.

• Une augmentation de la capacité de calcul et de la flexibilité à moindre coût dans un environnement de grille avec des options de configuration disponibles via IBM.

Gestion de l’automatisation et optimisationInfoSphere DataStage 8.7 offre plusieurs fonctions pour optimiser et gérer de manière proactive les processus d’intégration de données et pour s’assurer que les systèmes s’exécutent de façon optimale à tout moment. Les points clés sont les suivants :

• La console des opérations, qui fournit un tableau de bord basé sur le Web et des vues détaillées du temps d’exécution du travail associé et des statistiques relatives aux ressources des machines

• Analyse automatisée des performances de travail• Estimation des ressources qui façonne les exigences de

machines à mesure que les travaux évoluent• Fonctions d’optimisation du temps d’exécution qui

maximisent le débit des travaux• IBM Support Assistant (ISA) Lite fournit une analyse du

fonctionnement système pour s’assurer que la machine s’exécute de façon optimale

Appariement et nettoyage de données avec InfoSphere QualityStageIBM InfoSphere QualityStage® est le moteur de standardisation, de nettoyage et d’appariement probabiliste d’IBM leader du marché.

InfoSphere QualityStage est un module complémentaire pour InfoSphere DataStage qui partage la même interface utilisateur, la même conception d’intégration de données, ainsi que le même paradigme d’exécution en parallèle pour une adoption et un déploiement simplifiés. Il offre les fonctions suivantes :

« Nous avons récemment effectué une mise à niveau et nous constatons une énorme amélioration de la performance. Nos processus ETL s’exécutent deux à quatre fois plus vite, sans aucun réglage. »

– Client de détail, Chef de projet

QuedeviennentmesancienstravauxInfoSphereDataStageServer?InfoSphereDataStage8.7prendenchargelestravauxInfoSphereDataStageServerdanslamêmeinstallation.Ainsi,vouspouvezintroduiredesfonctionsparallèlesàvosexigencesdetraitementlesplusdifficilesàsatisfaire,sansavoiràremplacercomplètementvotreenvironnement.Enoutre,InfoSphereDataStage8.7prendenchargedesfonctionsdecompatibilitétellesquelesétapesliéesauconnecteurdebasededonnéespourvostravauxInfoSphereDataStageServerdéjàexistants.UnemigrationimmédiatevouspermetdeprofiterdetouteslesaméliorationsdefonctionnalitésInfoSphereDataStageactuellesetàvenir.

Logiciel IBM Fiche technique

5

Migration vers InfoSphere DataStage 8.7IBM vous permet de déterminer l’option la plus adaptée à votre entreprise et de rendre votre mise à niveau aussi rapide et transparente que possible.

Contactez votre représentant pour plus d’informations sur la migration d’InfoSphere DataStage Server vers InfoSphere DataStage 8.7.

Règles de données intégrées avec InfoSphere Information AnalyzerInfoSphere DataStage est également totalement intégré avec le moteur de profilage et de validation de données IBM InfoSphere Information Analyzer.

InfoSphere Information Analyzer aide les utilisateurs à comprendre rapidement et facilement les données en proposant une évaluation et un contrôle de la qualité des données, ainsi que des fonctions flexibles de conception et d’analyse de règles de données. Ces informations permettent aux utilisateurs de tirer davantage parti des données d’entreprise et d’accélérer les projets centrés sur l’information. Les utilisateurs et les développeurs bénéficient des fonctions suivantes :

• Un partage de métadonnées des résultats de profilage de données est disponible sur l’interface Designer pour aider les développeurs à comprendre les sources d’informations.

PriseenchargesupplémentairedemodulescomplémentairesdisponibleuniquementavecInfoSphereDataStage8.7

IlexisteplusieursautresmodulesconçuspourfonctionnerspécifiquementavecInfoSphereDataStage8.7:

• UneoptimisationéquilibréeajouteunsupportELTcomplexepouruneutilisationdesressourcesdebasesdedonnéesetdestransformationsorientéesbasededonnéesefficaces.

• InfoSphereDataStagePackforDataMaskingprotègelesinformationspersonnellesidentifiables(PII)àtraversunobscurcissementspécifiqueàlaclassededonnées(parexemple,desalgorithmesdifférentspourlesnumérosdesécuritésociale,lesnumérosdetéléphone,lesnoms,etc.).

• IBMInfoSphereFastTrackprendenchargelacréationdespécificationsdemappageetlestransformedirectemententravauxd’intégrationdedonnéesInfoSphereDataStage,ouprendenchargel’ingénierieinversedetravauxd’intégrationdedonnéesparallèlesetlacréationdedocumentation.

• Examen de données et traitement d’analyse complets pour toute sorte de données en format libre

• Un ensemble unique de règles de standardisation, de nettoyage, d’appariement et de survie pour vos principales entités métier comme des étapes de la toile Designer

• Un moteur d’appariement qui utilise la technologie probabiliste pour atteindre des taux d’appariement plus élevés

• Une capacité d’exécution par lots, en temps réel ou comme service Web

• Des fonctions d’enrichissement et de vérification de la standardisation mondiale des adresses, y compris de multiples modules de certification postale

• Une prise en charge de la création et la maintenance de données maîtresses de haute qualité pour les initiatives d’entreprise, y compris une vue unique du client, du fournisseur, du produit, de l’emplacement, etc.

• Utilisation comme composant fondamental des programmes de gestion de la qualité des données et des initiatives de gouvernance des données

• Un cadre commun des règles permet d’évaluer, d’analyser et de résoudre plusieurs problèmes de données en fonction des enregistrements plutôt que de manière isolée.

• Les règles peuvent être exécutées directement par rapport à une source d’information, via l’interface utilisateur InfoSphere Information Analyzer, ou dans le cadre d’un travail InfoSphere DataStage pour une validation des données en vol sur la toile Designer.

Pour plus d’informationsPour plus d’informations sur IBM InfoSphere Information Server et les services liés, visitez le site : ibm.com/software/data/content-management

En outre, IBM Global Financing peut vous aider à vous procurer les solutions informatiques dont votre entreprise a besoin de manière aussi rentable et stratégique que possible. Nous collaborons avec les clients éligibles pour mettre en place une solution de financement en fonction de vos objectifs d’entreprise, permettre une gestion efficace de la trésorerie et améliorer votre coût total de possession. IBM Global Financing est votre meilleur choix pour le financement de vos investissements informatiques les plus importants et faire avancer votre entreprise. Pour plus d’informations, consultez le site Web suivant : ibm.com/financing

© Copyright IBM Corporation 2012

Compagnie IBM France 17 Avenue de l’Europe 92 275bBois Colombes Cedex

Produit en France mars 2012

IBM, le logo IBM, ibm.com, DataStage, DB2, InfoSphere, QualityStage et z/OS sont des marques d’International Business Machines déposées dans de nombreux pays du monde. Les autres noms de produits ou de services peuvent être des marques d’IBM ou d’autres entreprises. La liste des marques IBM actualisée est disponible sur Internet, dans la rubrique consacrée au copyright et aux marques du site ibm.com/ legal/copytrade.shtml

Java et toutes les marques commerciales et logos basés sur Java sont des marques déposées d’Oracle et/ou de ses partenaires.

Netezza est une marque déposée d’IBM International Group B.V., une société IBM.

Le présent document est en vigueur à la date de publication. Il peut être modifié à tout moment par IBM. Les offres ne sont pas toutes disponibles dans les pays où IBM exerce une activité.

Il est de la responsabilité de l’utilisateur d’évaluer et de vérifier le fonctionnement de tous les autres produits ou programmes avec les produits et programmes IBM. TOUTES LES INFORMATIONS DU PRÉSENT DOCUMENT SONT FOURNIES « EN L’ÉTAT », SANS AUCUNE GARANTIE DE QUELQUE NATURE QUE CE SOIT, EXPRESSE OU IMPLICITE, Y COMPRIS TOUTE GARANTIE DE QUALITÉ MARCHANDE, D’ADÉQUATION À UN USAGE PARTICULIER OU DE NON-CONTREFAÇON. Les produits IBM sont garantis conformément aux conditions des accords selon lesquels ils sont fournis.

Il est de la responsabilité du client de s’assurer de la conformité avec les lois et réglementations applicables. IBM ne fournit ni conseil, ni représentation, ni attestation légal sur le fait que ses produits ou services garantiront que le client est en conformité avec toute loi ou réglementation pertinente.

1 Gantz, John et Reinsel, David. « Extracting Value from Chaos. » IDC View. Juin 2011

Recyclez SVP

IMD14007-FRFR-00