Offre Socle Technique OFL by CGI

58
© CGI 2013. All rights reserved Offre Supervision OFL by CGI Offre Socle Technique OFL by CGI

description

Offre Socle Technique OFL by CGI. Pourquoi cette offre ?. Les modules & fonctionnalités. Architecture logicielle. Les enjeux et principes de la solution. Notre démarche. Quelques écrans. Démo et outils en ligne. Références. 1. 3. 2. 6. 7. 4. 8. 5. Agenda. - PowerPoint PPT Presentation

Transcript of Offre Socle Technique OFL by CGI

Page 1: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Offre Socle Technique OFLby CGI

Page 2: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Agenda

Pourquoi cette offre ?1

Les modules & fonctionnalités3

Les enjeux et principes de la solution2

Notre démarche6

Démo et outils en ligne8

Références7

Architecture logicielle4

Quelques écrans5

Page 3: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

La grande majorité des solutions de mise en œuvre de plateforme d’échange n’embarque pas de brique de supervision fonctionnelle permettant un suivi des instances avec indicateurs de bout-en-bout et au-delà de leurs périmètres d’actions.

L’Open Framework Logica (OFL) est une solution autonome qui permet de compléter une solution échanges en proposant ce suivi détaillé ainsi que différents tableaux statistiques.

Il s'inscrit dans une démarche de suivi fonctionnel des échanges, temps réel, avec une vision bout-en-bout et transverse.

Il permet une première approche d’urbanisation en proposant différents modules structurants (référentiels, SLA, indicateurs de plateforme, etc.).

Cette offre existe déjà depuis plus de 9 ans et bénéficie donc d’un retour d’expérience unique.

Pourquoi cette offre ?

Page 4: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Supervision / audit des instances des échanges, des processus ou des services par son approche indépendante de la vision éditeur.Gestion des erreurs.Traitement d’indicateurs métiers paramétrables dynamiquement et issus du contenu ou de manière statique (personnalisation métier).Problématique de transcodification de données.Gestion de tâches planifiées (ex : purge, émission de rapport statistique …).Supervision de composant technique applicatif (ex : webMethods Broker, TIBCO EMS, self).Gestion de domaine métier via un gestionnaire d’habilitation (filtrage par profil, domaine).Suite d’outils d’exploitation.

Les enjeux la solution

Page 5: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Les enjeux la solution

Enjeux principaux:

Industrialisation plateforme EAI/SOA

Connaître à tout moment l’état d’un flux, d’un process, le respect des SLA fixés.

Etre alerté au plus tôt: être proactif.

Avoir une vision globale et statistique de la plateforme ESB.

Page 6: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Les principes de la solution

Couplage faible avec les applications

• Chaque brique supervisée utilise une sonde (API) pour tracer son état.

• Différentes technologies sont possibles: sondes propriétaires (Tibco, webMethods) ou génériques (java, .net, web service,…)

OFL est une application autonome

• Elle n’est pas dépendante de la plateforme d’échange.

• C’est une brique transverse.

Elle possède un référentiel d’échange

• Ce référentiel donne un sens à la collecte des traces de supervision.

• Son référentiel repose sur un panel de patterns d’échanges: process, flux, médiation, composant.

• Indicateurs métiers dynamiques et statiques.

Pilotage de l’activité

• Suivi des erreurs.• Paramétrage d’alertes sur les flux critiques

(notificateurs) : flux RSS, SNMP, SMTP, Log.• Suivi statistique des indicateurs, respect

des SLA.

Page 7: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Les principes de la solution

1

23

RUN

BUILD

CARTO

OFL

OFL

Page 8: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Les modules & fonctionnalités

BUILDRUN

Référentiel

Responsable applicatifAdministrateur

Adit

Supervision techniqueSupervision applicative

Test unitaire

Développeur

Logs Emails Web services

Flux RSS

Export

-Rapport-Alertes

Modules

Roles

Référentiel de paramètres

Données

Générateur Echanges et

ServicesSTCM

BibliothèqueCommonLib

Palettes extensions

Packaging et déploiement

STCM

Automatisation installations

socleCommand lines

Scripts

Meta data repository, user management

Audit Gestion d’erreur Rapport

Administration des flux

Supervision Technique Planificateur

Page 9: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Matrice détaillée

Développement• Flux messages de type synchrone,

asychrone, batch• Composants communs réutilisables

( « projlib »)• Pattern de flux synchrone, asynchrone et

batch prêcablé• Générateur de flux

Gestion de configuration• Release / Packaging / déploiement

automatisé par script avec base de paramétrage, et alimentation du référentiel OFL (Transco)

• Interconnexion et utilisation de Subversion

Automatisation• Script d’installation produit automatisé

(souche TIBC0 avec OFL embarqué) • Scripts d’administration et exploitation

produit industrialisé (domaine/ EMS etc..)

Erreurs• Remontées des erreurs applicatives,

transcodage des code erreurs• IHM, critère de recherche technique et

métier, visualisation contenu,• Remontée d’alertes via email, logs, SNMP,

Syslog• Référentiel d’anomalie autoalimentée• Rejeu, recyclage, suspension, anul.• Service d’accès ligne de commande et WS

Supervision fonctionnelle et technique• Trace d’audit via sonde OFL, contenu• Remontée d’alerte technique Hawk dans les

console OFL• Scrutation des Topic d’administration EMS• Interrogation des processus Tibco BW• Historique des alertes• Remontée d’alertes via email, logs, SNMP,

Syslog

Statistiques• Temps d’exécution et statut de chaque

activité• Nombre d’exécution de chaque activité• Statistiques agrégé dans OFL par

application, par flux, par services, etc.• Emission des rapports par mail/export• Service d’accès ligne de commande et WS• Graphiques de performances

Utilisateurs• Consultation, administration des utilisateurs• Connexion à un référentiel existant• Habilitation via rôle/profil et domaine métier

Administration• Administration des flux• Recherche par critère, Démarrage / Arrêt /

Suspension• Taches planifiées (purges, analyses, stats,

exports, etc.)

Transcodifications• IHM d’administration• Service d’accès ligne de commande et WS• Import export (xml ou excel)

Page 10: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Exemple d’utilisation des API TIBCO:

API clientes

UseCases, Patterns, Templates, Toolbox,

Bonnes pratiques, etc.

Page 11: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Les autres API spécifiques disponibles :

Les API génériques :

API clientes

Page 12: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Implémentation E.T.L/E.A.I : BW

Page 13: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

TIBCO BW : Rationalisation

Page 14: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI No. 14

réce

ptio

n

délivrance

Connecteur output

TIBCO EMS Queues et/ou

F.S.

Persistance

scru

tati

on

tran

sfor

m

Déclencheur Polling

réception transformation

Déclencheur EMS

délivrance

Implémentation spécifique : à développer

Com

mon

Lib

Supervision applicative

Audit Q

Connecteur Input

Supervision technique Hawk

BNP-Paribas Personal Finance - Projet ARTEMIS

Supervision

Socle TIBCO BW: Rationalisation

Page 15: Offre  Socle Technique  OFL by  CGI

Automatisation : Packaging / déploiement STCM

Intégration

Réalisation Test Unitaire et NR bouchonné

Extraction source +

génération doc

Légendeaction Back CSB

action Front Logica

COMMIT manuel

Liste de distribution

Mise à jour outil de ticketting avec

version technique

Release Note

action IPS/PSM

RepoDev RepoLivraison

Production / Recette

Check

out a

uto

package

RéférentielFlux/Version

Tests

STCM package

STCM release

STCM Deploy

RéférentielParams

Dépot

PackageSTCM Deploy

RéférentielParams

Run

RepoProd

Mise à jour outil de ticketting avec

version technique

STCM generate

Page 16: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Automatisation : Générateur de flux

Page 17: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Automatisation : Référentiel flux, source du générateur de flux

Page 18: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Automatisation : Référentiel de packaging

Page 19: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Automatisation : Référentiel de paramétrage

Page 20: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Automatisation : Administration en ligne de commande

• Etat des services du serveurs– getServerStatus.sh ARTPRD01

• Démarrage des services du serveurs TIBCO– startAllServices.sh ARTPRD01

• Démarrage des services et applications TIBCO– startAllApps.sh ARTPRD01

• Arrêt des services TIBCO– stopAll.sh ARTPRD01

• Arrêt / démarrage du service CFT– cftstop | cftstart

Page 21: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Exploitation en ligne de commande

• Administration des applications BW– Arrêt, démarrage, arrêt immédiat, état d’une application BW– /projects/artemis/scripts/flows/<Package>_ARTPRD01.sh (stop | start |

kill | status)– Exemple : BNP_PF_01_ARTPRD01.sh status

– Le signe « + » ou « - » permet de visualiser le statut

Page 22: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Exploitation Simplifié

• Déploiement d’une livraison– Import des paramètres dans le référentiel de paramètrage

– ImportSingleAppParameter –app <package> -version <version> -domain ARTPRD01

– Déploiement de l’application– DeploySingleApp –app <package> -version <version> -domain

ARTPRD01– Vérifications via la ligne de commande :

– /projects/artemis/scripts/flows/<Package>_ARTPRD01.sh status

• Monitoring technique : log OFL centralisé

Page 23: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Console de supervision applicative

Page 24: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Console de supervision applicative

Page 25: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Console de supervision applicative

Page 26: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Console de supervision applicative

Page 27: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Console de supervision applicative

Page 28: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Moteur de collecteTechnologies à adapter aux besoins

Page 29: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Quelques notions ESB

Process:

n instan

ces de flux liéesFlux:

Flux point à point : une source et une cible

Flux multisources/cibles

Composants : médiations, composants techniques,

applications,…

Niveau d’agrégation Métier

Technique

Page 30: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Quelques écrans

Page 31: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Quelques écrans

Page 32: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Quelques écrans

Page 33: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Quelques écrans

Page 34: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Quelques écrans

Page 35: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Quelques écrans

Page 36: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Quelques écrans

Page 37: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Quelques écrans

Page 38: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Quelques écransRéférentiel des échanges:

Codification

Paramétrage audit

Etapes associées

Critères métiers

Domaine métier

Notificateurs

Application source/cibleSpécifique échange

Page 39: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Administration des fluxTechnologies à adapter aux besoins

Page 40: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Une démarche généraleUn cadre méthodologique expliquant les différentes étapes et les concepts pour la mise en œuvre d’une supervision de

plateforme d’échange.Une bibliothèque d’outils

Les sources et binaires de la solution, les différentes API d’interfaçage (Java, WebService, Tibco, WebMethods, etc.), des outils en ligne de commande (bench, configuration) et une base documentaire classique.Accompagnement à la mise en œuvre

Prise en compte de l’existant, étude de faisabilité, aide à la mise en œuvre.

Une équipe et un socleUne équipe d’experts techniques de proximité sur les

technologies SOA/ESB. Un support accessible (bug tracker, wiki, forum, etc.) pour plus d’agilité.Un support réactif

Sous la forme de contrat de maintenance avec tickets (corrections, évolution, conseils).Pas de licence

Aucune licence n’est nécessaire pour l’usage du produit.

Notre démarche

Page 41: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Notre démarche

Phase 1 : Analyse de l’existant et proposition personnalisée

Photo des chantiers à un instant T

Cartographie des besoins et des moyens disponibles

Phase 2 : Mise en œuvre

Phase 3 : Contrat de maintenance

Socle méthodologique pour les activités futures

ACCOMPAGNEMENT

Définition et exécution des chantiers de migration

Accompagnement des utilisateurs finaux, des exploitants et de l’ingénierie (ateliers et formations)

Démarche d’amélioration et d’ajustement

Rétablir le service suite à une anomalie

Ajouter des fonctionnalités au produit

MAITRISE

Rôle de conseil sur le périmètre de la solution

Accès à la plateforme support et à la base de connaissances

Proposition adaptée aux besoins

Mise au point de la démarche d’accompagnement

Présentation générale de l’offre

Page 42: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Page 43: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Sur les projets ARIANE & FOVES :• Supervision des procédures judiciaires, des photos d’objets / personnes et

des objets volés intra applications.

Ministère de l’IntérieurGendarmerie Nationale

Page 44: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

En place sur le projet BUS Groupe, en cours de migration sur le projet GPS : élément de supervision, référentiel & transcodification.

AG2R La Mondiale

MigrationFREESBI

Page 45: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

AG2R La Mondiale

MigrationFREESBI

Page 46: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

ServeurCible

ServeurSource

Log des échanges

HUB

Architecture logique du HUB – Transport de documents avec transformation

Application

Module de suivi

Application

Réception Transformation LivraisonContrôleRéception Transformation LivraisonContrôle

Module d’alertes

678910 678910

Gestion des AT RéceptionLivraison Gestion des AT RéceptionLivraison

Contrôle statistique des échanges

1 2 3 4 51 2 3 4 5

évènement

document

L’application envoie le document au Hub ou le HUB vient chercher un document

1 2 Transformation de format si nécessaire 3 Contrôles syntaxiques en sortie 4 Livraison du document 5 La cible intègre le document1 2 Transformation de format si nécessaire 3 Contrôles syntaxiques en sortie 4 Livraison du document 5 La cible intègre le document

9 Selon les cas l’AT est transmis à l’application source 6 La cible génère éventuellement un accusé de traitement (AT)8 Le HUB enregistre les données de

l’accusé de traitement 7 Le Hub reçoit l’AT9 Selon les cas l’AT est transmis à l’application source 6 La cible génère éventuellement un accusé de traitement (AT)8 Le HUB enregistre les données de

l’accusé de traitement 7 Le Hub reçoit l’AT

Sur le projet HUB : Grosse cartographie mais patterns identiques.

REXEL

Page 47: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Supervision technique et applicative de la totalité des flux synchrones, asynchrones et batchs de la plateforme d’échange HUB . Le HUB France Rexel ,héberge en production plus de 200 types de flux différents et alimente l’ensemble des domaines métiers de Rexel (Logistique, R.H, Référentiel, EDI, CRM).

• 749 instances de flux batch par nuit dont la plupart s’exécutent entre 21 h et 23 h :• Répartis sur 106 types de flux différents• Déployé sur 16 applications BW (JVM distinctes)

• 1397 instances de flux batch par jour• Répartis sur 100 types de flux différents• Déployé sur 10 applications BW (JVM distinctes)

• 2 Types de flux synchrone• Plusieurs milliers de requêtes par jour d’ici fin d’année

• Plus gros fichiers traités• Articles : 600 Mo une fois par jour • Signalétiques : 100 Mo une fois par jour

• Volumétrie traitée avec transformation • 2 Go / jour :flux fichier/fichier• 3 Go / jour de données mixtes DB/Fichier traitées• 300 Mo/jour véhiculés sur le BUS EMS Tibco compressés avec un facteur 10 (natif produit)

REXEL

Page 48: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Sur le projet PROMISE & B-USE:

Unification des flux de provisionnement des plateformes de service Orange Mobile et Internet.

Problématiques:• Flux synchrone, asynchrone, batch• Supervision de bout en bout sur plateforme hétérogène• Forte volumétrie (2 à 3 Millions / jour) -> 10M dans la base d’audit• multi cible dynamique (i.e. éligibilité au Runtime)

Orange France Telecom

Page 49: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Orange France Telecom

Page 50: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Sur le projet MOSAIC :

Supervision de la totalité des flux synchrones, asynchrones et batchs de la plateforme d’échange (plus d'une centaine de flux, une volumétrie cible à 10 millions d’instances par jour).

Auchan

Page 51: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Sur le projet SECOIA :

Ministère de l’agricultureet de la pêche

Page 52: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

ARTEMIS au cœur du SI BNPP PF

ARTEMIS

SEPA

HUB BNPP

Mainframes IMMO

METEOR

BNPPTOM LACM

Entrepôt Stockage

EDD

EDITIQUEDIALOGUE

Mainframes CONSO PF

(CARREFOUR)

FTP

FTP MVSCFT

CFT

FTP

FTP

CFT

MainframeXRDJ

FTP

Page 53: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

• 2003• RTE: Les balbutiements d’OFL, intégrer aux développements

propriétaires.• 2005

• EuroVL: Modélisation (conceptuel par un urbaniste), volonté d’externalisation de la supervision d’instances.

• 2005• SFR: Evolution du modèle donc la structure de base et toujours

d’actualité.• 2007

• SRR: Implémentation de la solution pour SFR réunion.• 2008

• Hub telecom: Le projet ORCHID (moins d’une dizaine de flux). Plus sous la responsabilité de LOGICA ITS.

Les autres références

Page 54: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Page 55: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

EligibilitéSpécificationReferencementDeveloppementRecetteProduction

Pourquoi iT-Toolbox ?

Cycle de vie d'un échange

Page 56: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

Démo et outils en ligne

Visitez notre sitehttps://it-toolbox.fr

Téléchargez cette présentation sur

notre WIKI !

Page 57: Offre  Socle Technique  OFL by  CGI

© CGI 2013. All rights reserved Offre Supervision OFL by CGI

CGI/Logica is a business and technology service company, employing 39,000 people. It provides business consulting, systems integration and outsourcing to clients around the world, including many of Europe's largest businesses. Logica creates value for clients by successfully integrating people, business and technology. It is committed to long term collaboration, applying insight to create innovative answers to clients’ business needs. Logica is listed on both the London Stock Exchange and Euronext (Amsterdam) (LSE: LOG; Euronext: LOG). More information is available at www.logica.com

Merci !

CGI Nord, 8 rue Anatole France, 59043 LILLE CEDEX

Rémy DELMOTTEConsultant SOA+33 7 86 96 90 [email protected]

François-Xavier BRUNArchitecte S.I.+33 6 84 93 28 [email protected]

Thomas PINTOArchitecte Technique+33 6 33 45 61 [email protected]

Page 58: Offre  Socle Technique  OFL by  CGI