www.steria.com

JFTL 2014: Rôle et apports de la génération de données dans le Test

01.04.2014 – J.L. Pacherie & G. Rols

Données de test : douleurs et motivations

14-6-20 2

SOLUTION DE SERVICE INDUSTRIALISEE

SOLUTION DE SERVICE INDUSTRIALISEE

COÛTSQUALITE

DELAIS

JFTL 2014: Rôle et apports de la génération de données dans le Test

Données de test : retour d’expérience Steria

14-6-20 3

Besoins Une intégration des outils de

jeux de données (JdD) dans la chaîne des outils de test

Une approche fonctionnelle de la production des jeux de données

Un pilotage par le besoin et non par les contraintes

Une couverture du besoin de création

Savoir-faire

Echantillonner de manière cohérente des bases de différents systèmes d’un même SI

Extraire des données ciblées sur des besoins fonctionnels

Assurer la sécurité et la confidentialité des données.

JFTL 2014: Rôle et apports de la génération de données dans le Test

Préconisation : organisation d’une cellule de JdD

Les Fonctions

Support à l’usage desdonnées en hors prod

Gérer et consolider lesdemandes

Gérer le patrimoine deréférentiels et d’outils

Données statiquesExtraction de production

Données dynamiquesGénération de données

Intégrer la génération dans une solution de service

Gestion de laCapitalisation

Dynamique

Gestion des Demandes(catalogue de service)

StatiqueExtraction

Support & Traçabilité

Testeur Testeur Testeur

Gestion de laCapitalisation

Testeur

Génération

ProfilageProfilage

ModélisationModélisation

CertificationCertification

CiblageCiblage

AnonymisationAnonymisation

EchantillonnageEchantillonnage

11

22

33

44

55

414-6-20 JFTL 2014: Rôle et apports de la génération de données dans le Test

Objectifs de la génération dans la solution

14-6-20 5

COÛTS QUALITEDELAIS

Réduire les délais de mise à disposition des données de tests

S’affranchir de la dépendance aux environnements de production

Industrialiser les travaux de création de données

Réduire les délais de mise à disposition des données de tests

S’affranchir de la dépendance aux environnements de production

Industrialiser les travaux de création de données

Simuler des comportements complexes: dynamique des données

Créer les données indisponibles en production

Homogénéiser la création des jeux de données des tests manuels

Variabiliser les scripts d’automatisation

Production de données de Test vs Production des données des tests

La génération n’est en aucun cas liée au hasard

JFTL 2014: Rôle et apports de la génération de données dans le Test

Génération de données dynamiques (1/2)

14-6-20 6

• Initialiser les plateformes • Provisionner des données

qui n’existent pas en production

• Provisionner des états du système

ENJEUXENJEUX

• Plus de liberté et d’agilité• Possibilité de créer des

situations inobservées • Coût de production

minimes

GAINSGAINS

SOLUTIONSOLUTION

• Intégrer une ou plusieurs interfaces d’injection

• Modéliser dans les générateurs les contraintes

• Assurer des points de paramétrage

Maitriser le processus de modélisation de la qualité des données pour la génération Disposer d’interfaces d’injection opérationnelles sur la plateforme de test S’assurer des mécanismes de propagation de la création de données dans un système

multi-applicatif

Maitriser le processus de modélisation de la qualité des données pour la génération Disposer d’interfaces d’injection opérationnelles sur la plateforme de test S’assurer des mécanismes de propagation de la création de données dans un système

multi-applicatif!

Créer des données socles

JFTL 2014: Rôle et apports de la génération de données dans le Test

Génération de données dynamiques (2/2)

14-6-20 7

• Simuler les comportements pour disposer des séquences d’événements

ENJEUXENJEUX

• Une approche métier• Tester des cinématiques

complexes • Le coût est proportionnel à

la complexité de modélisation du profil

GAINSGAINS

SOLUTIONSOLUTION

• Modéliser les événements

• Analyser le réalisme de chaque événement

• Contrôler la séquence et les corrélations entre les événements d’une séquence

L’outillage d’injection et de génération doivent être coordonnés. La production de séquence doit se faire sur des données en base (clients connus du

système, produits au catalogue, etc.) et nécessite la constitution de référentiel de données transverses.

L’outillage d’injection et de génération doivent être coordonnés. La production de séquence doit se faire sur des données en base (clients connus du

système, produits au catalogue, etc.) et nécessite la constitution de référentiel de données transverses.!

Créer des événements sur des profils de comportements

JFTL 2014: Rôle et apports de la génération de données dans le Test

Atelier en ligne pour la génération des données

14-6-20 8

ISDN

N° INSEE

I BAN

ADRESSE

DA

TE

HEURE

Permet de concevoir et exécuter des générateurs à partir de règles prédéfinies que l’on peut assembler librement

JFTL 2014: Rôle et apports de la génération de données dans le Test

Moteur de génération de données : GEDIS Studio

Solution collaborative pour la génération de données

Espace Projet 1 Espace Projet 2 Espace Projet 3

Espace Partagé

Les utilisateurs et les administrateurs n’ontpas besoin d’être sur le même site. L’intervention d’experts / support est facilitée

Les utilisateurs et les administrateurs n’ontpas besoin d’être sur le même site. L’intervention d’experts / support est facilitée

Testeur

Chaque projet sélectionne les générateurset données de référence qui conviennent àson objectif de test ET produit ses données

Chaque projet sélectionne les générateurset données de référence qui conviennent àson objectif de test ET produit ses données

La cellule JdD publie des générateurset des données de référence dans un espace partagé qu’elle administre

La cellule JdD publie des générateurset des données de référence dans un espace partagé qu’elle administre

Générateurs

Générateurs

Générateurs

Générateurs

Générateurs

914-6-20 JFTL 2014: Rôle et apports de la génération de données dans le Test

Générateurs

Générateurs

FRANCE

POLOGNE

INDE

Génération de données : bonnes pratiques

14-6-20 10

Simuler des modèles de réalisme et non pas la réalité

Procéder par étapes

JFTL 2014: Rôle et apports de la génération de données dans le Test

Rechercher la donnée pivot (structure et qualité des données)

Configurer de manière fonctionnelle les générateurs

Cas d’usage : un opérateur Telecom leader en Europe (1/2)

14-6-20 11

Enjeux client Vérifier les règles de valorisation d’un usage multi-services (voix,

SMS, data) en fonction du contrat et des options souscrites

!Défis Variantes des options sur les contrats impactant le calcul Variantes des usages (appels surtaxés, internationaux, gratuits, etc.) Gestion des horodatages, multi-formats, clients brûlés, etc.

Rapidité de mise à disposition des données Simplification des oracles de tests Transparence des formats et valorisation technique des CDR

Rapidité de mise à disposition des données Simplification des oracles de tests Transparence des formats et valorisation technique des CDR

Vérifier les règles de valorisation …

JFTL 2014: Rôle et apports de la génération de données dans le Test

Solution Etablir des profils de comportement paramétrables par type de contrat Simuler des usages en générant les traces d’appel (CDR)

JFTL 2014: Rôle et apports de la génération de données dans le Test

Cas d’usage : un autre opérateur Telecom leader en Europe (2/2)

14-6-20 12

Enjeux client Valider des algorithmes analytiques permettant d’optimiser le

positionnement d’antennes en fonction des usages

Agilité et coûts : test d’un scenario en moins de 15 minutes Tests en taille significative, jusqu’à taille réelle Simulation prospective

Agilité et coûts : test d’un scenario en moins de 15 minutes Tests en taille significative, jusqu’à taille réelle Simulation prospective

… vers les problématiques de Big Data

!Défis Evénements « minute par minute » de plus de 2000

usagers sur 6 mois Plus de 10 types de services et 10 profils d’usage Déplacements avec des centres d’attraction mouvants

15 millions d’événements par

simulation

Solution Faire évoluer les profils d’usage pour y inclure la mobilité Retrouver les motifs de comportement utilisés par le générateur via les

algorithmes à tester

Cas d’usage : un éditeur du secteur bancaire

14-6-20 13

Enjeux client Valider un algorithme de détection de transactions SWIFT portant

sur des personnes blacklistées (OFAC SDN List)

!Défis Mise à jour fréquente des listes noires Nombreuses combinaisons de mutations à tester Qualification de chacune des règles du filtre

Qualifier les outils de lutte contre le blanchiment d‘argent

15 750 000 messages SWIFT différents générés

Disponibles en seulement quelques minutes

15 750 000 messages SWIFT différents générés

Disponibles en seulement quelques minutes

JFTL 2014: Rôle et apports de la génération de données dans le Test

Solution

Génération de données : un élément clé pour l’industrialisation de la gestion des données

14-6-20

La génération de données

Création de données absentes Simulation des comportements Couverture plus large des tests Réduction des coûts de production

La génération de données

Création de données absentes Simulation des comportements Couverture plus large des tests Réduction des coûts de production

Solution de service

Reconnaître le rôle des JdD dans les difficultés des tests

Faire face à la résistance au changement vis-à-vis de la génération

Responsabiliser l’utilisateur sur son rôle de pilote de la qualité des données

Reconnaître le rôle des JdD dans les difficultés des tests

Faire face à la résistance au changement vis-à-vis de la génération

Responsabiliser l’utilisateur sur son rôle de pilote de la qualité des données! Une intégration des processus et outils

14 JFTL 2014: Rôle et apports de la génération de données dans le Test

2 besoins : données statiques et dynamiques

2 technologies : extraction et génération

www.steria.com

JFTL 2014: Rôle et apports de la génération de données dans le Test

Q&R – Merci pour votre attention