Donnez votre avis !Depuis votre smartphone, sur : http://notes.mstechdays.fr

De nombreux lots à gagner toutes les heures !!!

Claviers, souris et jeux Microsoft…

Merci de nous aider à améliorer les TechDays

http://notes.mstechdays.fr

Qu'est-ce que la qualité des données

et comment avoir des données

de qualité ? DQS nous répond

Mounia BOURDACHEConsultante en BI

Microsoft France

Serveurs / Entreprise / Réseaux / IT

QU’EST CE QUE LA QUALITÉ DES DONNÉES?

Chapitre 1

Data Quality Services

Data Quality Services

INTRODUCTIONDonnéesInformationEntreprise Exploite Fournissent

Data Quality Services

COÛT DE LA NON QUALITÉ DES DONNÉES

Les données causant disfonctionnement et surcout restent toujours trop nombreuses (Coût moyen sur le CA des Entreprises: de 3 à 6%).

Le traitement des données et leur correction a toujours été un soucis important à gérer.

En 2011 et 2012 la qualité des données a été:

- 3e obstacle à la bonne gestion de l’information (après l’accès trop lent à des données sûres et la mauvaise intégration des données)

- 1er obstacle à l’adoption de la BI au sein des Entreprises- 1er facteur à l’origine de la mise en œuvre du MDM au sein des Entreprises.

Data Quality Services

QU’EST CE QUE DE MAUVAISES DONNÉES ?

Données erronées ou incohérentes

Données en doublon

Data Quality Services

COMMENT EST MESURÉE LA QUALITÉ DES DONNÉES?La qualité des données est mesurée en fonction de leur utilisation.

Mauvaises données et/ou Mauvaise connaissance de leur utilisation Mauvais Business

COMMENT AVOIR DES DONNÉES DE QUALITÉ?

Chapitre 2

Data Quality Services

Data Quality Services

DATA QUALITY SERVICES : DQSData Quality Services (DQS) est une solution fondée sur les connaissances.

Elle permet aux professionnels de l'informatique et aux gestionnaires de données d’améliorer facilement la qualité de leurs données

Des données de bonne qualité sont essentielles à une Business Intelligence efficace

DQS est un outil intégré à SQL Server 2012, dont les bases de connaissance peuvent non seulement être générées mais aussi récupérées via des connecteurs à des tiers fournisseurs hébergés sur Azure DataMarket.

Enrichir les bases de connaissances dans le cloud facilitera l’accès à des données de haute qualité.

Data Quality Services

CONCEPT DE LA SOLUTION DQSFondée sur la connaissance

Sémantique

Acquiert des connaissances

Basée sur une base de connaissance DQ Knowledge Base (DQKB) enrichissable et réutilisable

Les Domaines capturent la sémantique des données

Enrichit ses connaissances plus elle est utilisée

Ouverte et extensible

Facile à utiliser

Ajout de bases de connaissances générées et données référencées par des tiers fournisseurs

Interface simple d’utilisation

Data Quality Services

LE PROCESS DE DQS

Détection des doublons et statistiques des données

Data Quality Services

MODÉLISATION DQS

Création (ou import) des

Bases de connaissance

Gestion des DomainesDonnées de référenceAdministration des règles de dédoublonnage

Nettoyage des données (Sources: BDD SQL / xls / csv)

Via interface utilisateur « DQS Client » ou composant SSIS.

Standardisation et correction des données

Data Quality Services

COMPOSANTS DE LA SOLUTION DQS

Nettoyage Dédoublo-nnage

Profilage Contrôle

Modifier, supprimer, enrichir et normaliser des données inexactes ou incomplètes.

Analyser la source de données afin

d’avoir un aperçu de la qualité des

données.

Identifier, réunir ou fusionner les

entrées connexes.

Suivre et contrôlerl'état de la qualité

des données.

Data Quality Services

PROBLÈMES DE QUALITÉ DE DONNES LES PLUS FRÉQUENTS

Standardisation Dans une source de données le genre est F, H. Dans l’autre c’est Mr, Mme

Complétude Quel est le pourcentage des fiches Clients ne contenant pas d’Email?

Validité Est-ce que tous mes codes postaux français hors Corse et Outre-Mer contiennent 5 chiffres?

Cohérence Mes clients étudiants ont-ils bien moins de 26 ans? Donc peuvent bénéficier des réductions?

Unicité Ai-je bien une fiche Client par Client?

Data Quality Services

SOLUTIONS APPORTÉES PAR DQS

Civilité Nom Num Rue Nom Rue Code Postal Ville Date NaissanceMr BERNIER Laurent 15 RUE DE LA PAIX Issy les Mx 01/05/1908M. BERINER Laurent RUE DE LA PAIE 92130 Saint cloud 01/05/1980

Civilité Nom Num Rue Nom Rue Code Postal Ville Date NaissanceMonsieur BERNIER Laurent 15 RUE DE LA PAIX 92130 Issy Les MoulineauxMonsieur BERINER Laurent RUE DE LA PAIX 92130 Issy Les Moulineaux 01/05/1980

Civilité Nom Num Rue Nom Rue Code Postal Ville Date NaissanceMonsieur BERNIER Laurent 15 RUE DE LA PAIX 92130 Issy Les Moulineaux 01/05/1980

Nettoyage

Dédou-blonnage

Data Quality Services

DQS PAR LE BIAIS DE SSIS Utilisation du

moteur DQS au sein même de l’environnement SSIS

Gestion de la qualité des données en même temps que le processus d’intégration.

DÉMONSTRATION

Data Quality Services

Data Quality Services

Des Questions

?

ANNEXES

Data Quality Services

ARCHITECTURE DQS

Data Quality Services

Data Quality Services

Dédoublonnage

Référentiels

Client DQ Clients

DQS interface

DQ Server

DQ Engine

Tiers fournisseurs

MS DQ Domains Store

DQ Active Projects

Domaine MS

Domaines locaux

BDC publiées

Découverte DB

connaissance

Profilage des données

Nettoygae

Découverte et gestion

des bases de connaissanc

es

Projets DQ

Exploration base de donnée

Azure Datamarket Catégorisation des

données de références

Catégorisation des services de données de

référence

Réference Data API(Parcourir, ajouter,

mettre à jour…)

RD Services API(Parcourir,

paramétrer, Valider…)

Composant DQ SSIS

MDS Excel Add in

Composants Excel &

Dynamics

LIENS UTILES

Data Quality Services

Data Quality Services

BlOG:

Blogs.msdn.com/b/dqs

VIDEOS:

http://technet.microsoft.com/fr-fr/sqlserver/dd353197

FORUM:http://social.msdn.microsoft.com/Forums/fr-FR/sqldataqualityservices/threads?Thread%3Asqldataqualityservices=Microsoft.Forums.Data.Models.DiscussionGroup

Formez-vous en ligne

Retrouvez nos évènements

Faites-vous accompagner gratuitement

Essayer gratuitement nos solutions IT

Retrouver nos experts Microsoft

Pros de l’ITDéveloppeurs

www.microsoftvirtualacademy.com

http://aka.ms/generation-app

http://aka.ms/evenements-developpeurs

http://aka.ms/itcamps-france

Les accélérateursWindows Azure, Windows Phone,

Windows 8

http://aka.ms/telechargements

La Dev’Team sur MSDNhttp://aka.ms/devteam

L’IT Team sur TechNethttp://aka.ms/itteam