CONNECT. TRANSFORM. AUTOMATE.

Validation et Contrôle qualitédes données avec FMEBruno De LatIngenieur Geodata et chef de projet GIS

CONNECT. TRANSFORM. AUTOMATE.

Contenu

Pourquoi valider et contrôler les données?

Que peut-on contrôler?

Schéma (Modèle de données)

Valeurs des attributs

Géométrie

Workflow de Validation avec FME Desktop et FME Server

Exemples

CONNECT. TRANSFORM. AUTOMATE.

Pourquoi valider et contrôler les données?

De mauvaises données peuvent avoir des conséquences importantes (financières, humaines, planification)

CONNECT. TRANSFORM. AUTOMATE.

Pourquoi valider et contrôler les données?

FME Desktop et FME Server sont des outils puissants pour contrôler les données et fournir un feedback.

Beaucoup d’utilisateurs de FME utilisent FME pour la validation et le contrôle qualité des données.

CONNECT. TRANSFORM. AUTOMATE.

Que peut-on contrôler?

Schéma (Modèle de données)

Valeurs des attributs

Géométrie

CONNECT. TRANSFORM. AUTOMATE.

Que peut-on contrôler?

Schéma

Type d’entité

Présence d’un attribut

Nom de l’attribut

Type de données attributaires

Système de coordonnées

CONNECT. TRANSFORM. AUTOMATE.

Que peut-on contrôler? Schéma

Contrôle du Schéma– Principales ressources

Schema (Any Format) Reader

FeatureTypeFilter

StatisticsCalculator

AttributeClassifier

XMLValidator

JSONValidator

CONNECT. TRANSFORM. AUTOMATE.

Que peut-on contrôler? Schéma

Schema(Any Format) Reader

CONNECT. TRANSFORM. AUTOMATE.

Que peut-on contrôler? Schéma

FeatureTypeFilter

CONNECT. TRANSFORM. AUTOMATE.

Que peut-on contrôler? Schéma

StatisticsCalculator

CONNECT. TRANSFORM. AUTOMATE.

Que peut-on contrôler? Schéma

AttributeClassifier

CONNECT. TRANSFORM. AUTOMATE.

Que peut-on contrôler? Schéma

XMLValidator

CONNECT. TRANSFORM. AUTOMATE.

Que peut-on contrôler? Schéma

JSONValidator

CONNECT. TRANSFORM. AUTOMATE.

Que peut-on contrôler? Valeurs des attributs

Valeurs des attributs

Présence de l’attribut

Type de données (numérique, alpha etc)

Valeur dans une plage ([min – max])

Pas de doublons

CONNECT. TRANSFORM. AUTOMATE.

Que peut-on contrôler? Valeurs des attributs

Valeurs des attributs – Principales ressources

Tester and TestFilter

AttributeClassifier

AttributeRangeFilter & AttributeFilter

NullAttributeMapper

Matcher

DuplicateRemover

StringSearcher

StatisticsCalculator

CONNECT. TRANSFORM. AUTOMATE.

Que peut-on contrôler? Valeurs des attributs

Tester

TestFilter

CONNECT. TRANSFORM. AUTOMATE.

Que peut-on contrôler? Valeurs des attributs

NullAttributeMapper

Lire différents ‘types’ de valeurs NULL

Ecrire différents ‘types’ de valeurs NULL

CONNECT. TRANSFORM. AUTOMATE.

Que peut-on contrôler?Valeurs des attributs

DuplicateRemover

CONNECT. TRANSFORM. AUTOMATE.

Que peut-on contrôler?

Géométrie en 2D et 3D

Intersections

Orientation

Sommets (vertex) en double

Géométrie invalide

etc

CONNECT. TRANSFORM. AUTOMATE.

Que peut-on contrôler? Géométrie

Géométrie – Principales ressources

GeometryValidator

GeometryFilter

Matcher

SpatialFilter

SliverRemover & SpikeRemover

AreaCalculator & LengthCalculator

OrientationExtractor

CONNECT. TRANSFORM. AUTOMATE.

Que peut-on contrôler? Géométrie

GeometryValidator

12 tests (encore plus de tests dans les prochaines versions)

Intégration d’anciens transformers (SelfIntersector)

Vérifier (Check) et réparer (Repair)

CONNECT. TRANSFORM. AUTOMATE.

Que peut-on contrôler? Géométrie

GeometryValidator

CONNECT. TRANSFORM. AUTOMATE.

Que peut-on contrôler? Géométrie

GeometryFilter

Nouveau style dans FME 2014

CONNECT. TRANSFORM. AUTOMATE.

Que peut-on contrôler? Géométrie

Matcher

Combinaison de la géométrie et des attributs

Y compris avec une tolérance pour les vertex intermédiaires

CONNECT. TRANSFORM. AUTOMATE.

Que peut-on contrôler? Géométrie

SpatialFilter

Examine toutes les relations spatiales possibles

CONNECT. TRANSFORM. AUTOMATE.

Que peut-on contrôler? Géométrie

SliverRemover

Identifie et corrige les trous ou les superpositions de données

CONNECT. TRANSFORM. AUTOMATE.

Que peut-on contrôler? Géométrie

SpikeRemover

Identifie et corrige ‘spikes’ (pic)

Angle maximum des ‘spikes’ (pic)

CONNECT. TRANSFORM. AUTOMATE.

Workflow de Validation avec FME Desktop et FME Server

FME Workbench:

Règles de validation

Tester sur ou plusieurs problèmes

Corrections

Automatique vs Manuel

Writers

Rapport avec les statistiques des erreurs

Fichier géographique avec la localisation des erreurs et un message détaillé

Desktop = Travail en local

CONNECT. TRANSFORM. AUTOMATE.

Workflow de validation avec FME Server Input data via

email

téléchargement

directory watcher (notifie FME Server quand un fichier est ajouté à un dossier)

Taches planifiées

Les résultats et les rapports sont envoyés par email, download, navigateur, FTP…

Totalement automatique

Les utilisateurs ne doivent pas avoir de connaissances, ni de licence FME

CONNECT. TRANSFORM. AUTOMATE.

Exemples

Statistique des erreurs dans Excel

CONNECT. TRANSFORM. AUTOMATE.

Exemples

Statistique des erreur en HMTL

CONNECT. TRANSFORM. AUTOMATE.

Exemples

Location des erreurs

Message

CONNECT. TRANSFORM. AUTOMATE.

Exemple: Workflow avec FME Server

User/Editor

using ArcGIS

FME Server

Download MyData

Validate MyData

Upload MyData

Extract & Lock

Upload & Unlock

User uses web interface to

interact with FME

Author using FME Desktop to model

Validated

data

Data

being edited

Data editor environment

FME Author environment

Publish Workbench

to FME Server

Data

to be edited

Data ready

for upload

Database Server

PC

Citrix

Network Disk

Query

Server administrator

monitoring FME server

No

Yes

Log file

AWIS

Informix

Spatial Datablade

Productie

AWIS

Informix

Spatial Datablade

Staging

ET

L

Cancel Download

CONNECT. TRANSFORM. AUTOMATE.

Centre de formation de GIMQualité des géodonnées

Théorie (Matin) Introduction: Aperçu de la qualité des géodonnées

Sources d’erreurs possibles et comment les éviter

Comment construire des géodonnées de qualité

Fixer les normes de qualité

Les techniques de contrôle de la qualité

Pratique (Après-midi) Session A: ArcGIS

Session B: FME

Où et Quand? Mardi 27 mai 2014 en néerlandais (Heverlee)

Mercredi 19 novembre 2014 en néerlandais (Heverlee)

CONNECT. TRANSFORM. AUTOMATE.

Résumé

La qualité des géodonnées est importante!

FME est idéal pour détecter les erreurs

FME est idéal pour corriger les erreurs

CONNECT. TRANSFORM. AUTOMATE.

Merci!

Des Questions?

Pour plus d’informations:

Bruno De Lat

bruno.delat@gim.be

GIM

http://www.gim.be