FME WT 2014: (FR) Validation et controle qualité des géodonnées

CONNECT. TRANSFORM. AUTOMATE.

Validation et Contrôle qualitédes données avec FMEBruno De LatIngenieur Geodata et chef de projet GIS


Contenu

Pourquoi valider et contrôler les données?

Que peut-on contrôler?

Schéma (Modèle de données)

Valeurs des attributs

Géométrie

Workflow de Validation avec FME Desktop et FME Server

Exemples



De mauvaises données peuvent avoir des conséquences importantes (financières, humaines, planification)



FME Desktop et FME Server sont des outils puissants pour contrôler les données et fournir un feedback.

Beaucoup d’utilisateurs de FME utilisent FME pour la validation et le contrôle qualité des données.



Schéma (Modèle de données)


Géométrie



Schéma

Type d’entité

Présence d’un attribut

Nom de l’attribut

Type de données attributaires

Système de coordonnées


Que peut-on contrôler? Schéma

Contrôle du Schéma– Principales ressources

Schema (Any Format) Reader

FeatureTypeFilter

StatisticsCalculator

AttributeClassifier

XMLValidator

JSONValidator



Schema(Any Format) Reader



FeatureTypeFilter



AttributeClassifier



XMLValidator



JSONValidator


Que peut-on contrôler? Valeurs des attributs


Présence de l’attribut

Type de données (numérique, alpha etc)

Valeur dans une plage ([min – max])

Pas de doublons



Valeurs des attributs – Principales ressources

Tester and TestFilter

AttributeClassifier

AttributeRangeFilter & AttributeFilter

NullAttributeMapper

Matcher

DuplicateRemover

StringSearcher




Tester

TestFilter



NullAttributeMapper

Lire différents ‘types’ de valeurs NULL

Ecrire différents ‘types’ de valeurs NULL


Que peut-on contrôler?Valeurs des attributs

DuplicateRemover



Géométrie en 2D et 3D

Intersections

Orientation

Sommets (vertex) en double

Géométrie invalide

etc


Que peut-on contrôler? Géométrie

Géométrie – Principales ressources

GeometryValidator

GeometryFilter

Matcher

SpatialFilter

SliverRemover & SpikeRemover

AreaCalculator & LengthCalculator

OrientationExtractor



GeometryValidator

12 tests (encore plus de tests dans les prochaines versions)

Intégration d’anciens transformers (SelfIntersector)

Vérifier (Check) et réparer (Repair)



GeometryValidator



GeometryFilter

Nouveau style dans FME 2014



Matcher

Combinaison de la géométrie et des attributs

Y compris avec une tolérance pour les vertex intermédiaires



SpatialFilter

Examine toutes les relations spatiales possibles



SliverRemover

Identifie et corrige les trous ou les superpositions de données



SpikeRemover

Identifie et corrige ‘spikes’ (pic)

Angle maximum des ‘spikes’ (pic)


Workflow de Validation avec FME Desktop et FME Server

FME Workbench:

Règles de validation

Tester sur ou plusieurs problèmes

Corrections

Automatique vs Manuel

Writers

Rapport avec les statistiques des erreurs

Fichier géographique avec la localisation des erreurs et un message détaillé

Desktop = Travail en local


Workflow de validation avec FME Server Input data via

email

téléchargement

directory watcher (notifie FME Server quand un fichier est ajouté à un dossier)

Taches planifiées

Les résultats et les rapports sont envoyés par email, download, navigateur, FTP…

Totalement automatique

Les utilisateurs ne doivent pas avoir de connaissances, ni de licence FME


Exemples

Statistique des erreurs dans Excel


Exemples

Statistique des erreur en HMTL


Exemples

Location des erreurs

Message


Exemple: Workflow avec FME Server

User/Editor

using ArcGIS

FME Server

Download MyData

Validate MyData

Upload MyData

Extract & Lock

Upload & Unlock

User uses web interface to

interact with FME

Author using FME Desktop to model

Validated

data

Data

being edited

Data editor environment

FME Author environment

Publish Workbench

to FME Server

Data

to be edited

Data ready

for upload

Database Server

PC

Citrix

Network Disk

Query

Server administrator

monitoring FME server

No

Yes

Log file

AWIS

Informix

Spatial Datablade

Productie

AWIS

Informix

Spatial Datablade

Staging

ET

L

Cancel Download


Centre de formation de GIMQualité des géodonnées

Théorie (Matin) Introduction: Aperçu de la qualité des géodonnées

Sources d’erreurs possibles et comment les éviter

Comment construire des géodonnées de qualité

Fixer les normes de qualité

Les techniques de contrôle de la qualité

Pratique (Après-midi) Session A: ArcGIS

Session B: FME

Où et Quand? Mardi 27 mai 2014 en néerlandais (Heverlee)

Mercredi 19 novembre 2014 en néerlandais (Heverlee)


Résumé

La qualité des géodonnées est importante!

FME est idéal pour détecter les erreurs

FME est idéal pour corriger les erreurs


Merci!

Des Questions?

Pour plus d’informations:

Bruno De Lat

[email protected]

GIM

http://www.gim.be

FME WT 2014: (FR) Validation et controle qualité des géodonnées

Software

Transcript of FME WT 2014: (FR) Validation et controle qualité des géodonnées