1. Spatial Data Integrator prsentation de l'outilet cas d'utilisation Journes Nationales du Rseau Gomatique - 02/10/09 mathieu.rajerison Charg de mission SIG

2. Sommaire

Prsentation de l'outil

Prsentation gnrale

3. Place au sein d'une infrastructure de donnes 4. Les composantes de l'outil Dmonstration : jointure et gestion des rejets

Paramtrage des accs et cration des schmas

5. Mise en place des composants dans l'espace de travail graphique 6. Paramtrage du composant de jointure tMap 7. Excution du job Cas d'utilisation

Agrgation de donnes en tche planifie

8. Fusion de couches 9. Automatisation de la vrification de la qualit de donnes gographiques 10. Migration de donnes vers PostgreSQL/PostGIS 11. Autres applications Conclusion

Quelques autres fonctionnalits

12. Liens 13. 1- Prsentation de l'outil 14. Prsentation gnrale

Outil ETL (Extract, Transform and Load)

15. Solution libre cre par CampToCamp 16. Base sur l'outil Talend Open Studio 17. Une couche spatiale avec des composants d'accs, de traitement de donnes spatialises 18. Bas sur Java: environnement Eclipse, lments de UDig, librairies SIG Java GeoTools, Java Topology Suite, sextante 19. Place au sein d'uneinfrastructure de donnes 20. Les composantes de l'outil la fentre carto Cette fentre permet de visualiser des donnes gographiques. Elle a son utilit lorsqu'il s'agit de contrler les rsultats de traitements. Elle est issue du logiciel Udig. 21. Les composantes de l'outil Le business modeler Cet espace permet de modliser les processus mtiers en cours au sein de vos jobs. Il permet des acteurs fonctionnels, de prendre part la conception des flux de donnes et de suivre de prs l'avancement des dveloppements, et ce, quel que soit leur profil. La modlisation au sein de cette fentre n'a aucune liaison avec l'excution de vos jobs. 22. Les composantes de l'outil L'onglet metada de repository Le repository contient, entre autres, la partie metadata. La partie metadata du repository est un lieu de stockage de l'accs aux sources de donnes. On peut d'ailleurs y voir les diffrents types de sources de donnes disponibles. A noter que le paramtrage de l'accs aux donnes gographiques ne se fait pas via la partie metadata (cf dmonstration). 23. Les composantes de l'outil L'espace de travail graphique La fentre principale est l'espace de conception de vos jobs. On y dpose et lie les diffrents composants. Il existe plusieurs types de relations entre composants 24. Les composantes de l'outil La palette de composants C'est dans la palette que l'on pioche les composants qui nous intressent. Spatial Data integrator y ajoute la partiegeo La palette est extensible grce aux contributions des dveloppeurs de Talend. Il est mme possible de dvelopper ses composants. 25. Les composantes de l'outil l'onglet de configuration La fentre du bas permet de configurer le comportement de chaque composant. Elle permet galement de paramtrer l'excution du job. 26. 2- Dmonstration gestion des rejets lors d'une jointure 27. Paramtrage des accs et cration des schmas La premire tape consiste paramtrer l'accs aux sources de donnes. 28. La cration des relations On dispose et connecte les composants au sein de l'espace de travail graphique 29. Mise en place des composants dans l'espace de travail graphique On paramtre la jointure sur le nom de la commune. Deux flux de sortie sont gnrs: un relatif aux rsultats de la jointure (inner join) et un relatif aux rejets (outer join) 30. L'excution du job Le job peut maintenant tre excut. Il peut l'tre selon deux modes. -le mode statististics permettant d'afficher les statistiques concernant le nombre d'enregistrements de chaque flux -le mode traces qui affiche le contenu des enregistrements Chacun de ces modes est excut en mode streaming, en continu 31. Aller plus loin:utilisation des ressemblances entre deux flux Ici, nous utilisons un composant de logique floue appel tFuzzyMatch qui permet d'tablir des correspondances entre les entres de deux flux en fonction de leur ressemblance. 32. 3- Cas d'utilisation 33. L'agrgation de donnes en tche planifie Un portail web gographique de base communale demande de joindre automatiquement et priodiquement les donnes d'une base de donnes locale Access alimente par des utilisateurs et les donnes gographiques de la BDCARTO BaseAccess SHP BDCARTO BaseSybase XML ... Serveurcarto WMS Partie cliente SCP SHP 34. L'agrgation de donnes en tche planifie

Planificateur de tches intgr SDI

35. Crontab 36. Tches planifies windows 37. Fusion de couches Des donnes gographiques sont dissmines en autant de fichiers qu'il y a de communes. L'objectif est de fusionner l'ensemble de ces fichiers en une table unique. SHP5 SHP4 SHP3 SHP2 SHP1 SHP 38. Fusion de couches 39. L'automatisation de la vrification de la qualit de donnes gograhiques Un bureau d'tudes envoie des documents d'urbanisme numriss. La validation des donnes se fait aprs une srie de vrifications lies aux objets gographiques ainsi qu'aux attributs. Cette tche est rptitive et chronophage. Vrification dela structuredes tables Vrification ducontenudes tables Vrificationde la qualitdes objetsgographiques Comparaisonauxrfrentielsgogaphiques 40. L'automatisation de la vrification de la qualit de donnes gograhiques Par un clic, nous souhaitons effectuer cette srie de vrifications. Des rapports listent d'ventuelles erreurs: objets, valeurs d'attribut non conformes Vrification dela structuredes tables Vrification ducontenudes tables Vrificationde la qualitdes objetsgographiques Comparaisonauxrfrentielsgogaphiques 41. L'automatisation de la vrification de la qualit de donnes gograhiques 42. L'automatisation de la vrification de la qualit de donnes gograhiques Job de comparaison de la couche des PLU avec le rfrentiel de la BD Parcellaire 43. L'automatisation de la vrification de la qualit de donnes gograhiques Composant de jointure tMap Fonction utilise type row4.the_geom. symDifference (row2.the_geom) gomtrique GeometryOperation.GETAREA (row4.the_geom.difference(row2.the_geom))flottant 44. La migration de donnes vers PostgreSQL/PostGIS Dans un cadre rgional, la mutualisation de donnes ncessite l'intgration de certaines couches au sein d'un SGBDR postgre/postGIS centralis Arborescencede fichiers plats SGBDR 45. La migration de donnes vers PostgreSQL/PostGIS 46. Autres applications

Manipulations gomtriques en bloc d'objets gographiques: exemple du dcoupage[assiette-gnrateur de servitude]

47. Copier des dalles par commune par intersection de la BDCarto et du tableau d'assemblage et copie des fichiers. 48. Conversion d'ensembles de fichiers dans d'autresformats: utilisation connexe avec exe GDAL-OGR 49. Reprojectionsen masse 50. Possibilitd'intgrerdes bibliothques auxiliaires java 51. Conclusion

Raccourcirde manire considrable le dlai entre la collecte de donnes et leur valorisation.

52. Migrer ,consoliderdes infrastructures de donnes gographiques 53. Simplifierl'excution de tches habituellement chronophages 54. viterles erreurs des la redondance d'oprations manuelles 55. Une communaut trs active 56. De nouveaux composants en perspective 57. Quelques autres fonctionnalits

Lecture deformats de donnes multiplesdont le GPX, le WFS, ainsi que des formats de donnes contemporains: Open Street Map, GeoRSS.

58. Accs aux donnes parvoies multiples : SCP, FTP, WebServices, POP 59. Cration automatique demta-donnes : MEF, fiches XML vers GeoNetwork 60. Oprations surrastersvia sextante 61. Liens

Apprendre utiliser Talend:

Unedocumentationgnrale, unedocumentationrelative aux composants couvrant de multiples scnarii(francophone)

Apprendre utiliser Spatial Data Integrator

Unwiki (anglophone)

S'entraider

Leforumspatial data integrator(anglophone) :

62. Leforumde developpez.com consacr Talend(francophone )