Inventaire automatique du patrimoine d'information géographique ...

33
1 Parcs nationaux de France Bruno Lafage Forum TIC 2014 Inventaire automatique du patrimoine d'information géographique des Parcs nationaux En partenariat avec François Prunayre, société Titellus

Transcript of Inventaire automatique du patrimoine d'information géographique ...

Page 1: Inventaire automatique du patrimoine d'information géographique ...

1

Parcs nationaux de FranceBruno Lafage Forum TIC 2014

Inventaire automatique du patrimoine d'information géographique

des Parcs nationaux

En partenariat avec François Prunayre, société Titellus

Page 2: Inventaire automatique du patrimoine d'information géographique ...

2

Parcs nationaux de France

Historique

● Une réflexion sur le catalogage initiée au sein du GT des géomaticiens des Parcs nationaux dès 2007,

Page 3: Inventaire automatique du patrimoine d'information géographique ...

3

Parcs nationaux de France

Historique

● Une réflexion sur le catalogage initiée au sein du GT des géomaticiens des Parcs nationaux dès 2007,

● En 2009, la décision est prise de mettre en place un service de catalogage commun avec comme objectifs à atteindre :

> Se mettre en conformité avec les principes de la Directive Inspire

> Éviter la création de données redondantes

> Ouvrir les catalogues aux partenaires et au grand public

Page 4: Inventaire automatique du patrimoine d'information géographique ...

4

Parcs nationaux de France

Historique

● Une réflexion sur le catalogage initiée au sein du GT des géomaticiens des Parcs nationaux dès 2007,

● En 2009, la décision est prise de mettre en place un service de catalogage commun avec comme objectifs à atteindre :

> Se mettre en conformité avec les principes de la Directive Inspire

> Éviter la création de données redondantes

> Ouvrir les catalogues aux partenaires et au grand public

● Très rapidement apparaissent des difficultés :

> Techniques

> Fonctionnelles

> En découle une faible mobilisation des gestionnaires de données des parcs

Page 5: Inventaire automatique du patrimoine d'information géographique ...

5

Parcs nationaux de France

Quel bilan pour cette première étape ?

● Un premier bilan très mitigé :

> Très peu de fiches saisies

> Le catalogage n'est pas ressenti comme une activité prioritaire des parcs nationaux

> Manque de temps à y consacrer

> Catalogage : activité fastidieuse, chronophage, peu valorisante

> Une norme éloignée d'une gestion optimisée des données

> Les modèles de données sont compliqués

> Inadéquation de l'outil avec les besoins et les attentes des géomaticiens

> Dynamique régionale pour les parcs d'outre-mer s'appuyant sur des solutions techniques différentes (géoguyane par exemple)

Page 6: Inventaire automatique du patrimoine d'information géographique ...

6

Parcs nationaux de France

À partir de ce constat, une nouvelle réflexion est engagée en 2013● Remise à plat du précédent processus de catalogage

> Identification des points de blocage

> Quels enseignements en tirer ?

> État de l'art en 2013

> Quelles solutions et quels moyens disponibles ?

Page 7: Inventaire automatique du patrimoine d'information géographique ...

7

Parcs nationaux de France

À partir de ce constat, une nouvelle réflexion est engagée en 2013● Remise à plat du précédent processus de catalogage

> Identification des points de blocage

> Quels enseignements en tirer ?

> État de l'art en 2013

> Quelles solutions et quels moyens disponibles ?

● Cibler l'effort sur la génération de métadonnées

… et non sur l'outil de catalogage

Page 8: Inventaire automatique du patrimoine d'information géographique ...

8

Parcs nationaux de France

À partir de ce constat, une nouvelle réflexion est engagée en 2013● Cette réflexion est menée en collaboration entre PNF et

Francois Prunayre de la société Titellus

Page 9: Inventaire automatique du patrimoine d'information géographique ...

9

Parcs nationaux de France

À partir de ce constat, une nouvelle réflexion est engagée en 2013● Cette réflexion est menée en collaboration entre PNF et

Francois Prunayre de la société Titellus

● Objectif à atteindre :

> Mettre à disposition des Parcs nationaux un outil d'inventaire de leurs données géographiques

> Générer le plus simplement possible des squelettes de métadonnées

> Avoir un outil synchronisé aux données géographiques

> S'appuyer sur une solution facilement dépersonnalisable

Page 10: Inventaire automatique du patrimoine d'information géographique ...

10

Parcs nationaux de France

● Solution retenue :

=> Talend (TDI) et son module spatial

=> génération de métadonnées par analyse de données SIG

● Talend ?

> Outil ETL Open-source (Extract Transform Load)

> Talend déjà utilisé par certains parcs

> Talend bénéficie d'un module spatial s'appuyant sur GDAL/OGR

Page 11: Inventaire automatique du patrimoine d'information géographique ...

11

Parcs nationaux de France

● Principe :Scan de répertoires, bases de données ou de services web

Page 12: Inventaire automatique du patrimoine d'information géographique ...

12

Parcs nationaux de France

● Principe :Scan de répertoires, bases de données ou de services web

Extraction des caractéristiques de la données, puis création de fiches descriptives à partir d'un modèle de saisie

Page 13: Inventaire automatique du patrimoine d'information géographique ...

13

Parcs nationaux de France

● Principe :Scan de répertoires, bases de données ou de services web

Extraction des caractéristiques de la données, puis création de fiches descriptives à partir d'un modèle de saisie

Publication des fiches dans un service de catalogage

Page 14: Inventaire automatique du patrimoine d'information géographique ...

14

Parcs nationaux de France

● Principe :

Accès aux données ETL Format d'échange Un catalogue

Page 15: Inventaire automatique du patrimoine d'information géographique ...

15

Parcs nationaux de France

● Principe :

GDAL/OGR Talend+Module spatial

CSW Géosource

Page 16: Inventaire automatique du patrimoine d'information géographique ...

16

Parcs nationaux de France

● Les formats :

> La librairie GDAL/OGR est utilisée pour les données vecteurs et raster

Page 17: Inventaire automatique du patrimoine d'information géographique ...

17

Parcs nationaux de France

● Les formats :

> La librairie GDAL/OGR est utilisée pour les données vecteurs et raster

Page 18: Inventaire automatique du patrimoine d'information géographique ...

18

Parcs nationaux de France

● Formats testés :

> Vecteurs

‐ Esri Shapefile

‐ Mapinfo Tab

‐ Table PostGIS

‐ GeoDatabase

‐ GPX

‐ KML

‐ DXF

‐ WFS

> Cartes

‐ QGIS project

> Raster

‐ TIFF

‐ ASC

‐ GéoPDF

‐ ECW

‐ AIG

> Source

‐ Fichiers

‐ Bases de données

‐ Services web

Page 19: Inventaire automatique du patrimoine d'information géographique ...

19

Parcs nationaux de France

● Pour des données vecteurs :

ISO 19139

ISO 19110

● Pour des données vecteurs :

> Création d'une métadonnée de données au format ISO 19139

> Création d'un catalogue d'attribut au format ISO 19100

● Pour des données raster :

> Seule la fiche de métadonnées est générée

Page 20: Inventaire automatique du patrimoine d'information géographique ...

20

Parcs nationaux de France

● Une métadonnée INSPIRE> Titre> Résumé> Contact pour la donnée> Contact pour la métadonnée> Contrainte d’accès> Thème> Un mot clé GEMET> Date> Résolution spatiale> Représentation spatiale> Ressource en ligne> Format de diffusion> Étendue géographique> Système de projection> Généalogie> Identifiant de la métadonnée = UUID> Identifiant de la ressource = http://parcsnationaux.fr/UUID> Langue de la ressource = fre> Langue de la métadonnée = fre> Jeu de caractère de la ressource = utf-8> Jeu de caractères de la métadonnée = utf-8> Nom de la norme = ISO 19139> Version de la norme = 2006> Date de la métadonnée = date de l'édition

30% de fait ...

Page 21: Inventaire automatique du patrimoine d'information géographique ...

21

Parcs nationaux de France

● Une métadonnée INSPIRE> Titre> Résumé> Contact pour la donnée = bruno lafage> Contact pour la métadonnée = bruno lafage> Contrainte d’accès = pas de contrainte, convention, licence ...> Thème = Environnement> Un mot clé GEMET> Date> Résolution spatiale> Représentation spatiale> Ressource en ligne> Format de diffusion> Étendue géographique> Système de projection> Généalogie> Identifiant de la métadonnée = UUID> Identifiant de la ressource = http://parcsnationaux.fr/UUID> Langue de la ressource = fre> Langue de la métadonnée = fre> Jeu de caractère de la ressource = utf-8> Jeu de caractères de la métadonnée = utf-8> Nom de la norme = ISO 19139> Version de la norme = 2006> Date de la métadonnée = date de l'édition

Modèle de saisie : 60%

Page 22: Inventaire automatique du patrimoine d'information géographique ...

22

Parcs nationaux de France

● Une métadonnée INSPIRE> Titre> Résumé> Contact pour la donnée = bruno lafage> Contact pour la métadonnée = bruno lafage> Contrainte d’accès = pas de contrainte, convention, licence ...> Thème = Environnement> Un mot clé GEMET> Date> Résolution spatiale> Représentation spatiale> Ressource en ligne> Format de diffusion> Étendue géographique> Système de projection> Généalogie> Identifiant de la métadonnée = UUID> Identifiant de la ressource = http://parcsnationaux.fr/UUID> Langue de la ressource = fre> Langue de la métadonnée = fre> Jeu de caractère de la ressource = utf-8> Jeu de caractères de la métadonnée = utf-8> Nom de la norme = ISO 19139> Version de la norme = 2006> Date de la métadonnée = date de l'édition

Analyse de la donnée : 85%

calcul à partir de ladonnée géographique)

Page 23: Inventaire automatique du patrimoine d'information géographique ...

23

Parcs nationaux de France

calcul à partir de ladonnée géographique)

● Une métadonnée INSPIRE> Titre> Résumé> Contact pour la donnée = bruno lafage> Contact pour la métadonnée = bruno lafage> Contrainte d’accès = pas de contrainte, convention, licence ...> Thème = Environnement> Un mot clé GEMET> Date> Résolution spatiale> Représentation spatiale> Ressource en ligne> Format de diffusion> Étendue géographique> Système de projection> Généalogie> Identifiant de la métadonnée = UUID> Identifiant de la ressource = http://parcsnationaux.fr/UUID> Langue de la ressource = fre> Langue de la métadonnée = fre> Jeu de caractère de la ressource = utf-8> Jeu de caractères de la métadonnée = utf-8> Nom de la norme = ISO 19139> Version de la norme = 2006> Date de la métadonnée = date de l'édition

Page 24: Inventaire automatique du patrimoine d'information géographique ...

24

Parcs nationaux de France

● Principe :Scan de répertoires, bases de données ou de services web

Extraction des caractéristiques de la données puis création de fiches descriptives à partir d'un modèle de saisie

Publication des fiches dans un service de catalogage

Page 25: Inventaire automatique du patrimoine d'information géographique ...

25

Parcs nationaux de France

● Fenêtre Talend (TDI)

Page 26: Inventaire automatique du patrimoine d'information géographique ...

26

Parcs nationaux de France

● Détails du Job

Page 27: Inventaire automatique du patrimoine d'information géographique ...

27

Parcs nationaux de France

● Paramétrage des variables du Job

Page 28: Inventaire automatique du patrimoine d'information géographique ...

28

Parcs nationaux de France

● Installation

> Téléchargement et installation

‐ JAVA

‐ Talend Data Integration

‐ Module spatial de Talend

‐ GDAL/OGR

> Configuration de Talend

‐ Importation des jobs

‐ Paramétrage des jobs et des variables

● Exécution

> Directement dans Talend

> En ligne de commande

> Webservice

Page 29: Inventaire automatique du patrimoine d'information géographique ...

29

Parcs nationaux de France

● Besoin de documentation ?

> Google doc 

‐ Inventaire automatique du patrimoine d'information géographique avec Talend Spatial

‐ Auteurs et contributeurs : François Prunayre (Titellus)Mathieu Coudert (Astrium Geo-Information Services)Bruno Lafage (Parcs nationaux de France)

> Téléchargement depuis github.com (documentation + jobs)

https://docs.google.com/document/d/10GyQLL9XORawurILl6AUCpP7PDfcQ3D3nkBO1Le3UI8/edit?pli=1#https://docs.google.com/document/d/10GyQLL9XORawurILl6AUCpP7PDfcQ3D3nkBO1Le3UI8/edit?pli=1#https://docs.google.com/document/d/10GyQLL9XORawurILl6AUCpP7PDfcQ3D3nkBO1Le3UI8/edit?pli=1#

https://github.com/talend-spatial/talend-spatial/wiki/Data-inventory

https://github.com/talend-spatial/workspace-metadata-crawler/archive/master.zip

Page 30: Inventaire automatique du patrimoine d'information géographique ...

30

Parcs nationaux de France

Page 31: Inventaire automatique du patrimoine d'information géographique ...

31

Parcs nationaux de France

● Une solution présentée lors d’événements majeurs

Page 32: Inventaire automatique du patrimoine d'information géographique ...

32

Parcs nationaux de France

● Quelle suite pour les Parcs nationaux

> Une solution déployée dans tous les Parcs nationaux

> Mobilisation de chacun afin de mettre son patrimoine de données en conformité avec INSPIRE

> Soin laissé à chaque parc de choisir son service de catalogage (moissonable)

> Mise en place à PNF d'un catalogue des Parcs nationaux

> Connexion envisagée avec les catalogues nationaux

Page 33: Inventaire automatique du patrimoine d'information géographique ...

33

Parcs nationaux de France

Merci de votre attention …....

et bon catalogage !