Infrastructure de géomatique ouverte (IGO) : un modèle inspirant de développement...
-
Upload
visiongeomatique2014 -
Category
Technology
-
view
148 -
download
4
description
Transcript of Infrastructure de géomatique ouverte (IGO) : un modèle inspirant de développement...
Infrastructure de
géomatique ouverte
(IGO)
un modèle inspirant de
développement inter-
organisation
Vision géomatique 2014
2
Contenu
Historique et situation actuelle
Besoins en sécurité civile
G.O. Loc
Projet IGO
Architecture
Outils et logiciels libres
Maturité
Utilisation de la forge
Processus et gouvernance
Partenariats
Priorisation des développements
Un modèle inspirant de mise en commun
3
Historique et situation actuelle
4
Sécurité Publique du Qc
Mission gouvernementale pour diminuer la vulnérabilité du Qc face
aux sinistres et à la criminalité
±200 employés dans toutes les régions
Mission gouvernementale venant du PM
Mandats de coordination
collaboration avec tous les M/O et municipalités
Sécurité civile (±90%) et incendies ;
Affaires policières.
sur le territoire du Qc
5
Démarche du MSP (2006-2007)
Répondre aux besoins en géomatique du MSP (SC) :
Assurer un leadership dans l’accessibilité à l’Information
géographique gouvernementale
Mise en place d’un entrepôt de données géographiques multi-
source et distribué
Innover (« ne pas reproduire ce qui existe »)
Au début: Oracle, ESRI, quelques outils OpenSource pour la
diffusion
6
Démarche du MSP (2008-2010)
Évaluer le potentiel de l’approche logiciel libre
Hybride de solution libre et propriétaire
Ajout de composante Logiciels libres
Mapserver, OpenLayers, PostGIS, et autres
Passage à Linux Open/Suse Serveur au lieu de Windows
Banque de données Oracle vers PostgreSQL
Développement par étape et livraison rapide sans coût excessif
7
Situation actuelle
Services existants et offerts au MSP et à nos partenaires
Accès à plus de 400 couches de données (services Web (WMS / WFS))
Affichage et navigation
Service de localisation GLO (Adresses, lieux, Bornes, GPS)
Analyse spatiale
Ajout de couches externe
Fond de carte (à la Google) Gouv-Qc
Importation/Exportation de données
GO-Collaboration (clavardage avec partage de carte en temps-réel)
Observateur-terrain
Édition en ligne (Adresse Québec, …)
Sécurité et gestion par profil
Gestion des métadonnées (GeoNetwork)
Blogue / réseaux sociaux
8
Types de données
Données provenant de toutes les organisations gouvernementales et quelques privés – aucune altération des données source Adresses Québec
Cadastre en service WMS
Centre d’expertise hydrique (CEHQ) pour les débits/niveaux (sites FTP)
WS d’environnement canada et service hydrographique du canada (ADN)
WMS et repères du MTQ, WMS de Gaz Métro
Ententes diverses pour utilisation de données avec plusieurs M/O ou privés (ex. Hydro-Québec)
Types WMS
Fichiers shapefile, mapinfo, CSV et texte à géocoder, etc.
Volumes Plus de 500 couches diverses
Bd PostgreSQL de 100 Go
Fichiers divers : 200 Go
Tuiles : 2 To
9
Navigateur G.O.LOC
10
Pièces détachées du G.O. LOC
Interface intuitive : application web
Cartes de bases tuilées et pré-générées (à la Google Maps : AQ, BDTQ, etc.)
+400 couches en service Web (WMS)
Moteur de recherche adresse, lieu, repère du MTQ (GLO)
11
Problématiques
Liens logiciels avec l’infrastructure du MSP
Authentification et sécurité
Lien avec le Portail
La configuration nécessite de la programmation
L’analyse spatiale sur une base de donnée locale et une géométrie
à la fois
Pas conçu spécifiquement pour s’intégrer dans une application
existante non-géomatique
12
Projet IGO
Évolution du projet G.O.Loc
Projet résolument inter-organisation
Les partenaires s’approprient une solution unique
Le MSP n’est plus le seul propriétaire
La responsabilité est répartie
Relève complète
Modèle de gouvernance et processus de développement inspiré de l’open
source
Développement agile
Utilisation de la forge gouvernementale
Architecture modulaire par services (WMS, WFS, WMTS, CSW,WPS);
Module d’intégration et façade (API);
Configuration sans programmation;
13
Enjeux d’un projet
inter-organisation
Engagement des organisations et perspectives d’évolution
partenariats
Besoins communs vs particularités
architecture
Acceptabilité et intégration des technologies utilisées
maturité des outils
Choix des priorités
gouvernance
Coordination inter-organisation
processus
14
Partenariats
15
Partenaires
IGO (noyau)
MSP, INSPQ, FADQ, MCC, MTQ, CPTAQ (à venir)
Utilisateur IGO
SAAQ, Données ouvertes (Préprod), Navigateur
Gouvernemental, SQ (à venir)
G.O.Loc,
MRN (inventaire forestier), MTQ, MFA, MSP
Services :
INSPQ, FADQ, MCC, MTQ, MAMROT, MDDEP, CPTAQ, MFA,
SCT, MTO, ACRIgéo, MRN (plan Nord) , CELL (Forge),
Commission de Toponymie, MSP
À venir :
MSSS, MESS, Faune, MAPAQ, CSST
16
Types d’ententes
Partenaires en sécurité publique par l’application G.O.Loc
Partenariat en impliquant un interne dans un projet de
développement de fonctionnalités (ex : INSPQ, FADQ, MCC)
Partenariat en impliquant un externe (contrat) dans un projet de
développement de fonctionnalités (ex : CSPQ)
Partenariat par un développement exécutés par l’équipe géo du
MSP et l’hébergement des services géo du partenaire (ex : SCT,
MFA)
17
Architecture
18
Objectifs
Un seule solution pour l'ensemble des partenaires
Architecture modulaire par services
Configuration sans programmation
métadonnées centralisée dans la BD et en service (CSW)
Présentation et intégration en XML
Exposition d’une façade logicielle (API) pour intégration dans les
applications
Préservation des acquis pour les utilisateurs actuels
Mapfile et sources de données
Injection de code au besoin (modify_goloc)
19
Changements à l’architecture
logicielle
Architecture en services
Normalisation des échanges entre chaque sous-système (WMS, WFS, WMTS, CSW, WS)
Interopérabilité des services
Favorise les contributions et la réutilisation
Uniformise l’ajout de nouveaux modules
Module d’intégration
Exploitation des fonctions géographiques d'une manière standardisée dans les systèmes et portails
Façade logicielle
Manière normalisé pour appeler les fonction géographique
Permet au système hôte d’appeler les fonctions géographiques
(sous forme d’action)
Isole l’interface de l’implantation
Minimise l’expertise
Stabilité dans le temps
20
Vue d’ensemble
Application ou
portail
Serveur IGO
XML
Navigateur
CartographiqueServices
cartographique
Services de carteWMS
Données
Métadonnées
Couches
Module
d’intégration
FaçadeSQL
WS
Dé
cle
nch
eu
r
actio
n
21
Architecture technologique
Environnements : Essais, développement, pré-production, production. Interne et externe.
Ubuntu 14.04 LTS
Sécurité : LemonLDAP et Apache
BD: PostgreSQL\PostGIS
Logiciels : MapServer, OpenLayer, Mapcache, PHP (Phalcon), GeoExt, ExtJs, JQuery
Gdal/OGR pour chargement de données
Utilisateurs de serveurs physiques et quelques VM pour des services très légers (proxy)
Haute disponibilité par : Serveurs de relève actifs hors site (pré-production) à Montréal
Balance de charge et serveurs de production doublés
22
Outils et Logiciels libres
23
Choix en fonction du degré de
maturité
Solution établie depuis un certain temps
Plusieurs versions et révisions de la solution
La stabilité et qualité de la solution
Dans le cadre de la démarche MSP
Les produits existaient en moyenne depuis 3-5 ans
Ils étaient tous à des versions 1.0 et +
Ils avaient faits leurs preuves en terme de stabilité puisque déjà en
« production » dans des environnements similaires au nôtre
Solution utilisée par des organisations ayant des similitudes avec le MSP
Documentation présente dans Internet
Utilisation d’un réseau de contacts pour en connaître ses avantages
Services contractuels disponibles au Québec
24
Maturité des LLO de G.O.LOC
extrait - étude MTQ
Logiciel
(12 points)
Support
(12 points)
Doc
(12 points)
Formation
(12 points)forte moyenne faible
Apache_Tomcat * : Service applicatif Web 10,66 9,33 8 7 X 72
ExtJS : Framework JavaScript pour applications
riches10,33 9,00 10 8 X 76
GeoExt : Framework JavaScript applicatif
géospatial)9,33 5,67 6 8 X 60
GeoNetwork : gestionnaire de métadonnées 11,33 9,67 9 9 X 81
Linux Ubuntu : Systèmes d’exploitation 11,33 10,00 11 11 X 90
Linux open SUSE : Systèmes d’exploitation 11,33 9,67 9 8 X 78
MapCache : Service de tuilage et de cache 11,00 7,33 6 10 X 72
MapServer : Service géographique Web 11,67 9,33 10 10 X 84
OpenLayers : Composante cartographique Web
JavaScript10,67 9,67 8 8 X 75
PHP * : Langages de programmation 10,33 10,00 10 9 X 81
PostGIS : extension géospatiale de la base de
données relationnelle11,67 10,67 10 10 X 88
PostgreSQL* : Base de données relationnelle 10,33 10,00 12 12 X 92
Python* : Langages de programmation 11,00 11,00 12 12 X 96
Indicateurs de maturité Niveau d'expertise MTQScore
25
Outils de développement
Répertoire du code source
GitLab
IDE
NetBeans
Gestion des Issues
GitLab
Clients pour le répertoire du code source
NetBeans, msysGit, TortoiseGit, Git Extensions…
Modélisation
Enterprise Architect
Gestion des Récits Utilisateurs, Tâches
À déterminer
26
Processus
27
Méthodologie utilisée au
MSP
Par prototype et utilise des concepts de la méthodologie Agile Orientée vers les personnes – nos clients
Planification souple et favorable aux changements
Collaboration au lieu de négociation
Livraison rapide et légère = client heureux
Individus : motivés, coopératifs, qui se font confiance
Équipe : qui s’organise, s’interroge, se « challenge »
Projets simples qui grandissent « du Local vers le Global »
Rétroaction suite aux commentaires des clients
NE PAS AVOIR PEUR D’ESSAYER OU DE REFAIRE
Développement par services communs interopérables/standards
Collaboration avec nos partenaires gouvernementaux; « on reçoit et on redonne »
Partenariat entre organisations (ex:INSPQ-MCC et autres)
28
Utilisation de la forge
gouvernementale
Gestion du code source
Gestion des « issues »
Dépôt de documentation
Plate-forme de collaboration
29
Constats
Stabilité du code au départ est nécessaire
Travail en personne au préalable favorise la cohésion de l’équipe
Transition vers agile demande un changement de mentalité et de la
formation
Les habitudes sont fortes
Les choix d’infrastructure sont déterminants
Le maintien d’une architecture saine est un enjeu central
30
Gouvernance
31
Besoin d’une gouvernance
distribuée
Manque de ressources humaines et financières pour l’utilisation de
la géomatique.
Le partage des services est grandement avantageux
Mise en commun des efforts est l’étape suivante.
Refactorisation de l’ensemble des services du G.O.Loc pour le
partage d’un programme source unique.
Le MSP seul n’a aucun intérêt à refaire le G.O. Loc.
Une communauté gouvernementale pour assurer la pérennité du
projet pour tous.
32
Communauté
Premier projet officiel en logiciel libre qui met en place une
communauté d’utilisateurs actifs en réalisation provenant de
différents M/O.
Évolution des partenariats déjà existant
Inspirée des communautés existantes dans l’open source
33
Acteurs de la communauté du projet Géo G.O.Loc
( Version béta évolutive )
ComitéTechnique
Committeurs
MSPINSPQCELL
FADQ**
MSPINSPQMCCFADQ
Autres M/O
* *: : a déjàImplanté G.O.Loc
ContributeursDéveloppeurs, architectes, testeurs, pilotes, autres
MSP, INSPQ, MCC, FADQCELL
Et tous les M/Os intéressés
Acteurs de la communauté
34
Projets par priorité
S2LQ 2014-09-17
Priorité
Sous projet Effort MSP FADQ MCC MTQ INSPQ Moyenne
Responsables
suggérés Développeurs suggérés Début
Analyse spatiale Lourd 1 1 1 1 1 INSPQ MapGears (+ MAT, FADQ, MTQ pour intégration) Juillet-Août
Gestion de sécurité, permission Lourd 1 1 1 1 1 MSP Fred, Nic B., MAB Juillet-Août
Évolution de l'outil de pilotage Lourd 3 1 1 2 1,75 MSP Simon, Nic B., MAT en continue
Affichage à l'écran dans d'autres projections Léger 1 1 3 3 2 MCC-MSP Simon N, Nic. B. Juillet-Août
Outil d'impression à reconduire Léger 1 3 1 3 2 2 MSP MAT, MAB Juillet-Août
GetInfo amélioré moyen 3 2 2 1 3 2,2 MTQ Mathieu,Michael, MAB Août-septembre
Outil de sélection multiple Lourd 2 2 2 2 3 2,2 MTQ-MSP Mathieu, Michael à déterminer
Fonction d'ajout de données spatiales moyen 1 3 2 3 2 2,2 FADQ-MSP Michael, MAB à déterminer
Clustering pour affichage d'information moyen 3 2 1 3 2,25 MTQ Mathieu Août-septembre
Outil d'édition en ligne Lourd 2 1 3 3 3 2,4 FADQ-MSP Michael, MAT, Fred Août-septembre**
Outil d'itinéraire Lourd 2 3 2 3 2,5 MTQ-MSP MAB, Mathieu, Nic B. Juillet-Août-sept
35
Constats
Façon de faire radicalement différente
Les gestionnaires doivent être sensibilisés
Les comités doivent être stimulés
L’énergie ne vient pas de nulle part…
Les organisations y trouve leur compte
36
Un modèle inspirant
37
Avantages
Facilité d’intégration aux applications existantes
systèmes de mission
Standards ouverts
Récupération des économies d’échelles
Fonctionnalités sur mesure
38
Facteurs facilitant / freinant
Facilitants
Clé unique
Loi permettant l’agrégation de la donnée
Pas de mise de fond initiale
Pas d’échange d’argent entre organisation
Droit de retrait
Possibilité d’une version sur mesure
Complémentarité des expertises
Leadership fort
Freinant
Préjugés face au libre et au communautaire
Apprentissages requis
Développement agile
Gestion de projet différente
Leadership fort
39
Réflexions
Paradigme Plomberie Objectif Organisation du travail
Orienté objet Classe Réutilisation Méthodologie
Orienté service Service Répartition de
responsabilité
Gouvernance
Logiciel libre License Mutualisation Communauté
40
Intégration avec les logiciels
propriétaires
La solution de diffusion s’intègre à la solution de production déjà en
place
La solution est modulaire et basée sur des standards ouverts
Les sous-systèmes logiciels principaux peuvent être remplacés
par leur équivalent propriétaire
Base de données (SQL)
Serveur de carte (WMS-WFS)
Les autres client cartographiques peuvent consommer la
données (WMS-WFS)
Chaque organisme traite ses contributions comme un projet
Imparti ou non
La solution est intégrable dans un système de mission standard de
l’organisme
41
Vers ou nous allons
42
À venir
Organisation du travail
Sensibilisation des gestionnaires
Rodage des comités
Formation aux méthodologies agiles
Fonctionnalités
Analyse spatiale
Sécurité distribuée
Sélection vectorielle multiple
Édition en ligne
Outil d’itinéraire
…
Ouverture
LGPL – Début 2015
43
Questions