Devoxx france 2015 - Intégrer et exploiter le format de données ouvert GTFS. Fails et succès, ce...

@alexiskinsella#DevoxxGTFS

INTÉGRER ET EXPLOITER LE FORMAT DE DONNÉES OUVERT GTFS. FAILS ET SUCCÈS, CE QUI MARCHE ET CE QUI NE MARCHE PAS !

@alexiskinsellaXebia, http://blog.xebia.frAlexis Kinsella


Plan

1. Présentation

2. Intégration

3. Exploitation

Présentation du standard GTFS


Signification

General Transit Feed Specification


Normalisation

Normalisé par en 2005


Définition

Format commun pour les informations d’horaires de transports publics et données géographiques associées.


Objectifs

Les flux de données GTFS permettent:

1. Aux agences de transport public de publier leur données.

2. Aux développeurs d’écrire des applications qui les consomment.


Horaires théoriques

La norme GTFS concerne les données théoriques c’est à dire les horaires planifiés.


Le format GTFS

Un jeu de données est composé d’une série de fichiers textes (au format CSV) rassemblés au sein d’un fichier zip.


Horaires temps réel

Le format de données est basé sur protobuf … Oui, c’est :)

La norme GTFS-realtime complète la norme GTFS.

Elle vient amender les données théoriques par des données temps réel.

Le format de données est basé sur protobuf … Oui, c’est Google :)


Qui ?

Les données GTFS sont fournies par les agences de transport:

…


Pourquoi ?

Intérêt citoyen

Mouvance Open Data

Volonté politique (Etalab, …)


Licences

Elles sont multiples …

• Open Database License (ODbL) v1.0• SNCF Open Data• …

Et certaines réservent des surprises !


Licences

Droit d’audit

Comme prévu à l’article 15, la Communauté urbaine de Lyon dispose d’un droit d’audit sur le système d’information du Licencié.

« Oups ! »


Disparité de l’accès aux données

Certains jeux de données sont en accès libre …

D’autres sont accessibles après inscription et authentification :/

Pour d’autres, il faut déjà les trouver !


Disparité des jeux de données

Problèmes d’interprétation de la norme

Maturité des jeux de données assez inégale

Données sous forme de zip … Parfois même un zip

dans un zip …

Un zip dans un zip ?

Intégration de données GTFS


Facts

Entre 550Mo et 750Mo

Soit entre 11.866.989 et 15.747.594 lignes


Intégration

Mieux vaut être efficace …

Mais comment intégrer toutes ces lignes ?


Le temps de l’innocence

+ =


Le temps de l’innocence

Ok, Google, tu me trouves un script d’import ?


Avantages

Facile et rapide à mettre en place !

Fonctionne Out of the Box


Inconvénients

Mais ce n’est pas très rapide tout ça …


Benchmark simpliste …

Date Node.js MongoDBMongoDB

DriverDurée

Juin 2014

0.10.22 2.6.1 1.3.19 22m41s


Inconvénients

Ah Oui, Node.js fonctionne sur 1 core …

Dommage ma machine en a 8 !Ah ! Et mongo n’utilise qu’1 seul core pour

écrire !


Benchmark simpliste …

Au fait, ça donne quoi sur un serveur ?


Serveur rack 6U ?


Ou plutôt un Raspberry PI ?


Benchmark, la suite …

Sur un VPS 3 Cores, 4Go OVH



Environs 55 minutes



Malheureusement, ce n’est pas viable :/



Alors, peut-on faire mieux ?


Benchmark, la suite

Clusteriser l’import et répartir le travail d’insertion ?


Benchmark, la suite

Pourquoi pas, mais pas forcement trivial :/

On utilise bien tous les cores mais l’amélioration de performance n’est pas

vraiment au rendez-vous …

ou

Premature optimization

is the root of all evil


Résultat

Beaucoup de temps perdu …

N’y a-t-il pas plus simple ?


Benchmark, la suite

Finalement,le vrai point de contention est l’écriture en base de

données

MongoDB occupe le core d’écriture à 100%


Alternative …

Alors quelle solution ?


Alternative …

Sharder MongoDB ?

Pas une solution si on a qu’un seul serveur à disposition …


Alternative …

Réfléchissons à nouveau !


Alternative …

Relationnel, comme les bases de données SQL ?

GTFS -> Export de données relationnelles …


Une alternative à MongoDB …


Des atouts …

• Base de données relationnelle

• Insertion multi cores

• Support géo-spatial fortement amélioré

avec InnoDB en 5.7

• Très bonnes performances


Des défauts …

• Version 5.7 en Beta

• Support géo-spatial incomplet …

• Création coûteuse des index


Contourner les défauts

• Créer les index en fin de traitement

• Un schéma par dataset GTFS

• Utiliser la fonctionnalité: LOAD DATA

INFILE !


Une alternative à Node.js …

Remplacer Node.js par Golang


Des avantages …

• Ultra performant

• Gestion de la concurrence efficace


Des inconvénients …

• Un IDE plutôt spartiate

• Un driver MySQL encore jeune


Le résultat ?

Temps de traitement:

9m10s en local20m15s sur serveur

Index & structures de données complémentaires compris …

Exploitation de données GTFS


Exploiter les données

Pour en faire quoi ?


Objectif

Trouver les stations les plus proches d’un point géographique

et afficher les prochains horaires de passage


Problème

Chercher toutes les informations en base est très

coûteux.


Problème

Entre 3 secondes et 6 secondes pour une zone

dense dans Paris avec un rayon de 1000 mètres


Optimisations

Optimiser l’accès aux données ?

Oui, mais comment ?


Optimisations MySQL

Avec InnoDB, 2 paramètres influent

essentiellement les performances:

• innodb_buffer_pool_size = 6442450944

• max_connections = 512


Optimisations MySQL

• Travailler la performance des requêtes

• Utiliser des structures de données spécialisées

• Dénormaliser

• Mais surtout …


MySQL - Types des données

Réécrire les fichiers de données GTFS pour changer les

clés « varchar » ou « char » en clés de type « int »


Une solution complémentaire ?

Utiliser un cache ?


Pour quelles données ?


La solution ?

Mise en place de Redis en tant que cache mémoire


Problème

Le serveur utilisé dispose de resources mémoire

limitées


Solution

LevelDB & dérivés


Solution

SSDB est une base de données en mode client /

serveur compatible avec le protocole Redis !

Replicable & load balançable

Avec un jeux d’instructions compatibles !


SSDB - Performance


Le code

Et le code source alors ?


Node.js & Express

L’API a été codée initialement avec Node.js & Express

Particulièrement intéressant

pour la construction d’API avec Express …


Node.js - Inconvénients

Néanmoins, Node.js n’aime pas les traitements coûteux en

mémoire et CPU …

Par ailleurs, les différents drivers MySQL apparaissent peu

performants


Node.js

Après diverses optimisations, les temps de traitement

varient toujours fortement.

Entre 780 ms et 1450 ms, ils restent long et coûteux


Node.js

Les solutions …


Node.js

Recoder l’API avec Golang !


Résultat

Temps de traitement réduits et plus réguliers

entre 550 ms et 770 ms


Golang - Avantages

Driver MySQL performant

Langage très performant pour la manipulation de

données


Golang - Inconvénients

Dans un style très impératif,

il est peu adapté à la manipulation de données

@YourTwitterHandle@YourTwitterHandle@alexiskinsella#DevoxxGTFS

Q & A

Pour aller plus loin


Performances & Structures des données

Améliorer les structures de données

exploitées.

Par exemple: Utiliser une taille fixe des structures de données en

base, pour cela il faut calculer la taille nécessaire à la création des

tables


Performances & Structures des données

Supprimer les données inutiles ou en doublon


Base de données

Explorer les capacités de PostgreSQL vs

MySQL

Performance, PostGIS, …


Fouiller le web

Le web regorge de resources sur le sujet …

GitHub en particulier !


Quelques sources de données …

• Data.gouv.fr: https://www.data.gouv.fr/fr/search/?q=gtfs

• GTFS Data Exchange :

http://www.gtfs-data-exchange.com/agencies

• Navitia.io : http://navitia.io/datasets

• The Transit App: http://thetransitapp.com/wishlist

https://www.data.gouv.fr/fr/search/?q=gtfs

http://www.gtfs-data-exchange.com/agencies

http://navitia.io/datasets

http://thetransitapp.com/wishlist


Xebia France

http://blog.xebia.fr/

http://blog.xebia.fr/


Resources

• Open data stickers: http://upload.wikimedia.org/wikipedia/commons/c/cc/Open_Data_stickers.jpg

• Images de la série South Park, des films Inception & Austin Powers

• http://en.wikipedia.org/wiki/Rage_comic• http://www.iconarchive.com/show/flat-file-type-icons-

by-pelfusion/zip-icon.html• Benchmark du site ssdb.io• Quelques sources inconnues, désolé …

http://upload.wikimedia.org/wikipedia/commons/c/cc/Open_Data_stickers.jpg

http://upload.wikimedia.org/wikipedia/commons/c/cc/Open_Data_stickers.jpg

http://en.wikipedia.org/wiki/Rage_comic

Devoxx france 2015 - Intégrer et exploiter le format de données ouvert GTFS. Fails et succès, ce...

Presentations & Public Speaking

Transcript of Devoxx france 2015 - Intégrer et exploiter le format de données ouvert GTFS. Fails et succès, ce...