Gestion de la mobilité dans les réseaux de capteurs sans fil
Gestion de données provenant de réseaux de capteurs sans fil
28
Gestion de données provenant de réseaux de capteurs sans fil David Sarramia
Transcript of Gestion de données provenant de réseaux de capteurs sans fil
Gestion de données provenant de réseaux de capteurs sans fil
David Sarramia
Cloud environnemental• Délivrable du Challenge 1 de l’I-Site : Agro-écosystèmes durables dans un
contexte de changement global
• Une ambition importante :• Création d’un « grand » observatoire de l’environnement en Auvergne, unique en Europe.
• Des objectifs scientifiques à fort impact :• Concevoir un environnement numérique interconnecté valorisant les données
environnementales existantes ou à acquérir.
• Automatiser le monitoring de données à distance par la mise au point de nouveaux systèmes de capteurs sans fil.
• Accroitre notre compréhension des compartiments environnementaux face au changement global (évolutions, interactions).
• Comprendre l’impact de ces compartiments sur les agroécosystèmes et réciproquement.
• Conceptualiser les interrelations entre les compartiments pour comprendre, modéliser et prédire le comportement des agroécosystèmes.
• Accompagner l’aide à la décision (agriculteurs, entreprises, collectivités territoriales).2
Périmètre géographique
33
Les données à (in)gérer
Base de données
Données spatiales, GPS
Image, audio, vidéo
Capteurs
Fichiers
Solution proposée : data lake
5
COLLECT
INGEST
BLEND, TRANSFORM,ANALYZE PUBLISH, DISTRIBUTE
Eléments d’un data lake
• Gestion des données– Collection/Ingestion de données en temps réel
– Ingestion fichiers, base de données
– Stockage pérenne : • base de données NoSQL
• système de fichiers
• Traitement des données– Recherche, transformation, visualisation,
restitution/export
• Publication– Catalogue
6
Recherche
Analyse
Visualisation
?
?
Réseau de capteurs
Au temps t
7
Recherche
Analyse
Visualisation
?
?
?
Au temps t + 1 mois
8
Réseau de capteurs
Recherche
Analyse
Visualisation
?
?
Données deréférence
?
Au temps t + 1 an
9
Réseau de capteurs
Approche suite Elastic
10
StockerRechercher
Analyser
Ingérer :Recevoir
TransformerTransférer
Visualiser
Extraire
Approche suite Elastic
11
• Elasticsearch (licence Apache)
– Moteur de recherche
– Indexe / Stocke - distribué
– Orienté document• Texte, Nombres, Date, Coordonnées géographiques
– JSON - java
– Mappings, paramètres d’index
– Aggrégations
– …
• Logstash
– Collecte les données (flux, base de données, fichiers…)• À la demande
• En service
– Par le producteur de la donnée et/ou consommateur de données
– Dans un ou plusieurs index
– Transforme (nom, type, date…)
– Analyse
– En temps quasi réel
• Kibana– Visualisation
– Interrogation
Exemples
• Réseau de capteurs sans fils
– Mesures météo & radioactivité (bd)
– Nœud sans fil (json)
• Zatu
– Position des arbres (csv)
– Mesures de niveau de radioactivité (csv)
• Bouée Aydat
– Mesures (txt)
12
Réseau de capteurs sans fils
13
Sensors/actuators
SQLDatabase
InternetGateway
Binary file
ELK stack node
Data CollectionData Producer
Data Logger
ES
Connectivity
Sto
rage
Data processing
Search & analyticsengine
Datavisualisation &
navigation
Third partydata
Net
wo
rk
End User
x4
x1
Prélèvements, mesure
//
Réseau de capteurs
Fichiers
Réseau de capteurs sans fils
Flux
//
Description des données
Base de données MySQLRequête SQLSynchronisation (5 min)
Création d’alias pour faciliter les requêtes/visualisation
Réseau de capteurs sans fils
15
Réseau de capteurs sans fils
16
Flux
//
Description des données Fichiers
Json Elasticsearch
Réseau de capteurs sans fils
17
ZATU - arbres
18
Positionnement des arbres sur lesquels un prélèvement a été réalisé
Flux
//
Description des données
Fichiers
ZATU - arbres
19
Positionnement des arbres sur lesquels un prélèvement a été réalisé
ZATU - radioactivité
Flux
//
Description des données
Fichiers
Mesures provenant d’un Colibri (csv) :• Positionnement GPS de chaque mesure• Niveau de radioactivité
ZATU - radioactivité
21
Mesures provenant d’un Colibri (csv) :Positionnement GPS de chaque mesureNiveau de radioactivité
(couleur = niveau relatif)
GET gamma_colibri_rophin/_search{
"query": {"bool" : {
"must" : {"match_all" : {}
},"filter" : {
"geo_polygon" : {"location" : {
"points" : [[3.5459891613159016, 46.01295812457846],[3.5592929180297688, 46.01295812457846],[3.5592929180297688, 46.002704419144706],[3.5459891613159016, 46.002704419144706],[3.5459891613159016, 46.01295812457846]
]}
}}
}}
}
Aydat - bouée
22
Flux
Capteurs
Serveur
//
Description des données
Aydat - bouée
23
Graphique de la température (capteur 0001)
Aydat - bouée
24
Graphique de plusieurs capteurs @ nombre de mesures
Aydat - bouée
• Dashboard
25
Conclusion
• Projet extrêmement ambitieux avec des enjeux scientifiques et technologiques majeurs.
• Livrable au carrefour du challenge 1 de CAP 20-25
• Unique : Consortium, contours scientifique, taille, les caractéristiques des objets d’étude et les objectifs.
26
Crédits
• Alexandre Claude (LPC)
• Equipe CEBA (Gilles Mailhot, Vincent Breton, Francis Ogereau, Jeremy Mezhoud)
• Antoine Mahul (mésocentre Clermont)
• Equipe mésocentre Clermont
Merci de votre attention
