Post on 22-Sep-2020
Exploration des dimensions spatiale et temporelle de l’imagerie satellite pour la classification de parcelles agricoles
Vivien Sainte Fare Garnot (1) , Loïc Landrieu (1), Sébastien Giordano (1), Nesrine Chehata (1,2)
(1) LASTIG-STRUDEL, IGN-ENSG, Université Paris-Est, (2) EA G&E Bordeaux INP, Université Bordeaux Montaigne
18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 1
Contexte
18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 2
o Objectif: Classification des parcelles agricoles sur des séries temporelles d’images satellites à l’aide de réseaux de neurones artificiels (apprentissage profond)
o Enjeux: faciliter les attributions des subventions de la PAC, surveillance de l’utilisation des sols
→ Quelle est l’importance relative des dimensions spatiale et temporelle?
Plan de la présentation
1. Présentation du problème et état de l’art
2. Problématique de recherche
3. Méthodologie et modèles
4. Résultats
18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 3
Présentation du problème→ Classification à la parcelle à partir de la série temporelle d’images Sentinel-2
18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 4
• 10m de résolution spatiale• 5 jours de temps de revisite• 13 bandes spectrales (VIS/NIR/SWIR)
Données Sentinel-2
Vigne
Mod
èle
Etat de l’art
o Modèles discriminatifs simples (Random Forest) encore majoritairement utilisés
o N’exploitent pas les structures spatiale et temporelle
18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 5
Images concaténées(+ indices radiométriques)
Série temporelle d’images Random
Forest
Vigne
Prédiction
Etat de l’art
→ Progrès récents grâce à l’exploitation des structures spatiale et temporelle par des modèles d’apprentissage profond
18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 6
Structure Temporelle
Structure spatiale
CRF rotation des
cultures[2]
HMM phénologie[3]
RNN phénologie[4]
CNN monotempor
el [5]
RCNN classif. multi-
temporelle. [6]
Apprentissage Profond
Autres approchesRF [1]
HMM: Hidden Markov ModelCRF: Conditional Random FieldRF: Random ForestCNN: Convolutional Neural NetworkRNN: Recurrent Neural NetworkRCNN: Recurrent-ConvolutionalNeural Network
[1] J.Inglada et al., “Assessment of an operational system forcrop type map production using high temporal and spatialresolution satellite optical imagery,” Remote Sensing, 2015.
[2] S.Bailly et al., “Crop-rotation structured classificationusing multi-source sentinel images and lpis for crop typemapping,” in IGARSS 2018.
[3] S.Siachalou et al., “A hidden Markov models approach forcrop classification: Linking crop phenology to time series ofmulti-sensor remote sensing data” Remote Sensing, 2015.
[4] M.Rußwurm et al.“Multi-temporal land cover ¨classification with long short-term memory neuralnetworks,” ISPRS, 2017
[5] N. Kussul, et al. "Deep learning classification of landcover and crop types using remote sensingdata." Geoscience and Remote Sensing Letters, 2017
[6] M.Rußwurm et al. “Convolutional LSTMs for cloud-robustsegmentation of remote sensing imagery.,” NIPS Workshop,2018
Problématique de recherche
→ Importance relative de la structure spatiale et de la structure temporelle?
Approche: Etant donné un budget fixé de paramètres entraînables, doit-on se concentrer sur la structure spatiale (avec des CNN), la structure temporelle (avec des RNN) ou les deux (avec des réseaux hybrides) ?
18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 7
Architectures
18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 8
CNN GRU CNN+GRU ConvLSTM
***
* ours
Jeu de données
18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 9
• 199, 464 parcelles
• 24 dates de Janvier à Octobre 2017
• 18 classes
Fig. 2: Exemple d’un élément du jeu de données
Fig. 1: Localisation de la zone d’expérimentation et répartition des classes au sein de la zone
Résultats
18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 10
• CNN < GRU < CNN+GRU
• Intérêt limité des caractéristiques extraites par les CNN
• Structure temporelle > structure spatiale
Fig. 1:Vérité terrain et prédictions des différents modèles
Tab. 1: Performances moyennes des différents modèles
***
* ours
Résultats par classe
18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 11
• Structure temporelle importante pour les classes difficiles
• L’importance relative spatial/temporel dépend de la classe
Fig. 1: F-score par classe, pour les quatre architectures
Importance de la structure temporelle → Comment réagissent les modèles à un mélange aléatoire des séries temporelles ?
18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 12
Tab. 1: F-score moyens des quatre architectures entrainées sur les données originales (Ordered) et sur les données mélangées aléatoirement (Shuffled)
• Performance toujours meilleure que CNN (F-score 34.9)
• Mémoire sélective + modélisation de l’évolution temporelle
• Quelle architecture pour exploiter au mieux la dimension spatiale ?• Comment aider les réseaux récurrents à exploiter complètement la structure temporelle ?
Conclusion
18/04/2019 STRUCTURE SPATIALE ET TEMPORELLE POUR LA CLASSIFICATION DE PARCELLES AGRICOLES 13
• Etat de l’art pour les architectures CNN+GRU• Temporel > Spatial • Peu d’information de texture • GRU = Mémoire sélective + modèle temporel
Principaux résultats
Perspectives