Big Data - Accès et traitement des données d’Observation de laTerre
71
Big Data Accès et traitement des données d’Observation de la Terre Jérôme GASPERI Rencontres Décryptageo 2015 - Saint-Mandé, France - 09 Juin 2015
-
Upload
gasperi-jerome -
Category
Technology
-
view
1.215 -
download
1
Transcript of Big Data - Accès et traitement des données d’Observation de laTerre
Big DataAccès et traitement des données d’Observation de la Terre
Jérôme GASPERI Rencontres Décryptageo 2015 - Saint-Mandé, France - 09 Juin 2015
BIGD A T A
V
VVolume
VVolume Variété
VVolume Variété
Vitesse
VVolume Variété
Vitesse
€Valeur
Volume
L’ère du pétaoctet
1 PETAOCTET
13.3 ANNEES DE VIDEO HD
1 PETAOCTET
13.3 ANNEES DE VIDEO HD
1.5 PETAOCTET
TAILLE DES 10 MILLIARDS DE PHOTOS SUR FACEBOOK
1 PETAOCTET
13.3 ANNEES DE VIDEO HD
1.5 PETAOCTET
TAILLE DES 10 MILLIARDS DE PHOTOS SUR FACEBOOK
20 PETAOCTETS
LA PRODUCTION MONDIALE DE DISQUES DURS EN 1995
1 PETAOCTET
13.3 ANNEES DE VIDEO HD
1.5 PETAOCTET
TAILLE DES 10 MILLIARDS DE PHOTOS SUR FACEBOOK
20 PETAOCTETS
LA PRODUCTION MONDIALE DE DISQUES DURS EN 1995
50 PETAOCTETS
L’INTEGRALITE DE TOUTE LA PRODUCTION ECRITE DE L’HUMANITE DEPUIS L’INVENTION DE L’ECRITURE DANS TOUTES LES LANGUES
1 p
etao
ctet
= 2
00 0
00 D
VD
s
VariétéVitesse
€Valeur
Brett Ryder - http://www.economist.com/node/15579717
Extraire l’information
1 m i l l i a rd d e m i l l i a rd d ’ o p é r a t i o n s p a r s e c o n d e e n 2 0 2 41 exaflops
Big Data...Big Problem ?
vs
vs
~ 30W
vs
~ 30W1x
vs
~ 30W ~ 30MW1x
vs
~ 30W ~ 30MW1x 3x
36 37 36
Your Online World: Green IRL, or #dirty?
While the companies assessed in this report own
or operate their own data centers, most companies
either rent server space in colocation facilities, host
their operations with cloud computing vendors and
content delivery networks, and many employ some
combination of these options.
Outside of the colocation companies, no company could
do more to make our favorite sites green than Amazon Web Services. AWS is the dominant player in cloud computing, owning over one fourth of the market by one
estimate, over triple the market share of Microsoft, its
nearest competitor.105 AWS customers should push the company to become more transparent about its energy
footprint, and to make clear what strategies and principles
it is using to reach its 100% renewable energy goal,
particularly in its dirtiest regions, like Virginia.
While these customers may not operate the mega data
centers that Google, Amazon and Microsoft do, their role in building a greener internet is just as important.
Data center operators and cloud computing vendors will
prioritize powering with renewable energy only when their
customers demand it, and those customers need to step
up to the challenge.
The graphic on this page offers a sampling of where some
of the internet’s most popular sites and services are being
hosted – and the relative greenness of the energy that
those data centers are using. Energy demand symbols
are not drawn to scale and are meant to offer a relative
indication.
AmazonWeb
Services
DigitalRealty
DupontFabros
Ebay
FacebookOracle
HP
Yahoo
IBM
Microsoft
Apple
Salesforce
Rackspace
Equinix
Telecity
http://www.greenpeace.org/usa/clickclean/#report
Big Data...from space
Sentinel-1RADAR
S1A - April 2014 S1B mid 2015
Sentinel-2OPTICAL
S2A - June 2015 S2B mid 2016
Sentinel-3ALTIMETER / SEA SURFACE
S3A - Summer 2015 S3B mid 2016
Sentinel-4ATMOSPHERE
2018
Sentinel-5PATMOSPHERE
End 2015Sentinel-5ATMOSPHERE
2020
Sentinel-6?
Le programme Sentinel
Sentinel 2
Sentinel 2Une « photo » d’une résolution de 10 mètres de toutes les terres émergées…tous les 5 jours
Des millions d’images ?
Sven Sachsalber | http://www.palaisdetokyo.com/fr/events/sven-sachsalber
Sven Sachsalber | http://www.palaisdetokyo.com/fr/events/sven-sachsalber
17 hours 45 minutes
Quand
Quand Où
Quand Où Comment
Contenu de l’image ?
Quoi
Etiquettage automatique des produits d’Observation de la Terre
iTaggithub.com/jjrom/itag
Image orthorectifiée
Image orthorectifiée
Ce que l’on a
Image orthorectifiée Image classifiée
Ce que l’on a
Image orthorectifiée Image classifiée
C’est du bâti
C’est de l’eau
C’est de la forêt
Ce que l’on a
Image orthorectifiée Image classifiée
C’est du bâti
C’est de l’eau
C’est de la forêt
Ce que l’on a Ce que l’on veut
Emprise de l’image
Emprise de l’image
Bords de côtes
Toponymes(Continents, Pays, Régions, Etats)
Densité de population
Occupation du sol
…etc…
Couches d’informations
Emprise de l’image
Bords de côtes
Toponymes(Continents, Pays, Régions, Etats)
Densité de population
Occupation du sol
…etc…
Couches d’informations
[…etc…] { "name":"Europe", "id":"continent:europe",
"countries":[ {
"name":"Italy", "id":"country:italy", "pcover":37.02,
"regions":[ {
"name":"Valle d'Aosta", "id":"region:valle-d-aosta",
"states":[ {
"name":"Aoste", "id":"state:aoste",
"pcover":37.02, "toponyms":[] } ] } ] }, […etc…]
Occupation du sol
Mots clés descriptifs
Localisation « toponymique »
restoVers un moteur de recherche pour l’Observation de la Terre
github.com/jjrom/resto
Coastal
Coastal
town
California
Coastal
town
California
Coastal
town
spring
California
Coastal
town
spring
without clouds
PEPSPlateforme d’Exploitation des Produits Sentinels
Chercher Visualiser Télécharger Exploiter
202017 PO
Volume stocké dans le data center du CNES à Toulouse pour le projet PEPS
202017 PO
Volume stocké dans le data center du CNES à Toulouse pour le projet PEPS
DV
Ds
Amener le traitement au plus près des données
HPC 50 Teraflops
Agriculture
Biomasse
Surface enneigée
Occupation du sol
![[French] Transformez vos données produits et clients en chiffre d’affaires](https://static.fdocuments.fr/doc/165x107/5577f16bd8b42a24198b4a99/french-transformez-vos-donnees-produits-et-clients-en-chiffre-daffaires.jpg)
