Dataviz & BigData :Mythes & réalités

18
12/02/2014 1 Innovation Recherche Dataviz & BigData : Mythes & réalités Jean-Daniel Fekete Directeur de Recherche, Resp. équipe-projet AVIZ INRIA [email protected], www.aviz.fr, @jdfaviz

description

Nous invitons Jean-Daniel Fekete, directeur de recherche à Inria Saclay-Ile de France. Son domaine de recherche est l'analyse et la visualisation d'informations volumineuses et complexes. Jean-Daniel Fekete est General Chair de la conférence IEEE VIS 2014, organisée pour la première fois en dehors des US, à Paris en novembre 2014. La session portera sur un aperçu de l'état de l'art, principaux verrous et défis du domaine de la visualisation de données dans un contexte de données massives. Le thème de la "data visualisation" est presque aussi galvaudé que celui du big data: qu'est ce qu'une visualisation réellement utile à l'analyse et à la compréhension du sens des données étudiées? quelles sont les contraintes et les possibilités en fonction du niveau d'expertise ou de connaissance du domaine de la part de l'utilisateur? grand public ou expertise extrème, même challenges ou pas? La session sera illustrée de nombreux exemples concrets, dans le domaine des réseaux sociaux, de la médecine et dans le cadre d'experimentations sur la plateforme Digiscope (visualisation sur ultra large displays). Pour en savoir plus: Jean-Daniel Fekete: http://www.aviz.fr/~fekete Equipe INRIA AVIZ: http://www.aviz.fr/ IEEE VIS 2014: http://ieeevis.org/ Digiscope: http://www.digiscope.fr Speakers : Jean-Daniel Fekete (Inria), Pierre-Louis Xech (Microsoft France)

Transcript of Dataviz & BigData :Mythes & réalités

Page 1: Dataviz & BigData :Mythes & réalités

12/02/2014

1

Innovation Recherche

Dataviz & BigData :

Mythes & réalités Jean-Daniel Fekete

Directeur de Recherche, Resp. équipe-projet AVIZ

INRIA

[email protected], www.aviz.fr, @jdfaviz

Page 2: Dataviz & BigData :Mythes & réalités

12/02/2014

2

Les solutions de stockage croissent exponentiellement

Les capteurs génèrent toujours plus de données :

Pollution, logs, température, photos, vidéos, monitoring

Les données collectées sont mises en ligne

Les données sont analysées et les analyses sont mises en ligne

L’univers numérique explose :

2007 : 281 Exa-octets (281 milliards de Giga-octets)

2010 : barrière du Zeta-octet franchie

2011 : 1.8 Zeta-octets

2020 : 40 Zeta-octets

La révolution Big Data

http://www.emc.com/leadership/digital-universe/iview/executive-summary-a-universe-of.htm

Data, Information, Knowledge, Wisdom

Where is the Life we have lost in living? Where is the wisdom we have lost in knowledge? Where is the knowledge we have lost in information? -- from T.S. Eliot, "Choruses from 'The Rock'

Comment :

• transformer des données en information ?

• utiliser l’information pour prendre des bonnes décisions et apprendre de nouvelles connaissances

• avoir des réponses à des questions fondamentales dont on n’a aucune idée aujourd’hui ?

Transformer le déluge de données en opportunités !

Page 3: Dataviz & BigData :Mythes & réalités

12/02/2014

3

Utiliser la vision

• Sens ayant la plus grande bande passante • Rapide, parallèle • Reconnaissance de formes • Pré-attentif • Etend les capacités cognitives et mémorielles • On pense visuellement

• On utilise des connaissances issues de la psychologie cognitive

– Psychologie de la forme (Gestalt)

– Perception pré-attentive

– Psychophysique

#mstechdays Innovation Recherche

Dataviz, InfoGraphics, InfoVis ? [Wikipedia] • Dataviz: Une représentation graphique de données

statistiques ou visualisation de données statistiques est un résumé visuel des données chiffrées

• InfoGraphic: L’infographie de presse désigne le domaine professionnel ayant pour objet les graphes destinés à mettre en image des informations généralement statistiques au moyens de diagrammes.

• InfoVis: La Visualisation d'Information est un domaine informatique pluri-disciplinaire dont l'objet d'étude est la représentation visuelle de données, principalement abstraites, sur une Interface graphique [interactive]

Page 4: Dataviz & BigData :Mythes & réalités

12/02/2014

4

#mstechdays Innovation Recherche

#mstechdays Innovation Recherche

Engouement pour la dataviz et l’infovis

• Depuis 2010, la dataviz devient populaire dans les journaux – New York Times, Guardian, Le Monde, Liberation

• La dataviz est omniprésente sur le web

• De nouveaux produits mettent en avant leurs composants dataviz – Business Intelligence, Tableurs

• Les entreprises dataviz sont en forte croissance – Tableau Software lève au NASDAQ 254m$ en mai 2013

Page 5: Dataviz & BigData :Mythes & réalités

12/02/2014

5

#mstechdays Innovation Recherche

Questions :

• Est-ce vraiment aussi efficace ?

• Toutes les dataviz sont-elles utiles ?

• Comment reconnaitre une bonne dataviz

d’une mauvaise dataviz ?

• La dataviz est-elle efficace sur du Big Data ?

#mstechdays Innovation Recherche

Stratégie américaine en Afghanistan [We Have Met the Enemy and He Is PowerPoint, NY-Times, 26/4/2010]

Page 6: Dataviz & BigData :Mythes & réalités

12/02/2014

6

Lire les visualisations

• Tout le monde sait lire les visualisations

congruentes – Lorsque les questions sur les données utilisent les mêmes

termes que les questions sur la représentation visuelle

• Quelle est la valeur la plus petite/grande ? – Quelle est la barre

la plus

petite/grande ?

Lire les visualisations

• Plusieurs visualisations sont congruentes

pour des tâches simples :

Page 7: Dataviz & BigData :Mythes & réalités

12/02/2014

7

Budget de l’état 2012 par Ministère

Bon début mais … plusieurs résultats

Page 8: Dataviz & BigData :Mythes & réalités

12/02/2014

8

Visualisation : exemples http://www.smartmoney.com/map-of-the-market/

15

Page 9: Dataviz & BigData :Mythes & réalités

12/02/2014

9

Montrer 2 dimensions à la fois…

Page 10: Dataviz & BigData :Mythes & réalités

12/02/2014

10

#mstechdays Innovation Recherche

• Demo !

Des tables à 12 dimensions ?

19

Matrices de Scatter Plots

http://labs.data-publica.com/emploi/

Page 11: Dataviz & BigData :Mythes & réalités

12/02/2014

11

#mstechdays Innovation Recherche

Au-delà de 20 dimensions ?

InfoVis Co-authoring (K. Börner et al.)

Des réseaux sociaux toujours plus gros

Page 12: Dataviz & BigData :Mythes & réalités

12/02/2014

12

En réalité, lorsqu’on visualise les données

brutes …

23

FaceBook

Page 13: Dataviz & BigData :Mythes & réalités

12/02/2014

13

Les choix esthétiques interfèrent avec la lisibilité

Page 14: Dataviz & BigData :Mythes & réalités

12/02/2014

14

Réseau Professionnel LinkedIn

http://inmaps.linkedinlabs.com/network

Graphes

• Diagrammes en nœuds

et liens

• Matrices d’adjacence

Page 15: Dataviz & BigData :Mythes & réalités

12/02/2014

15

February 10, 2014 Nathalie Henry Exploring Social Networks with Matrix-Based

Representations

29

Explore

Communicate

Visualisation pour le Big Data

Page 16: Dataviz & BigData :Mythes & réalités

12/02/2014

16

#mstechdays Innovation Recherche

• La visualisation est très efficace – À condition de suivre des règles strictes

– Dans certaines limites de taille

• Beaucoup de graphiques ne respectent pas les règles de lisibilité et les limites de taille – Il faudra un peu de temps pour que les graphistes apprennent ces

règles

• Les visualisations efficaces nécessitent un apprentissage – Il faudra un peu de temps pour que la population apprenne à lire les

visualisations

Conclusion

#mstechdays Innovation Recherche

• Au-delà d’une certaine taille de données, la visualisation seule ne suffit pas – Il faut combiner visualisation et analyse de données

• Les méthodes combinant visualisation et analyse de données ne sont pas encore disponibles pour des non-spécialistes – Le champ de recherche est passionnant pour les 10 prochaines

années

• Pour la majorité des données, il existe déjà des logiciels relativement simples de visualisation

Conclusion 2

Page 17: Dataviz & BigData :Mythes & réalités

12/02/2014

17

Recherches sur les visualisations engageantes à

AVIZ

• Nouvelles métaphores pour visualiser les données temporelles – http://www.visualsedimentation.org/

• Utilisation du style crayonné – http://www.aviz.fr/Research/SketchyRendering

• Raisonnement Bayesien compréhensible – http://www.aviz.fr/bayes

• Visualisation pour le peuple – http://peopleviz.gforge.inria.fr/trunk/

Page 18: Dataviz & BigData :Mythes & réalités

12/02/2014

18

Bibliographie

• Ben Fry, “Visualizing Data”, O'Reilly

• Robert Spence, “Information Visualization: Design for Interaction“,

Prentice Hall

• Colin Ware, “Information Visualization: Perception for Design“, Morgan

Kaufmann

• Jacques Bertin, « Sémiologie graphique : Les diagrammes - Les réseaux

- Les cartes », Editions de l'Ecole des Hautes Etudes en Sciences

• Edward R. Tufte, “The Visual Display of Quantitative Information“,

Graphics Press