Explorez vos données avec apache zeppelin

13
Explorez vos données avec Bruno Bonnin

Transcript of Explorez vos données avec apache zeppelin

Explorez vos données avec

Bruno Bonnin

Who am I ?

Architecte logiciel / Développeur

JS

@_bruno_b_ https://github.com/bbonnin

Apache Zeppelin, c’est…

A web-based notebook that enables interactive data analytics.

You can make beautiful data-driven, interactive and collaborative documents with SQL, Scala and more.

The one interface for all your big data needs.

“”

Concepts de base

• Web-based

• Support de multiples langages pour de multiples backends

• Interactif• Formulaires dynamiques

• Avec de la visualisation (support de plusieurs types de graphiques)

• Pour partager

• Facile à étendre

JDBC

Un peu d’histoire

• Origine: NFLabs (http://www.nflabs.com/)• Plusieurs essais de faire un env. pour l’analyse de

données depuis 2012

• Au départ, produit commercial

• Puis, décision de le proposer à la communauté Apache en 2014

• Projet « incubator » depuis décembre 2014

• Version 0.6.0 en cours de dév.

JVM

Architecture

Zeppelin Server

Hive Interpreter

Spark Interpreter

JDBC Interpreter

Your Interpreter …

Thrift

HTTPWeb sockets

JVM

JVM

JVM

JVM

User Interface

Paragraphe

Interpréteur utilisé (sql, spark, sh, md, jdbc, …)

Texte à interpréter

Résultat

Toolbar duparagraphe(start, …)

JVM

Côté serveur

Zeppelin ServerSparkSQL

Interpreter

JVM

Texte à interpréter: SELECT * FROM bank

Résultat (format « table »: texte avec tabulations)

Texte à interpréter: SELECT * FROM bank

LancementJVM

1

2

3

4

Traitement dela requête

5Résultat envoyé au browser qui interprète le format

6

age education balance

25 primary 1500

35 unknown 300000

Visualisation

Accès à des visualisations suivantle type du résultat (ici, table, donc possibilité d’avoir des graphiques)

Sélection deschamps et desvaleurs

Affichage dugraphique

Démo

Autres fonctions

• Scheduler

• Partage • Paragraphe dans iframe

• API pour ajout d’interpréteurs

• A venir:• Sécurité (shiro)• Export CSV• Nouvelle UI

public class MyInterpreter extends Interpreter {

public InterpreterResult interpret(…) {…}

public void open() {…}

public void close() {…}

}

Pour aller plus loin

• Site officiel:https://zeppelin.incubator.apache.org/

• Docs:https://zeppelin.incubator.apache.org/docs/latest/

• Exemples:https://www.zeppelinhub.com/viewer

• Code source:https://github.com/apache/incubator-zeppelin

Merci !