Hadoop on Azure

10
HUG France #1 - 15 Mars 2012 Hadoop sur Azure Javascript Benjamin GUINEBERTIÈRE [email protected] @benjguin

Transcript of Hadoop on Azure

Page 1: Hadoop on Azure

HUG France #1 - 15 Mars 2012

Hadoop sur Azure

Javascript

Benjamin GUINEBERTIÈRE

[email protected]

@benjguin

Page 2: Hadoop on Azure

Hadoop sur Windows Azure

● www.hadooponazure.com

● Création automatisée d’un cluster Hadoop sur le

public PaaS de Microsoft: Windows Azure

● Hadoop sur Windows Azure et Windows Server

(sans Cygwin)

● Hadoop classique (jobs Java, PIG, HIVE, HDFS, …)

● Parmi les contributions proposées par Microsoft:

Javascript

Page 3: Hadoop on Azure
Page 4: Hadoop on Azure
Page 5: Hadoop on Azure

Javascript sur Hadoop On Azure

● Dans la JVM (Rhino)

● Jobs map/reduce en Javascript

● Console interactive

● HDFS

● RunJS

● HIVE

● Syntaxe à la LINQ pour générer du PIG

● Graphiques simples

runJs("bin/iisLogsAnalysis.js", "iislogs", "out-HD")

#ls

hive.exec("SELECT * FROM hiveresult LIMIT 50")

pig.from("out-H", "dummy, sessionID, username, startDateTime, endDateTime,

nbHits:long").select("username, sessionID, nbHits").orderBy("nbHits

DESC").take(5).to("demo-iislogs-out-H-top5")

graph.bar(data, { x: "user", y: "hits", orientation: "90" })

Page 6: Hadoop on Azure

Map Reduce, en Java, C#, Javascript

6

Page 7: Hadoop on Azure

Scénario démo : Analyse de Logs Serveur Web IIS

7

Logs IIS

Excel HIVE ODBC Driver

SQL Server HIVE ODBC Driver

distcp

Blob Storage

HDFS

Map Reduce

Hive

iislogsAnalysis.js

Graph.bar(data)

Page 8: Hadoop on Azure

DÉMO

Page 9: Hadoop on Azure

Pour en savoir plus

● Après-midi du dév le 24 mai 2012

● http://aka.ms/amdev-hadoop

Page 10: Hadoop on Azure

HUG France #1 - 15 Mars 2012

Hadoop sur Azure - Javascript

Merci pour votre attention

Benjamin GUINEBERTIÈRE

[email protected]

@benjguin