1©2015 Talend Inc

Spark : 5 moyens simples et rapides pour exploiter vos Big Data avec Spark et Talend

Jean-Michel Franco – Directeur marketing produit - @jmichelfranco

Cyril Sonnefraud – Consultant Avant Vente - @csonnefraud

2

2006 2007 2008 2009 2010 2011 2012 2013 2014 2015(Chiffre d’affaires)

Talend en bref

(estimation)

Hadoop 2.0

CloudFaits et chiffres

• Créé en 2006

• 500+ employés dans 7 pays

• 1700+ clients

• 2M+ téléchargement open source

• 108% CAGR

Big Data

ApplicationIntegration

Master DataManagement

DataQualityData

Integration

3

avec Spark et Talend

5 moyens simples et rapides pour exploiter vos Big Data

Spark Streaming

ArchitectureLambda

In Memory

MachineLearning

Pas de codeMigration en 1 click

Analyser avant d’agir, au bon moment

Transformer les données en décisions,

prescriptions et actions

Rester à la pointe de la technologie sans efforts

Supprimer les temps de latence quels que soient

les traitements à appliquer

Exploiter la donnée dès qu’elle vient

4

Disposer de l’information en juste à temps

Supprimer les temps de latence grâce à l’in-memory

Case d’usage : Vers une approche plus dynamique du pricing

Pourquoi Spark et Talend :

· Développer rapidement des traitements massifs de données et augmenter leur fréquence d’exécution

Augmentation de la performance des traitements batch Utilisation du caching et du partitionnementTirer partie de la mémoire pour accélérer drastiquement les temps de traitement

Résultats : · Des ventes augmentées de 9%, · Des rotations de stocks améliorées de 6% · Une profitabilité améliorée de 5%.

http://www.blue-yonder.com/blog-e/2014/05/07/dynamic-pricing-critical-todays-multichannel-retailer/

5

Avantage : Transformer les données de l’Internet des Objets en décisions puis actions prises en temps réel grâce à une seule solution

z NoSQLMessaging rapide, Ingestion à haut débit, Traitement

de données

Les usages de Spark Streaming pour l’Internet des objets

Exploiter la donnée dès qu’elle vient

AMQP

6

Les apports de l’architecture Lambda

Analyser avant d’agir, au bon moment

Mobile

Sensors

Web

Mobile App

Analytic App

Web App

Streaming

Batch

Query

Transform

Cleanse

Govern

Transform

Cleanse

Govern

Spark Streaming/Kafka

Spark

Spark SQL

7

Passer de l’analyse prédictive vers l’analyse prescriptive avec MLlib

• Cas d’usage typique: personnalisation et recommandation temps réel

• Bénéfices (source Venture Beat Survey):

• Cas 1: contenu personnalisé sur site web pour un nombre de page vues augmenté de 300 %

• Cas 2: taux de conversion augmenté de 219 percent.

Transformer les données en Décisions, Actions & Prescriptions

Don-nées

IntégrerAppren

dre

Agir avec

clairvo-yance

Valeur

Alimenter l’apprentissage

Appliquer le modèle

Talend Big Data Integration& Quality

Machine learning et

analyse prédictive

Talend Real Time Big

Data integration

Puissance de traitement des

données dans SparkMLlib et Spark R

Spark streaminget modèle de machine

learning opérationnalisé

Solution

8

Ne partez pas du principe que vous pourrez porter facilement vos

applications existantes sur Spark depuis un autre modèle de

programmation, comme MapReduce. Evoluer

vers Spark nécessite une ré-implémentation

complète , et les coûts peuvent

outrepasser les bénéfices.

Rester à la pointe de technologie sans efforts

Nick Heudecker

What Apache Spark Means for Big Data

Gartner Research G00271327

February 25, 2015

9

Passer de MapReduce vers Spark en un clic grâce à Talend !

PerformanceMapReduce

(fonctionnent surdisque)

UnClic

PerformanceSpark

(fonctionnement en mémoireet sur disc)

5Xplus

rapide

10

Tenez vous prêts pour le « Next Big Thing »

UnClick

SparkNext Big Thing

Next Big Thing la prochaineinnovation

11

Découvrez Spark et le machine learning avec la nouvelle sandbox Talend

Créer un flux de données en streaming

Avec Kafka

Créer un modèle de recommendation avec

Spark ML LIB

Créer une application Spark pour la

recommendationen temps reel

12©2015 Talend Inc

Des questions ?