1

Tél : +33 (0)1 58 56 10 00Fax : +33 (0)1 58 56 10 01www.octo.com© OCTO 2012

50, avenue des Champs-Elysées75008 Paris - FRANCE

Christopher Parola

@chrisparola

18/07/2013

Lean Startup appliqué - elCurator

2

Rappel : Construire un produit Lean Startup

Build - comme des Géants

L’obsession de la mesure

Learn

Agenda

3

Rappel : Construire un produit Lean Startup

4

Les gains du Lean Startup

De 17 lecteurs par semaine à 90 en deux mois de test et 20 nuits/homme

Grâce aux apprentissages réalisés

Grâce à la meilleur compréhension de nos « clients »

5

« A startup is a

human institution

designed

to create a new product

or service under conditions of extreme uncertainty »

elCurator est une startup

The Lean Startup - Eric Ries

6

Accélérer la veille des Octos

Vision

7

Sélectionner du contenu pour les Octos

Désengorger les boîtes mails sur le partage d’articles

Donner une vision large des sujets OCTO à l’ensemble des consultants/RH/…

Objectifs liés à cette vision

8

Il est nécessaire de minimiser le temps de ce cycle

9

Il est nécessaire de minimiser le temps de ce cycle

10

MVP : première ébauche de produit

11

Après le MVP, les MVF

Minimum Viable FeaturePasse par le même cycle de Build-Measure-Learn

Permet d’apprendre au plus vite

Prendre des décisions stop ou encore

Les MVF, suite du MVP

12

Build : Réalisation du MVP

Measure :

Cas concret du cycle Build-Measure-Learn

Learn : les utilisateurs ne reviennent pas après la première interaction et ne lisent pas d’autre article

13

Build : Mise en place de la récupération du contenu du site pour conserver les utilisateurs

Measure :

Cas concret du cycle Build-Measure-Learn

Learn : En conservant les utilisateurs sur la plateforme, leur nombre d’interaction et de lecture augmente

14

Build – Comme des géants

15

On a mis en place les recettes Octos / GdW

Oui

Oui

Oui

OuiOuiOuiOui

Oui

Oui

16

Une pizza team

Communication, transparence, alignement

17

Le MVP

Pourquoi ?Tester immédiatement l’intérêt du produit

Avoir des feedbacks au plus vite

Comment on l’a fait ?Désignation du feature set minimal

Implémentation rapide et mise en production

Ce que ça nous a apporté 10 early adopters

Stratégie d’acquisition autour de la lecture et non le partage

18

Continuous Integration

Pourquoi on l’a fait ?Accélérer notre Time To Market

Comment on l’a fait ?Passage en flux (Trello avec des DOD)

Jenkins

TDD avec une couverture très élevée >= 80%

Ce que ça nous a apporté On a confiance dans notre système, et dans nos MEP

Ce qui nous manque : Continuous deployement : l’IHM change très souvent, donc très couteux de mettre en place des tests sur cette couche

19

Feature Flipping

Pourquoi on l’a fait ?Pouvoir pousser en production des features non terminées

Pouvoir activer à chaud certaines features (cf mesure)

Comment on l’a fait ?Simple if/else dans le code

FF sur mobile !Utilisation d’un fichier de configuration distant sur mobile

Ce que ça nous a apporté MEP au fil de l’eau, tous les soirs

Ce qui nous manqueAller plus loin et faire de l’A/B Testing

20

L’application des patterns des Géants du Web sur elCurator nous a permis d’accélérer notre cycle Build-Measure-Learn…

…surtout quand l’équipe est délocalisée

Conclusion

21

L’obsession de la mesure

22

On ne dit plus

« Je pense que »

mais

« Je vais mesurer que »

L’obsession de la mesure est un changement de culture

23

Les mesures sont dans les DOD

24

La colonne « Validation d’hypothèse » est ajoutée au backlog

25

Outil de bootstrap de la politique de mesurePermet de valider la présence d’utilisateurs (38 vu)

Permet de constater leur flux au sein du site

Meilleur outil pour les données mobiles

Mais très rapidementOn n’a pas accès à des « vrais » visiteurs uniques

Il est complexe de suivre le parcourt d’un seul utilisateur

Step 1 – Google analytics

26

Il a été nécessaire de mettre en place des logs customisés et multicanal.

Usage mobile ou web ?

Pour ce faireModule applicatif dédié aux logs

Web

Stockage dédié en base

Mobile (offline)

Step 2 – Logs customisés

27

1/27

/13

2/3/

13

2/10

/13

2/17

/13

2/24

/13

3/3/

13

3/10

/13

3/17

/13

3/24

/13

3/31

/13

4/7/

130

102030405060708090

100

Nombre de lecteurs

Uti

lisa

teu

rs u

niq

ues

On a pu analyser des utilisateurs uniques par semaine

28

Des Octos font des insomniesWON à 2h22 et 52 secondes sur son mobile

BLA à 01h58 et 28 secondes sur son mobile

PGA a consulté 15 articles sur le web, dont le dernier le 11/07/2013

On peut avoir des informations très précises

29

Industrialiser le suivi de métriques avec une page dédiéeelcurator.octo.com/metrics

Step 3 – Quand le PO ne peut plus dépiler les logs

30

Beta test

Exemple : Test d’une feature d’envoie de mail quand un nouvel article est publié

Step 4 – Le feature flipping

31

Sur elCurator, la mesure est au cœur du projet

On ne doit pas développer une fonctionnalité sans penser à ce qu’elle doit valider

On pense que c’est la bonne façon de faire, doncIndustrialisation

Test sur des populations ciblées

Mise en place de rappels dans les DOD et le backlog

Conclusion - Conviction

32

Learn

33

Pattern de mesure utilisé systématiquement

Hypothèse : Cette feature va amener x actions

Apprentissage : OUI => Action NON => Action

Mesure : Graphe, courbes, …

34

Plus d’usage sur mobile que sur le web

Hypothèse : le mobile va générer des usages supérieurs à ceux du web

Mesures : Nombre de lectures sur webNombre de lectures sur mobileratio mobile/web

Apprentissage : Oui => on investi sur mobile Non => on reste en web desktop

35

Plus d’usage sur mobile que sur le web

2/17/13 2/24/13 3/3/13 3/10/13 3/17/130

200

400

600

800

1000

Part des affichages des articles sur mobiles et web

Curatorability webCuratorability mobile

Hypothèse : le mobile va générer des usages supérieurs à ceux du web

Apprentissage : Oui => on investi sur mobile

36

L’application mobile doit gérer le hors ligne

Hypothèse : l’usage mobile se produit dans les transports

Courbe typique d’une journée d’usage

Apprentissage : Oui => Le mode hors connexion est essentiel

37

elCurator ne retient pas naturellement les utilisateurs

Hypothèse : sans communication « manuelle », on perd des visiteurs uniques

Communications

Apprentissage : Oui => Travailler sur la rétention

38

elCurator ne retient pas naturellement les utilisateurs

Hypothèse : sans communication « manuelle », on perd des visiteurs uniques

Communications Débat sur tech

Apprentissage : Lancer des débats sur le produit ;)

39

On réalise une première version et on mesure

Hypothèse : les filtres par catégories seront régulièrement utilisés

Attendu : 50 clics par semaineRéalisé : 50 clics en deux mois

Apprentissage : Non => On investit encore car on pense à un problème d’ergonomie

40

On reconstruit une page avec mise en avant des catégories

41

On mesure l’impact de la seconde version

Hypothèse : les filtres par catégories seront régulièrement utilisés

Attendu : 50 clics par semaineRéalisé : 46 clics en un mois

Apprentissage : Non => Réflexion sur la suppression des catégories

42

Plus d’usage sur mobile que sur le web

Hypothèse : le vote négatif va diminuer le nombre de publications

Apprentissage : Oui => on supprime le vote négatif

6/3/

13

6/7/

13

6/11

/13

6/15

/13

6/19

/13

6/23

/13

6/27

/13

7/1/

1305

1015202530354045

Nombre d'article publiéNombre de votes négatifs

43

Plus d’usage sur mobile que sur le web

Hypothèse : le vote négatif va diminuer le nombre de publications

Apprentissage : ?

6/3/

13

6/7/

13

6/11

/13

6/15

/13

6/19

/13

6/23

/13

6/27

/13

7/1/

130

102030405060708090

Nombre d'article publiéNombre de votes négatifsNombre de lecteurs uniques

44

Plus d’usage sur mobile que sur le web

Hypothèse : le vote négatif va diminuer le nombre de publications

Apprentissage : Non => on conserve le vote négatif

6/3/

13

6/8/

13

6/13

/13

6/18

/13

6/23

/13

6/28

/13

7/3/

13

7/8/

130

102030405060708090

Nombre d'article publiéNombre de votes négatifsNombre de lecteurs uniques

45

Utiliser les outils de feedbackMailing list

Uservoice / OTFeedback

Mener des entretiensProblème et solution interview

Comprendre les douleurs derrière les demandes de feature

L’apprentissage par les feedbacks

46

Conclusion

47

Mettre en place les patterns indispensables pour accélérer le Build

Penser à la mesure quand tu penses à la feature

Industrialiser la mesure et l’apprentissage

Accepter les fails sans tenter de forcer le destin

Comprendre les douleurs derrière les feedbacks

Conclusions - Convictions

48

Des questions ?

Merci de votre attention

49

Une dernière validation

Hypothèse : la BOF elCurator va intéresser les Octos

Attendu : >= 3 en ROTIRéalisé : ?

Apprentissage : Oui => J’en referaisNon => Je me désinscris d’elCurator

50

Pour toutes questions, idées, suggestions, n’hésitez pas à me contacter :

cparola@octo.com

@chrisparola

Votre avis est important

51

Personnification des curators Page profile, statistiques, classement

Focus sur le mobileApplication Android

Compléter les fonctionnalité iOS

PartageSimplifier la discussion en commentaire

Améliorer le partage depuis elCurator vers les réseaux sociaux

Ventes2 touches sérieuses

Essayer de re-signer avec des clients

What is next ?