Etudes Utilisateur et ROI

SQLI AGENCY

Ubimedia eXperience(s)

PETIT DEJEUNER ETUDES UTILISATEURS et ROI

/ INTERVENANTS

SQLI AGENCY 2010 © Petit déjeuner Etudes utilisateur nov. 2010 - 2 -

Pierre LANNESDirecteur conseil pôle ergonomie

[email protected]

Amal ALI AMMARConsultante en ergonomie et connaissance utilisateurs

[email protected]

Jonathan LITTYConsultant e-marketinget web analytics

[email protected]

Ewane PREVOTAT DEILLER Consultante en ergonomieet connaissance utilisateurs

[email protected]

SQLI AGENCY

Frédéric BIBOUDDirection internet

Brigitte MADIERResponsable stratégieet coordination internet

AGPMAssociation Générale de Prévoyance Militaire

mailto:[email protected]�





/ AGPM : LE CONTEXTE

L’AGPM, L’Association Générale de Prévoyance Militaire a souhaité améliorer sa capacité de fidélisation de ses adhérents

En faisant d’internet un canal majeur de communication relationnelle axé sur la multi-détention et la gestion de produits d’assurance

AGPM a fait appel à SQLI pour optimiser la qualité ergonomique de son site agpm.fr


/ AGPM : LES OBJECTIFS

1. Fidéliser les adhérents et élargir leur portefeuille de produits AGPM Fidéliser les adhérents à la Mutuelle mais surtout au canal internet par rapport à d’autres

canaux Augmenter le nombre de souscriptions en ligne, ou de flux qualifiés en avant vente

2. Faire d’internet un canal de gestion privilégié par les adhérents Augmenter le nombre d’inscriptions à l’espace adhérent

3. Augmenter la base d’opt-in et le nombre d’adhérentsApproche 1 : Acquérir des adhérents dans la cellule familiale et le cercle relationnel des adhérents actuels. (parrainage + rôle ambassadeur des adhérents)

Approche 2 : Conquérir de nouveaux marchés : pompiers, policiers, réservistes, …(effort accentué au cours de la rentrée scolaire sur une cible prioritaire : les élèves des grandes écoles militaires)

4. Accroître/Optimiser la notoriété et la visibilité d’AGPM sur le web


INTRODUCTION : LES ÉTUDES UTILISATEUR


/ ETUDES UTILISATEUR : ÉTUDIER QUELLES UTILISATIONS ?


Le parcours et l’expérience utilisateur / client….

... avec vos dispositifs et outils digitaux

/ ETUDES UTILISATEUR : POUR QUOI FAIRE ?


Aide à la décision :• Mettre à l’épreuve des hypothèses de conception• Privilégier des pistes de conception• Permettre aux équipes projet de mieux connaitre

les utilisateurs de leurs dispositifs

Mieux connaître les logiques d’utilisation afin de :• S’assurer de leur prise en compte dans les processus

de conception d’un dispositif• Les comparer et les articuler avec

les objectifs stratégiques

Prendre en compte les attentes, les caractéristiques et usages des cibles

Augmenter la performance et la satisfaction

Ergonomie et performance

Stratégie, marketing, positionnement

Démarche « User centric »

Aide à la connaissance utilisateur

ROI et efficacité

/ ETUDES UTILISATEUR : QUAND LES FAIRE ?


1

2

3

Evaluer un existant, tester un dispositif en cours de conception

• Niveau de persuasion de vos dispositifs : promesse, perception, incitation, mémorisation, intuitivité, repérage, image véhiculée

Pilotage dans la durée• Trafic sur site, taux d’abandon, pages d’entrée et de sortie

sur sites web, satisfaction exprimée

Nombre de téléchargements,décompte commercial

Questionnaires en ligne, enquêtes téléphoniques Tests utilisateurs, eye-tracking,focus group, tri par cartes…

Analyse de trafic,questionnaires en ligne,enquêtes téléphoniques…

/ QUELLES MÉTHODES D’ÉTUDES ?


MacroTendance

Micro

Détail

PersonasA partir d’études,

entretiens

Tests individuels sur scénarii de tâches(avec ou sans eye-tracking)

Focus group, tri par carte, ateliers key users10 utilisateurs

Enquêtes etquestionnaires

(en ligne, téléphone,contact direct)

100+ répondants

Statistiques d’utilisation(analyse de trafic internet, etc.)

10000+ utilisateurs

ROI


/ COMMENT VOIR L’ACTIVITE SOUS L’ANGLE ROI


InvestissementInvestissement

Investissement

Investissement

Investissement

Retour sur investissement

Investissement

/ Formule de calcul du ROI global

# 12

ROI (en €) =

Montant total de l’investissement consenti

pour votre activité web + offline (en €)

–Somme de tous les gains réalisés grâce

à votre activité web + offline (en €)

Créer le trafic et la notoriété, Administrer le site Internet et autres devices, Gérer la relation client

ROI externe (ventes, leads, revenus publicitaires, satisfaction client)

ROI interne (productivité , baisse des frais de gestion, …)

Pour chaque investissement, se poser les questions :Investissements obligatoires/optionnels ? Quel volume de l’investissement ?

Quelle périodicité de l’investissement ? Quels profits attendus ?

864 420 €Montant annuel économisé par XX en faisant gagner

1 minute à chaque employé chaque jour ouvré

/ EXEMPLE : ROI en productivité

# 13

ETUDES DE STATISTIQUES D’UTILISATIONS DE DISPOSITIFS

DIGITAUX


Objectif : agir pour améliorer la performance online et monétiser le comportement des utilisateurs

# 15

INITIALISATION DEFINITION

• Définition des objectifs du site

• Choix des indicateurs clés de performance (KPI’s)

• Choix d'un outil adapté

MISE EN OEUVRE

• Réalisation du plan de marquage

• Implémentation des marqueurs sur votre site ou application

• Configuration de l’outil selon vos besoins définis en amont

ANALYSE ET OPTIMISATION DES PERFORMANCES

• Réalisation d'audits avancés

• Mise en place de tableaux de bord de reporting personnalisés

• OPTIMISATION CONTINUE

Wor

ksho

p

321

/ DEMARCHE DE MISE EN PLACE D’UN OUTIL D’ANALYSE STATISTIQUE D’UTILISATION

16 # 16

/ INFOBESITE

# 17

1

2

34

Identification d'indicateursHigh Level / Deep Level

Diffusion de tableaux de bords+ avancés

Création et diffusion de tableaux de bords simples (5-10 indicateurs max.)

Coaching des équipespour l'analyse des données

/ CULTURE DU CHIFFRE

Importance de la complémentarité

QUANTI QUALI

12 000 000 $ /an

Expedia, Novembre 2010


Suppression d’un champ de formulaire « Company Name » :

TECHNIQUES D’ÉCHANTILLONNAGE DE POPULATIONS D’UTILISATEURS


/ ECHANTILLONNAGE DES PARTICIPANTS AUX ÉTUDES

SQLI AGENCY 2010 © Petit déjeuner Etudes utilisateur nov. 2010 # 20

Construire des échantillons dits représentatifs…• Connaître votre population mère (listing clients, statistiques d’utilisation,

précédentes enquêtes)• Caractériser cette population d’après les variables qui ont une incidence

sur l’utilisation du site ou de l’application métier

Variables habituellement retenues• Le métier• Le périmètre fonctionnel utilisé, les droits sur les données• La fréquence d’utilisation, • Niveau de maîtrise du support/outil existant


/ ECHANTILLONNAGE DES PARTICIPANTS AUX ÉTUDES

Pourquoi un échantillon représentatif• Généraliser à l’ensemble de la population

(nécessité de tests statistiques)• Refléter la diversité des profils d’utilisation, couvrir tous les besoins,

dresser des portraits précis des utilisateurs types

Cas AGPM variables retenuesaprès étude des listing clients

• Militaire/non militaire• Retraité/ en activité• Tranche d’âge• Arme (corps d’arme)• Nature des actes effectués en ligne

9R7. Variable 9 (Recodage) (Recodage)

Annees1900

Années10

Années20

Années30

Années40

Années50

Années60

Années70

Années80

Années90

Années2000

Pourcentage d’actes en fonction de la tranche d’âge

ENQUÊTES TÉLÉPHONIQUES


- 23 -SQLI AGENCY 2010 © Petit déjeuner Etudes utilisateur nov. 2010

Le nombre de répondants détermine le caractère qualitatif ou quantitatif de l’enquête (précision dans la description ou précision dans la généralisation)

• Soit des entretiens approfondis sur un petit échantillon• Soit un nombre limité de questions sur une population large

Pour AGPM :Entretiens téléphoniques (20 répondants)

Enquête en ligne > 1000 répondants

1. Le répondant et les sites d’assurances

2. Le répondant et le site de l’AGPM : le contexte des visites et les impressions procurées par le site

3. Le répondant et les produits de l’AGPM

4. Le répondant et l’espace adhérent

5. Le répondant et la simulation de tarifs

6. Le répondant et la souscription

7. La newsletter

8. L’abonnement aux journaux/Voyages

9. Perception de l’ergonomie du site

10. Attentes pour la future version du site

/ ENQUETE TELEPHONIQUE

- 24 -SQLI AGENCY 2010 © Petit déjeuner Etudes utilisateur nov. 2010

AGPM

Synthèse

/ ENQUETE TELEPHONIQUE : exemples de résultats

QUESTIONNAIRES EN LIGNE


SQLI AGENCY 2010 © Petit déjeuner Etudes utilisateur nov. 2010

- 26 -

Exemple de structure de questionnaire AGPM

1. Contexte des visites et premières impressions : motifs et fréquence de consultation, produits consultés, actions réalisées etc.

2. Opinion et attentes : Actions en ligne souhaitées, évaluation de l’ergonomie du site et améliorations souhaitées pour les différentes rubriques du site

3. Questions sur les répondants : « pour mieux vous connaître » : numéro d’adhérent, âge, sexe, profession, situation familiale etc.

/ QUESTIONNAIRES EN LIGNE

Elaboration du questionnaire• Définition des objectifs• Choix des informations à recueillir• Construction de l’échantillon• Formulation des questions

(ouvertes/fermées)• Mode d’administration (enquête en ligne,

enquête téléphonique)

Analyse des réponses, utilisation de logiciel d’enquête tels que Modalisa

• Tris à plat• Tris croisés• Codification des questions ouvertes

Synthèse, tableaux de bords et préconisations

Quel est votre métier / Etes vous inscrit(e) sur un réseau social

Un site qui doit remplir 3 grandes fonctions :• Une fonction commerciale/information produit• Une fonction de gestion (à travers l’espace adhérent)• Une fonction de communication (entre les adhérents et l’AGPM)

De nombreuses attentes portent sur l’EA, cette rubrique du site nous semble à privilégier (elle est également à même de remplir les 3 fonctions identifiées)

Autres exemples

/ LE QUESTIONNAIRE : exemple de résultats AGPM

FOCUS GROUPS, TRI PAR CARTES


/ FOCUS GROUP ET TRI PAR CARTES


S’appuyer sur une dynamique de groupe pour :

• Définir une structure de contenu, terminologie, et rubriques d’une application, un site web

• Mettre à l’épreuve des hypothèses et pistes de conception, de graphisme, etc.

• Identifier des attentes et opinions des utilisateurs face à des concepts, produits

/ EXEMPLE : ATELIER DE TRI PAR CARTE


Lorem ipsum

Lorem ipsum

Lorem ipsum

Lorem ipsum

Lorem ipsum

Lorem ipsum

Lorem ipsumLorem ipsum

Lorem ipsum

Lorem ipsum

Rubriques et fonctionnalités sous

la forme de cartes

Ateliers de tri de carte avec les utilisateurs, rajout et modification

de cartes par les utilisateursFinalisation d’une structure

organisée

Intégration des résultats dans un document de rubriquage détaillé

+ compte-rendu d’atelier

Formaliser les attentes et représentations des utilisateurs

Vérifier l’adéquation et la pertinence du vocabulaire

Aide à la décision sur la structure et contenu du futur dispositif

TESTS UTILISATEURS INDIVIDUELS



8 utilisateurs ont participé au test sur le site web existantLes tests ont été conduits à raison d’une session individuelle d’1 heure par participant. Durant la session chaque utilisateur a :

1) Complété un pré-questionnaire de qualification de son profil d’utilisateur d’internet et du site AGPM

2) Accompli une série de 7 scénarios de tâche réalistes en pensant à voix haute (technique des protocoles verbaux)

3) Répondu à un questionnaire de satisfaction

4) Répondu à un questionnaire d’évaluation de la charge mentale (Nasa-TLX)

/ DISPOSITIF ET DEROULEMENT TESTS AGPM

Etude AGPM - présentation des résultats de test eye-tracking – version 2 # 33

# Tâches

1 La première tâche consiste à explorer la pages d’accueil du site AGPM pour une durée déterminée (20 secondes)« Vous avez eu connaissance du site AGPM, nous vous laissons maintenant prendre connaissance de sa page d’accueil pendant quelques temps. »

2 L’internaute doit identifier sur le site l’accès au service lui permettant de joindre un conseiller. Cette tâche vise à évaluer la visibilité des accès aux différents services proposés.« Vous voulez contacter un conseiller se situant le plus proche de chez vous. Cherchez sur le site le numéro d’un conseiller pour pouvoir le joindre. »

3 Cette tâche consiste à rechercher les informations/conseils mis à disposition sur le site selon le profil de l’internaute (active/ex-active). La tâche a pour but d’évaluer la visibilité de l’accès par profil sur la page d’accueil.« Vous voulez préparer votre retraite. Renseignez-vous sur le site pour trouver les informations vous permettant de mieux appréhender la retraite »

4 L’internaute doit prendre connaissances des divers produits concernant la perte de revenus. L’objectif de cette tâche est d’évaluer la lisibilité des informations concernant les produits AGPM.« Vous voulez vous renseigner sur les diverses solutions proposées par l’AGPM en cas de perte de revenus. Cherchez sur le site la solution qui vous conviendrait le mieux. »

5 L’internaute doit rechercher une information précise sur le site. Cette tâche vise à évaluer la visibilité des informations présentes sur le site.« Vous êtes actuellement adhérent à l’AGPM et l’un de vos proches, non militaire, souhaite également en faire partie . Recherchez sur le site la démarche à suivre pour parrainer votre proche.»

6 Cette tâche consiste à effectuer une simulation à un contrat habitation. Ce scénario vise à évaluer la présentation des informations au travers des différentes étapes de simulation.« Vous êtes locataire d’un nouvel appartement et vous cherchez une assurance pour votre logement. Avant de souscrire à une assurance vous souhaitez savoir combien vous couterait un tel achat. Effectuez une simulation sur le site AGPM pour assurer votre logement. »

7 La dernière tâche consiste à souscrire en ligne au contrat épargne Plan Eparmil. Ce scénario vise à évaluer le formulaire de souscription et détecter les éventuels points bloquants lors du processus.« Afin d’assurer la sécurité financière de vos proches, vous souhaitez souscrire à une assurance vie. Recherchez sur le site le produit vous permettant de vous assurer et souscrivez à ce contrat en ligne»

/ SCENARII DE TEST


Une série d’indicateurs correspondant aux objectifs ergonomiques du test a été préalablement définie.Indicateurs de performance, de confort d’utilisation et de satisfaction capturées lors des tests utilisateurs :

Indicateurs Description

% de réussite Pourcentage de participants ayant réussi la tâche

Temps de complétion Temps moyen mis par les utilisateurs pour réaliser la tâche

Satisfaction Niveau de satisfaction évalué par le questionnaire de satisfaction SUS

Charge mentale Niveau de charge mentale ressenti par l’utilisateur durant la tâche et évalué par le questionnaire NASA-TLX

Données eyetracking Cartes de chaleur, Longueur et Nombre de fixations sur une zone, Ordre de fixation des zones d’une page, Nombre d’aller/retour sur une zone donnée, Temps passé sur une zone, Pourcentage d’utilisateurs ayant consulté une zone donnée.

/ DONNEES COLLECTEES

Carte de chaleur : représentation graphique des zones les plus regardées d’une page par une gradation de couleurs allant du vert au rouge (du moins regardé au plus regardé)

Trajet du regard : représentation de l’ordre de découverte des zones fixées par un utilisateur sur une page

AOI (Area Of interest):définition de zones pour une page sur lesquelles divers traitements peuvent être effectuer (ex : temps de découverte des zones, % de participant regardant chaque zone…)

/ INFORMATIONS ISSUES DE L’EYE TRACKING


Page d’accueil Durée d’observation absolue

Observations :Pendant les 10 premières secondes d’exploration, les utilisateurs observent l’ensemble des contenus de la page situé au dessus de la zone de flottaison

Le menu de navigation gauche présentant les produits et services est bien identifié

L’ensemble des informations contenues en corps de page est également bien vu à l’exception des liens transverses « Espace adhérent/Simulation/Souscription/Les conseillers » qui ne sont presque pas regardés et du bloc de push « Parrainage » qui n’est pas regardé du tout

/ EXEMPLE : Carte de chaleur


Page de rubrique « Perte de revenus »

Observations :Les points et les traits illustrent les fixations et saccades occulaires.

1 user, 20 sec

/ EXEMPLE ANALYSE EYE-TRACKING : TRAJETS DU REGARD

# 38

Page d’accueil

Observations :4 zones de la pages sont vues par plus de 60 % des participantsCes zones concernent d’une part les éléments identitaires du site (Logo et bandeau d’animation en haut de page), d’autre part les contenus principaux du site (Produits, services, AGPM Magazine)

La barre de navigation horizontale et l’accès à la rubrique « La vie des militaires » ne sont vus que par la moitié des participants

Les liens transverses et les éléments de pied de page ont été remarqués par peu d’utilisateurs

Le bloc de push Parrainage n’a quant à lui pas du tout été vu

Pourcentage de participants ayant vu chaque zone

/ EXEMPLE : Analyse par Régions d’intérêt

Durées de fixations moyennes de chaque zone

/ Etude de cas devismutuelle.comTrajet du regard

Version 1

Version 2 (recommandation)

PERSONAS


/ PERSONAS

Des Utilisateurs-type Un personnage virtuel, crée artificiellement à partir des données utilisateur existantes Une représentation concrète des Utilisateurs pour qui le site est conçu Un outil performant d’aide à la décision


SQLI AGENCY 2010 © Petit déjeuner Etudes utilisateur nov. 2010

Questionnaire en ligne2000 répondants

Etude complète : questionnaire en ligne, enquête téléphonique, atelier tri par carte, tests utilisateur (avec eye-tracking), audit webanalytics, personasEchantillonnage de la population consultéeTraitements statistiques des résultats du questionnaire en ligne et de l’enquête téléphonique via le logiciel Moda Lisa. Partie qualitative : recueil de verbatims.

Mise en relation des personas avec les objectifs stratégiques de la refonte

Enquête téléphonique30 répondants

Un atelier de tri par carteAvec un groupe d’utilisateurs

Tests utilisateurs avec eye-tracking sur le site web existantTests individuels, 8 participants

Audit e-performance du site existantDonnéeswebanalyticsexistantes

Création des personassur la base des études réalisées

Méthodologie

- 42 -

Exemple d’utilisateur cible (Persona)

/ POPULATION D’INTERNAUTES

Très masculine (89 % d’hommes),

Assez âgée (moyenne d’âge de 52 ans),

Composée en majeure partie d’adhérents de longue date (63,6% des adhérents le sont depuis plus de 20 ans)

Militaires ou militaires retraités (54,8% de retraités).


RETOURS D’EXPÉRIENCE ET TÉMOIGNAGE :

REFONTE DU SITE AGPM.FR


/ ATTENTES DES INTERNAUTES AUX NOUVELLES ORIENTATIONS DU SITE


1. Faire du site AGPM.fr un moyen de tout gérer en ligne en toute autonomie, un vrai canal de gestion

2. Faire du site un canal d'information sur les produits et un canal de vente

3. Favoriser la communication entre l'internaute et son assureur via le site agpm.fr

« Faites moi juste un espace adhérent avec tout dedans, rien que pour moi et parlez-moi de moi »

« Je compare donc montrez-moi que vous êtes meilleurs que vos concurrents et j'achète promis ! ».

« Rassurez-moi aussi que j'ai fait le bon choix, conseillez-moi et je reste promis ! »

« Le site, ça ne suffit pas ?! Bon, c'est dommage, mais alors donnez-moi le bon interlocuteur pour mon problème puis par mail s'il vous plait la réponse et pas dans les deux jours ».

/ AGPM : CONCEPTION


Faire du site un canal d'informationsur les produits et un canal de vente

J’exerce une activité à risques : militaires, gendarmes, policiers, pompiers, réservistes

Je protège : moi et mes proches

J’assure : mes biens

Je gère : mon argent

Un espace « nos conseils » pour vous orienter en fonction de votre situation, d’un événement, par des fiches pratiques à savoir que faire vis-à-vis de votre

assureur, ou quel est le produit le plus adapté à vos cas

Moteur de recherche


/ QUESTIONS

Sqli agency268 Av. du Prés. Wilson

93210 La Plaine Saint Denis FRANCE

[email protected]

MERCI POURVOTRE ATTENTION

Etudes Utilisateur et ROI

Business

Transcript of Etudes Utilisateur et ROI