Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM-...

64
Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de services 16 septembre 2005

Transcript of Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM-...

Page 1: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Le développement et la validation de l’Outil québécois de mesure

Présentation à l’ARIM- MontréalSylvain Sauvé

Centre d’expertise sur la prestation de services16 septembre 2005

Page 2: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Plan de la présentation

Présentation de l’Outil québécois de mesure (OQM) Le développement de l’OQM Le contenu de l’OQM La validation de l’OQM L’utilisation de l’OQM Résultats obtenus dans le cadre d’un projet pilote

Page 3: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Présentation de l’OQM Instrument développé par un groupe de

travail interministériel :– ... visant à évaluer la satisfaction de la clientèle et

la qualité de la prestation de services– ... visant à comprendre les déterminants de la

satisfaction– … centré sur l’action

Page 4: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

L’OQM permet... D’évaluer les services transactionnels qui appellent

une interaction entre l’usager et l’organisme prestataire

– Types de services pour lesquels l’OQM est bien adapté• Démarche pour obtenir un permis ou un certificat

• Démarche pour obtenir une aide financière ou une rente

• Démarche pour obtenir du soutien ou des conseils

• Démarche pour s’inscrire à un programme

• Démarche pour obtenir de l’information

• Démarche pour faire valoir ses droits

Page 5: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

L’OQM ne permet pas... D’évaluer les services rendus par les infrastructures

(routes, parcs nationaux, etc..)

D’évaluer les fonctions étatiques qui ne donnent pas lieu à des échanges entre les bénéficiaires du service et l’organisme prestataire– Ex.: L’inspection des aliments, l’homologation des

médicaments

Page 6: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

L’OQM, c’est...

Un modèle conceptuel qui intègre les concepts de qualité et de satisfaction

Une structure de questionnaire qui constitue une « banque d’items » dans laquelle on peut puiser pour élaborer un questionnaire adapté au contexte et au service que l’on désire évaluer

Un outil qui vise à évaluer des expériences de services. Le répondant est donc un utilisateur d’un service

Un outil qui révèle les attentes, les perceptions et la satisfaction des clients

Page 7: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

L’OQM, ce n’est pas...

Un outil d’évaluation de programme

Un outil qui mesure « objectivement » la qualité de service– Ex. : On ne mesure pas le délai de réponse (en minutes ou

en jours) à une demande de service. On mesure plutôt la perception du client à l’égard de la rapidité du service.

Page 8: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Plan de la présentation

Présentation de l’Outil québécois de mesure (OQM) Le développement de l’OQM Le contenu de l’OQM La validation de l’OQM L’utilisation de l’OQM Résultats obtenus dans le cadre d’un projet pilote

Page 9: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

1- Les modèles existants

SERVQUAL– Développé dans les années 80 et 90 par

Parasuraman, Berry et Zeithalm– Nombreuses applications commerciales

(notamment dans le secteur bancaire et des assurances)

– Perspective d ’amélioration de services

OMC (Outil de mesure commune)

ACSI (American Customer Satisfaction Index)

Page 10: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Le modèle SERVQUAL

Dimensions de la qualité du service

Tangibilité

Fiabilité

Empressement

Empathie

Assurance

Qualité perçue du service

Attentes à l’égard du service selon chaque

dimension

Perceptions du service selon

chaque dimension

Satisfaction à l’égard du

service

La qualité perçue découle de

la comparaison des attentes

et des perceptions

Page 11: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Les modèles existants

SERVQUAL– Développé dans les années 80 et 90 par Parasuraman, Berry et Zeithalm– Nombreuses applications commerciales (notamment dans le secteur

bancaire et des assurances)– Perspective d ’amélioration de services

OMC (Outil de mesure commune)

– Développé par l’ISAC dans les années fin 90 et début 2000 pour évaluer les services publics

– Perspective d ’amélioration de services ACSI (American Customer Satisfaction Index)

Page 12: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Degré de satisfactio

n

Priorités en vue d’amélioration

Le modèle de l’OMC

Impressions à l’égard du service reçu

(Écart de service)

Attentes

Prestation du service

ImportanceClient

Expérience antérieure à l’égard du service

Fournisseur du service

Page 13: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Les modèles existants

SERVQUAL– Développé dans les années 80 et 90 par Parasuraman, Berry et Zeithalm– Nombreuses applications commerciales (notamment dans le secteur bancaire

et des assurances)– Perspective d ’amélioration de services

OMC (Outil de mesure commune)

– Développé par l’ISAC dans les années fin 90 et début 2000 pour évaluer les services publics

– Perspective d ’amélioration de services

ACSI (American Customer Satisfaction Index)

– Développé dans les années 90 aux É-U par le Michigan University Business School et l’American Society for Quality pour évaluer les services privés et publics

– Perspective macro-économique

Page 14: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Source : Site Internet de l’ACSI. http://www.theacsi.org/overview.htm

Modèle de l’American Customer Satisfaction Index (ACSI)

Page 15: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

2- La conception de l’OQM

Point de départ: SERVQUAL– Adaptation au contexte des services publics

Prémisses:– Doit évaluer des expériences de services– Doit avoir une perspective d’amélioration de services

• Permet d’établir les déterminants de la satisfaction• Orienté sur l’action

– Doit avoir une portée « universelle »• Tous les modes de prestation• Tous les services de nature transactionnelle

– Interaction entre un client et un organisme– Services définis par une expérience pour laquelle on observe un début

et une fin

Page 16: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Cadre conceptuel de l’OQM

Qualité perçue du service Satisfaction

Utilisation d’un service

Définition:Qualité telle qu’évaluée par le client qui utilise le service. Il ne s’agit pas de la qualité objective du service mais de celle perçue par le client. La qualité n’est pas unidimensionnelle, elle est définie par plusieurs dimensions. L’évaluation de la qualité précède la satisfaction.

Définition:La satisfaction est un « sentiment » qui est consécutif à l’expérience de service et qui succède à l’évaluation de la qualité.

Dimensions du service

Page 17: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Première adaptation: la manière de mesurer la qualité

Les attentes sont éliminées– SERVQUAL: évaluation parallèle des attentes

et des perceptions et calcul des écarts• 5 dimensions, 44 énoncés (22 énoncés x 2)

– Travaux de Roy (2000)• les perceptions sont suffisantes• très peu de variance dans les attentes

– Problème méthodologique à calculer les écarts

Page 18: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Deuxième adaptation:le nombre de dimensions de la qualité

Ajout de plusieurs dimensions au modèle de mesure de la qualité– Travaux de Kano et de Llosa

• Il existe des attributs du service qui lorsque présents créent de la satisfaction, mais n’ont pas d’effets lorsqu’ils sont absents

• Il existe des attributs du service qui lorsque absents créent de l’insatisfaction, mais n’ont pas d’effets lorsqu’ils sont présents

– Schneider et Bowen• Besoins fondamentaux: sécurité, justice, dignité

– OMC• Aspects « procéduraux »: clarté du langage, simplicité des

démarches, accessibilité

Page 19: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Troisième adaptation:le libellé des énoncés

Les énoncés– Comme SERVQUAL, l’OQM possède plusieurs

énoncés par dimension– Modification du libellé pour ancrer l’énoncé dans le

contexte de l’expérience de service• SERVQUAL mesure davantage la relation client-

entreprise• OQM doit mesurer la qualité perçue de la prestation lors

d’une transaction précise

Page 20: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Enrichissement:satisfaction et ajout de variables

La variable satisfaction a été mieux définie et enrichie de plusieurs énoncés– Les travaux de l’Institut MORI (Angleterre) ont

inspiré la rédaction des nouveaux énoncés

Ajout de variables au modèle structurel

Page 21: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Satisfaction Qualité perçue

du service

Les

dim

ensi

ons

pro

céd

ura

les

Les

dim

ensi

ons

rela

tion

nel

les

Les

dim

ensi

ons

fon

dam

enta

les

Simplicité

Clarté

Accès

Empathie

Fiabilité

Empressement

Apparence

Justice

Respect

Confidentialité

Coûts

Résultats

Conséquences

Image organisationnelle

Le modèle conceptuel et les variables de l’OQM

Page 22: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Plan de la présentation

Présentation de l’Outil québécois de mesure (OQM) Le développement de l’OQM Le contenu de l’OQM La validation de l’OQM L’utilisation de l’OQM Résultats obtenus dans le cadre d’un projet pilote

Page 23: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.
Page 24: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.
Page 25: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

La qualité perçueSatisfaction

Qualité perçue

du service

Les

dim

ensi

on

sp

rocé

du

ral

es

Les

dim

ensi

on

sre

lati

onn

ell

es

Les

dim

ensi

on

s

fon

da

men

tale

s

Simplic ité

Clarté

Accès

Empathie

Fi abilité

Empressement

Apparence

Justice

Respect

Confidentialité

Coûts

Résultats

Conséquences

Image organisationnelle

Le modèle conceptuel et les variables de l’OQM

OBJECTIF: évaluer la qualité perçue

10 dimensions évaluées par 40 énoncés sur une

échelle de Likert

Il n’est pas nécessaire

d’utiliser les 40 énoncés.

Page 26: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

La qualité perçue

Page 27: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

DIMENSION 4 : L’EMPATHIE

Définition : L’écoute et l’attention personnelle accordées aux clients.

ASPECTS ÉNONCÉS

Attention personnelle On m’a accordé une attention personnelle.

Compréhension des besoins Le [nom du ministère ou de l’organisme] a compris mes besoins.

Explication de la décision On a pris le temps de m’expliquer les raisons de la décision au sujet dema demande.

Écoute active On m’a permis d’exprimer mon point de vue.

Page 28: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Le coût et le résultatSatisfaction

Qualité perçue

du service

Les

dim

ens

ion

sp

rocé

du

rale

sL

es d

ime

nsio

ns

rela

tio

nn

elle

s

Les

dim

ens

ion

sfo

nd

ame

ntal

es

Simplicité

Clarté

Accès

Empathi e

Fiabilité

Empressement

Apparence

Justice

Respect

Confidentialité

Coûts

Résultats

Conséquences

Image organisationnelle

Le modèle conceptuel et les variables de l’OQM

OBJECTIF: mesurer l’appréciation du coût et du résultat

COÛT

Sur une échelle de 1 à 7, où 1 signifie que vous êtes « tout à fait en désaccord » et 7 signifieque vous êtes « tout à fait en accord », à quel point diriez-vous que vous êtes en accordavec les énoncés suivants ?

Le prix pour obtenir [nom du service] est raisonnable.Le service vaut le prix exigé.

RÉSULTAT

En pensant au montant que vous avez reçu (aide financière, prêt ou bourse, rente…),indiquez sur une échelle de 1 à 7 si ce montant est inférieur ou supérieur à ce que vouspensiez recevoir, 1 signifiant un montant nettement inférieur et 7 un montant nettementsupérieur à ce que vous attendiez :

Page 29: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

L’importance des dimensions

Satisfaction Qualité perçue

du service

Les

dim

ensi

ons

pro

céd

ura

les

Les

dim

ensi

ons

rela

tio

nnel

les

Les

dim

ensi

ons

fond

amen

tale

s

Simplicité

Clarté

Accès

Empathie

Fiabilité

Empressement

Apparence

Justice

Respect

Confidentialité

Coûts

Résultats

Conséquences

Image organisationnelle

Le modèle conceptuel et les variables de l’OQM

OBJECTIF: évaluer l’importance de chaque dimension pour les usagers

Sur une échelle de 1 à 7, où 1 signifie que vous trouvez que ce n’est « pas du tout important » et 7signifie que vous trouvez que c’est « extrêmement important », quelle importance accordez-vous àchacun des aspects suivants ?

APPARENCE L’apparence (des installations, des équipements, du site Web).

FIABILITÉ La fiabilité du service, c’est-à-dire la capacité du [nom du ministère ou del’organisme] à rendre un service sans erreurs, avec exactitude et àrespecter ses engagements.

EMPRESSEMENT L’engagement du personnel ou du [nom du ministère ou de l’organisme] àfournir un service rapide et à aider les clients.

10 énoncés qui reprennent la définition de chaque dimension

et qui sont évalués sur une échelle mesurant l’importance.

Page 30: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

La satisfaction globale

Satisfaction Qualité perçue

du service

Les

dim

ensi

ons

pro

céd

ura

les

Les

dim

ensi

ons

rela

tion

nel

les

Les

dim

ensi

ons

fond

am

enta

les

Simplicité

Clarté

Accès

Empathie

Fiabilité

Empressement

Apparence

Justice

Respect

Confidentialité

Coûts

Résultats

Conséquences

Image organisationnelle

Le modèle conceptuel et les variables de l’OQM

OBJECTIF: évaluer la satisfaction globale

6 énoncés qui évaluent le sentiment de satisfaction

Page 31: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Les conséquences

Satisfaction Qualité perçue

du service

Les

dim

ensi

ons

pro

céd

ura

les

Les

dim

ensi

ons

rela

tion

nel

les

Les

dim

ensi

ons

fon

dam

enta

les

Simplicité

Clarté

Accès

Empathie

Fiabilité

Empressement

Apparence

Justice

Respect

Confidentialité

Coûts

Résultats

Conséquences

Image organisationnelle

Le modèle conceptuel et les variables de l’OQM

OBJECTIF: décrire les conséquences découlant du niveau de satisfaction

À la suite de vos démarches, avez-vous parlé de façon négative du [nom du ministère ou de l’organisme] aux gens de votre entourage ?

Avez-vous eu envie de vous plaindre du service que vous avez reçu du [nom du ministère ou de l’organisme] ?

La prochaine fois que vous aurez affaire au [nom du ministère ou de l’organisme], pensez-vous que vous aurez une attitude positive ?

7 énoncés qui décrivent les comportements et les attitudes

en utilisant une échelle binaire (oui - non)

Page 32: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

La prestation électronique de services

Satisfaction Qualité perçue

du service

Les

dim

ensi

ons

pro

céd

ura

les

Les

dim

ensi

ons

rela

tion

nel

les

Les

dim

ensi

ons

fond

am

enta

les

Simplicité

Clarté

Accès

Empathie

Fiabilité

Empressement

Apparence

Justice

Respect

Confidentialité

Coûts

Résultats

Conséquences

Image organisationnelle

Le modèle conceptuel et les variables de l’OQM

OBJECTIF: évaluer les attitudes, les aptitudes et les perceptions des usagers à l’égard de la PÉS

Attitudes à l’égard des produits technologiques

Aptitudes à utiliser Internet

Qualité anticipée du service rendu par

Internet

4 énoncés mesurant l’aisance technologique (Tiré du site Web www.bougez.com/echellesdemarketing)

4 énoncés évaluant le niveau d’habileté à utiliser Internet

11 énoncés évaluant l’effet qu’aurait eu l’utilisation d’Internet sur le niveau de qualité.

Page 33: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Plan de la présentation

Présentation de l’Outil québécois de mesure (OQM) Le développement de l’OQM Le contenu de l’OQM La validation de l’OQM L’utilisation de l’OQM Résultats obtenus dans le cadre d’un projet pilote

Page 34: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Satisfaction

• Validation du modèle de mesure

• Validation du modèle structurel

Page 35: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Le processus de validation: les objectifs

1- Valider le modèle de mesure

Approche qualitative (groupe d’experts)

– Validité faciale

– Validité de contenu Approche quantitative

(sondage pilote et analyse factorielle confirmatoire)

– Fidélité

– Validité de construit• Validité convergente• Validité discriminante

2- Valider le modèle structurel

Approche quantitative– Modélisation par équations

structurelles

Page 36: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

1- Approche qualitative Basée sur le jugement et vérifie la validité de

contenu– Le contenu des énoncés mesure bien le concept visé– Le concept est totalement cerné par les énoncés

retenus Démarche utilisée

– Groupe de discussion réunissant des personnes familières avec l’évaluation de la qualité de service

• Réseau d’échange sur la satisfaction de la clientèle du Centre d’expertise des grands organismes

Page 37: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Approche qualitative (suite…)

Fonctionnement du Groupe de discussion– La capacité des dimensions à cerner totalement le

concept de qualité de service– La capacité des énoncés à cerner les dimensions

auxquelles ils sont rattachés– L’association des énoncés aux dimensions du

modèle– L’accessibilité du langage employé pour formuler

les énoncés

Page 38: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Qualité perçue

du service

Simplicité

Clarté

Accès

Empathie

Fiabilité

Empressement

Apparence

Justice

Respect

Confidentialité

Domaine conceptuel de la qualitéQuels aspects de la qualité sont pertinents dans le contexte des services publics ?

Page 39: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Domaine conceptuel de chaque dimensionQuels aspects permettent de définir la notion de clarté ?

Page 40: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Les dimensions de la qualité

Définition

Les renseignements obtenus sont complets

Les informations obtenues sont claires

Le vocabulaire utilisé est trop technique

Il y a trop d’information

Les informations fournies sont contradictoires

Tangibilité

L’apparence des bureaux, des équipements, des employés et du site Web 0 0 0 0 0

FiabilitéL’engagement du personnel à fournir le service avec fiabilité et exactitude 3 0 0 0 4

EmpressementL’engagement du personnel à fournir un service rapide et à aider les clients 0 0 1 0 0

EmpathieL’écoute et l’attention personnelle accordées aux clients 0 0 2 0 0

JusticeLe sentiment d’être traité équitablement, sans favoritisme 1 0 0 0 0

SécuritéLe sentiment d’être en sécurité sur les plans physique et psychologique 0 0 0 0 0

RespectLe sentiment d’être traité dignement, d’être respecté 0 0 2 0 0

Accessibilité L’accessibilité aux services 0 0 1 0 0

Clarté La clarté de l’information fournie 2 5 4 4 3

SimplicitéLa simplicité des procédures pour obtenir le service 0 0 2 2 1

PaiementLes procédures entourant le paiement des services 0 0 0 0 0

Classement identique 245 2 5 4 4 3

Clarté

L’association des énoncés à chaque dimension

Page 41: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

2- Approche quantitative

Basée sur l’analyse des données Objectifs:

– Vérifier la pertinence du modèle de l’OQM• Validation du modèle structurel

– Est-ce que les variables du modèle (qualité, résultat, coût) permettent d’expliquer la satisfaction ?

– Valider les dimensions et les énoncés proposés• Validation du modèle de mesure

– Est-ce que la manière de mesurer les variables du modèle est adéquate ?

Page 42: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Approche quantitative (suite…)

Démarche utilisée:– 1re validation quantitative

• Hiver et printemps 2003

• Sondage SAAQ (1150 répondants) et CLP (229 répondants)

– 2e validation quantitative• Hiver et printemps 2004

• Sondage MRCI 2127 répondants, 9 services, 6 partenaires

Méthodes utilisées– Analyse factorielle confirmatoire (AFC) et méthodes

d’équations structurelles (MES)

Page 43: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Satisfaction Qualité perçue

du service

Coûts

Résultats

Pertinence du modèle structurel

• R2 de l’équation structurelle• Indices d’ajustement

Équation structurelle:Satisfaction = Qualité + Résultats + Coûts + e

Quelle part de la variance de la satisfaction est expliquée par le

modèle ?

Page 44: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Validation du modèle de mesure

1- Validité convergente:

• Il y a validité convergente si les énoncés qui sont censés mesurer la même dimension sont corrélés entre eux.

2- Validité discriminante:

• Il y a validité discriminante si les énoncés qui sont censés mesurer des dimensions différentes sont faiblement corrélés entre eux.

Page 45: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Validation du modèle de mesure

Q7A0.79

Q7B0.69

Q8A0.38

Q8B0.39

Q8D0.24

Q8E0.22

Q8F0.36

Q8G0.40

Satisfaction

0.46

0.56

0.79

0.78

0.87

0.88

0.80

0.78

0.12

0.28

Validité convergente: Il y a validité convergente si les énoncés qui sont censés mesurer la même dimension sont corrélés entre eux.

Validité discriminante: Il y a validité discriminante si les énoncés qui sont censés mesurer des dimensions différentes sont faiblement corrélés entre eux.

Page 46: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Q7A0.38

Q7B0.04

Q8A0.39

Q8B0.40

Q8D0.22

Q8E0.20

Q8F0.34

Q8G0.38

Satisfaction 1.00

Coût 1.00

0.79

0.98

0.78

0.78

0.88

0.89

0.81

0.79

0.52

0.10

0.26

Validation du modèle de mesure

Page 47: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Plan de la présentation

Présentation de l’Outil québécois de mesure (OQM)

Le développement de l’OQM Le contenu de l’OQM La validation de l’OQM L’utilisation de l’OQM Résultats obtenus dans le cadre d’un

projet pilote

Page 48: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

1- La démarche à suivre pour utiliser l’OQM

Définir le ou les services évalués– L’expérience doit être:

• récente• bien définie (quel service, quel mode de

prestation)• terminée

Page 49: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

La démarche à suivre pour utiliser l’OQM...

Établir quelles dimensions de la qualité sont pertinentes– selon la nature du service– selon les modes de

prestation utilisés

Page 50: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Choisir les énoncés pour chaque dimension– selon le mode de prestation, le contexte du service, l’interaction

usager-employé

Choisir les énoncés qui mesurent la satisfaction

Choisir les questions permettant de cerner la démarche du client et les modes de prestation

Choisir les questions permettant de connaître les résultats découlant de la demande de service

Ajouter les énoncés sur les coûts, s’il y a lieu

La démarche à suivre pour utiliser l’OQM...

Page 51: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Choisir les éléments pour lesquels on désire connaître les attentes de la clientèle

Décider si on interroge la clientèle sur l ’importance des dimensions ou si l’importance sera calculée par l’analyse

Décider si on utilise les énoncés sur l’image et sur les conséquences

Décider si on utilise les variables de la section sur la prestation électronique de services

Choisir les attributs sociodémographiques pertinents.

La démarche à suivre pour utiliser l’OQM...

Page 52: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Plan de la présentation

Présentation de l’Outil québécois de mesure (OQM)

Le développement de l’OQM La validation de l’OQM L’utilisation de l’OQM Résultats obtenus dans le cadre du

projet pilote 2004

Page 53: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Enquête téléphonique réalisée du 31 mars au 28 mai 2004 auprès de 2127 répondants

Précision statistique: marge d’erreur maximale de 2,1 %

Durée des entrevues : entre 13 et 20 minutes

Taux de réponse de 71,4 % à 88,6 % (selon méthode de l’AIRMS)

Faits saillants du projet pilote 2004

Page 54: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Les services évalués

Ministèreou organisme Service évalué Expérience évaluée

Demande d’un relevé denotes ou d’une copie dediplôme secondaire

Dossiers traités en février 2004

Demande d’un relevé denotes ou d’une copie dediplôme collégial

Dossiers traités entre le 12janvier et le 27 février 2004

Ministère de l’Éducation(MEQ)

Demande de prêts etbourses

Dossiers à l’automne 2003. Ils’agit d’étudiants qui reçoiventl’aide financière durant lestrimestres automne 2003 ethiver 2004

Exclusion des étudiantsétrangers

Régie des rentes du Qué-bec (RRQ)

Demande d’une rente deretraite

Dossiers traités entre le 16 etle 29 février 2004

Protecteur du citoyen(PC)

Formulation d’uneplainte à l’égard d’unministère ou d’un orga-nisme

Dossiers traités entre novem-bre 2003 et janvier 2004

Exclusion des personnes quirésident en établissement dedétention

Protecteur des usagersdu RSSS (PU)

Formulation d’uneplainte à l’égard desservices de santé et deservices sociaux

Dossiers ouverts après mars2003 et fermés avant le 12mars 2004

Régie du logement(RDL)

Demande pour une au-dience devant la Régiedu logement

Décision rendue entre le 1er etle 29 février 2004

Exclusion des personnes ayantcontesté la décision

Page 55: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Ministèreou organisme Service évalué Expérience évaluée

Demande d’uncertificat denaissance

Dossiers traités entrele 29 mars et le19 avril 2004

Exclusion desdemandesformulées par leCurateur, les avocatsou notaires et par lesCentres Jeunesse

Directeur de l’état civil(DEC)

Demande d’uncertificat dedécès

Dossiers traités entrele 29 mars et le19 avril 2004

Toutes les demandesont été faites pourdes décès survenusavant le 1er janvier2004

Exclusion desdemandesformulées par leCurateur, les avocatsou notaires et par lesCentres Jeunesse

Les services évalués

Page 56: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Satisfaction globale par type de service(moyenne sur 7)

6,426,05

4,85

1

2

3

4

5

6

7

Certificat/Diplôme Rente/Aide Valoir ses droits

Page 57: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Variable mesuréeDemande

de certificats

Demande d'aide

financière

Démarche pour faire valoir ses

droitsQualité perçue par dimension

Respect 6,7 6,4 6,1Clarté du language 6,6 6,1 5,9

Confidentialité 6,4 6,3 6,1Justice 6,7 6,3 5,4

Simplicité des démarches 6,5 5,9 5,7Fiabilité 6,5 6,2 5,3

Accessibilité 6,2 6,1 5,3Empressement 5,8 5,9 5,0

Empathie 6,1 5,5 5,2Apparence 5,4 5,7 5,5

Satisfaction globale 6,4 6,1 4,9

Résultats obtenus lors des projets pilotes réalisésavec l'OQM selon le type de services(Moyenne sur une échelle de 1 à 7)

Page 58: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Évaluation de la décision ou du montant reçu

Évaluation par les répondantsde la conclusion émise ou du montant reçu

Rente/Aide

(n = 425)%

Valoir sesdroits

(n = 544)%

TOTAL(n = 969)

%

1 = Totalement défavorable /Montant nettement inférieur

10,1% 29,4% 20,9%

2 5,9% 5,5% 5,7%

3 13,9% 5,9% 9,4%

4 39,3% 9,9% 22,8%

5 19,5% 7,9% 13,0%

6 6,4% 9,7% 8,3%

7 = Totalement favorable /Montant nettement supérieur

4,9% 31,7% 19,9%

Total 100,0% 100,0% 100,0%

MOYENNE sur 7 3,91 4,17 4,06

Page 59: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Illustration des liens entre les variables du modèle structurel(résultats standardisés, expériences de services avec interaction directe client-employé)

n=468

R 2 des équations structurelles : Satisfaction : R2 = 0,90Conséquences : R2 = 0,91Indices d’ajustement : Chi-deux = 2763,09; Chi-deux /ddl = 4,02; NNFI = 0,98; CFI = 0,98; PNFI = 0,90; SRMR = 0,046

Page 60: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

4,6

5,2

5,8

6,4 6,46,3

6,4

3,1

4,14,3

4,9

5,2

6,06,2

3

3,5

4

4,5

5

5,5

6

6,5

7

1 2 3 4 5 6 7

Degré d’accord avec le résultat(Réponse favorable ou défavorable)

Sa

tis

fac

tio

n g

lob

ale

Rente/Aide Valoir ses droits

(Moy

enne

sur

7)

Faire valoir ses droits: la décision totalement défavorable = 1 ou totalement favorable = 7

Aide financière: montant reçu nettement inférieur aux attentes = 1 ou nettement supérieur aux attentes = 7

Relation entre la perception du résultat et la satisfaction selon le type de service demandé

Page 61: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Les conséquences de la satisfaction

Trois types de conséquences sont analysées:

– L’effet sur le personnel – L’effet sur la réputation du M/O– L’effet sur les plaintes

Page 62: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

L’effet sur la réputation

Page 63: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Conclusion L’OQM est maintenant offert à tous les M/O qui

peuvent l’utiliser pour réaliser leurs études de satisfaction

Les objectifs sont atteints:– Développer un outil standardisé, validé et qui

s’adapte facilement au contexte de chaque service

– Faciliter l’étalonnage entre M/O

– Soutenir les M/O, notamment ceux qui peut d’expertise et d ’expérience dans la réalisation d’étude de satisfaction

Page 64: Le développement et la validation de l’Outil québécois de mesure Présentation à l’ARIM- Montréal Sylvain Sauvé Centre d’expertise sur la prestation de.

Conclusion L’OQM et les firmes de recherche-marketing

– Les M/O vont continuer à faire appel aux services des firmes privées

– Les ressources professionnelles seront probablement déplacées de la conception du questionnaire vers l’analyse des résultats

Volonté de réaliser avec l’OQM une enquête multiservice regroupant plusieurs M/O et plusieurs services