Gdo méthode du policy capturing

Pr C. Bénavent

Alice ANBERREE - François COMETS - France DELAMARE

MASTER RECHERCHE

GDO MOPP 2010

IDENTIFIER LES FACTEURS D’UNE

EVALUATION COMPLEXE : LA

METHODE DU POLICY CAPTURING

Identifier les facteurs d’une évaluation complexe : la Méthode du Policy Capturing

Page | 2 Master Recherche GDO-MOPP 2010

Quels facteurs conduisent un employé à quitter son entreprise ? Sur quels

critères les DRH sélectionnent-t-ils les personnes qu’ils embauchent ? Comment les

consommateurs décident-t-ils de leurs achats ? Qu’est-ce qui influence le choix de

stratégie d’un haut dirigeant pour son organisation ? Comment les individus

valorisent-ils des biens publics tels que l’environnement ?

Autant de questions que des chercheurs en gestion peuvent être amenés à se

poser et qui appartiennent à tous les domaines de la discipline (GRH, marketing,

stratégies,...). Pour y répondre, plusieurs méthodes statistiques basées sur des

régressions sont invoquées. Nous nous intéressons ici à l'une d'entre elles en

particulier : la méthode du « Policy Capturing1 » (MPC).

La MPC est une évolution du modèle probabiliste de perception sociale

d'Egon BRUNSWICK, qui fonctionne comme une lentille de vision.

Figure 1 - Le modèle de la lentille de Egon Brunswick :

A partir de cette représentation, le choix (variable à expliquer) est modélisé

mathématiquement comme dépendant de variables explicatives elles-mêmes liées

à des attributs propres, dans le but de déterminer le poids relatif de chacun des ces

attributs et celui des différentes variables explicatives.

1 N'ayant pas trouvé de traduction française officielle, nous avons décidé de maintenir

le terme anglais.



Figure 2 - Le modèle de la Méthode du Policy Capturing :

Pour pouvoir mettre en œuvre les calculs nécessaires à l'obtention de

résultats, il est nécessaire de recueillir des données d'étude. Dans le cadre de la

MPC, cela se fait en soumettant des scenarii à un ensemble de répondants. Chaque

scenario présente un environnement dans lequel on retrouve les variables

explicatives étudiées (une valeur proposée pour chaque variable et plusieurs

combinaisons des différentes valeurs sur l'ensemble des scenarii) et propose aux

répondants un choix qui traduit une modalité de la variable à expliquer.

Cette note entend présenter plus en détails la MPC, en proposant dans un

premier temps un “guide rapide d'utilisation” reprenant de manière succincte les

conseils et avertissements fournis par Lynda AIMAN-SMITH, Steven E. SCULLEN et

Steve H. BARR dans un article paru en 2002 dans Organizational Research Methods :

“Conducting studies of Decision Making in Organizational Contexts : A tutorial for

Policy-Capturing and Other Regression-Based Techniques”. Les avantages et limites

de la méthode seront explicités, avant d’être illustrés par le cas d’application de la

MPC à la problématique particulière que sont les motivations des agents publics.

X Variable à expliquer(Motivations pour le service public)

A1 A2 A3 A4 A5

Variables explicatives(sens du devoir…)

Attributs(disponibilité horaire…)N1 N2 N3 N4 N5

X1 X2 Xn…

…

X1= a1A1+ a2A2+a3A3+a4A4+a5A5 sous la contrainte a1+ a2+a3+a4+a5=1

Principe :La Policy Capturing Method cherche à calculer les poids relatifs a1,a2… a5 de chacun des attributs A1, A2…A5 qui déterminent la variable explicative X1.

Avec :



Guide d’utilisation de la méthode du Policy Capturing

Le recours à la MPC se fait en trois étapes : conception et application de

l'étude, traitement et analyse des données, présentation des résultats.

Conception et application de l'étude

Deux éléments doivent attirer l'attention d'un chercheur à cette étape du

processus de travail : le type de question qu'il se pose et la représentativité de son

étude.

En effet, il peut chercher à construire une typologie ou chercher à construire

un individu-type. Dans le premier cas, le chercheur fait face à une question

idiographique et étudiera les décisions des répondants individu par individu avant

de rechercher les ressemblances et différences générales. Dans le second cas, il

s'agit d'une question nomothétique et le chercheur étudiera globalement l'ensemble

des décisions prises par un groupe d'individus pour en extraire les tendances

générales. Si certaines études permettent de répondre aux deux types de question,

ce n'est pas toujours le cas et le choix de l'une ou l'autre forme aura des

conséquences sur le recueil et l'analyse des données, sur la conception de l'étude.

Un autre élément déterminant dans la conception mais aussi dans

l'application de l'étude est la poursuite de la représentativité. Pour que ses résultats

soient reconnus, le chercheur doit soigner les scenarii proposés aux répondants et

s'assurer que l'environnement simulé est en cohérence avec l'environnement réel

(variables explicatives choisies, réalisme des valeurs et combinaisons présentées,

décisions proposées et leurs résultats possibles). Il doit également prêter beaucoup

d'attention à la construction de son échantillon et s'assurer que celui-ci correspond

bien à la population qu'il souhaite étudier (ainsi il se souviendra par exemple que des

experts dans un domaine ne répondent pas de la même façon que des novices),

sans oublier d’interroger suffisamment de personnes pour atteindre les seuils

statistiques nécessaires.

Enfin, la représentativité, la validité, des réponses obtenues dépendent

également des conditions d'application de l'étude. Le chercheur se trouve alors

face à un arbitrage entre qualité théorique et qualité des conditions de réponse



pour les répondants. Ceux-ci présentent en effet plusieurs risques à prendre en

compte : effet d’apprentissage, effet de demande (s’ils cernent la nature de la

recherche, ils peuvent vouloir répondre plutôt dans un sens, infirmation ou

confirmation, que dans un autre ou encore chercher à donner une bonne image

d’eux-mêmes), incompréhension des scenarii, surcharge cognitive, effet de

fatigue,…

Ainsi, l’idéal statistique qu’est le « full factorial design2 » peut se révéler difficile

à appliquer en pratique et le chercheur peut être amené à lui préférer des

configurations plus complexes ou à mettre en place le recueil des données de

façon à ne pas décourager les répondants (en particulier en organisant plusieurs

sessions au lieu d’une).

De façon générale, un bon traitement des répondants est bien évidemment

recommandable et il peut être très utile de bien vérifier qu’ils comprennent ce qui

leur est demandé. Un entretien qualitatif après l’administration des scenarii est

également souvent enrichissant.

Une fois les données recueillies dans les meilleures conditions possibles, reste à

les analyser.

Traitement et analyse des données

L’étape de traitement consiste à coder les données et à sélectionner un

modèle de régression. Faute d’espace, nous renvoyons ici le lecteur à des articles

plus détaillés (voir bibliographie) et à des manuels de statistiques.

Il peut être utile d’éliminer une partie des données biaisées par les effets cités

ci-dessus lorsqu’ils sont identifiables dans les résultats obtenus (modification flagrante

de la tendance) : apprentissage, fatigue. Avoir prévu des scenarii supplémentaires

pour cela peut se révéler très pertinent.

2 Dans un “full factorial design”, la totalité des scenarii possibles en fonction du nombre de

variables et de toutes les valeurs proposées pour chacune d’elle doit être envisagée. Ainsi, 5

variables de 3 valeurs possibles chacune conduisent par exemple à 35=243 possibilités. Toute

variable supplémentaire représente vite un très grand nombre de nouveaux scenarii à

considérer donc à soumettre aux répondants qui présentent un risque de fatigue ou de

lassitude.



Vient ensuite l’interprétation. Rappelons ici que les modèles ne peuvent pas

inclure tous les éléments qui influencent la prise de décision.

« Nonetheless, if the cues are well chosen and the study is properly designed,

policy-capturing results in useful, although incomplete, models of policy-capturing

processes (Hoffman, 1996). »

A cette étape, le chercheur doit bien identifier le sens des coefficients

obtenus en fonction de son interrogation de départ. Il sera différent selon qu’il s’agit

d’une question idiographique ou nomothétique.

Enfin dans le cas d’une alternative au « full factorial design », il faudra prendre

connaissance du degré de multi colinéarité des données pour savoir si la

comparaison des coefficients est légitime ou non.

Une fois les données analysées, la dernière étape d’une recherche est la

présentation des résultats.

Présentation des résultats

Il est important de donner suffisamment de détails pour que le lecteur

comprenne le contexte et la méthode de la recherche et puisse « se l’approprier »

et éventuellement la prolonger. Ainsi une discussion sur la sélection des répondants,

leur habitude du terrain et la prise de décision étudiée semble indispensable. Un

compte-rendu du travail d’élaboration des scenarii n’est pas non plus à écarter.

Celui-ci conduit par exemple à une description des variables

indépendantes (valeurs, distributions, intercorrélation) et de l’échelle de décision

(mesure, distribution, catégories, fréquence). Enfin, n’oublions pas qu’en cas de

recherche idiographique, les résultats peuvent être présentés individu par individu.

Après cette présentation rapide de la mise en œuvre de la MPC, détaillons-en

les avantages et limites.



Avantages et limites de la Policy Capturing Method

Avantages de la MPC

Dans son principe même, la MPC cherche à générer un modèle de décision au plus

proche des acteurs. Les scenarii multi-attributs, en ce qu’ils sont une représentation

plus fidèle des situations concrètes que doivent évaluer les managers, paraissent plus

efficaces que la méthode plus ancienne de rating3. En effet, certains auteurs ont

montré que cette dernière méthode induisait le plus souvent les répondants à fournir

une réponse « socialement valorisée » en dépit de leurs critères effectifs de prise de

décision. Ainsi, à la question « Notez par ordre de préférence les critères

d’évaluation d’une offre d’emploi parmi : le salaire, les perspectives d’évolution,

l’intérêt du poste, la formation permanente possible », il est attendu que « l’intérêt

du poste » soit une réponse socialement plus valorisée que « salaire ».

En plus de passer outre le biais des réponses socialement valorisées, la MPC a

l’avantage de fournir l’accès aux « in-use theories », c'est-à-dire aux critères qui

influent réellement sur les prises de décisions des répondants, au-delà de ceux déjà

identifiés dans les discours lors des entretiens. En offrant une situation concrète à

évaluer, la MPC aide à mettre en évidence les mécanismes d’évaluation réels qui

échappent bien souvent aux répondants eux-mêmes. Cette modélisation de la

réalité par le biais de scenarii offre au chercheur en gestion la possibilité de passer

outre les barrières cognitives ou sociales qui peuvent brouiller les résultats. En terme

de livrable, la MPC fournit au chercheur un modèle d’évaluation ou de prise de

décision en accord avec la singularité de l’organisation étudiée. Certains auteurs se

sont penchés sur la possibilité de généraliser les modèles d’évaluation issus de la

MPC (HITT et MIDDLEMIST, 1979), en insistant sur le caractère singulier des modèles

obtenus. S’il parait impossible de comparer des modèles à tous les niveaux de

l’organisation, certains regroupements d’entités à partir de la comparaison des

modèles MPC permettent de repérer des best-practices ou des dysfonctionnements.

D’un point de vue concret, la MPC permet aussi la manipulation de variables plus ou

moins indépendantes.

3Méthode selon laquelle les répondants doivent hiérarchiser une liste d’attributs dans l’ordre

de leurs préférences.



Limites de la MPC

Si la MPC permet de modéliser de manière relativement efficace les critères

de prise de décision ou d’évaluation, il nous est cependant essentiel de traiter ici de

quelques limites consubstantielles à la méthode.

En termes de réalisme, les travaux de nombreux cognitivistes ont démontré

que le cerveau ne prend en compte qu’un très faible nombre de critères pour

effectuer une hiérarchisation de scenarii. Bien souvent, les scenarii des possibles ne

sont examinés que sous l’angle d’un ou deux critères majeurs. On pourrait ici se

référer par exemple aux travaux de COOKSEY (1996). L’essentiel de la recherche

porte alors sur la détermination de ces critères. Selon la méthode d’identification des

attributs (entretien des managers eux-mêmes, bases documentaires, documentation

d’entreprise…), présélectionner les plus déterminants devient complexe.

En termes techniques, selon la méthode de régression employée et les

variables choisies, il est important d’indiquer ici que les coefficients de corrélation

linéaires ne peuvent être tous nuls. Certaines variables peuvent être directement ou

indirectement corrélées à l’environnement. D’autres, et c’est là une des limites du

Plan Factoriel Complet dans le traitement statistique appliqué à la MPC, sont

incompatibles entre elles. On voit mal comment on pourrait croiser, dans une étude

portant sur le salaire et l’emploi, un individu de 35 ans percevant une retraite.

KARREN et BARRINGER concluent en citant COOKSEY (1996): “Thus, researchers must

in many cases make trade-offs between realism, on one hand, and acceptable

levels of variable intercorrelations, on the other. In these instances, compromises will

be required between the “ideally desirable” and the “practically realizable” features

of the design”4.

En termes pratiques finalement, nous retrouvons ici les limites liées à la

nécessité d’impliquer les répondants dans un processus relativement long qui pose

quelques problèmes de mise en œuvre liés en particulier aux phénomènes de stress

et de fatigue. Ceux-ci sont amplifiés dans le cas de certaines études où les

répondants sont directement impliqués dans le processus d’identification des

attributs déterminants (HITT et MIDDLEMIST, 1979). Cela complexifie plus encore les

4 P346, R. J. Karren and M.W. Barringer, A Review and Analysis of the Policy-Capturing

Methodology in Organizational Research: Guidelines for Research and Practice



modalités de mise en œuvre et selon le nombre de scenarii à examiner et le nombre

d’attributs à tester, surtout dans le cas du traitement statistique par Plan Factoriel

Complet, les répondants sont mobilisés pendant 2 à 4 heures. C’est pourquoi il peut

être pertinent d’épurer les résultats à chaque étape du retraitement afin d’éliminer

des questionnaires jugés inadaptés (notes trop homogènes ou évaluations binaires).

Un exemple de recours fécond à la Méthode du Policy

Capturing : l’étude des motivations des agents publics

Les motivations des agents publics présentent-elles des spécificités

propres à la nature de leurs missions d’intérêt général ?

De manière générale, la thématique de la motivation au travail fait l’objet de

nombreux travaux de recherche depuis plusieurs décennies, mobilisant des

disciplines aussi diverses que la psychologie, les sciences de gestion, les sciences

économiques ou encore la sociologie. De nombreuses publications se sont ainsi

intéressées aux motifs qui font qu’un individu fait preuve ou non de motivation au

travail, ou encore aux effets présumés positifs de la motivation sur la performance et

la productivité individuelle et collective.

A partir des années 90, certains chercheurs se sont attachés à comprendre

l’incidence que peuvent avoir la nature publique des organisations et

l’environnement de travail particulier des agents publics sur la motivation de ces

derniers à travailler et leur loyauté à l’égard des objectifs assignés.

Des travaux comme ceux de J.L.PERRY et L.R.WISE ont ainsi développé le

concept de « motivation à l’égard du service public » - Public Service Motivation

(1990) - qui repose sur l’hypothèse forte que les organisations publiques ont des

modes de fonctionnement particuliers et que les agents œuvrant en leur sein font

preuve de motivations spécifiques. Les comportements de ces derniers ne pourraient

se comprendre sans prendre en compte cette « prédisposition individuelle à

répondre à des motifs portés en premier lieu, sinon uniquement, par des institutions et

organisations publiques » (PERRY et WISE, 1990). Deux conséquences théoriques sont

par ailleurs déduites de l’existence de ces motivations : d’une part, plus celles-ci

seraient élevées chez un individu, plus celui-ci choisirait d’intégrer une organisation



publique ; d’autre part, plus ces motivations seraient importantes, plus le niveau de

performance et la satisfaction de ce même individu seraient élevés au sein

d’organisations assumant des objectifs en adéquation avec ses motivations

particulières.

Une problématique méthodologique justifiant l’usage de la MPC

La vérification empirique par questionnaire de l’existence de ces motivations

parmi les agents publics s’est heurtée à deux écueils qui constituent la

problématique méthodologique de ce champ de recherche. Les réponses des

agents publics sont tout d’abord sujettes au biais de la réponse socialement

désirable, particulièrement accentuée par le contexte d’enquête présentant une

aussi forte culture organisationnelle que la sphère publique. Par ailleurs, les méthodes

traditionnelles rendent difficiles l’identification des chaines de causalité entre

l’existence de ces motivations chez les agents publics et les conséquences sur les

choix et la performance, telles qu’elles ont été théorisées. Certaines enquêtes ont

ainsi démontré que ces motivations produisaient bien un plus fort engagement au

travail dans les organisations publiques. D’autres au contraire ont expliqué

l’existence de ces motivations spéciales par l’engagement initial des individus dans

ces organisations.

En réponse à cette problématique méthodologique, des chercheurs ont milité

pour le recours à la MPC (Bradley WRIGHT et Adam GRANT, 2009), qui est apparu

d’autant plus justifié que la modélisation conceptuelle actuellement faite de ces

« motivations à l’égard de service public » le rend aisé. Dans des travaux ultérieurs, la

modélisation de ces motivations a ainsi permis d’identifier quatre variables

explicatives majeures, déclinées en vingt-quatre attributs d’ordre psychologique.



Figure 3 – Variables explicatives et attributs de la motivation pour le service public :

Source : PERRY (J.L.), « Antecedents of Public Service Motivation », JPART, 1996

La MPC en pratique : enquête et résulats

Placé en situation fictive de recherche d’emploi, un panel d’étudiants

américains en Droit, sans expérience professionnelle antérieure, a été confronté à

une série de scenarii, proposant des offres d’emploi dont les attributs étaient censés

reprendre les variables explicatives identifiées dans la modélisation des motivations à

l’égard du service public :

la nature juridique (publique, privé à but ou non lucratif) de

l’organisation, traduisant la proximité avec les problématiques de la

vie politique ;

l’orientation client de l’organisation et du poste proposé, traduisant le

sens civique et l’engagement dans les affaires collectives ;



le « challenge intellectuel » en termes d’implications sociales et

d’attachement affectif à la réalisation de certaines missions, traduisant

la compassion ;

le salaire de départ, traduisant le sens du sacrifice.

Figure 4 – Exemple d’offres d’emploi soumis aux étudiants :

Seriez-vous susceptible d’accepter ces offres d’emploi ? (sur une échelle de Lickert de 1 à 7)

Offre d’emploi n’1

« XM est une association privée à but

non lucratif, présidée par une personnalité

politique municipale de premier poids.

Fondée par cette dernière alors que celle-

ci était associée à la majorité municipale

de l’époque, l’association reste

subventionnée par la Mairie à hauteur de

75% de son budget annuel. Son bureau

recherche un jeune diplômé pour un poste

d’assistant social bénévole ».

Offre d’emploi n°2 :

« BE, un grand cabinet de conseil

juridique et en stratégie, comptant un

réseau important d’anciens à travers le

pays, souvent au sein des directions

générales des grandes entreprises

nationales et de la haute-fonction

publique, embauche un consultant junior

pour des missions généralistes. Le salaire

d’entrée est parmi les hauts standards du

marché. »

La MPC a permis à la fois d’identifier des profils d’individus selon leur

adéquation aux conclusions du modèle théorique, et de hiérarchiser les attributs

intervenant dans les offres d’emploi fictives, selon leur pondération dans l’évaluation

que les individus font de ces dernières. Les résultats de ces études sont significatives

des produits d’enquêtes ayant recours au MPC.



Figure 5 – Modélisation de la structure de choix des répondants :

Source : WRIGHT (B.E.) et CHRISTENSEN (R.K.), The effects of PSM on Job Choice Decisions, 2009



Les conclusions des théories des motivations à l’égard du service public sont

confirmées, ainsi que la modélisation élaborée depuis quinze ans. Les individus

manifestant des motivations élevés à l’égard de service public préfèrent en effet les

offres d’emploi dans les organisations publiques et/ou à des postes dont l’orientation

client est forte. Ces motivations ne sont ainsi pas l’apanage du secteur public même

si la préférence envers ce dernier est confirmée. Par ailleurs, les individus à forte

motivation sont moins sujets aux différences de salaires que les autres, même dans

des organisations à but lucratif.

La Méthode du Policy Capturing est un outil précieux pour le chercheur en

gestion qui tente de déterminer et hiérarchiser les facteurs de prise de décision dans

le cas de situations complexes. Son principe, similaire à celui de la méthode

d’analyse conjointe, s’appuie sur la conception et l’évaluation de scenarii évolués

dont le traitement statistique peut diverger selon le protocole expérimental choisi.

Les résultats générés par ce procédé s’avèrent une source féconde pour la

compréhension de multiples problématiques de gestion. Le souci de conformité du

protocole d’expérimentation à la complexité des facteurs réels d’évaluation en fait,

en dépit de la fastidiosité du mode de réalisation, une méthode essentielle et

précise de modélisation des facteurs d’évaluation et de prise de décision.



Bibliographie indicative sur la Policy Capturing Method

L. Aiman-Smith, S. E. Scullen et S. H. Barr,

Conducting studies of decision making in organizational contexts: a tutorial for

policy-capturing and other regression-based techniques,

Organizational Ressearch Methods, 2002:5:388.

R. Cooksey

Judgement analysis: Theory, methods, and applications,

San Diego, CA, Academic Press, 1996.

M. A. Hitt and R. D. Middlemist

A Methodology to Develop the Criteria and Criteria Weightings for Assessing

Subunit Effectiveness in Organizations

The Academy of Management Journal, Vol. 22, No. 2 (Jun., 1979), pp. 356-374.

R. J. Karren and M.W. Barringer

A Review and Analysis of the Policy-Capturing Methodology in Organizational

Research: Guidelines for Research and Practice

Organizational Research Methods 2002; 5; 337.

B. E. Wright et A. M. Grant,

Advancing Public Service Motivation Research: Research Designs for Key

Questions about Emergence and Effects,

International Public Service Management Research Conference, 2009.

B. E. Wright et R. K. Christensen,

The Effects of Public Service Motivation on Job Choice Decisions: Exploring the

Contributions of Person-Organization Fit and Person-Job Fit,

University of North Carolina, 2009



Annexe 1 : Summary of published Policy-Capturing

Studies - R. J. Karren and M.W. Barringer 2002



Annexe 2 : Comparing idiographic and nomothetic

point of vue - L. Aiman-Smith, S. E. Scullen et S. H. Barr

Gdo méthode du policy capturing

Education

Transcript of Gdo méthode du policy capturing