Chapitre 2 Point sur les méthodes d’évaluation des ...

Chapitre 2 Point sur les méthodes d’évaluation des performances et d’aide à la décision & Démarche proposée

2.1 Introduction ......................................................................................................................... 81

2.2 Le niveau I : Objet de la décision et esprit de la prescription ou de la participation.... 83

2.2.1 Types de problématiques................................................................................................... 83

2.3 Le niveau II : Analyse des conséquences et élaboration de critères................................ 83

2.3.1 Qualité des indicateurs ...................................................................................................... 85

2.4 Le niveau III : Modélisation des préférences globales et approches opérationnelles

pour l’agrégation des performances .............................................................................................. 88

2.4.1 Méthodes multicritères ...................................................................................................... 88

2.4.2 La méthode ELECTRE III ................................................................................................ 89

2.4.3 La méthode ELECTRE TRI .............................................................................................. 92

2.4.4 Méthodes de pondération des critères et indicateurs ......................................................... 94

2.5 Niveau IV : Procédure d’investigation et élaboration de la prescription....................... 95

2.6 Indicateurs dans le domaine de l’assainissement et du problème traité......................... 95

2.7 Conclusions et démarche proposée .................................................................................... 97

Méthode d’évaluation des performances des systèmes d’infiltration des eaux de ruissellement en milieu urbain

Priscilla Moura - Institut National des Sciences Appliquées de Lyon 81

2.1 Introduction

Les décisions sont prises quotidiennement, que ce soit au plus haut niveau d’une nation, jusqu’au sein

d’un famille. La décision peut être prise pour une seule personne, mais généralement elle est le fruit de

l’interaction entre plusieurs acteurs.

La décision globale est basée sur une confrontation permanente des préférences des différents acteurs

au cours d’interactions entre eux. Le déroulement de ces confrontations et interactions est ce qui

constitue le processus de décision (Roy, 1985).

Selon Roy (1985) les principales préoccupations de ceux qui doivent intervenir dans une prise de

décision en vue de l’orienter la décision sont de :

• définir le contexte de la décision et ses objectifs ;

• recenser les différentes actions possibles ;

• analyser les conséquences de chaque une de ces actions ;

• comparer les différentes actions entre elles ;

• faire partager les conclusions aux autres intervenants.

L’aide à la décision va nous donner des outils nous permettant de gérer des points de vue multiples, en

créant des compromis acceptables.

Bernard Roy (1985) la définit plus particulièrement comme « l’activité de celui qui, prenant appui sur

des modèles clairement explicités mais non nécessairement complètement formalisés, aide à obtenir

des éléments de réponses aux questions que se pose un intervenant dans un processus de décision,

éléments concourant à éclairer la décision et normalement à prescrire, ou simplement à favoriser, un

comportement de nature à accroître la cohérence entre l’évolution du processus d’une part, les

objectifs et le système de valeurs au service desquels cet intervenant se trouve placé d’autre part ».

L’aide à la décision était, jusque dans les années 60 la recherche d’un optimum, d’une solution

optimale vis-à-vis de l’objectif à atteindre. La maximisation d’une fonction d’utilité peut aider à

résoudre des problèmes financiers ou techniques, mais ne peut pas suffire dans un problème où l’on

souhaite concilier de multiples objectifs.

Dans le cas du développement durable, la décision est prise selon la recherche d’un compromis entre

les critères économiques, sociaux et environnementaux. Un optimum n’existe pas, les critères peuvent

même être conflictuels.

Dans les cas des multiples critères nous devons nous appuyer sur des méthodes multicritères d’aide à

la décision. Ces méthodes, selon Vinke (1989) « ne fournissent pas des solutions objectivement

Chapitre 2 – Point sur les méthodes d’aide à la décision & Démarche proposée

82 Priscilla Moura - Institut National des Sciences Appliquées de Lyon

meilleures (ces solutions n’existent pas), contrairement aux techniques classiques de recherche

opérationnelle ».

Quelle que soit la méthode multicritère utilisée elle n’apporte pas une solution fermée ; leurs résultats

peuvent (et doivent) être mis en question et discutés.

L’analyse multicritère prend en compte la complexité de la réalité, par une multiplicité de critères qui

peuvent être incommensurables et conflictuels. L’analyse multicritère intègre aussi une multiplicité

d’acteurs. Ces méthodes ne considèrent qu’un fragment de la réalité et il est important pour l’homme

d’étude et pour le décideur de connaître les limites des modèles utilisés, afin d’avoir une vision plus

juste du problème.

La construction d’une méthode multicritère d’aide à la décision suit un cheminement partant de la

définition des objectifs, en passant pas la définition des critères et indicateurs jusqu’à l’application et

validation de la méthodologie. La Figure 2.1 illustre ces étapes et leurs interactions.

Figure 2.1 – Etapes de la construction d’une méthode multicritère d’aide à la décision

Roy (1985) propose une méthodologie pour une démarche d’aide à la décision selon quatre différents

niveaux. Ces niveaux sont notés de 1 à 4, mais cette succession d’étapes n’est en aucun cas linéaire et

fixe. Les paragraphes suivants vont traiter de chacune de ces étapes.


Priscilla Moura – Institut National des Sciences Appliquées de Lyon 83

2.2 Le niveau I : Objet de la décision et esprit de la prescription ou de la participation

Cette étape consiste à réfléchir sur le problème posé, et sur la façon de modéliser le problème. Il

consiste à bien délimiter le problème et à faire une liste des actions potentielles. C’est aussi dans cette

étape qu’à partir de l’objectif recherché, il est possible d’identifier le type de problématique où se

place le processus de décision.

2.2.1 Types de problématiques

Dans les décisions qui nous avons à prendre nous pouvons avoir comme objectif soit, de sélectionner

une alternative parmi plusieurs, soit de trier ou affecter les alternatives possibles, soit de classer les

alternatives, soit de décrire les alternatives. Selon l’objectif nous pouvons utiliser une des quatre

procédures d’aide à la décision (Roy, 1985).

La première problématique est nommée α, c’est la problématique du choix, elle consiste à poser le

problème en termes de choix d’une seule « meilleure » action, c'est-à-dire à orienter l’investigation

vers la mise en évidence d’un sous ensemble A’ de A, aussi restreint que possible (ensemble total des

actions).

La seconde problématique (problématique β), consiste à poser le problème en termes de tri des actions

par catégories, c'est-à-dire à orienter l’investigation vers la mise en évidence d’une affectation des

actions de A à ces catégories.

La problématique γ, consiste à poser le problème en termes de rangement des actions de A ou de

certaines d’entre elles, c'est-à-dire à orienter les l’investigation vers la mise en évidence d’un

classement défini sur un sous-ensemble de A en vue de discriminer les actions comme « suffisamment

satisfaisantes » en fonction d’un modèle de préférences.

La quatrième et dernière problématique (problématique δ), consiste à poser le problème en termes

limités à une description des actions de A et/ou de leurs conséquences, c'est-à-dire à orienter

l’investigation vers la mise en évidence d’informations relatives aux actions potentielles.

2.3 Le niveau II : Analyse des conséquences et élaboration de critères

Cette étape consiste de la construction des critères, pour exprimer chaque aspect du problème posé.

Les critères doivent, selon Roy (1985), être exhaustifs, c'est-à-dire, considérer l’ensemble des aspects

du problème, en étant cohérents avec la problématique, mais sans être redondants.

Après la définition des critères vient la définition de leur évaluation. Cette évaluation est faite à partir

des indicateurs.



Le terme indicateur peut être défini de différentes façons, chaque organisation le définit à sa manière,

selon son utilisation. Toutefois ces définitions sont, en général, proches.

Selon l’OCDE (1994), un indicateur est un paramètre ou une valeur dérivée de paramètres donnant des

informations sur un phénomène. C’est également la définition que donne Maystre & Bollinger (1999)

qui le définit comme un ensemble de données de natures différentes, agrégé en une seule

caractéristique plus synthétique.

D’autres (Plan Bleu, 1996 apud Kastner, 2003) définissent un indicateur comme une donnée

quantitative qui permet de caractériser une situation évolutive (par exemple, l'état des milieux), une

action ou les conséquences d'une action, de façon à les évaluer et à les comparer à leur état à

différentes dates. Cette définition permet d’intégrer l’évolution des performances en fonction du

temps. Notons également que l’indicateur est ici, dans l’esprit des auteurs, une quantité chiffrée.

Dans la définition de l’IFEN (2000) la référence au quantitatif disparaît, l’accent est mis sur

l’adaptation d’un indicateur à un contexte particulier (échelle notamment). Un indicateur est alors vu

comme quelque chose qui simplifie l'information en provenance de phénomènes complexes et qui la

quantifie de manière à la rendre significative à l'échelle désirée.

Enfin notons une dernière définition donnée par UNIQUAIMS (apud Riley, 2001) qui définit

l’indicateur comme une fonction de variables, procurant une indication, c'est-à-dire une entité pouvant

être utilisée comme un argument dans une fonction de décision. Cette dernière définition est

intéressante car elle pose le ou les indicateur(s) comme des outils devant entrer dans des méthodes

d’aide à la décision.

Pour notre part, nous prendrons à notre compte la définition de l’IFEN en ajoutant, pour plus de clarté,

qu’un indicateur doit en outre être muni d’une « structure de préférence » de manière à pouvoir

refléter une tendance exploitable compte tenu du problème traité, ce qui le dissocie d’un simple

descripteur. Cela étant posé, m’indicateur aura donc dans la suite du travail, la même signification

qu’un critère de décision, qui selon Roy (1985) « sert de base à un jugement ».

Dans la littérature concernant les indicateurs en général, on peut également trouver des classifications

d’indicateurs selon leur usage (indicateurs d’évaluation, de suivi, de comparaison, de diagnostic, de

communication, …) ou bien selon leur nature (indicateur d’état, de changement, d’impact, de réponse,

de performance) dépendant des objectifs du « phénomène à mesurer ». Ces classifications ont

l’avantage de mettre l’accent sur la nécessité de bien finaliser, c'est-à-dire, de fixer les objectifs précis

des indicateurs et les échelles spatio-temporelles auxquelles les phénomènes doivent être étudiés.

Selon Maystre & Boullinger (1999) l’expérience montre que la construction d’une famille cohérente

de critères est une longue tâche dans laquelle on progresse par approximations successives. Le progrès

par approximations successives vient du fait que, après une proposition d’indicateur, elle doit être



testée par rapport à sa qualité. Ainsi, après une chaque définition de l’indicateur, sa qualité

individuelle doit être testée.

2.3.1 Qualité des indicateurs

Une étude bibliographique menée par Kastner (2003) montre que l’analyse critique d’indicateurs ou de

familles d’indicateurs a fait l’objet de peu de recherches au regard de l’activité de construction

d’indicateurs qui, elle est en pleine expansion. Il identifie alors quelques méthodes recourant à deux

grands types d’approches :

• Les approches fondées sur la définition a priori de critères généraux de qualité (cas des critères

de Labouze & Labouze, 1995 ou Personne, 1998), ou spécifiques aux problèmes faisant

référence au développement durable comme Bellagio (1996) et Pastille (2002) ou encore Hart

(1999) ;

• Les approches basées sur l’identification a posteriori des erreurs courantes commises lors de

l’exploitation du jeu d’indicateurs comme Perrin (1998) ou Riley (2001).

Dans les paragraphes suivantes quelques uns de ces approches vont être détaillés, ceux qui nous

pensons les plus relevants.

Les approches fondées sur la définition a priori des critères de qualité des

indicateurs

Pour ce type d’approche faisant référence au développement durable on peut citer les travaux de

Labouze & Labouze (1995), Personne (1998), Bellagio (1996) et Pastille (2002).

Les critères de Labouze & Labouze consistent à examiner pour chaque indicateur les qualités

suivantes :

• accessibilité: capacité de l'indicateur à être calculable assez rapidement à un coût acceptable ;

• fidélité: conservation d'un biais éventuel à un niveau constant sur les unités spatio-temporelles

de référence ;

• objectivité: la définition de l'indicateur doit permettre de le calculer sans ambiguïté à partir des

grandeurs observables ;

• pertinence: capacité à refléter toute la signification d'un concept ou tous les aspects d'un

phénomène et garde sa signification dans le temps ;

• précision: définition de l'indicateur avec une marge d'erreur acceptable, en fonction de la

précision des mesures sur les grandeurs observables ;



• sensibilité: variations significatives de l'indicateur pour des variations assez faibles du

phénomène ;

• univocité: variation de l'indicateur de façon monotone par rapport au phénomène décrit pour

pouvoir interpréter ses variations sans équivoque.

Personne (1998) en prenant comme base les travails de Labouze (1995), de l’IFEN (Weber & Lavoux,

1994), de l’OCDE (1993) et de l’ISO (1996), a extrait les critères suivants:

• Pertinence

• pertinence/besoins : les indicateurs doivent fournir une information répondant à un

• besoin de l’entreprise ou des parties intéressées

• objectif : chaque indicateur doit être lié à un objectif auquel il se compare

• lisibilité : simplicité d’interprétation et de compréhension, non ambiguïté

• existence d’un consensus des parties intéressées quant à la validité de l’indicateur

• Justesse d’analyse

• représentativité : représentation fidèle et synthétique de la situation ou du

• phénomène auxquels on s’intéresse

• justesse d’analyse : construction sur une base scientifique et technique saine.

• Objectivité et non ambiguïté des résultats

• cohérence dans le temps et dans l’espace, pour permettre la comparaison (entre site,

• au niveau national, international...), le suivi et le dégagement de tendances

• existence de valeurs de référence permettant de situer l’indicateur

• Données

• mesurabilité : accessibilité des données de base à un rapport coût/bénéfice

• raisonnable, procédures fiables

• sensibilité : variation de l’indicateur pour une faible variation du phénomène

• observé et avec un temps de réponse acceptable

• précision : marge d’erreur acceptable

• les indicateurs doivent être quantitatifs dans la mesure du possible

• les indicateurs ne doivent être qualitatifs que lorsque le quantitatif est impossible.



L’étude du Projet Pastille rend compte d’une tendance à considérer aussi bien la qualité de conception

de l’indicateur que la qualité de son intégration dans un projet. Pour évaluer la qualité d’un indicateur

le projet propose les critères suivants :

• validité scientifique ou pertinence de l’analyse, incluant la capacité de réponse aux changements

qui surviennent,

• pouvoir d’être obtenu selon des méthodes standardisées et basées sur des données accessibles,

• être comparable, non ambigu, robuste et indépendant des hypothèses,

• être en nombre limité,

• être relié à un horizon temporel raisonnable et à une échelle spatiale pertinente,

• pouvoir d’être relié à d’autres indicateurs et capable d’être agrégé,

• être transparent et répondant aux besoins.

Après la proposition d’un jeu d’indicateurs la phase de caractérisation des indicateurs doit d’être mise

en place pour mieux connaître le jeu d’indicateurs et permettre de relever des manques de cohérence

autour du jeu lui-même.

Les approches basées sur l’identification a posteriori des erreurs courantes

commises lors de l’exploitation du jeu d’indicateurs

Dans les approches basées sur l’identification des erreurs citons deux références Perrin (1998) et Riley

(2001).

Les erreurs relevées pour Perrin sont basées sur l’utilisation des indicateurs dans les programmes

publics et donnent les travers suivants :

• Des interprétations différentes du même terme et / ou concept ;

• Déplacement d’objectifs ;

• Utilisation de mesures sans signification ou pertinence ;

• Apparition de déplacements de coûts au lieu de réduction de coûts ;

• Différences critiques camouflés par l’usage d’agrégations abusives ;

• Limitations propres aux approches basées sur les objectifs ;

• Inutilité pour l’aide à la décision ou allocation des ressources.

Rilley, pour sa part, a relevé les travers suivants :

• Indicateurs bâtis sur la combinaison de variables, conduisant à des agrégations non voulues ;



• Indicateurs pondérés sans transparence ;

• Facteurs d’échelles spatiales et temporelles (transposition hâtive à une échelle globale

d’observations faits à une échelle locale).

2.4 Le niveau III : Modélisation des préférences globales et approches opérationnelles pour l’agrégation des performances

Dans ce niveau l’agrégation des différentes performances est traitée. Il faut choisir la méthode

multicritère la plus adéquate selon la problématique à traiter, selon des types d’indicateurs et le type de

résultat souhaité.

Le choix de la méthode multicritère dépend de la définition des actions, de la famille de critères et du

problème multicritère à traiter (Vincke, 1989). Une grande variété de méthodes d’aide multicritère à la

décision existe. Dans le choix de la méthode la plus adéquate le facteur comme le temps disponible

pour la décision, la quantité, la nature des données requises doivent être considérées.

C’est aussi dans cette étape que se pose la question de l’importance relative de chaque critère et de

chaque indicateur.

2.4.1 Méthodes multicritères

Les méthodes multicritères d’agrégation d’indicateurs se divisent en trois grandes familles : les

méthodes multicritères ordinales, les méthodes par fonction d’utilité et les méthodes de surclassement.

Parmi les méthodes multicritères ordinales nous pouvons citer la méthode de Borda, qui consiste à

additionner les rangs obtenus par une action donnée relativement à chacun des critères (Pomerol &

Barba-Romero, 1993). La méthode de Condorcet, fait aussi partie de la famille des méthodes

multicritères ordinales, et est basée sur le nombre de critères pour lesquelles une action domine une

autre.

Les méthodes de fonction d’utilité cherchent une fonction qui permet de calculer une valeur

correspondante à chaque action. Ensuite, l’action la mieux notée est retenue. La somme pondérée est

l’exemple classique de ce type de méthode. Les méthodes de fonction d’utilité sont des méthodes

d’agrégation complète, d'inspiration anglo-saxonne. Elles visent la maximisation d’une fonction

unique. En cela elles reviennent à une approche monocritère. Ces méthodes ne considèrent que les

situations de préférences strictes et d'indifférences (souvent d’égalité), et par conséquent n'acceptent

aucune situation d'incomparabilité. La différence principale entre les différentes méthodes réside dans

la manière de définir la fonction d'utilité. Les méthodes UTA (Jacquet-Lagrèze & Siskos, 1982),

MAUT (Multi Attribute Utility Theory ; Keeney et al., 1976) et AHP (Analytic Hierarchy Process ;

Saaty, 1977) sont des exemples de ce type de méthode.



La compensation des mauvais critères par les critères plus performants est sans doute le plus grand

désavantage des méthodes de fonction d’utilité. En synthétisant le problème en une fonction unique,

on élimine de l'information importante en masquant les critères discriminants. En effet, un mauvais

critère pourra toujours être compensé ici par un bon critère. En outre, le choix des échelles de

préférence est primordial et influence grandement le résultat final de ce type de méthode.

Les méthodes de surclassement datent des années 60 et sont d'inspiration françaises. Aussi nommées

méthodes d’agrégation partielle, elles sont basées sur la construction de relations de comparaisons des

performances entre chaque couple d’actions (ai,ak). Ces relations s’appuient, pour la plupart des

méthodes, sur le fait que pour qu'une action ai surclasse une action ak il est nécessaire que ai soit

meilleure que ak sur la plupart des critères et qu'il n’existe pas de critère tel que ai soit beaucoup plus

mauvaise que ak. Cela demande au préalable que soit définie pour chaque critère une modélisation des

préférences permettant de définir l'importance du critère par rapport aux autres, les seuils et règles à

partir desquelles il est possible de dire si une action est meilleure ou moins bonne qu’une autre. Ces

ces relations sont ensuite synthétisées pour l’obtention d’un classement final. Les méthodes

ELECTRE (ELimination et Choix Traduisant la REalité ; Roy, 1968), PROMETHEE (Preference

Ranking Organisation METHode for Enrichissement Evaluation ; Brans et al., 1984) sont des

exemples de ce type de méthode.

Ces méthodes ont pour atouts majeurs, par rapport aux méthodes d'agrégation complète d’accepter les

situations d'incomparabilité et de prendre en compte l'intransitivité. L’inconvénient de ces méthodes

réside dans la définition de paramètres nombreux et l’obligation de réaliser des analyses de sensiblité

et de robustesse, parfois longues.

Pour illustrer ces méthodes nous présenterons ELECTRE III et ELECTRE TRI utilisées par la suite.

2.4.2 La méthode ELECTRE III

La méthode ELECTRE III a été proposée par Roy (1978). Son objectif est de comparer et de classer

des actions potentielles dont les performances sont connues sur un ensemble de critères. Elle est basée

sur la construction d’un surclassement floue, l’élaboration de deux classements antagonistes et la

synthèse selon un classement final.

Le principe de la méthode est le suivant. La matrice des évaluations des performances des différentes

actions potentielles ayant été établie, les critères définis et pondérés (importance relative des critères

les uns par rapport aux autres), les actions sont alors comparées deux à deux (agrégation partielle) à

partir d’une relation de surclassement.

ELECTRE III utilise à ce niveau la notion de « pseudo critère » dans la modélisation des préférences

Chacun des critères est caractérisé par : un seuil d’indifférence (q) et un seuil de préférence stricte (p)

permettant de distinguer une préférence faible et une préférence stricte. Le seuil d'indifférence est



défini de manière à tenir compte de l’incertitude qui entache les évaluations sur ce critères ou

représente l’écart jugé insignifiant pour pouvoir faire une différence entre deux actions. Un troisième

seuilest utilisé (le seuil de veto) qui est la limite au-dessus de laquelle deux actions sont considérées

comme non comparables même si une des actions est en grande majorité meilleure que l’autre sur les

autres critères.

Les pseudo critères

Un pseudo-critère est une fonction g dont le pouvoir discriminant est caractérisé par les seuils q et p,

comme indiqué à la Figure 2.2.

Figure 2.2 – Zones (a) indifférence ; (b) de préférence faible ; (c) de préférence stricte (Maystre et al.,

1994)

Les seuils p et q peuvent être définis comme :

• constant ;

• proportionnel à la performance, comme par exemple : )(ag.p(g(a)) iβ+α= .

Les indices de concordance

ELECTRE III utilise un indice partiel de concordance par critère (cj) et un indice de concordance

globale (Cik). Les équations sont établis, pour l’exposé en considérant des critères croissants (plus la

valeur est grand, meilleure est la performance).



L’indice partiel de concordance par critère indique dans quelle mesure l’action ai est au moins aussi

bonne que l’action ak pour le critère j.

0 )a,(ac kij = ⇔ )(ag – )(ag p ijkjj <

1 )a,(ac0 kij << ⇔ jijkjj p)(ag – )(ag q ≤<

1 )a,(ac kij = ⇔ jijkj q)(ag – )(ag ≤

L’indice de concordance globale affirme dans quelle mesure il y a concordance avec l’hypothèse

« l’action ai surclasse l’action ak ». Il est défini par la formule suivante :

∑

∑

=

== m

1jj

m

1jkijj

ik

P

)a,a(c.PC (Équation 2.1)

Avec :

Pj : Poids du critère j

cj : indice partiel de concordance du critère j

L’indice de discordance

La notion de discordance permet d’examiner le cas où une action ai est moins bonne que ak. Elle

s’appuie sur le seuil de veto. Elle s’exprime par une mesure de l’affaiblissement de l’indice de

concordance. Le seuil de veto pour le critère j est, par définition, la valeur de la différence gj(ak)-gj(ai)

à partir de laquelle il parait prudent de refuser tout crédibilité au surclassement de l’action ai par

l’action ak, même si tous les autres critères sont en concordance avec ce surclassement.

L’indice de discordance )a,(ad kij est donnée par :

1 )a,(ad kij = ⇔ )(ag – )(ag v ijkjj <

1 )a,(ad0 kij << ⇔ jijkjj v)(ag – )(ag p ≤<

0 )a,(ad kij = ⇔ jijkj p)(ag – )(ag ≤

Relation de surclassement floue et dégrée de crédibilité

Le dégré de crédibilité est l’indice de concordance global affaibli par les indices de discordance. Il est

donné par :

∏∈ −

−=δ

Fj ik

kijikik C1

)a,a(d1C (Équation 2.2)



Avec :

Cik : indice de concordance globale

F : sous ensemble de la famille F qui a comme éléments les critères pour lesquels l’indice de

discordance est supérieur à l’indice de concordance globale

)a,a(d kij : indice de discordance

La méthode réalise enfin donc deux préordres complets, à travers la distillation ascendante et la

distillation descendante, synthétisés in fine par un classement median final.

2.4.3 La méthode ELECTRE TRI

La méthode ELECTRE TRI, proposé par Yu (1992), est basée sur l’affectation des actions à une

catégorie, à travers deux procédures d’affectation appelées optimiste et pessimiste. Cette affectation

est réalisée à partir de la comparaison de chaque action potentielle avec des actions de référence.

La méthode ELECTRE TRI utilise, comme la méthode ELECTRE III, pour chaque un des critères

deux seuils dits d’indifférence (q) et de préférence stricte (p) ; ces seuils ont été définis de manière à

tenir compte de l’incertitude qui entache les valeurs de la matrice d’évaluation. Ces seuils permettent

l’apparition de la notion de préférence faible. Un troisième seuil, le seuil de veto (v), est utilisé dans la

concrétisation de la notion de discordance.

Les indices de concordance

ELECTRE TRI utilise les mêmes indices de concordance par critère (cj) et un indice de concordance

globale (Cik) que la méthode ELECTRE III.

L’indice de concordance par critère indique dans quelle mesure l’action ai est au moins aussi bonne

que l’action bk de référence pour le critère j.

0 )b,(ac kij = ⇔ )(ag – )(bg p ij

kjj <

1 )b,(ac0 kij << ⇔

jijk

jj p)(ag – )(bg q ≤<

1 )b,(ac kij = ⇔ jij

kj q)(ag – )(bg ≤



L’indice de concordance globale affirme dans quelle mesure il y a concordance avec l’hypothèse

« l’action ai surclasse l’action bk ». Il est défini par la formule suivante :

∑

∑

=

== m

1jj

m

1j

kijj

ki

P

)b,a(c.P)b,C(a (Équation 2.3)

Avec :

Pj : Poids du critère j

cj )b,a( ki : indice de concordance du critère j

L’indice de discordance

De même l’indice de discordance )b,(ad kij est donnée par :

1 )b,(ad kij = ⇔ )(ag – )(bg v ij

kjj <

1 )b,(ad0 kij << ⇔

jijk

jj v)(ag – )(bg p ≤<

0 )b,(ad kij = ⇔ jij

kj p)(ag – )(bg ≤

Relation de surclassement floue et dégré de crédibilité

Le dégré de crédibilité est l’indice de concordance global affaibli par les indices de discordance,

comme dans la méthode ELECTRE III. Il est donné par :

∏∈ −

−=σ

Fjk

i

kijk

ik

is )b,a(C1)b,a(d1

)b,a(C)b,a( (Équation 2.4)

Avec :

)b,a(C ki : indice de concordance globale

F : sous ensemble de la famille F qui a comme éléments les critères pour lesquels l’indice de

discordance est supérieur à l’indice de concordance globale

)b,a(d kij : indice de discordance

La relation de surclassement entre une action potentielle et une action de référence est établie à partir

de dégrés de crédibilité et d’un seuil de coupe λ , comme montre la Figure 2.3.



Figure 2.3 – Etablissement de la relation de surclassement (Maystre et al., 1994)

Procédure d’affectation

La comparaison des actions aux profils de référence est effectuée selon deux procédures. Les

caractéristiques des deux procédures d’affectation sont détaillées dans le Tableau 2.1.

Tableau 2.1 - caractéristiques des procédures d’affectation

Procédure d’affectation Pessimiste Optimiste

Objectif Pousser les actions dans les catégories les plus basses possibles

Pousser les actions dans les catégories les plus hautes possibles

Procédure Affecter l’action à une catégorie de façon telle que cette action surclasse l’action de référence basse de cette catégorie : aSbh a∈ Ch+1 avec h=1, 2

Affecter l’action à une catégorie de façon telle que l’action de référence haute de cette catégorie soit préférée à l’action : bh

>a a∈ Ch avec h=1, 2

Sens de haut en bas de bas en haut

2.4.4 Méthodes de pondération des critères et indicateurs

L’importance relative des critères et des indicateurs entre eux est un aspect primordial dans l’analyse

multicritère. Ces poids doivent être le reflet des points de vue des décideurs. Chacun d’eux s’appuie

sur un système de valeurs, des convictions, d’opinions différentes pour expliciter leurs préférences.

Diverses méthodes de pondération de critères existent et leurs résultats peuvent beaucoup influencer le

résultat final de l’analyse (Pomerol & Barba-Romero, 1993). Les poids peuvent être déterminés par

des méthodes dites « objectives » comme la méthode des entropies (Zeleny, 1982), par des méthodes

d’évaluation directe, comme le classement simple ou la méthode de comparaisons successives

(Churman & Ackoff, 1954) ou encore par des méthodes indirectes, comme la méthode AHP (Saaty,

1977).

Il est important de bien insister sur le fait que les poids peuvent influencer le résultat final d’une

analyse multicritère, d’où l’importance de déployer tous les efforts possibles dans une analyse de



sensibilité à la variation des poids, avant de donner des recommandations finales en matières d’aide à

la décision. Cependant l’analyse de sensibilité doit rester fidèle à une stratégie donnée.

2.5 Niveau IV : Procédure d’investigation et élaboration de la prescription

À partir de la construction d’une famille cohérente de critères, de leurs évaluations, des poids et de la

méthode d’agrégation choisie, la résolution du problème peut être entreprise. La présente étape

consiste donc à tirer des conclusions à partir des résultats obtenus. Cette étape est très délicate.

Plusieurs hypothèses et simplifications peuvent être faites pendant le processus et leur influence doit

être vérifiée. Pour cela des analyses de sensibilité et de robustesse doivent être réalisées.

L’analyse de sensibilité est, selon Maystre et al. (1994), une analyse consistant à répéter l’analyse

multicritère original en faisant varier les valeurs attribuées à l’origine aux différents paramètres de la

méthode, valeurs qui sont souvent empreintes d’un certain arbitraire. Elle vise à définir les paramètres

qui conditionnent les plus étroitement la solution à choisir, et notamment celles où il suffit d’une faible

modification pour changer la solution proposée.

L’analyse de robustesse, toujours selon Maystre et al. (1994), est une analyse cherchant à déterminer

le domaine de variation de certains paramètres dans lequel une recommandation reste stable. Elle sert

à fournir au décideur une recommandation synthétique et robuste, qui l’informe quant à la capacité de

la solution proposée à résister à des variations entre la réalité et le modèle censé la représenter.

2.6 Indicateurs dans le domaine de l’assainissement et du problème traité

Il existe en fait très peu de recherches ou d’études qui ont été menées sur le champ spécifique de la

définition d’indicateurs liés aux structures d’infiltration des eaux de ruissellement hormis celles qui

ont été réalisées au LGCIE, ancien URGC, de l’INSA de Lyon.

Le plus grand nombre de publications dans le domaine concerne le développement d’indicateurs

tentant de mesurer les performances de dispositifs particuliers faisant partie du système

d’assainissement (performance de stations d’épuration ou de systèmes de traitement comme (Lundin,

2000) ou (Balkema et al., 2002) par exemple). Il concerne également les performances du système

(Kolsky & Buttler, 2002), (Geerse & Lobbrecht, 2002) ou plus généralement du service

d’assainissement. C’est le cas notamment des indicateurs de performance développés par

l’International Water Association (IWA) (Matos et al., 2003), ou ceux définis par l’OFWAT (Ewan &

Mott MacDonald, 2001) ou encore ceux proposés en France par (Guerin-schneider, 2001), (Cousquer

& al., 2005), (IGD, 2004), (Le Gauffre et al., 2004) par exemple. Les indicateurs sont soit ciblés sur

un objectif (réhabilitation des réseaux) et/ou sur un type d’acteur (estimation de la qualité de service à

destination du décideur comme pour les jeux d’indicateurs français), soit encore définis de manière



plus large comme ceux de l’IWA par exemple. En effet, dans le cas de l’IWA, les indicateurs couvrent

un champ large et hétéroclite (indicateurs environnementaux, économiques et financiers, indicateurs

liés aux personnels, indicateurs de structure, indicateurs liés à la maintenance des systèmes et à la

qualité de service touchant la population comme les interruptions de service, les réclamations ou les

dégâts, …). Les indicateurs y sont nombreux (182 au total) et ont l’ambition de l’exhaustivité.

Cependant, on trouve ici un certain nombre de biais qu’il sera bon d’éviter ultérieurement. En effet le

nombre important d’indicateurs est difficile à exploiter, de même que certains indicateurs pris

isolément (« nombre de détecteurs de gaz par employé » par exemple). Ils sont souvent fortement

dépendants les uns des autres et couvrent des niveaux et d’objectifs très disparates dont on ne donne

pas la clé d’exploitation.

Sur le domaine des techniques alternatives (dispositifs de retenue et/ou d’infiltration), on trouve

quelques jeux d’indicateurs ou de critères comme (Azzout, 1996), (Moura et al., 2004), (Castro &

Baptista, 2004), (Ellis et al., 2004b). La plupart du temps, il ne s’agit pas de quantifier les

performances intrinsèques d’une solution mais plutôt de définir des indicateurs utilisés en phase choix

ou de conception de différentes variantes d’un même projet ou encore de type de techniques. Les

critères relatifs aux techniques d’infiltration y sont noyés et globalisés. Par exemple dans (Azzout,

1996), l’efficacité en terme de pollution se résume à deux critères « aptitude du système à retenir la

pollution particulaire » et « aptitude du système à retenir la pollution dissoute ». Là encore les critères

sont souvent nombreux et cachent des redondances et de l’inter-dépendance. Certains auteurs ont

même réalisés des études a posteriori permettant d’analyser les résultats de l’application des jeux

d’indicateurs à des études réelles. (Barraud et al., 2004b) a ainsi fait une analyse critique du jeu

d’indicateurs défini par Azzout (1996). L’étude a posteriori montre qu’un trop grand nombre de

critères (ici 27) est pesant pour l’évaluateur et que la difficulté à évaluer certains d’entre eux

(indicateurs environnementaux par exemple) conduisait l’évaluateur à attribuer, par mesure de

précaution, les mêmes performances à tous les scénarios les rendant ainsi inutiles.

Sur les techniques d’infiltration elles-mêmes, des jeux d’indicateurs ont été développés dans le cadre

de projets régionaux ou nationaux (Action incitative Ville (ACI Ville) (Barraud et al., 2001), MGD

Infiltration du Réseau Génie Civil & Urbain (Perrodin et al., 2003), et Thématiques prioritaires de la

Région Rhône Alpes (Chocat et al., 2004). Historiquement, un premier jeu a été défini dans le cadre

de l’ACI Ville (Barraud et al., 2001). Cette recherche visait à quantifier les performances des systèmes

de drainage par infiltration et à comparer plusieurs types de stratégies. Cependant ce travail faisait

apparaître de nombreuses défaillances tant dans la définition des indicateurs eux mêmes, dans les

méthodes d’évaluation que dans la disponibilité des données nécessaires à l’évaluation. Nous les

rappelons lors de la construction de nos indicateurs.



2.7 Conclusions et démarche proposée

Le présent chapitre a présenté les étapes de construction d’une méthode multicritère d’aide à la

décision. En quatre niveaux :

• Le niveau I : Objet de la décision et esprit de la prescription ou de la participation, qui consiste

en la réflexion sur le problème posé et la façon de modéliser le problème ;

• Le niveau II : Analyse des conséquences et élaboration de critères, qui traite de la construction

des critères ou indicateurs pour exprimer chaque aspect du problème posé et de leur évaluer

avec des critères ou indicateurs robustes et de bonne qualité ;

• Le niveau III : Modélisation des préférences globales et approches opérationnelles pour

l’agrégation des performances, où la méthode d’agrégation des différentes performances est

traitée, ainsi que l’attribution des poids des critères ;

• Niveau IV : Procédure d’investigation et d’élaboration de la prescription, qui consiste à tirer des

conclusions des résultats obtenus, en se basant sur des analyses de sensibilité et robustesse.

Finalement, le dernier paragraphe a donnée un aperçu sur les indicateurs existants dans le domaine de

l’assainissement. Nous avons quelques études qui ont visé évaluation des systèmes d’assainissement,

toutefois très peu d’études ont été dédiées aux techniques d’infiltration, le problème restant entier.

La démarche du présent travail va donc consister à alimenter chacune des étapes définies

précédemment pour chaque problématique : conception & suivi.



Figure 2.4 – Etapes de la construction d’une méthode multicritère d’aide à la décision, pour les phases de

conception et de suivi des systèmes

Rappels des objectifs

L’objet du travail consiste à élaborer des indicateurs de performances pour le développement d’un

service durable de l’assainissement pluvial par infiltration.

Définition de la notion d’indicateurs

Nous avons retenu la définition de l’IFEN (2000) qui considère un indicateur comme : « quelque

chose qui simplifie l'information en provenance de phénomènes complexes et qui la quantifie de

manière à la rendre significative à l'échelle désirée ». Nous avons complété cette définition en

ajoutant qu’un indicateur doit en outre être muni d’une « structure de préférence » de manière à

pouvoir refléter une tendance exploitable compte tenu du problème traité, ce qui le dissocie d’un

simple descripteur. Par exemple, si l’on juge la qualité des eaux sortant d’un système par un indicateur

lié à la couleur, il faut que l’on soit capable d’identifier si la couleur est « satisfaisante », « plus



satisfaisante » que telle autre, etc. Ainsi, dans ce travail indicateur de performance et critère sont

considérés comme synonimes.

Délimitation du contour des systèmes techniques étudiés, échelles considérées et

objectifs

Les systèmes étudiés ont été définis comme étant un ouvrage ou un aménagement comprenant ou

nécessitant des systèmes de retenue/infiltration.

L’échelle d’espace considérée est donc l’échelle locale d’une opération.

L’échelle de temps pertinente retenue est tout ou partie de la vie d’un ouvrage ou de celle d’un

aménagement.

Définition de la finalité des indicateurs et des acteurs à qui sont destinés les indicateurs.

Les finalités identifiées sont :

• d’évaluer un ouvrage, une situation, un aménagement à un moment donné ;

• de suivre dans le temps un ouvrage, une situation, un aménagement (comparaison à différentes

phases de la vie)

• de comparer des variantes

• de projets (en conception) ;

• d’actions de gestion sur un ouvrage ou un aménagement ;

• d’actions sur la structure d’un ouvrage ou un aménagement.

Les comparaisons se font donc à « environnement » sensiblement similaire. Ainsi les indicateurs ne

sont pas destinés à comparer deux opérations complètement différentes l’une à Lille, l’autre à Lyon

par exemple.

Les acteurs destinataires de ces indicateurs sont les « décideurs » (maîtres d’ouvrage), les « hommes

d’étude » (concepteurs, exploitants).



Définition des indicateurs

Pour élaborer les performances puis les indicateurs, un groupe de travail a été constitué, il est censé

représenté différents points de vue. Ce groupe de travail a rassemblé des chercheurs de différents

domaines partenaires du projet et des acteurs opérationnels (services de collectivités publiques et

bureaux d’études privés).

Les propositions d’indicateurs sont initiées soit sur des bases bibliographiques, soit à partir des

recherches en cours auxquelles j’ai participé soit encore in abstracto. L’ensemble des propositions est

ensuite soumis au groupe pour discussion, modification, re-définition.

Qualités requises pour les indicateurs

Chaque proposition d’indicateur sont ensuite testée sur des cas concrets et passer au crible de critères

de qualité. Les critères de qualité retenus sont ceux de Labouze & Labouze (1995) et figurent au

Tableau 2.2. Ces qualités sont en effet générales et peu liées au domaine. Elles permettent de se poser

de bonnes questions et ce, de manière systématique. La démarche permettant de vérifier ces critères

doit également être définie. La procédure est fournie au Tableau 2.2.



Tableau 2.2 - Liste des qualités requises dans la méthode de travail et rôle des partenaires dans le travail

de test

Qualités requises / définition Qui teste ces qualités et comment

Pertinence : capacité à refléter toute la signification d'un concept ou tous les aspects d'un phénomène et à garder sa signification dans le temps

La pertinence est validée par le groupe

Accessibilité : aptitude à être calculable facilement à un coût acceptable

L’accessibilité est validée qualitativement par les membres du groupe puis vérifiée par le chercheur coordonnateur qui évalue l’indicateur sur des cas concrets avec des données fournies par les opérationnels

Fidélité : conservation d'un biais à un niveau constant sur les unités spatio-temporelles de référence

Objectivité : aptitude à donner une tendance qui ne dépend pas de l’évaluateur

La fidélité et l’objectivité sont validées par le chercheur coordonnateur qui fait évaluer les indicateurs par plusieurs évaluateurs (ou mode d’évaluation), plusieurs fois

Précision/robustesse : fiabilité de l’évaluation avec une erreur acceptable / aptitude à donner une même tendance malgré les incertitudes sur l’évaluation

La précision/robustesse est testée par le chercheur coordonnateur qui évalue les incertitudes ou les sources de méconnaissance et qui applique la définition à des cas concrets

Sensibilité : aptitude à discriminer des solutions La sensibilité est testée par le chercheur coordonnateur qui choisit des cas concrets que l’on veut discriminer ; l’indicateur est ensuite appliqué pour savoir s’il est capable de discriminer correctement des différents cas

Univocité : aptitude à donner une valeur interprétable de manière univoque

L’univocité est testée a priori au moment de la définition de l’indicateur par le chercheur coordonnateur et le groupe

Performances considérées

Les performances ou objectifs poursuivis pour l’évaluation des systèmes d’infiltration prennent en

compte les performances techniques qui reflètent le fonctionnement adéquat du système technique,

performances environnementales et sanitaires et les performances socio-économiques, qui évaluent les

coûts et les enjeux sociaux de ces systèmes. Comme nous considérons deux objectifs principaux (la

conception de ces ouvrages et leur suivi) les performances seront présentées séparément.

Lors d’études précédentes les indicateurs avaient été classés par famille : indicateurs techniques,

environnementaux, socio-économiques. Cette distinction a été supprimée car certains indicateurs

étaient liés et cette classification avait tendance à cloisonner et à masquer les interdépendances (la

recharge de nappe par exemple n’est intéressante que si l’eau de recharge est de bonne qualité).

Ainsi la liste des performances considérées est la suivante.



Tableau 2.3 – Liste des performances considérées

Liste des performances Prise en compte en conception

Prise en compte en suivi

Protéger contre les inondations X X

Ne pas dégrader la qualité de la nappe X

Retenir la pollution dans l’ouvrage (Ne pas dégrader la qualité de la nappe / Ne pas polluer le sol en profondeur

X X

Contribuer à la recharge des nappes X

Préserver les ressources naturelles X X

Etre maintenable techniquement et facilement par l’organisation

X X

Garantir la santé et la sécurité des usagers/personnels X X

Produire des déchets facilement gérables X X

Avoir un coût peu élevé X X

Qualité de l’aménagement X

Acceptabilité sociale d’un scénario X

Nous allons maintenant examiner l’ensemble de ces performances de manière à construire des

indicateurs les décrivant et des méthodes les exploitant.

Chapitre 2 Point sur les méthodes d’évaluation des ...

Documents

Transcript of Chapitre 2 Point sur les méthodes d’évaluation des ...