EVALUATION ET QUALITÉRéflexions sur les enjeux et outils à partir du débat du monde de la coopération au développement

Journée d’étude FEBISP 7 octobre2010

Marc Totté marc.totte@inter-mondes.org

LES ENJEUX Constats de départ

La ‘culture’ de l’évaluation : plus une obligation qu’une demande Et un besoin partiel

La ‘culture’ de la qualité : autant un souci interne qu’une réponse à des pressions diverses de plus en plus manifestes de « résultats » et « d’économies » budgétaires

Mais des représentations très différentes de la qualité

Enjeux – Questions -Risques Enjeu : La reconnaissance de la qualité (à travers charte, labels, ou

autre) pourrait limiter l’inflation de contrôle et d’évaluation Question : A quelles conditions ? Risques : Comment éviter les risques de renforcement de la

concurrence entre associations ?

L’EVALUATION

UN ESPACE PARTICULIER

Une articulation entre

Un système de pouvoir

Un objet à évaluer

Un dispositif d’analyse

2. Commandite

1. S’interroge

3. Apprécie

4. Rend compte

5. Décide

LES DIFFÉRENTES FORMES D’ÉVALUATION (SUITE)

Selon les époques (4 générations)

Tendance vers plus de croisement entre des appréciations différentes

GENERATIONS

Mesurer

Décrire les forces et faiblesses

Juger et recommander

Apprendre

FONCTIONS / PRIORITES

LOGIQUES/MODELES de Développement

Technicistes, déterministes

Systémiques, Interactionnelles ?

Négocier, discuter

G1

G2

G3

G4

LES LIMITES DE L’ÉVALUATION (DANS LA COOPÉRATION)

Processus limité dans le temps et avec peu de moyens Avec une attention particulière sur les « résultats » et

donc sur l’efficacité et l’efficience (au détriment d’enjeux de pertinence et d’impacts)

Reste perçu comme un contrôle Centré sur la figure du projet !!! N’intervient que peu sur l’organisation, son système de

gouvernance Or, la capacité interne de tirer parti d’une évaluation

n’est pas évidente et dépend de l’organisation

LA QUALITÉ : DÉFINITIONS, ENJEUX, OUTILS

LA QUALITÉ CLASSIQUE : CONCERNE L’ACTION ET L’ORGANISATION ISO 9000 : « L’aptitude d’un ensemble de caractéristiques à satisfaire des exigences ».

LA QUALITE EN SOLIDARITÉ INTERNATIONALE

Problèmes, défis, enjeux,

situations

De l’action

Qualité = Aptitudes à faire ces liens

De l’organisation

Normes Ethiques

EXIGENCES

CARACTERISTIQUES

De l’action

De l’organisation

NormesEthiques

CARACTERISTIQUES

LE MODÈLE EFQM

LES LIMITES ET ENJEUX Centrée sur l’organisation plus que son environnement Autour de trois champs plus particuliers :

Gouvernance Gestion financière Gestion des processus

Une notion de « satisfaction » ambigüe mais importante et extensible

Enjeux La sortir de ces ancrages (monde de l’entreprise) Lui permettre d’être réellement en prise avec la société

DEUX REPRÉSENTATIONS OPPOSÉES

La qualité « finalisante », axée sur les performances, technique

La qualité « propensive », ouverte, politique

Centrée sur elle-même

Articulée et articulante

ELARGIR LA LOGIQUE DE RATIONALITÉ INTERNE

Dans la logique projet

MOYENS

OBJECTIFSRESULTATS

ELARGIR LA LOGIQUE DE RATIONALITÉ INTERNE Dans la démarche qualité « classique » (l’organisation)

COMMENT ? RELIER AUX DYNAMIQUES SOCIÉTALES, QUI PRODUISENT DES EFFETS ET FONT SENS (BLAIRON 2008)

Ou impact

QUELQUES OUTILS ET LEUR ADAPTATION

La boucle de la qualité La roue de Deming

Système des « producteurs »

LA BOUCLE DE LA QUALITÉ DES SERVICES PUBLICS

DécisionChoix

stratégi-que

Mesure de satisfaction

Qual. attendue

Qual. perçue

I. de satisfaction

Usagers

Mesure des

résultats

Mesure du

fonction-nement

Qual. voulue

Règles du fonction-nement

Qual. fournie

I. de conformité I. de processus

Service

Ecarts de délivrance ?Ecarts de satisfaction

Décalages de conception ?

Décalages de perception ?

système des « utilisateurs »

Fournit 3 types d’Indicateurs

internes◦ Satisfaction◦ Processus◦ Conformité

ADAPTATIONS POSSIBLES

QUALITE ATTENDUE

Q1

Q2

Qn

Q3

CONTEXTES

CONFRONTATION

I.de confrontation ?

« Bénéficiaires »

LA ROUE DE L’AMÉLIORATION CONTINUE (DEMING)

PDCA Planifier/Plan Développer/Do Contrôler/Check Améliorer, Ré-Agir /Act

Mais : Tendance de l’homme à faire toujours plus la même chose (la roue ne permet pas en soi de sortir de nos systèmes de valeurs pour changer)

• L’accent sur le processus d’apprentissage au moins autant que le résultat

• La nécessité de coller aux réalités

• Quatre types de questions clefs :– Quels processus de changement – internes, externes - avons-nous déclenchés ?– Quels apprentissages en avons-nous capitalisés ? – Comment arrive-t-on à faire mieux avec plus de parties prenantes? – Quelles sont les opérations sur ce processus de transformation qui posent le plus

de problèmes ? ...

IMPORTANCE DE CES OUTILS

ARTICULATIONS AVEC LES AUTRES EXIGENCES (IMPACT, GESTION AXEE

RÉSULTATS)

LIENS AVEC L’IMPACT

Deux modèles de l’impact « tir à l’arc » (déterministe, linéaire, contexte peu « actif ») « ronds dans l’eau » (aléatoire, interactionnel-systémique,

contexte important) La qualité sera :

Soit, la capacité à tendre, viser, atteindre (force, vision, capacité à modéliser la courbe balistique ? Donc à planifier, programmer rigoureusement et à gérer les risques, etc.)

Soit, la capacité à anticiper, s’adapter, accentuer, faire résonner, amplifier, accompagner, suivre… l’existant (Donc à en connaitre suffisamment sur les personnes, les organisations, leurs relations, les motivations à changer, etc.)

OUTIL-BOUSSOLE pour penser le suivi, l’évaluation, la qualité

Mieux Apprendrecollectivement(renforcement compétences)

Mieux Gérer

Mieux rendre compte

(redevabilité)

« Technique »

« Administratif »« Conceptuel »

« Politique »Mettre en processus du changement social, économique et politique

Logique de l’IMPACT

Démarche axée sur les RESULTATS

Démarche de la QUALITE

Evaluation des « produits » agit sur les « autres » (cibles uniques du chgt)?

Evaluation des « processus »

Interpelle «son» organisation, soi

avec les « autres » ?

AméliorationGlobale du

système sociétal

EN RÉSUMÉ La qualité peut améliorer les conditions d’évaluation :

Diminuer la fréquenceSimplifier les critères et indicateurs

A conditions de la concevoir comme :Diverse et spécifique : La "qualité clef sur porte" n'existe

pas. Une source d'interpellation dirigée sur soi et son contexteUne « Préoccupation » plutôt qu’une obligationUn « processus » d’apprentissage au moins autant que la

recherche de « résultats »Un horizon toujours perfectible plutôt que la perfection

performative

POUR ÉVITER LES FAUSSES ALTERNATIVES…

MERCI DE VOTRE ATTENTION