1

L’Evaluation, des concepts aux mises en œuvre

RESULTATS DE L’ENQUÊTE NATIONALE

77 directeurs généraux d’associations inscrites dans le champ de l’action sociale et médico-sociale ont répondu à l’enquête du Groupement National des Directeurs d’Association (GNDA), soit presque la moitié des adhérents du groupement. L’objectif était de faire un état des lieux sur l’évaluation interne des associations dotées d’un siège associatif. Ce « sondage » ne prétend pas être représentatif de tous les établissements et services, notamment du secteur public et des associations de taille modeste, il présente cependant une image significative. Réalisée en juin/juillet 2006, cette enquête se situe juste avant la publication du guide de l’évaluation interne du Conseil National de l'Evaluation Sociale et Médico-Sociale, et avant le recadrage définitif du calendrier des obligations relatives à l’évaluation interne. Les cinq premiers paragraphes rendent compte des données chiffrées correspondant aux questions fermées de l’enquête. Les paragraphes 6 à 10 reprennent les questions ouvertes en les regroupant par thèmes et non dans l’ordre des questions de l’enquête. Le paragraphe 11 reproduit les

commentaires apportés en fin d’enquête, tels qu’ils ont été formulés.

.1. OU EN SONT LES ASSOCIATIONS AVEC L’EVALUATION INTERNE ?

Prés des deux-tiers des associations ayant répondu ont engagé ou sont en train d’engager l’évaluation interne. Trois d’entre elles ont déjà terminé une première démarche. Certaines y sont investies depuis longtemps, parfois plus de 5 ans.

ENGAGEMENT DANS L'EVALUATION

REALISEE OU EN

COURS

61%

NON ENGAGEE

10%EN

PREPARATION

29%

Vingt-deux associations sont en préparation de la démarche. La plupart disent attendre des précisions tant d’échéance que de contenu (référentiels).

Pour les 10 % n’ayant pas engagé le processus, 6 se disent en réflexion. Pour les deux associations n’ayant rien engagé, l’une déclare cependant être en travail sur un référentiel au niveau des directeurs, l’autre fait référence à l’histoire de l’association qui suppose, au préalable un travail sur les pratiques.

Il apparaît donc que les démarches évaluatives sont déjà bien engagées dans les associations. Nous pouvons cependant formuler l’hypothèse que les associations ayant répondu à l’enquête sont celles qui se sentent le plus concernées, les directeurs généraux qui n’ont rien engagé n’étant pas portés à répondre. Cette

2

hypothèse nous permet cependant de dire que plus de 45 % des associations du réseau GNDA sont engagées ou en voie de s’engager dans l’évaluation interne.

Un seul but : améliorer les pratiques

79 % des associations ayant répondu réfèrent leur évaluation – ou leur projet d’évaluation – à l’amélioration de la qualité sans que cet objectif ne soit référé à une démarche normée.

2 2

12

61

0

10

20

30

40

50

60

70

Objectif de l'évaluation interne

Démarche d’accréditation

Démarche de certification

Démarche qualité

Amélioration de la qualité

Le graphique montre la faiblesse des références à une démarche d’accréditation (qui concerne plutôt les associations ayant une activité sanitaire) et les démarches de certification (qui peuvent cependant concerner les ESAT dans certaines associations, l’une d’elles étendant la certification de ses ESAT aux activités du siège). La démarche qualité est repérée pour 12 associations. Le contraste des réponses laisse entrevoir un positionnement par rapport à des démarches trop « normatives », ce qui sera confirmé par les commentaires apportés par les directeurs généraux. Très peu d’autres références sont citées1, attestant d’une relative cohérence d’un cadre conceptuel qui reste pourtant fort mal défini…

Des directions générales fortement impliquées

0

10

20

30

40

50

60

70

Niveau de l'organisation concernés par l'évaluation

Un seul établissement Quelques établissements

Le siège Les instances associatives (CA, bureau…)

Tous les établissements La direction générale

1 « Management par la qualité », « Exigence de la loi 202-2 », approche « Sécurité, gestion des risques »,

combinaison entre la loi 2002-2 et la GEPC.

3

Ce résultat fait apparaître l’investissement massif des directions générales dans l’évaluation interne. Les commentaires précisent à plusieurs reprises que l’engagement du siège et des cadres de direction est une condition de réussite de l’évaluation interne.

Second fait marquant : la grande majorité des associations (60 sur 77) engagent la démarche d’évaluation interne, dès le départ, pour l’ensemble des établissements de l’association.

Avec 41 réponses positives, l’engagement des instances associatives semble légèrement en retrait. Les sièges sont moins investis (30 sur 77) …

.2. A PROPOS DES METHODES

Une légère préférence pour un référentiel unique pour tous les services de l’association

Méthode choisie

Plusieurs

référentiels

45%

Un référentiel

unique pour

l’association

55%

En fait, cette réponse confirme les commentaires apportés par les directeurs généraux qui reflètent leur souci de cohérence associative et de transversalité entre les activités. L’évaluation apparaît comme un moyen d’atteindre cet objectif.

Référentiels choisis

Autre

4% vendu par un

organisme

8%auto-construit

38%

vendu par un

consultant

1%construit avec un

consultant

49%

87 % des associations interrogées « bricolent » leur référentiel à partir des modèles existants, soit seules, soit avec l’aide d’un consultant. Le souci qui domine est l’adaptation aux particularités des établissements et services gérés par l’association. Une seule association déclare avoir acheté un référentiel à un

4

consultant, six l’ont acheté à un organisme. Les référentiels cités sont : E.F.Q.M., Valoris, Qualisnap - qualiprogress et qualigest, Péricles (Ancreai), et Evacliq2 …

Un recours fréquent à des consultants

Est-il fait appel à un consultant ?

OUI

68%

NON

32%

Les réponses sur la forme d’intervention des consultants font apparaître que la moitié attendent une aide méthodologique, un tiers une action de formation et un autre tiers la conduite de la démarche.

Les raisons évoquées dans ces choix sont essentiellement d’ordre méthodologique (36 références citées dans des items relevant des méthodes). Le consultant est également présenté comme un tiers (x33), neutre et objectif (x3) qui apporte un regard externe (x7). Le consultant garantit l’harmonisation (x2) et le suivi de la démarche (x3) ou son accompagnement (x4). Il est parfois investi d’un rôle de formateur des personnels (x4) soit de l’ensemble, soit de référents, ou des administrateurs. Il se présente comme une ressource complémentaire aux compétences internes ou parfois par défaut de compétences internes. Deux fois, le consultant est cité comme intervenant dans une seconde phase des travaux.

Versus négatif, certaines réponses précisent que l’absence de moyens ne permet pas de faire appel à un intervenant extérieur, d’autres que les ressources internes suffisent. Enfin il est jugé préférable, par un directeur, de « rester maître de notre démarche. »

2 Il s’agit en fait d’un référentiel d’évaluation clinique, mis au point par Anne-Marie Favard, qui ne peut être

assimilé à un référentiel d’évaluation interne au sens de la loi 2002-2… 3 Le chiffre entre parenthèses, précédé d’un “x” indique le nombre de fois que cet item est cité dans les

commentaires.

5

.3. A PROPOS DES MOYENS

L’utilisation des fonds de la formation continue

28 associations mobilisent un financement interne, pris sur les budgets des établissements et services, 23 ont obtenu un complément de budget et 35 associations font appel aux fonds de la formation continue.

28

38

23

43

35

33

autofinancement externe formation

Financement de l'évaluation interne

OUI NON

Les financements externes sont essentiellement issus des financeurs (DDASS, Conseil Général, Protection Judiciaire de la Jeunesse, etc.). Les réponses sur ce point font plutôt état d’un pourcentage de la masse salariale (de l’ordre de 1 à 5 %). Dans certains cas, il peut s’agir d’un poste de cadre technique (attaché à la direction générale), de conseiller technique ou de référent qualité. Des fonds européens permettent parfois de financer une partie du coût de l’évaluation interne (FSE).

Quand c’est le Plan Annuel d’Utilisation des Fonds de la Formation continue qui est mobilisé, il s’agit d’une part ou de la totalité du coût (de 35 à 100 %). Le fond d’intervention est noté dans quelques réponses comme ayant apporté un complément de financement.

Des situations de pénurie disparates

Il est difficile de tirer des données claires de ces financements tant les disparités sont grandes entre les associations, le coût des actions, les niveaux des budgets ou les capacités d’autofinancement de l’évaluation interne.

Cette question est à mettre en lien avec l’insuffisance de moyens largement citée par les enquêtés. Cet item revient en effet plus de 26 fois sur l’ensemble des commentaires (voir ci-dessous).

.4. A PROPOS DES ACTEURS

Une forte implication des cadres

6

Ce sont les cadres de direction qui sont les plus impliqués dans la démarche d’évaluation (72), puis les professionnels des équipes (64) et enfin les administrateurs (57) à équivalence avec les cadres techniques (56). Nous constatons un écart avec le niveau de participation des usager ou de leurs familles (30 chacun) et le peu de personnes extérieures (104) : l’évaluation interne est limitée au périmètre de l’institution, c’est, de plus, une affaire de dirigeants.

0

20

40

60

80

Les acteurs impliqués dans l'évaluation

Autres Des personnes extérieures Des usagers

Des familles d’usagers Des cadres techniques Des administrateurs

Professionnels des équipes Des cadres de direction

Un investissement lié au niveau de responsabilité

Il est intéressant de compléter ce tableau par le niveau d’implication des acteurs :

921

9

93

12

75

5

14

27

15

15

20

2

33

15

2

17

50

Personnes

extérieures

Usagers Familles

d’usagers

Cadres

techniques

Administrateurs Professionnels

des équipes

Cadres de

direction

Niveau d'implication des acteurs

Faible Moyen Fort

Il apparaît nettement que les niveaux d’implication les plus forts concernent les cadres. Les professionnels des équipes sont nombreux à participer mais faiblement investis. Avec un taux d’investissement un peu plus fort, les

4 Sachant que cette catégorie exclut les consultants évoqués à la question précédente.

7

administrateurs sont à 60 % moyennement ou faiblement impliqués. Les familles d’usagers ne sont pas nombreuses à participer à l’évaluation interne et, de plus, ne font pas preuve d’un investissement fort. Il en est quasiment de même pour les usagers.

Ces chiffres font apparaître que le degré d’investissement est assez proportionnel avec le niveau de responsabilité engagé dans l’action.

.5. A PROPOS DES EFFETS DE L’EVALUATION

58

15

48

25

0

20

40

60

80

Avancée repérées Blocages repérés

Avancées et blocages repérés

OUI NON

Les directeurs généraux ayant répondu spontanément à l’enquête repèrent plus aisément des avancées provoquées par l’évaluation interne que des blocages ou des freins. Cette donnée peut avoir deux causes :

• D’une part, les réponses reposant sur le volontariat, il est probable que ce sont les acteurs ayant une expérience positive de l’évaluation qui ont répondu le plus facilement ;

• D’autre part, la grande majorité des répondants ayant déjà engagé un processus d’évaluation, ont peut faire l’hypothèse que les phases de résistance préalables ont été dépassées.

________________

8

L’enquête comprenait les questions ouvertes suivantes : • Comment expliquez-vous la situation de votre association au regard de l’évaluation interne ? • Quels sont les points d’avancée et les points de blocage repérés ? • Qu’est-ce qui fait le plus difficulté et demanderait à être travaillé ? • Qu’est-ce qui manque pour conduire à bien l’évaluation interne ?

L’analyse de contenu des réponses apportées fait apparaître d’importantes redondances. De plus, un même item pouvait être placé par les uns en réponse à une question, par les autres en réponse à une question différente tout en ayant exactement la même signification. Enfin, selon les questions, la même idée pour être avancée soit positivement, soit négativement. Il nous est donc apparu préférable de procéder à l’analyse globale des réponses écrites afin d’en dégager quelques significations fortes qui traversent les questions. Questions qui, d’une part, manquaient sans doute de précision et de finesse, et qui, d’autre part, restent perçues dans un flou relatif – le champ de l’évaluation au regard de la loi 2002-2 n’étant pas encore parfaitement défini. Les lignes qui suivent sont tout sauf un travail objectif et exhaustif. Nous nous autorisons à interpréter, à opérer des regroupements arbitraires, à déformer les propos en les juxtaposant à d’autres. Il s’agit bien d’une interprétation et non d’un compte-rendu.

.6. DES QUESTIONS DE STRATEGIE

Un premier groupe d’items concerne les postures stratégiques : comment s’inscrit l’évaluation interne dans un moment de l’histoire de l’association ? Quels sont les choix sous-jacents et les visées des dirigeants ? Comment situer le contexte ?

Saisir des opportunités

Onze items traitent de cet aspect. L’évaluation interne s’inscrit dans un processus de réorganisation ou de restructuration de l’association. Elle fait suite à une redéfinition des fondations ou des préalables. Elle conclut la finalisation des outils de la loi rénovant l’action sociale et médico-sociale. Elle prolonge une démarche qualité (x2).

Dans son versant négatif, l’absence d’opportunité à engager l’évaluation interne est liée à des changements de direction, un plan social, la nécessité de modifier certaines pratiques institutionnelles : « D’autres travaux ont été privilégiés.5 »

Un choix politique

Le choix ou la volonté de l’association (x7) est à l’origine de la démarche. C’est une décision du bureau ou du Conseil d’Administration qui est le point de départ de l’évaluation. L’évaluation était inscrite dans le projet associatif (x3) ou se combine avec l’écriture de ce projet. L’évaluation représente un renforcement de la vie associative dont les instances valident les référentiels.

A l’inverse, certains questionnaires font état d’un manque de mobilisation du conseil d’administration et du bureau, d’une « configuration associative relativement effacée. » Au total, 15 items traitent de ces points en positif comme en négatif.

5 L’ensemble des citations entre guillemets reprennent soit tels quels soit en des termes approchants les

expressions utilisées. Les modifications étant liées à la volonté de regrouper des items proches pour alléger

l’exposé.

9

Une volonté de cohérence

20 items attestent d’un souci de globalité de la démarche, de cohérence (x2) ou de cohésion (x2) dans le cadre d’une démarche globale, commune ou générale (x4) et transversale. L’évaluation est un outil commun qui suppose une démarche synchronisée dans une méthodologie unifiée. Ces affirmations expliquent le nombre de fois où un référentiel unique est utilisé pour tous les établissements et services de l’association. Un Directeur général annonce que l’évaluation interne concerne à la fois l’association, le siège et les établissements. Les directeurs travaillent en commun à la construction de la démarche, relaient l’information.

Cette volonté de synergie se heurte parfois à des approches différentes entre cadres. La difficulté de transversalité est présentée comme un élément qui fait défaut à la bonne conduite du projet d’évaluation tout comme le manque d’information. Certains pointent la difficulté à se mettre d’accord sur un référentiel commun, ou à maintenir le dispositif sur l’ensemble de l’association, ou encore à harmoniser l’évaluation entre les établissements (x2)

L’engagement des acteurs comme élément clef

Les items liés à ce thème reviennent 20 fois dans les commentaires. L’engagement des dirigeants (x2) est important (Cf. le graphique « niveau d’implication des acteurs »). L’évaluation crée une dynamique interne (x3), la mobilisation des équipes6, créant une « attente positive des salariés », un « intérêt des salariés pour le processus à un moment où ils se questionnent sur leur travail. »

Par contre, la difficulté de positionnement des cadres de direction (x3) est vécue comme un frein à l’engagement. Il est également fait état de blocages de la part du conseil d’administration, d’une faible mobilisation des administrateurs, de la « mise en évidence de la faiblesse de la fonction associative » qui marque un manque de volonté (x2). Il semble parfois délicat de mobiliser les équipes (x4), particulièrement dans un service de milieu ouvert.

Une volonté timide des partenaires…

Les items traitant du partenariat (x9) sont tous situés par les enquêtés du côté des freins. On regrette la non-implication (x3) des autorités de contrôle et de tarification, leur absence de mobilisation (x2). Il est également indiqué le manque de clarification de la commande publique (x2) et des fonctions des autorités. Une dernière crainte apparaît : « l’utilisation qui sera faite des résultats… »

.7. LE PILOTAGE DE L’EVALUATION INTERNE

Un second groupe se dégage de l’analyse des réponses : les conditions de pilotage de l’évaluation interne (animation, prise en compte des spécificités de terrain, méthodes et critères mobilisables).

L’évaluation sous la conduite du directeur général

La catégorie exclusive des répondants (tous directeurs généraux adhérents du GNDA) explique peut être la valorisation du rôle du Directeur général dans le

6 Une réponse déclare que « 50 % des salariés ont participé à la rédaction du référentiel.»

10

pilotage de l’évaluation. Il n’empêche que c’est bien là un rôle central du cadre dirigeant, l’évaluation constituant un outil privilégié du management.

Deux fois il est précisé que c’est le Directeur général qui promeut la démarche, deux autres fois il est évoqué le tandem Directeur général + Président.

Du côté des difficultés est repéré un relais « trop moyen » des cadres hiérarchiques ainsi qu’un défaut de visée idéologique et stratégique. Certaines associations ont un responsable qualité attaché au siège, d’autres se plaignent de ne pas en avoir. Un cas signale l’«épuisement des équipes après la première évaluation. »

Gérer la diversité des établissements et services

16 items font référence à cette préoccupation : adapter la démarche à la diversité des établissements ou services, des publics et des projets.

C’est donc, assez naturellement, dans le registre négatif que ces questions sont abordées : difficulté à adapter le référentiel aux particularités, difficile acceptation des identités de chaque groupe professionnel, problème de respect des spécificités. C’est donc le risque d’uniformisation, de normalisation (x4) des pratiques. Il y aurait un « hiatus entre l’individualisation des prises en charge et la dimension collective de la vie en établissement. »

L’envahissement des questions méthodologiques

Avec 48 items touchant les problèmes de méthodes, il apparaît que c’est la préoccupation dominante des directeurs généraux engagés dans l’évaluation interne.

Quand ils expliquent la situation de leur association dans la démarche d’évaluation interne, ils témoignent de l’existence de nombreux groupes (x4) qui, selon les cas, concernent les instances de « dirigeance » (Directeur général + Président) avec les Directeurs. Il s’agit aussi de groupes ressources ou de comités de pilotage. La référence citée est une « démarche participative » qui peut aller jusqu’à associer les instances représentatives du personnel.

Les étapes suivies semblent assez variées : les uns parlent d’un approche avec les cadres dans un premier temps (x2), d’autres d’une démarche par tranches selon les établissements (ce qui fait que dans des associations, des services ont terminé la première évaluation alors que d’autres n’ont pas encore débuté). Dans certaines associations, un « établissement franc-tireur » a précédé une généralisation du processus expérimenté (parfois sur plusieurs unités). Le souci est de s’adapter aux établissements (par exemple à des ESAT).

Les directeurs qui évoquent une phase de réflexion parlent de recherche méthodologique, de fixation d’un calendrier, de calage de définitions. Il est procédé au recrutement d’experts.

Les histoires sont plus ou moins longues, plus ou moins récentes (certains sont engagés depuis plus de 5 ans).

Une association témoigne d’une « évaluation croisée » entre établissements (les salariés de l’un évaluant l’établissement voisin et réciproquement).

En fait, c’est surtout en tant que problème que les questions de méthode sont abordées (x7). Certains disent avoir du mal à maîtriser le calendrier, à gérer les

11

priorités, à construire les référentiels (x67). D’autres de méfient « des vendeurs d’outils clef en main » et du « risque d’instrumentalisation. » C’est d’une bonne ingénierie que semblent manquer des associations pour atteindre leur but d’associer l’ensemble des personnels. Ce qui fait le plus difficulté, ce sont des questions de pédagogie, de communication, d’animation d’équipe, de synthèse des travaux, de rigueur.

Il est aussi souhaité un « référentiel simple et clair ». Il existe une peur de « l’usine à gaz », de la rigidité. Comment « évaluer des pratiques » ?

En termes de méthode, il y a des difficultés institutionnelles à interroger les usagers, à les faire participer ou à obtenir des retours des familles sur des questionnaires distribués.

Le besoin de critères stabilisés

Une forte attente est manifestée à l’égard du Conseil National de l'Evaluation Sociale et Médico-Sociale (x6), mais aussi de références de bonnes pratiques dans le domaine de la protection de l’enfance (x2).

Il est attendu des critères clairs permettant de différencier évaluation interne et évaluation externe ainsi que leurs liens (x3). Un outillage théorique (x2) est souhaité.

Certains directeurs généraux s’interrogent : « Savoir si le référentiel qualité de l’association sera validé pour l’évaluation interne » (x2)

Deux réactions illustrent peut-être certains états d’âme de directeurs généraux : L’un déclare « Que le Conseil National de l'Evaluation Sociale et Médico-Sociale arrête de publier des textes !!!!! » un autre note comme objectif « Se soustraire à la loi 2002-2 » …

.8. LA LOGISTIQUE DE L’EVALUATION INTERNE

La question des moyens, en temps et en budgets, est une réelle préoccupation. La formation est également présente.

Un manque cruel de moyens

A part deux associations qui témoignent d’un soutien financier des autorités de tarification ou des fonds d’assurance formation, la plupart des items de ce paragraphe (26 items) sont problématiques.

Le manque de financement de l’évaluation interne est massivement repéré (x21 !) avec des particularités : « difficulté à financer le projet associatif et l’accompagnement des administrateurs » ; « refus de financement des remplacements ». Les moyens prévisionnels sont difficiles à évaluer ainsi que les moyens institutionnels pour garantir la qualité.

Le temps, ce grand absent !

42 items parlent du temps. La majorité parle de « manque de temps » (x36). Indirectement lié au temps disponible, trois réponses évoquent la (sur)charge de travail.

7 Dont une association qui se plaint de l’absence d’un référentiel spécifique aux pratiques thérapeutiques

(CMPP).

12

Le temps, c’est aussi un rapport à la vitesse de conduite du processus : « se hâter lentement » ; « laisser du temps au temps » ; « des points de lenteur » ; « quel est le temps de retour sur investissement du travail éducatif ? Comment l’évaluer ? »

La formation pour accompagner le processus

C’est parfois l’opportunité de l’accueil d’un stagiaire qui met en route l’évaluation. Le plan de formation des associations, parfois sur des échéances pluriannuelles, est un levier majeur de la conduite du processus. La formation peut être ciblée sur des personnes ressource ou concerner l’ensemble des salariés.

Quand la formation n’est pas mobilisée, elle est présentée comme un manque à la bonne conduite de l’évaluation (x58)

.9. DES QUESTIONS DE PRAXIS

Par praxis, nous entendons l’ensemble des actes de conduite du changement dans les associations, sous l’impact de l’évaluation interne. En effet, les phénomènes de compréhension, d’appropriation déterminent la réussite de l’opération. Les effets d’amélioration de l’organisation, des prestations, des processus de travail sont très présents dans les réponses à l’enquête.

L’appropriation du principe d’évaluation

« Principe inévitable », l’évaluation doit entrer dans les mœurs. Les équipes doivent s’approprier l’évaluation (x5), la comprendre (x3). Pour cela, il faut clarifier les concepts, appréhender « les décalages entre la réalité et les objectifs », bref, conduire une « réflexion de fond » qui mène à « l’acceptation puis à la volonté du processus » permettant également une « meilleure lisibilité pour les usagers » qui sont directement concernés par cette appropriation.

Ce qui manque, c’est « la mise en perspective de l’évaluation ».

L’évaluation pour améliorer l’organisation

19 items font un lien entre évaluation interne et qualité de l’organisation. Les point d’avancée signalent l’amélioration de l’organisation (x4) ou du fonctionnement (x2), y compris du fonctionnement entre établissements et entre établissements et siège. L’évaluation permet la « concrétisation d’objectifs d’amélioration », « la diffusion des outils de la loi 2002-2 », une « régulation enclenchée à partir de bilans », la « clarification de la gestion des ressources humaines », ou encore « l’amélioration des relations avec les instances extérieures. » Un suivi des actions est engagé, des plans d’action sont prévus (x2).

Mais l’évaluation est parfois le « révélateur de disfonctionnements. »

La qualité des prestations

Le bénéfice de l’usager et des prestations qui lui sont offertes est un effet constaté de l’évaluation interne (x3), mais aussi l’amélioration de sa place (x4), qui peut passer par une prise de conscience des professionnels. L’évaluation facilite la prise en compte de la demande des usagers, de la connaissance des situations. Une

8 Dont deux concernent la formation des cadres.

13

réponse témoigne de l’effet sur la qualité du projet individuel qui résulte de la combinaison « AFAQ + EVACLIQ ».

L’évaluation amène aussi des interrogations sur la « pertinence » des prestations délivrées. Certains s’interrogent donc à propos des effets sur la qualité des prestations.

L’évaluation pour interroger les processus professionnels

L’évaluation porte sur l’analyse des « processus professionnels » impliquant des « précisions » (fiches de poste, classeurs qualité, procédures) qui représentent une « professionnalisation des postures ». L’enjeu, c’est un « début de prise de conscience de la nécessité de passer du discours aux pratiques », de « formaliser les pratiques » (x3), « d’optimiser les processus », de développer une « rigueur méthodologique » (x2). Cette démarche correspond à la création de traces : « écriture des processus » ; « construction d’un référentiel de pratiques » ; « formalisation des étapes ». Les pratiques9 sont « interrogées » (x2), « questionnées », « requestionnées » ; « ajustées », « clarifiées », « mises en débat », « remises en cause » (x2), « rendues lisibles ». Certains présentent cela comme un risque, d’autres comme une avancée …

L’évaluation permet le « repérage des disfonctionnements et des corrections », la « révision du projet de travail », une « analyse partagée », « une interrogation des savoirs-faire et des habitudes » (x2). Certains présentent cela comme un risque, d’autres comme une avancée …

L’évaluation, enfin, c’est « la remise en cause de la vision hiérarchique pyramidale », « la remise en cause des pouvoirs et des savoirs (modes de management de certains) » (x2).

L’un des enquêtés indique que l’évaluation a interrogé la place des syndicats, un autre se demande si cela représente un gain pour les salariés.

La valorisation par l’évaluation

6 items abordent la mise en valeur provoquée par l’évaluation. Valorisation des projets d’établissement (x4) : revitalisation ; Valorisation des pratiques (x2).

.10. LES REPRESENTATIONS EN JEU

Dernier groupe d’items résultant de l’analyse des contenus, les représentations qui circulent autour de l’évaluation semblent déterminer la levée, ou non, des blocages qu’elle peut provoquer – au moins dans un premier temps de la démarche. La plus ou moins grande intégration de l’évaluation dans l’organisation et dans la culture d’entreprise et sa prise en compte collective sont des éléments qui conditionnent les niveaux de résistance et les blocages.

Contre l’évaluation : résistances, peurs et blocages

La résistance au changement (x910) est présentée comme plutôt normale. L’évaluation provoque des crispations sur des « avantages acquis ». Il y a une

9 Le terme « pratiques » est utilisé une quinzaine de fois…

10 Dont deux enquêtes qui parlent de la résistance des « psy ».

14

difficulté à approcher les enjeux de la démarche11 : « des salariés qui n’intègrent pas la démarche. »

L’évaluation peut être perçue comme un contrôle des pratiques (x5), et présenter un risque pour la déontologie12. La crainte est que l’évaluation interne devienne un système d’évaluation individuelle. Il y a des peurs, des craintes, des appréhensions13, la « crainte de la remise en cause ». C’est une « obligation imposée par les financeurs ». Il y a une « difficulté à objectiver », il reste « une part non-objectivable du travail » dont l’évaluation ne peut rendre compte. Une « mystification du terme “évaluation” » et des « préjugés sur un modèle uniforme » provoquent « une crainte d’appauvrissement. » Il y a une « suspicion » qui rend difficile « l’acquisition d’une culture de l’évaluation » (x3)

« L’habitude » peut être un obstacle à l’évaluation interne, ainsi que « l’histoire » et les « relations interpersonnelles ». Une réponse évoque « la faiblesse des qualifications » comme frein à l’évaluation. De manière plus habituelle sont également abordés « le risque bureaucratique » (x2), la résistance des « instances administratives » et « la lourdeur administrative des procédures qui occulte les intérêts réels. »

Pour l’évaluation : Intégration et appropriation culturelle

De nombreux items reprennent quasiment les mêmes thématiques en les inversant : les blocages font partie du passé, ils ont été dépassés. Ce qui frappe, c’est la coexistence, dans les mêmes questionnaires, de points d’avancée et de points de blocage, démontrant que l’intégration de pratiques évaluatives dans les établissements sont un mixe complexe de résistance et d’adhésion.

« L’évaluation ne fait plus peur » (x2), éveille « moins de résistance des équipes » (x2), « n’est plus un sujet tabou » : « On peut en parler », il y a « dédramatisation », « début d’évolution des mentalités », « levée des résistances », « intégration culturelle progressive », « satisfaction collective », voire même « sérénité » !

Par rapport à l’organisation, il est constaté un « intégration naturelle » de l’évaluation comme « démarche constante ou permanente » (x2), comme « processus intégré », comme un élément de la « culture d’entreprise ». Bien sur, il est pointé par les directeurs généraux que cela n’est pas tout simple. L’évaluation se heurte à une « culture de l’oral » (x2) qui provoque une difficulté à « se mettre d’accord sur un vocabulaire commun ». Il n’est jamais simple d’«accompagner un changement de culture », d’intégrer « la dimension culturelle de l’évaluation interne » qui se heurte à la « culture du secteur ». L’enjeu, pour l’un des directeurs est la « compréhension globale de l’assurance qualité + la démarche de projet + l’amélioration continue de la qualité. »

Cette acculturation des pratiques d’évaluation passe par une dimension collective. Certains pointent une « prise de conscience collective » (x2), une « construction collective », un « partage d’expériences », la « confrontation d’idées », autant d’éléments qui créent un « sentiment d’appartenance renforcé », un « esprit de service ».

11

Ce thème a déjà été évoqué dans d’autres paragraphes. 12

Ce point est évoqué pour les médecins dans le contexte des CMPP. 13

Un cas cite la remise en cause du formateur par l’équipe comme facteur de blocage de la démarche.

15

.11. COMMENTAIRES

L’enquête s’achevait par la possibilité de laisser un « commentaire ». Ce sont ces expressions qui sont reproduites ci-dessous, sans commentaire. Nous avons conservé aux textes leur aspect spontané et non rédigé. Les titres et regroupements visent modestement à faciliter la lecture …

Pessimiste ?

« L’exigence administrative tend à prendre le pas sur l’intérêt des remises en cause »

Y-a-t-il un pilote dans l’avion ?

« Démarche d’évaluation = démarche participative reposant sur les projets d’établissement et sur l’implication des cadres de direction et des administrateurs qui ont désigné un directeur de CAT pour piloter le processus. »

Il y a un début à tout !

« Nous n’en sommes qu’au début de la démarche »

Evaluation participative …

« Nous nous engageons dans une démarche d’évaluation interne très participative après une démarche associative qui nous a imposé certains choix »

A propos de méthodes : les trucs et astuces …

…ou pourquoi ne pas s’inspirer des bonnes idées ?

« Nous avons terminé depuis bientôt 2 ans la phase historique « Dans quelle histoire singulière et collective chaque établissement est engagé » La phase suivante est en cours « Comment appréhender l’écart entre les commandes sociales et la production de chaque établissement » = mesure des énoncés – élaboration de ce qui est fait, etc. »

« Un établissement créé en 2001 pratique annuellement l’évaluation interne avec un intervenant extérieur. Ce n’est pas inscrit dans un cadre de type qualité, accréditation … mais donne lieu à un document complet et annuel »

« Début septembre nous aurons terminé le projet de référentiel que l’on testera sur trois structures avec renvoi régulier sur le groupe de travail »

« Nous en sommes à la première étape avec la construction du référentiel des bonnes pratiques. Les cadres trouvent satisfaction à se retrouver pour évoquer leurs pratiques. La question de relais auprès de leurs équipes reste à travailler »

« Nous pensons être sur la bonne voie, nous avons fait un rétro-planning qui est soutenu par les parties prenantes de l’association, donc à moins d’événements imprévus, nous devrions être en mesure de le respecter et de fait de respecter les échéances réglementaires »

« Elaboration d’un outil par le conseil général, mais liste des items utiles en interne – dépasser la stricte vérification de la conformité (vers une démarche qualité). La méthode choisie (réflexion interne – élaboration d’un outil) nous a semblé la plus appropriée pour obtenir l’adhésion des différents acteurs. Mais il est trop tôt pour dire si cela est le bon choix ! A suivre… »

16

Tout cela a-t-il un sens ?

« L’obligation d’évaluer est plus ou moins acceptée même s’il n’y a pas de refus de participer. Réticences du fait du manque de temps, d’une démarche « en plus ». Une phase préparatoire est indispensable pour sensibiliser les différents acteurs aux enjeux et dépasser les craintes d’une normalisation. Dans le même sens, il faut situer l’action à l’échelle pluriannuelle, un temps que les acteurs n’ont pas l’habitude de manier. L’effet positif observé aujourd’hui est l’ouverture d’un débat sur les pratiques. Cette dynamique est à souligner comme élément fédérateur à l’échelle des équipes. Question : l’évaluation, notion pour le moins délicate à cerner dans un secteur aussi polymorphe que celui fixé par la loi 2002-2, sera-t-elle un axe sur lequel fonder un nouveau rapport au sens des actions engagées. Le sens, l’éthique d’un engagement à caractère humain dans un mouvement général régulé par l’abondance du juridique seront-ils épargnés par le risque d’une conception normative de l’évaluation ? »

Peut-on gérer la complexité ?

« Ne pas vouloir être exhaustif, privilégier des axes et travailler la transférabilité. »

« Nous attendons le guide du Cnesms pour prendre ce qui nous intéresse et mettre en place un dispositif d’évaluation simple et réaliste »

« 1) Le retard du délai d’échéance a été dommageable à la dynamique que l’on nous a demandé de soutenir (=> maintien délai initial) – 2) Nous avons adressé à tous nos partenaires (DDASS, CG) les résultats de notre première évaluation interne de tous les établissements au 31/12/06 : nous n’avons eu aucun retour – 3) La RTT ne permet pas d’organiser à moyens constants un travail sérieux : l’aide d’un consultant externe est donc incontournable pour formaliser – 4) La valorisation du travail des personnels surtout éducatifs mise en évidence par la demande d’évaluation interne contribue à redonner de l’énergie au projet associatif – 5) Nos deux ESAT sont certifiés ISO, le siège social vient d’obtenir l’ISO 9001 v2000 pour ses processus de fonctionnement, animation, coordination et contrôle. »

Du global dans le local : (et pas dans le bocal !)

« Il faut envisager l’évaluation comme un outil d’une démarche plus globale qui est l’amélioration continue de la qualité et le temps est ici nécessaire pour que la démarche, ni trop courte, ni trop longue, prenne réellement toute sa signification pour les équipes. (…) Le groupe, interrogé dans ses habitudes et ses pratiques a de réelles difficultés à imaginer autre chose. Il va alors nous apparaître que la formation et l’embauche externe doivent être des outils de notre stratégie d’amélioration continue de la qualité. »

« L'évaluation interne est un chantier ambitieux, mais indispensable parce que intrinsèque à la démarche de projet dans laquelle l'association est engagée. A terme, le chantier de l'évaluation, la gestion prévisionnelle des ressources humaines et le management par les compétences, notamment, vont nécessiter des appuis techniques et logistiques nouveaux auprès des directions (dont celle de la DG). L'organisation associative et la répartition du temps affecté aux prises en charge (service direct à l'usager) et l'ingénierie et logistique globale de ce service à l'usager va devoir varier. La question du financement va devenir incontournable. »

17

Courir après le temps, c’est déjà courir après quelque chose …

« Nous avons pratiquement terminé une première évaluation mais le chemin à parcourir reste long et difficile … il faut laisser du temps au temps. »

« Du temps pris par la mise en œuvre du décret d’octobre 2003 »

« Il faut du temps pour que le processus soit de plus en plus ancré dans les réalités quotidiennes des services »

« Il serait judicieux de refaire un point à deux ans pour pointer les évolutions »

L’évaluation c’est de la dynamique ! (et pas de la dynamite !)

« Dynamique associative et institutionnelle intéressante, en train de se construire. Richesse partagée, qui dépasse l’évaluation, en constituant une identité associative partagée, une culture commune inter-établissement. »

« Réussir à mobiliser autour de l’évaluation est un enjeu essentiel d’avenir quant à la qualité de nos prestations vis-à-vis des usagers »

A propos de l’articulation entre évaluations interne et externe :

« Nous travaillons actuellement sur les évaluations externes avec des bénévoles du secteur ces évaluations externes sont très attendues par les équipes et représentent la concrétisation de plusieurs mois de travail. Les évaluations internes et externes sont présentées au Conseil d’administration par le directeur avec le référent qualité et le comité de pilotage. »

« Démarche qualité engagée depuis un certain temps sans lien sur l’évaluation interne. Quel en sera le suivi dans le temps ? »

Ami entends-tu le vol noir des évaluateurs sur nos plaines ?

Quand on parle de résistance …

« La mise en place de la démarche d’évaluation interne, un peu longue, a suscité de nombreuses questions et réticences. L’intervention en finesse du consultant a permis l’avancement des travaux, chaque établissement ou service n’étant pas au même niveau. Au cours du 1er semestre 2007, tous les établissements et services devraient avoir réalisé une première évaluation interne. Il est à noter qu’aucun travail en commun au niveau du groupe des directeurs n’avait été réalisé en amont de l’intervention du consultant. »

« Les professionnels ont été fortement échaudés par l’application des outils de la loi 2002-2 qui ne correspondait en rien à leur pratique (contrat de séjour, DIPC, règlement de fonctionnement …). Donc aujourd’hui très méfiants sur la continuité d’application des décrets de cette loi. La méconnaissance du législateur et des autres professionnels associatifs de la pratique originale et à la marge du sanitaire dans les CMPP ne font que renforcer cette méfiance. »

A propos de cohérence :

« Occasion privilégiée de lier : lois, réglementations / projet associatif / projets d’établissements dans une démarche interne partagée aussi avec les usagers et leurs familles en référence à un langage commun respectueux des identités propres des différents acteurs. »

« On démarre juste … Mais sur une logique pour nous cohérente : 1) réécriture du projet associatif ; 2) analyse de risque(s) ; 3) Approche qualité à partir

18

de cette analyse ; 4) Evaluation des progrès accomplis. Bien entendu, si nécessaire, nous compléterons par une évaluation « normative » … « pour répondre à la commande »… »

« La démarche qualité est indispensable pour faire avancer l’intérêt de tous les acteurs internes et externes de notre association. Elle reste difficile en l’absence d’un véritable cadre négocié avec les autorités de contrôle et de tarification. »

« - Démarche participative engagée (management par la qualité) ; - risque de se perdre en route (ça peut être long et fastidieux) ; - Eviter le danger de passer plus de temps à dire ce que l’on fait qu’à le faire ; - Démarche indispensable généralisée d’amélioration de la qualité si les outils sont construits par les professionnels qui se les approprient. »

On ne sait plus à quel référentiel se vouer !

« Le référentiel qualité de l’association est un document précieux, utile pour le Directeur général les directeurs et les salariés. Il a permis un travail de réflexion au niveau des salariés mais aussi des administrateurs. »

« Notre association compte deux ESAT et une EA où est pratiquée la méthode AFAQ Qualité et sur l’ensemble des autres établissements et services, la méthode d’évaluation clinique de Mme Favart que l’on appelle EVACLIQ est pratiquée. Elle concerne les usagers, leur devenir et la qualité de leur projet individuel, mais elle recouvre également l’organisation et la qualité des prestations des salariés. Elle implique des groupes de travail de toutes catégories professionnelles dans les divers Ets et services. D’autre part, l’entretien annuel se met progressivement en place pour l’ensemble des salariés et il doit permettre de déterminer en un commun accord un certain nombre d’objectifs professionnels pour les années à venir du salarié ainsi que les engagements pris par la direction vis-à-vis des personnes. »

« Nous souhaitons que notre référentiel élaboré en équipe en 2005 puisse être reconnu par les autorités de contrôle car cela participe à la motivation des équipes »

L’évaluation est-elle soluble dans le management ?

« Notre association est entrée dans la démarche évaluation interne, une suite logique à la démarche qualité qui stagnait… C’est une opportunité pour les associations, établissements et services, pour continuer à améliorer la pertinence de nos actions à tous les niveaux… Nous sommes dans une dimension managériale… »

« La démarche qualité est difficile à mettre en œuvre dans une association qui présente de part son histoire de nombreux dysfonctionnements. On constate actuellement une évolution rapide des réglementations (droit du travail, droit de l’action sociale, hygiène et sécurité…) Il est de plus en plus difficile de suivre et de se mettre à jour en terme de connaissance. On ne peut plus passer de temps pour expliquer ce qui crée un écart grandissant entre les salariés et leurs dirigeants. Il est donc difficile à un directeur général d’une association de taille moyenne (200 salariés) de gérer la démarche qualité sans aide soit extérieure (consultant) soit interne (chargé de qualité). Dans tous les cas, le Directeur Général doit déléguer un aspect essentiel de sa mission. »

« Choix de puiser dans le savoir et l’expérience des professionnels pour la rédaction des référentiels, de laisser s’exprimer les singularités, les modes d’expression et l’originalité des services. Cela renforce l’appropriation par les

19

professionnels de la logique d’évaluation. Mais cela alourdit le travail de réflexion, les risques de décalage dans la production des services. Cela oblige les directeurs de services à un important travail de guidage des équipes : auto-diagnostic, choix des recommandations, rédaction des référentiels en recherchant constamment le consensus des professionnels sur le choix des bonnes pratiques. Cela fait beaucoup mais la qualité a un prix. »

Les moyens, moins on en a plus on en manque !

« Je ne vois pas comment je vais pouvoir faire avancer ces projets devant le refus absolu, depuis 4 ans, de mettre les moyens financiers en face de cette obligation légale. Il y a là une quadrature du cercle que je ne sais pas dénouer. »

« La pertinence et la nécessité de l’évaluation sont paradoxalement plus évidentes dans les petites associations qui doivent faire valoir leur originalité de projet et sont difficiles à mettre en œuvre concrètement faute de moyens »

Conclusion ?

« On y va, vaille que vaille ! »

_____________

La commission évaluation du GNDA

Dépouillement : Raphaël et Roland

Analyse et rédaction : Roland JANVIER

Rennes, septembre 2006

20

ANNEXE 1 : Précisions de méthode

1. Tous les questionnaires reçus ont été anonymés avant traitement.

2. Les questions fermées ont été comptées manuellement.

3. Les textes ont été reproduits en simplifiant certaines expressions afin de permettre les regroupements par items.

4. Les items des questions ouvertes n’ont été comptabilisés qu’une fois, ils ont été répartis en fonction de thèmes sélectionnés préalablement. Les thèmes ont été construits par associations spontanée entre les items.

5. Les commentaires en fin d’enquête ont été retranscrits le plus fidèlement possible en conservant le style spontané de l’écriture. Les items qu’ils contiennent n’ont pas été comptabilisés dans les « questions ouvertes » des paragraphes précédents.

6. Les données numériques n’ont, dans l’ensemble, pas été ramenées à des pourcentages du fait que la totalité des questionnaires traités est inférieure à 100 unités.

21

ANNEXE 2 : Questionnaire de l’enquête

L’Evaluation, des concepts aux mises en oeuvre ENQUÊTE NATIONALE

.1. OU EN EST VOTRE ASSOCIATION AVEC L’EVALUATION INTERNE ?

• Dans votre association la démarche d’évaluation interne est : Pas du tout engagée En réflexion En phase préparatoire En expérimentation En cours Déjà réalisée

• Votre évaluation interne s’inscrit-elle (ou envisage-t-elle de s’inscrire) dans une approche de type14 :

Démarche qualité (AFAQ, ISO, Afnor …) Démarche d’accréditation Démarche de certification Amélioration de la qualité (non référencée à une démarche normée) Autre :

• Quels niveaux de votre organisation ont été et/ou sont actuellement engagés concrètement dans une démarche d’évaluation interne ? (mise en œuvre ou préparation) (plusieurs réponses possibles)

Les instances associatives (CA, bureau…) Le siège La direction générale Tous les établissements et services de l’association Quelques établissements ou services de l’association Un seul établissement ou service Aucune instance, établissement ou service

• Comment expliquez-vous cette situation ? : .2. A PROPOS DES METHODES

• Avez-vous choisi (ou envisagez-vous de choisir) ? Un référentiel unique pour l’association Plusieurs référentiels

• Quels référentiels d’évaluation utilisez-vous ? (plusieurs réponses possibles) Un référentiel auto-construit Un référentiel construit avec un consultant Un référentiel vendu par un consultant / Lequel ? Un référentiel vendu par un organisme / Lequel ? Autre / Préciser :

• Avez-vous fait appel à un consultant ? Oui Non / Pour quelles raisons ?

14

Pour les définitions de ces termes, Cf. les deux notes d’orientation du Conseil National de l'Evaluation Sociale

et Médico-Sociale.

22

• Sous quelle forme ? Formation Aide méthodologique Conduite du processus

.3. A PROPOS DES MOYENS

• Avez-vous dégagé un budget en autofinancement pour l’évaluation interne ?

Oui Non / Combien ? (± % budget global)

• Avez-vous obtenu un financement externe ou une dotation budgétaire ?

Oui Non / Combien ? (± % budget global) Auprès de quel(s) organisme(s) ?

• Avez-vous obtenu un financement de formation ?

Oui Non / Combien ? (± % budget global) Auprès de quel(s) organisme(s) ? .4. A PROPOS DES ACTEURS

• Quels sont les acteurs impliqués dans la démarche ? Des administrateurs Des cadres de direction Des cadres techniques/ Lesquels ? Des professionnels des équipes / Lesquels ? Des usagers / Des familles d’usagers Des personnes extérieures (hors consultant)

(pour chacune de ces catégories) Lesquelles ? Niveau d’investissement constaté / Faible / Moyen / Fort

Autres / Qui ? .5. A PROPOS DES EFFETS DE L’EVALUATION

• Où que vous en soyez dans la démarche, repérez-vous des points d’avancée, de changement ?

Oui Non Lesquels ?

• Où que vous en soyez dans la démarche, repérez-vous des points de blocage, de fixation ?

Oui Non Lesquels ?

• Qu’est-ce qui, d’après vous, fait le plus difficulté et demanderait à être travaillé ? (facteurs internes et facteurs externes)

• Qu’est-ce qui vous manque aujourd’hui pour conduire à bien l’évaluation interne ?

.6. COMMENTAIRES