La démarche d'évaluation à l'I.R.D.P.Q.

Sylvie Dubé, Lucie Turcotte, Marie-France Allen

Colloque de la SPEQ, Octobre 2004

Plan de la communication

1. Brève présentation de l’organisation

2. Historique de la démarche

3. Objectifs et attentes de l’organisation

4. Description du processus

5. Activités réalisées et leurs utilités

6. Constats

7. Reddition de comptes

8. Vers le futur…

Brève présentation de l’Institut de Réadaptation en Déficience Physique de Québec (IRDPQ)

Institut universitaire (I.U.)

Mission clinique

L’IRDPQ est un centre universitaire d’adaptation, de réadaptation et de soutien à l’intégration sociale offrant des services à des personnes de tout âge ayant une déficience auditive, motrice, neurologique , visuelle, de la parole ou la langage. Il offre aussi des services d’accompagnement et de soutien à l’entourage.

Mission universitaire

L’IRDPQ est un institut universitaire provincial en réadaptation. Sa reconnaissance est basée sur ses domaines d’excellence : des services de pointe ultraspécialisés en réadaptation, l’originalité de l’organisation clinique par programmes et des moyens assurant la qualité de l’évaluation, de l’enseignement et de la recherche

Informations générales

L’IRDPQ est issu de la fusion de 4 centres de réadaptation de la région de Québec

Les services sont offerts sur 3 sites, à 2 points de service, soit Portneuf et Charlevoix

L’IRDPQ compte 22 unités administratives pour 37 programmes cliniques

L’IRDPQ agit avec plus de 400 partenaires L’IRDPQ compte 1300 employés

Organigramme

Directeur des ressources

financières et informationnelles

Directeur des

programmes d’aides

techniques et des

ressources matérielles

et techniques

Directeur des

ressources humaines

Directeur des services

à la clientèle

des enfants adolescents

Directeur des services

aux clientèles

des adultes et des aînés

Directeur des services

professionnels

Directeur de l’enseignement et du soutien scientifique

Directeur du Centre

interdisciplinaire de recherche en réadaptation et

intégration sociale (CIRRIS)

Conseil d’administration

Adjoint au directeur général et directeur au développement de la

qualité

Directeur général

Directeur adjoint et directeur des services

aux clientèles

3 unités 7 unités 11 unités Evaluation

Mandats légaux

Amélioration continue des services (loi sur la santé et les services sociaux)

Évaluation des programmes Dossiers organisationnels Dossiers partenariats

Évaluation des nouvelles aides techniques (I.U.)

Évaluation des nouveaux modes d’intervention et des nouvelles technologies (I.U.)

Historique de la démarche en évaluation de programmes à

l’IRDPQ

Expérience antérieure d’évaluation (vision)

Orientation innovatrice de l’organisation (1997- 1998)

Plan d’actions pour l’évaluation des programmes cliniques(1998)

Ressources internes dédiées et formées

Conseillères en évaluation

Techniciens en recherche, enquête et sondage

Politique d’évaluation des programmes(1998- 1999) incluant les mécanismes de coordination et de concertation

Historique de la démarche d’évaluation de programmes

Objectifs et attentes de l’organisation

Évaluationdes programmes cliniques

Tous les programmes auront débuté un processus d’évaluation continue en 2005

Objectif

Attentes

Rédaction/révision des programmes Élaboration de programmes Programmes cliniques de qualité Solutions à plusieurs problèmes rencontrés

dans les programmes Évaluation de l’efficacité des programmes en

terme d’atteinte des objectifs ciblés Amélioration de la performance de

l’établissement grâce à l’évaluation

Fonctions principales de l’évaluation à l’IRDPQ

Fournir les informations nécessaires à la prise de décisions d’un point de vue :

Micro (programme) Méso (chefs, directeurs et autres instances

décisionnels de l’IRDPQ)

Macro (Agence de développement , MSSS,

AERDPQ, SAAQ, CSST, etc.)

Description du processus d’évaluation de programmes à

l’IRDPQ

Pour l’amélioration de la qualité de services

Balises du processus

Cadre légal

Cadre normatif

Cadre administratif

Cadre scientifique

Approches

Centrée sur l ’utilisation des résultats

Formative

Participative

Theory driven

Processus continu

L’approche n’est pas neutre

Les modèles d’évaluation utilisés sont variés et laissés au choix de la conseillère en évaluation

Par composantes (selon la logique du programme) Selon des qualités prédéterminées Mixtes Selon le stade d’évolution du programme Selon le cycle de l’évaluation

Partage des responsabilités - rôles de l’équipe de direction -

Au niveau de l'établissement:

Est responsable de la politique, de son application et de sa mise à jour

Dépose à chaque année une planification des programmes à évaluer

Au niveau des programmes:

Donne les orientations (préoccupations ou enjeux particuliers avant le début du processus)

Consent les ressources nécessaires Donne à nouveau les orientations suite à la démarche

Rôles du chef de programme

Est responsable de la démarche Doit identifier un comité de programmation et

définir son mandat S’assure de la disponibilité des ressources Voit à la bonne marche des travaux Voit à l’utilisation des résultats Peut contribuer à la diffusion des résultats Contribue activement à la démarche et à son

appréciation

Rôles des ressources en évaluation

Assurent un soutien conseil au chef de programme et à l'équipe de travail pour la planification de la démarche d’élaboration et d’évaluation du programme

Assurent le soutien méthodologique nécessaire à la réalisation des activités d’élaboration et d’évaluation du programme

Peuvent contribuer à la diffusion des résultats

Comité de programmation

Lien entre la discipline et le comité(faire les suivis)

Lien avec le comité des usagers ou une association s’il y a lieu

Préparation et participation active aux rencontres

Collaboration à la rédaction Lecture de documents légaux, scientifiques et

de documents du programme Peut collaborer à des études de dossiers

Comité de programmation (suite)

Collabore à l ’analyse de toutes les données

Peut contribuer à la diffusion des résultats

Facilite l’appropriation des résultats

Facilite l’implantation des changements

Met à jour la programmation

Initiation de la démarche dans un programme

Rencontre avec le gestionnaire du programme

Présentation de la démarche à l’ensemble des membres du programme (power point)

Exemples d’utilités Lien avec d’autres programmes en évaluation Autodiagnostics Retour sur les diagnostics à l’ensemble des

membres Identification du comité de programmation

Autodiagnostics des membres du programme

Quelles sont les principales difficultés que

vous percevez au sein du programme ?

Quelles sont vos principales attentes?

Quelles sont vos principales craintes ?

Quelles sont les forces vives du programme?

Investissement

Pourquoi croyez-vous qu’il faille revoir votre programme ?

Quel investissement personnel êtes-vous prêt à faire pour améliorer votre programme ?

Attitudes (ouverture d ’esprit, rigueur scientifique, confiance, respect du travail, créativité, etc..)

Participation (lectures, rédaction, présences, mises à jour, etc.)

Mise en oeuvre

Rencontre du comité de programmation

Retour sur les diagnostics et le désir d’engagement de l’ensemble des membres

Discussion sur les valeurs et comportements à encourager dans le comité

Élaboration du plan d’action Activités à faire Responsabilités Échéancier Fréquence et durée des rencontres du comité

Bilan de la première rencontre

Rapports d’étape

Un rapport d’étape est fait 2 fois par année Il est élaboré par la conseillère en évaluation

et validé par le gestionnaire du programme (qui peut consulter son comité)

La section sur l’appréciation de la démarche est incluse et est développée par le gestionnaire

Le rapport est envoyé au directeur clinique qui y donne suite par une rencontre avec le gestionnaire et la ressource en évaluation selon les besoins

Contenu du rapport d’étape

Stade d’évolution du programme en évaluation

Activités réalisées Problématiques rencontrées Activités planifiées et échéancier Appréciation du processus par le gestionnaire

(il peut avoir consulter ou non le comité de programmation) et le directeur

Démarche par consensus

L’évaluation du programme permet de prendre, par consensus, des décisions : Sur la clientèle cible Sur ses finalités, en relation avec les besoins de

usagers Sur le cheminement de l’usager L’uniformité des critères d’admission, de refus, de

fin ou suspension d’intervention Son partenariat Sur les rôles et tâches de chacun

Démarche par consensus(suite)

L’évaluation du programme permet de prendre des décisions au niveau de : La formalisation des étapes et des décisions Du choix des outils respectant les qualités de

mesure Du choix des interventions s’appuyant sur les

données probantes et l’approche client Du choix des indicateurs pour la mesure des effets

en lien avec les objectifs s’adressant à la clientèle La participation aux mandats universitaires La participation aux mandats universitaires

Activités réalisées en évaluation de programmes et utilités

reconnues

Étendue de l’évaluation de programmes :

d’avril 1998 à avril 2004

78%72%

82%

65%

0

10

20

30

40

50

60

70

80

90

100

Programmes ousous-

programmes

Chefs deprogramme

Équipes Directions

24/37

%

18/22

28/397/9

Soutien de l’équipe aux programmes

avril 2004

1324

Ayant reçu dusoutienN'ayant pas reçude soutien

Taux de contamination

100% de tous les programmes cliniques ont accès à des données leur permettant de faire un plan d ’action d ’amélioration et le font.

Questionnaire de satisfaction Données informationnelles des systèmes Données de l’évaluation du Conseil Québécois d’Agrément

(CQA) Données des rapports annuels concernant les mandats

universitaires Recommandations des désignations du MSSS Autres

Utilité de l’évaluation des programmes pour l’IRDPQ

Contribuer au plan d’amélioration des services de l’organisation

Soutenir la prise de décision

Lien entre le plan d’évaluation du programme et le plan

d’amélioration continue de la qualité

Recommandations découlant d’évaluations externes et internesPréoccupations de la direction, des intervenants du programme, des partenaires

Plan d’amélioration continue de la qualité :de l'établissement

de la directiondu programme

Plan d’actionÉléments qui doivent

être documentés

Plan d'évaluation Résultats d’évaluation

Utilités de l’évaluation des programmes pour l’IRDPQ

Soutenir la prise de décisions :

Sous l’angle des clientèles

Sous l’angle de l’accessibilité aux services et rentabilité

Aspect légal et administratif

Aspect normatif

Prises de décision ou avantages méso influencées

par l ’évaluation des programmes

Diminution des durées de séjour ou délai d’attente

Réorganisation des services ou des ressources

Amélioration de la connaissance des programmes et de leurs qualités

Amélioration du partenariat interne et externe

Constats

Forces vives généralement reconnues dans les

programmes Les équipes sont composées de cliniciens

expérimentés Les cliniciens ont une très bonne

connaissance de la clientèle Il y a une volonté d’amélioration continue et

un engagement auprès de la clientèle Les cliniciens sont généralement sensibilisés

aux mandats universitaires Il y a un sentiment d’appartenance à

l’établissement

Principales difficultés perçues au sein des programmes

Manque de clarté au niveau de la clientèle cible, de ses besoins, de la mission de participation sociale et peu d’informations colligées au niveau du profil clientèle

Cheminement peu formalisé

Manque de connaissances du contexte, de l’environnement et des données probantes

Peu d'outils cliniques respectant les qualités de mesure

Interdisciplinarité à consolider ou implanter

Partenariat interne et externe à consolider ou implanter

Mesure des effets en lien avec les objectifs du programme absente

Mandats d’enseignement et de recherche pas toujours intégrés

Constats qualité

L’évaluation est un des moyens de développer des programmes de qualité

Pertinence Cohérence Synergie Efficacité Etc..

Constats sur la démarche d’évaluation

Le processus est long Les cliniciens ont besoin de voir certains résultats rapidement

sinon démotivation Il faut acquérir la confiance Il faut donner du temps pour le changement Il faut donner du temps pour l’appropriation Le choix de rédiger les programmes augmente le temps à

consacrer L’évaluation ne doit pas diminuer le rendement du programme

(donc temps est relié aux ressources allouées dans le programme)

L’approche participative conduit à de plus longs échanges Plusieurs activités en même temps = épuisement Les approches choisies obligent gestion participative

Constats(suite)

Il a fallu travailler ++ avec les ressources informationnelles

Personne ressource en évaluation = agent de changement et agent intégrateur à cause de ses compétences transversales

Rôle conseil +++ dans plusieurs dossiers Le nombre de demandes augmente à chaque

année Les gens sont satisfaits du soutien en

évaluation et de ses avantages

Facilitateurs et conditions de réussite

Volonté clairement exprimée de l’administration

Expériences antérieures satisfaisantes

Plan d’action incluant l’allocation de ressources formées

Approche participative : rôles, participation, compréhension

Implantation de mécanismes de communication

Accès à du soutien méthodologique et technique

Présence d’une équipe de chercheurs

La reddition de comptes de l’équipe d’évaluation

Reddition de comptes

Rapports d’étape au moins deux fois par année par programme

Comité de coordination de l’évaluation

Rapport annuel Activités réalisées en lien avec leurs utilités Quantification des heures allouées à chaque programme Conformité avec les priorités annuelles établies Communication au Conseil d’Administration (C.A.) Activités d’évaluation en lien avec les dossiers

organisationnels ou de partenariat Activités de formation continue, de diffusion des

connaissances et de collaboration à la recherche

Vers le futur…

Amélioration des données du système d’information clientèle et accès plus facile aux données administratives et universitaires permettront de débuter le processus plus rapidement

La présence d’agents multiplicateurs permettra à l’équipe de devenir consultante à un niveau supérieur

Diffusion interne et externe à augmenter

Cadre de référence en lien avec les mandats à développer

Reddition de comptes à améliorer en terme de lien avec la performance de chaque programme et de l’établissement

Équipe d’évaluation2003/2004

Marie-France Allen, conseillère

Sylvie Dubé, conseillère et coordonnatrice

Alain Dubois, technicien en recherche, enquête et sondage

Nathalie Dumont, technicienne en recherche, enquête et sondage

Danielle Lévesque, conseillère

Janick Trépanier, technicienne en recherche, enquête et sondage

Lucie Turcotte, conseillère

Nous sommes maintenant prêtes à recevoir questions et commentaires pour une amélioration continue de

la démarche d’évaluation des programmes à l’IRDPQ

MERCI !