CREPUQ - LibQUAL@ McGill / Anastassia khouri / 2005-02-09 1 CREPUQ Atelier de réflexion De nouveaux...

CREPUQ - LibQUAL@ McGill / Anastassia khouri / 2005-02-09

1

CREPUQ Atelier de réflexion

De nouveaux outils de mesure pour les bibliothèques universitaires

LibQUAL+ @ McGillAnastassia Khouri

Coordonnatrice - Données et ressources électroniques

[email protected]://www.library.mcgill.ca/edrs/khouri/conf/libqualCREPUQ.html

Montréal11 Février 2005


2

LibQUAL+ @ McGill

1. Introduction 2. Nos objectifs institutionnels3. Bref historique4. Coordination, organisation & déploiement du

questionnaire WEB5. Compilation, analyse des données et

distribution des résultats & archivage6. Suivis et utilisations administratives

subséquentes7. Perspectives d’avenir


3

IntroductionQu’est-ce que LibQUAL+

LibQUAL+ est un outil Web pour évaluer nos services. Un outil qui nous permet d’identifier les secteurs potentiels d’amélioration en analysant les perceptions de nos usagers.

Un mécanisme coopératif et des protocoles pour l’évaluation des services de bibliothèques.

Un service aux institutions membres de ARL: - Pour recueillir et analyser des données

- Pour offrir de la formation et du support techniques.


4

Nos objectifs institutionnels

1. Utiliser un outil d’évaluation spécifique aux bibliothèques et développé par des experts.

2. Recueillir et analyser systématiquement les ”perceptions“ de nos usagers afin d’améliorer nos services.

3. Comparer nos résultats à ceux des autres institutions nord-américaines.

4. Faciliter le processus de planification stratégique, la conception de nouveaux services répondant aux attentes et besoins des usagers ainsi que l’identification des priorités.


5

Bref historique

Décision administrative de participer à LibQUAL+ en 2000 afin de compléter d’autres outils d’évaluation.

Première participation en 2001. Participation annuelle en 2001, 2002, 2003

et 2004. Multiples difficultés d’organisation interne

lors de la première année.


6

Bref historique (suite)

Processus de gestion & apprentissage technique concomitants en 2001.

Utilisation minimale du rapport généré par ARL en 2001.

Analyse du processus de l’enquête et de gestion interne dès la fin 2001.

Développement de stratégies de gestion pour les enquêtes subséquentes.


7

Organisation administrative

Dès 2002: Consolidation et coordination de la gestion

interne. Nomination d’un contact unique auprès de ARL. Décisions administratives concertées:

- Directrice des bibliothèques, - Comité de gestion des bibliothèques et

- Gestionnaire de l’enquête LibQUAL+, l’analyste de données et le comité de mise en place du site Web.


8

Organisation administrative (suite)

Organisation d’un site Web pour la distribution sélective:» des résultats des données numériques

analysées.» des commentaires des usagers.

Site Web toujours en développement http://www.library.mcgill.ca/LibQUAL/


9

Calendrier

- Nov.: Décision de participation.- Déc.: Stratégie d’échantillonnage.- Janv.: Commande de l’échantillon

. Vérification du contenu . Élimination des doublons et autres

- Fév.: Déploiement une semaine après la semaine de lecture et suivi.


10

Calendrier (Suite)

- Mars/Avril: Fermeture de l’enquête.- Mai–Juin: Analyse des données par ARL.- Juin–Août: Analyse des données par McGill.- Sept.-Oct: Rédaction des rapports.- Nov./Janv.: Rencontre des divers groupes et distribution des rapports.


11

Stratégies d’échantillonnage

2001 Échantillon n=3769, Taux de rép. 18%





12

Échantillon par catégorie & par année

CatégorieNombre en

2001Nombre en

2002Nombre en

2003Nombre en

2004

Étudiants1er Cycle 1795 1800 3620 4100

Étudiants2e/3e Cycles 1137 1200 1480 1500

Professeurs 837 2333** 823 507

TOTAL 3769 5333 5923 6107

** Totalité des professeurs (temps plein)


13

Nombre de répondants par catégorie & par année

Catégories 2001 % 2002 % 2003 % 2004 %

Étudiants 1er Cycle

250 14 109 6 369 10 330 8

Étudiants2e/3e Cycles

249 22 112 9 243 16 220 15

Professeurs 154 18 188 8 133 16 220 15

Personnelbibliothèques

8 1 - - - - - -

Autre personnel 2 4 - - - - - -

TOTAL 663 18 414 8 745 13 617 10


14

Remarques sur les tableaux des échantillons et du taux de réponses 2002

En 2002, la chute du taux de réponses de 18 à 8 % est due à une difficulté technique de connexion lors des 2 premières journées. Les répondants avaient accès aux 3 dernières questions seulement.

- Ajustement administratif nécessaire.- Support technique immédiat de ARL.

En 2002, l’invitation de participation à l’enquête a été envoyée délibérément à tous les professeurs à temps plein (n=2333). Malgré, les difficultés techniques, c’était le plus haut taux de participation à ce jour (n=188, 8%).


15

Remarques sur les tableaux des échantillons et du taux de réponses

2004

En 2004, malgré l’augmentation intentionnelle de l’échantillon de 500 étudiants de 1er cycle,nous constatons qu’un plus petit nombre a participé comparativement à 2003

- (2003: n=3620, rép. = 369, 10%) - (2004: n=4100, rép. = 330, 8%)


16

Remarques sur les tableaux des échantillons et du taux de réponses

2004 (suite)

La baisse du taux de répondants de la catégorie « professeurs » a changé l’équilibre des résultats. Les années précédentes ce sont les étudiants du 1er cycle qui avaient les taux de «perception » les plus bas.

En 2004, ce sont les professeurs qui ont le taux le plus bas au niveau des «perceptions ». En fait, considérant les professeurs comme catégorie, ils classent les services en dessous des minima de leurs attentes.


17

Le questionnaire

22 questions dédiées à la qualité des services offerts sur 3 dimensions:

- Qualité de service (Affect of Service) - Bibliothèque comme espace de service

(Library as a place) - Accès à l’information (Information Control)

5 questions locales choisies parmi une série de questions offertes par ARL.

Questions d’éléments démographiques et d’usage. Commentaires du répondant.


18

Questionnaire LibQUAL+

Évolution du contenu du questionnaire:

2001: 56 questions 2002: 25 questions 2003: 25 questions 2004: 22 questions + 5 questions locales*

*(les questions locales sont choisies à partir d’une liste de questions fournies par ARL)


19

Déploiement de l’enquête LibQUAL+

Processus de marketing sur le campus- Article dans les journaux universitaires

- Annonce sur le site Web de l’Université et des Bibliothèques

Ouverture de l’enquête- Lettre d’invitation de la directrice des bibliothèques envoyée aux répondants (échantillon) avec l’accès Web

- Rappel envoyé


20

Déploiement de l’enquête LibQUAL+ (Suite)

- Suivi technique essentiel

- Répondre aux questions des répondants.

- Fermeture de l’enquête. Disponibilité immédiate des commentaires

des répondants.


21

Données et information reçues

Nous recevons de ARL

1. Les résultats spécifiques de McGill – Rapport (PDF)

2. Les résultats globaux des participants à LibQUAL+ - Rapport (PDF)

3. Données brutes pour l’institution en format (.xls)

4. Commentaires des usagers en format (.txt et .xls)

5. Données en format SPSS pour nous permettre d’effectuer des analyses plus pointues.


22

Données et information reçues (Suite)

6. Des normes pour faciliter l’interprétation des scores de perception.

7. Accès contrôlé - par mot de passe disponible au contact officiel:

- à tous les rapports des participants (PDF)- à un environnement Web

”Interactive Statistics “ avec des possibilités de créer et de visualiser des tableaux et des

graphiques de l’enquête par année.


23

Réception des données

Réception des données en format - Excel et SPSS.

Réception des commentaires en format - Texte et Excel.

Archivage systématique des données brutes et des résultats d’analyse sur nos serveurs.


24

Sous-produits d’analyse

Préparation d’une série de rapports d’analyse supplémentaires.

Distribution à des groupes ciblés: Comité de gestion des bibliothèques (SMG). Responsables de bibliothèques et les Comités

consultatifs respectifs. Comité consultatif du Sénat.

Tableaux et information disponibles à partir du site Web.


25

Les 5 questions qui ont reçu le plus haut score de «désirabilité»

2001-2004

QUESTIONS

2004 2003 2002 2001

McGill

ARL McGill ARL McGill ARL McGill

ARL

Complete run of journal titles/Print and/or e-journals I need

1 2 1 5 8 10 6 17

Making electronic resources available from home or office 2 1 2 1 1 1* 3 3

Easy to use tools that enable me to find things on my own 3 6 4 4 3 4 10 7

The electronic information resources that I need 4 5 5 3 n/a n/a n/a n/a

A library website enabling me to locate information on my own 5 3 3 2 4 1* 2 2

* Égalité de score (Score tie)


26

Spécimen de résultats d’analyse en 2004


27

Spécimen de résultats d’analyse en 2004


28

Choisir les 5 questions locales

Nécessité de bien choisir les questions. Possibilité de valider des questions incluses

dans la série de 22 questions de base. Aucune comparaison avec d’autres

institutions. Peut répondre à des préoccupations locales.


29

Résultats d’analyse & stratégies de distribution et d’accès

Distribution sélective des résultats par le WEB.

Distribution complète des résultats au comité de gestion des bibliothèques (SMG).

Distribution sélective des résultats aux différents comités consultatifs.

Compilation sur demande et utilisation restreinte de tableaux comparatifs des données de McGill et d’autres institutions.


30

Résultats d’analyse & stratégies de distribution et d’accès (suite)

Destruction systématique des brouillons et des compilations test ou comparatives.

Archivage systématique sur nos serveurs des données brutes et des données analysées.

Archivage systématique de toutes les versions de rapports en formats (.xls, .txt, .dat, .doc, .pdf)

Distribution des rapports électroniques exclusivement en format PDF.


31

Suivis et utilisations administrativessubséquentes

Suivi systématique des rencontres annuelles de LibQUAL+ ainsi que des initiatives de formation.

Sensibiliser et former le personnel à l’interprétation des résultats.

Aider le personnel à accepter les évaluations et dépasser le stade des justifications / de la négation.

Vérification systématique des scores et de leur introduction dans les processus de planification, de conception et d’amélioration des services ainsi que de la prise de décision concertée des priorités.


32

Suivi et utilisations administrativessubséquentes (Suite)

Utiliser les données de LibQUAL+ seules ou en tandem avec d’autres outils disponibles: statistiques annuelles, enquêtes nationales ou institutionnelles.

Vérification de certains scores par rapport à des enquêtes équivalentes dans des domaines connexes.

Mettre le résultat des analyses dans le contexte des programmes institutionnels.

Voir s’il y a une corrélation entre les commentaires reçus par LibQUAL+ et ceux reçus par les autres mécanismes de commentaires et suggestions disponibles sur le campus.


33

Perspective d’avenir

2005: augmenter l’échantillon: - des étudiants du 3e cycle. - des usagers de la Faculté de droit.

2005: continuer l’analyse spécifique et la production de rapports pour les Bibliothèques des Humanités et Sciences sociales, Sciences de la santé, Sciences et Génie ainsi que de Droit.


34

Perspective d’avenir (Suite)

Analyser et comparer les données quinquennales de 2001-2005.

Préparer les stratégies de participation pour 2006 et les années subséquentes.

Simplifier le processus d’analyse et d’interprétation des données.

Poursuivre l’initiation/formation du personnel professionnel aux concepts d’analyse, d’interprétation et d’utilisation des données générées par LibQUAL+.


35

Perspective d’avenir (Suite)

Participer activement aux initiatives de développement et de comparaison avec les membres participants de la CREPUQ.


36

CONCLUSION

« La statistique est moins une science qu’un art.

Elle est la poésie des nombres.Chacun y trouve ce qu’il y met. »

Albert Bris (Le mot du silencieux (L’hiver nous fit suer), Le Devoir)

CREPUQ - LibQUAL@ McGill / Anastassia khouri / 2005-02-09 1 CREPUQ Atelier de réflexion De nouveaux...

Documents

Transcript of CREPUQ - LibQUAL@ McGill / Anastassia khouri / 2005-02-09 1 CREPUQ Atelier de réflexion De nouveaux...