Evaluation des réformes de programme en Faculté d'ingénierie biologique, agronomique et environnementale

Projet FDP

Evaluation des réformes de programme en Faculté d'ingénierie biologique, agronomique et environnementale

Projet FDP

Conseil de Faculté

4 octobre 2007

Conseil de Faculté

4 octobre 2007

FDP: Fonds de Développement Pédagogique

2005 - 2007

FDP: Fonds de Développement Pédagogique

2005 - 2007

Contexte et méthodologie

Illustration de la démarche

Synthèse des résultats

Recommandations

à suivre...

Contexte et méthodologie

Illustration de la démarche

Synthèse des résultats

Recommandations

à suivre...

Titre Bio-ingénieur

Titre Bio-ingénieur

2002200220052005

Evaluation FDPEvaluation FDP

20062006 2007 2007

RésultatsRésultats

Réforme BIR année par année

Réforme BIR année par année

ContexteContexte

Bio-ingénieurBIR 23

Bio-ingénieurBIR 23 Master

sMaster

s

1999: Audit => Rapport du CRef Avril 2000

2000: Mise en chantier de la réforme

1999: Audit => Rapport du CRef Avril 2000

2000: Mise en chantier de la réforme

Bologne - BacheliersBologne - Bacheliers

20042004

Maître d’oeuvre: Thérèse Bouvy

Conseiller: Jean-Marc Braibant

Institut de Pédagogie universitaire et des Multimédias (IPM)

Responsabilité: Commission de l’Enseignement

FDP: Fonds de Développement Pédagogique

2005 - 2007

FDP: Fonds de Développement Pédagogique

2005 - 2007

MéthodologieMéthodologie

Evaluation des programmes Critères

DémarchesCréation des questionnaires

Questions fermées

Questions ouvertes

Collecte des données (2005 - 2006)

Traitement et analyse (2006 - 2007)

Publics concernés Programmes à évaluer Outils

ETUDIANTS

BIR11 BA BIR11 BA

Questionnaires en auditoire

BIR12 BA BIR11 BA

BIR12 BA

BIR21 BIR11 BA

BIR12 BA

BIR21BIR22 / BIR23 Web : DORIS

PAC / Assistants BIR11 BA - 12 BA - 21

Méthodes, équipes, ...

BIR 22 - 23

Questionnaire par mail et/ou interviews

Publics et démarchesPublics et démarches

EchantillonnageEchantillonnage

Etudiants BIR11 BA : n = 118 BIR12 BA : n = 75 BIR 21 : n = 61

BIR 21A = 19BIR 21C = 16BIR 21E = 26

BIR 22 et 23 = 48 (22 NR) = 10%

PAC

Assistants

PAC : n = 15

Assistants : n = 10

Nombreuses « variables »Nombreuses « variables »

La cohérence de l’ensemble du programme La charge de travail Les méthodes pédagogiques Les équipes d’enseignants Les cours généraux Les interactions enseignants-étudiants L’évaluation des enseignements Les services de suivi académique Le conseiller aux études L’encadrement administratif Les enseignements année par année …

Remarques importantesRemarques importantes

Evaluation programme

Importance particulière accordée à BIR11 BA

• Données importantes pour la politique de recrutement

• Echantillon moins « biaisé » que BIR12 BA, BIR 21, BIR 22 & 23

• Les BIR11 BA, BIR12 BA, BIR 21, BIR 22 & 23 ont exprimé leurs avis sur la BIR11 BA

Evaluation des enseignements/enseignants

Les résultats portés sur les enseignements sont pris en charge par le Secrétaire académique et le Doyen

Que disent les étudiants de BIR11 BA à propos de la première année ?

Que disent les étudiants de BIR11 BA à propos de la première année ?

Les points forts mis en évidence par les étudiants en BIR11 BALes points forts mis en évidence par les étudiants en BIR11 BA

J’estime que BIR 11 m’a permis de construire une base de connaissances générales pour ma formation universitaire

90%

Je comprends l’intérêt de suivre des cours généraux 89%La plupart de ces cours sont enrichissants 88%L’articulation entre les cours magistraux et les exercices apparaît clairement 87%Le programme de BIR 11 forme un ensemble cohérent 84%La plupart de ces cours occupent une place importante dans le programme de BIR 11 83%J’estime que BIR 11 m’a permis de réfléchir à mon choix d'orientation et d'assurer la maturation de ce choix

74%

J’estime que BIR 11 m’a permis de développer mes compétences méthodologiques 74%J’estime que BIR 11 m’a permis d’acquérir une solide base de connaissances 73%

Je suis satisfait de la qualité de la formation suivie durant cette 1ère année 85%

Les points faibles mis en évidence par les étudiants de BIR11 BALes points faibles mis en évidence par les étudiants de BIR11 BA

BIR 11 m’a permis de m’adapter progressivement aux exigences de la discipline bioingénieur 68%Les contenus et objectifs de BIR 11 ont été présentés clairement 65%J’estime que cette première année m’a permis d’acquérir une méthode de travail efficace 63%J’estime que cette première année m’a permis d’ouvrir les horizons par rapport à mon orientation disciplinaire

63%

Des liens sont établis entre les différents enseignements 59%Le programme de BIR11 représente une charge de travail raisonnable 56%J’estime que cette première année m’a permis de me faire une idée précise à propos de mon orientation disciplinaire

49%

J’estime que cette première année m’a permis de faciliter la transition entre mes études dans l’enseignement secondaire et celles à l’université

37%

BIR 11 laisse suffisamment de place aux temps d’études individuels 25%

Commentaires ouverts des étudiants de BIR11 BACommentaires ouverts des étudiants de BIR11 BA

Points forts Points faibles Formation de qualité Solide base de connaissances Programme intéressant et cohérent Cours qui apportent les bases scientifiques nécessaires Diversité des matières proposées

Les TP Les monitorats L’évaluation continue

Manque d’informations sur l’orientation disciplinaire Charge de travail trop importante Surcharge horaire qui ne laisse pas assez de temps à l’étude individuelle Pas assez de liens entre formation et profession de bioingénieur Certains cours posent problème

L’évaluation des connaissances (examens) Difficulté de transition secondaires/université Taux de réussite insatisfaisants

BIR12 BA BIR 21 BIR22/23

Le taux de réussite en BIR11 BA est satisfaisant 25% 49% 45%

Le programme de la la BIR11 BA forme un ensemble cohérent

93% 85% 86%

Je suis satisfait de la qualité de la formation suivie en BIR11 BA

81% 75% 82%

Avec recul, que disent les étudiants des autres années à propos de BIR11 BA ?

Avec recul, que disent les étudiants des autres années à propos de BIR11 BA ?

Conclusion BIR11 BAConclusion BIR11 BA

+ Formation de haut niveau, généraliste, exigeante, et sélective s’articulant autour d’un nombre de cours magistraux limités

- Les étudiants adhèrent à ce choix mais ils manifestent aussi le sentiment d’être laissés un peu de côté: manque d’informations, secrétariat, orientation disciplinaire, notes peu fiables, …

Les étudiants font référence à une première année universitaire « classique » avec les

avantages et inconvénients que cela suppose …

Les étudiants font référence à une première année universitaire « classique » avec les

avantages et inconvénients que cela suppose …

Les étudiants, les enseignants et les assistants s’expriment sur les « variables » du programme des trois

premières années

Les étudiants, les enseignants et les assistants s’expriment sur les « variables » du programme des trois

premières années

Stages

Interactions étudiants-enseignants

Equipes d’enseignants

Encadrement administratif

Accompagnement académique

Stages

Interactions étudiants-enseignants

Equipes d’enseignants

Encadrement administratif

Accompagnement académique

BIR 12 BIR 21 BIR22/23 PAC

Le stage permet de mettre les étudiants en situation de terrain

96% 93% 69% 100%

Le stage contribue à aiguiser la motivation de l’étudiant pour les études entreprises

84% 75% 62% 87%

Le stage contribue à la qualité de la formation des étudiants

80% 83% 46% 73%

Le stage est un atout de formation dans ce programme 76% 93% 54% 87%

Le stage contribue à atteindre les objectifs du programme 52% 64% 38% 71%

A propos du stageA propos du stage

BIR 12 BIR 21 BIR22/23 PAC

Sur le plan organisationnel et relationnel 96% 85% 77% 100%

Sur le plan personnel 84% 95% 92% 100%

Sur le plan méthodologique 48% 66% 38% 100%

Le stage est riche d’enseignements …

Stage et rapport: points positifsStage et rapport: points positifs

Stage Rapport

Etudiants Liberté de choix Enrichissement personnel Expérience primordiale Essentiel au niveau personnel et humain Permet un contact sur le « terrain » C’est du « concret » qui nous permet de trouver le domaine dans lequel on souhaite travailler …

Apport important dans la formation pour la première rédaction d’un rapport Bonne préparation pour la rédaction du mémoire Enrichissement personnel

PAC Original par rapport aux autres universités et facultés Très apprécié des étudiants Expérience riche

Stage et rapport: points négatifsStage et rapport: points négatifs

Stage Rapport

Etudiants Pas assez de liens entre le stage et les cours Ne permet pas d’appliquer la matière vue Grandes différences de « niveau » (temps) car manque de supervision Difficulté à combiner stage et 2e session Mise à jour de la liste sur Internet (infos, …) Pas de contraintes Quel apport à ce stade de nos études ? Trop fonction de l’endroit où l’on va ! Trop long ! Empiète sur loisirs ou job étudiants

Grandes différences pour ceux qui ont fait un vrai stage ou « 3 jours » ! Différences entre les correcteurs Pas assez de liberté dans la rédaction

PAC Lien inexistant entre stage et cours Manque d’outils dont les étudiants disposent pour apprendre par eux-mêmes

Encadrement inexistant des étudiants au niveau de la rédaction Difficulté à rédiger Manque d’outils

Etudiants: commentaires à propos des interactions enseignants-étudiants

Etudiants: commentaires à propos des interactions enseignants-étudiants

Points forts Points faibles Les enseignants sont disponibles, ouverts et humains Interactions satisfaisantes même s’il y a des exceptions ! Cela dépend des enseignants Assistants très disponibles (plus que les profs) Très bonnes interactions dans les monitorats et les TP Enseignants disponibles et attentifs lors des examens

La multiplication abusive des PowerPoint empêche les interactions La « peur » de prendre contact ! Les profs intimidentInteractions difficiles ou inexistantes en BIR11 BA, cela s’améliore par la suite Malgré leur disponibilité, les enseignants n’incitent pas les étudiants à participer activement ! Interactions parfois « entravées » à cause du nombre d’étudiants dans les 2 premières années

Etudiants: commentaires à propos des équipes d’enseignants

Etudiants: commentaires à propos des équipes d’enseignants

Points forts Points faibles Différents points de vue, c’est enrichissant ! Très bonne initiative Chaque enseignant est plus motivé d’enseigner car il peut enseigner ce qu’il aime Cours moins monotones Bonne communication dans les équipes

Surcharge de travail Difficulté pour les étudiants de s’adapter à des méthodes différentes pour un même cours Problèmes d’organisation, de concertation entre enseignants Manque de clarté dans la matière à étudier pour le examens Enseignants mal coordonnés : points de vue contradictoires ou redondants Les notes et supports de cours posent problèmes : pas de continuité, ne forment pas un tout Matières trop différentes au sein d’un même cours ! Plusieurs examens pour un même cours !

Enseignants: commentaires à propos des équipes d’enseignants

Enseignants: commentaires à propos des équipes d’enseignants

Points forts Points faibles Interactions excellentes et enrichissantes entre enseignants

Pas d’interactions, sentiment qu’il n’y en a pas ! Interaction ? Chaque enseignant apporte sa propre couleur Coordination et évitement de redondances est difficile Equipes = ensemble de co-titulaires Dispersion des responsabilités étudiants ont une moins bonne vue d’ensemble de la matière Surcharge de travail (coordination, concertation, …) et lourdeur Lourdeur au niveau gestion examens et notes

L’encadrement administratif

BIR11 BA BIR12 BA BIR 21 BIR 22/23 PAC

L’encadrement administratif est satisfaisant

54% 52% 70% 58% 82%

Je suis informé des nouveautés concernant le déroulement du programme

40% 51% 38% 46% 39%

Je reçois en cours d’année les infos utiles concernant le programme

62% 73% 75% 92% 56%

Le secrétariat est suffisamment accessible

25% 18% 26% 8% -

Je suis satisfait de l’encadrement administratif

48% 43% 61% 46% 76%

L’accompagnement académique

BIR11 BA BIR12 BA BIR 21 BIR 22/23 PAC

Les comités d’année permettent de traiter les problèmes rencontrés par les étudiants

48% 40% 76% 73% 94%

Les comités d’année permettent d’améliorer la qualité de l’enseignement

42% 45% 70% 58% 79%

La commission d’enseignement permet d’assurer la coordination des différentes orientations

59% 63% 69% 60% 85%

La commission d’enseignement est un lieu d’échanges paritaires

53% 48% 63% 56% 92%

L’accompagnement académique: le secrétaire académique

L’accompagnement académique: le secrétaire académique

BIR11 BA BIR12 BA BIR 21 BIR 22/23 PAC

Le rôle du secrétaire académique est primordial dans la gestion de la Faculté

69% 79% 91% 82% 100%

Le secrétaire académique assure le suivi et la coordination des différentes orientations

72% 70% 88% 76% 100%

Le secrétaire académique assure le suivi des dossiers d’étudiants en situation particulière

69% 81% 98% 73% 100%

Les étudiants: points forts du programme des 3 premières annéesLes étudiants: points forts du programme des 3 premières années

• Formation de base solide et complète• Programme complet et varié• Programme cohérent et intéressant (qualité)• Diversité des matières proposées : formation pluridisciplinaire• Trois années qui se complètent bien• Le stage et le rapport associé

• Les TP et monitorats• Equilibre satisfaisant entre les cours magistraux et les formes plus actives• Apprentissage de la rigueur scientifique• Développement d’une méthode de travail• Certains cours• La disponibilité des enseignants• L’évaluation continue

Les enseignants: les points forts du programme des 3 premières annéesLes enseignants: les points forts du programme des 3 premières années

• Formation de base solide• Formation pluridisciplinaire• Formation pas trop spécialisée• Programme diversifié qui vise la formation de connaissances et compétences• Formation répondant aux critères GSF (étudiants moteurs de leur formation)• Polyvalence de la formation avec spécialisation en BIR21 (BIR13 BA)• Le stage• Programme équilibré

• Variété• Programme diversifié en contenu et méthodes• Les travaux de groupe, les TP• Les étudiants ne sont pas des « numéros »

Les étudiants: les points faibles du programme des 3 premières annéesLes étudiants: les points faibles du programme des 3 premières années

• Charge de travail trop importante, surcharge horaire• Pas assez de temps pour le temps de travail individuel• Pas assez de cours en rapport avec l’orientation d’étude• Tronc commun trop important• Abus de présentations PowerPoint• Formation trop exigeante et sélective• Manque de supports de cours• Manque de liens avec la pratique (peu de liens avec le terrain)• Pas assez de liens entre la formation et la profession bioingénieur

• Le manque d’informations, de suivi au niveau administratif et pédagogique• Manque d'accompagnement méthodologique (l’impression de n’être que des « numéros » !• Le stage et le rapport associé• Le taux de réussite insatisfaisant en BIR11 BA et BIR12 BA• Formation en langues insuffisante• Certains cours• Difficultés de transition secondaires/université

Les enseignants: les points faibles du programme des 3 premières annéesLes enseignants: les points faibles du programme des 3 premières années

• Manque de lien entre les matières• Morcellement des matières et des examens• Apprentissage trop sectoriel• Horaires cours/examens trop chargés

• Charge réelle des étudiants en ECTS (?)• Poids trop important de certains pôles pour certains étudiants • Difficulté à rédiger un rapport• Le pôle « animal » a fondu : formation ?

Septembre - Décembre 2006 : Synthèse par Thérèse Bouvy (IPM)

Janvier 2007 : Présentation en primeur aux SAc et DAF

Mars 2007 : Présentation et débat en CE

Propositions de recommandations

Mai 2007 : Présentation et débat en Bureau de Faculté

recommandations

Octobre 2007 : Présentation au Conseil de Faculté

2007 - 2008 : Mise en oeuvre des recommandations

Septembre - Décembre 2006 : Synthèse par Thérèse Bouvy (IPM)

Janvier 2007 : Présentation en primeur aux SAc et DAF

Mars 2007 : Présentation et débat en CE

Propositions de recommandations

Mai 2007 : Présentation et débat en Bureau de Faculté

recommandations

Octobre 2007 : Présentation au Conseil de Faculté

2007 - 2008 : Mise en oeuvre des recommandations

IntermezzoIntermezzo

Court termeCourt terme Long termeLong terme

ProgrammeProgramme

Moyen termeMoyen terme

Réflexions et recommandationsRéflexions et recommandations

Difficultés de transition secondaires/université

Formation trop exigeante et sélective

Taux de réussite insatisfaisant en BIR11 BA et BIR12 BA

Difficultés de transition secondaires/université

Formation trop exigeante et sélective

Taux de réussite insatisfaisant en BIR11 BA et BIR12 BA

• Rencontrer les étudiants bis de première (et de deuxième) année et analyser les

principales causes de leurs échecs

– Eviter à certains étudiants le piège du (mauvais) 1er quadrimestre

– Proposer des sessions de parrainage entre étudiants

• Analyse critique des exigences des cours de Bachelier 11 et 12

– Garder les exigences de qualité du cursus

– Analyser/comprendre les différentiels de réussite dans certains cours

– Proposer des solutions applicables au plus grand nombre

Mieux valoriser les aides à la réussite (interrogations, monitorats)

Renforcer la visibilité et le rôle d’un Conseiller aux Etudes

Charge de travail trop importante, surcharge horaire

Pas assez de temps pour le travail individuel

Pas assez de TP et d’exercices

Déséquilibre 1q versus 2q en 2e année - 3e année trop chargée

Charge de travail trop importante, surcharge horaire

Pas assez de temps pour le travail individuel

Pas assez de TP et d’exercices

Déséquilibre 1q versus 2q en 2e année - 3e année trop chargée

• Rééquilibrage des quadrimestres en 2e année [OK]

• Explorer des modes et méthodes alternatives d’évaluation (rôle des comités d’années)

– Mieux valoriser les travaux

– Interrogations dispensatoires

– Nécessité de consignes claires des enseignants dès le début du quadrimestre

– Absolue nécessité d’agendas et échéanciers (respectés)

– Coordination (facultaire) des différentes activités

• Contrôle strict du nombre d’examen en session

– Un examen par cours, et pas par co-titulaire !

Planification des échéances et organisation: travaux - interrogations

- examens

Pas assez de cours en rapport avec l’orientation d’étude

Tronc commun trop important

... et manque de préparation pour les différentes orientations

Pas assez de cours en rapport avec l’orientation d’étude

Tronc commun trop important

... et manque de préparation pour les différentes orientations

• Insérer des exemples concrets dans les cours de (BIR11 BA), BIR12 BA et BIR13 BA

– Théorie

– Séances d’exercices

– Travaux pratiques

• Equipes d’enseignants d’expertises différentes et complémentaires

• Créer plus de liens entre les matières: concertation entre enseignants

• Inviter des gens de métiers dans les cours pour illustrer les options futures

• Proposer un plus grand différentiel entre Agronomie et Environnement en BIR13 BA

(par un ou deux cours de masters)

Mieux « imprégner » le cursus Bachelier dans le concret du métier de

bioingénieur

Manque de liens avec la pratique (terrain)

Pas assez de liens entre la formation et la profession de bioingénieur

Manque de liens avec la pratique (terrain)

Pas assez de liens entre la formation et la profession de bioingénieur

• Multiplier les initiatives de confrontation au « terrain »

• Insérer dans les enseignements plus de situations de type « professionnelles »

Plus de liens entre formation et profession du/des

Bioingénieur(s)

Formation en langue insuffisanteFormation en langue insuffisante

• Cours de Master donnés en Anglais

– Mettre en place une stratégie de répartition de cours donnés en Anglais,

idéalement un par option

• Proposer un accompagnement linguistique au mémoire, type «Thesis

tutorial»

Abus de présentations PowerPoint

Manque de supports de cours

Pas assez de méthodes pédagogiques innovantes

Abus de présentations PowerPoint

Manque de supports de cours

Pas assez de méthodes pédagogiques innovantes

• Vade-mecum du PowerPoint (PPT)

– Savoir « user » sans « abuser » (rythme, structure, réactivité, ...)

– Le PPT n’est pas la panacée !

– Ecrire et diffuser un guide de bonne pratique du PPT

– Imposer des supports (papier) reprenant au moins la structure du cours

• Vade-mecum du livre de référence (Textbook)

– Nécessité de préciser les informations essentielles dans les livres de référence

– Imposer des supports (papier) reprenant au moins la structure

• Intégration cohérente des différents supports utilisés (PPT, Textbook, iCampus, ...)

Cohérence et efficacité dans les supports de cours

Quid des équipes d’enseignants ?Quid des équipes d’enseignants ?

• Renforcer la concertation au sein des équipes d’enseignants

– Co-titulature ≠ équipe d’enseignants

• Complémentarité entre co-titulaires

• Interchangeabilité entre membres d’une équipe d’enseignants

– Nécessité d’identifier un coordinateur de cours

– Nécessité d’une coordination vraie et permanente

Meilleures cohérence et coordination des équipes

d’enseignants

Le stage et son rapportLe stage et son rapport

• Globalement excellente appréciation, mais...

– Quid de la période ?

– Quid du nombre de crédits (ECTS) ?

– Quid des variables « maîtres de stage » ?

– Quid du contrôle des stages ?

Réflexion de fond à poursuivre

• (Encore) améliorer la communication avec les étudiants

– Communications orale du SAc, Conseiller aux Etudes, DAF, ...

– Optimiser les modes de communication écrite: Valves, Web, Emails, ...

• Valoriser, auprès des étudiants, le rôle des comités d’années et de la CE

– Stimuler et valoriser les engagements comme délégués étudiants

– Améliorer les relais de communication « délégués - étudiants - enseignants

- responsables académiques »

• Bien (mieux) identifier les rôles des relais/aides académiques

– Secrétaire académique

– Conseiller aux études

– Responsable « Mobilité »

Visibilité et efficacité des accompagnements académiques

Accompagnements académiquesAccompagnements académiques

Manque d’information et de suivi au niveau administratifManque d’information et de suivi au niveau administratif

• Problèmes des valves et de proximité des auditoires

– Fléchage vers le Secrétariat et les Valves

– Disposition des Valves plus proches de l’entrée

– Présentation plus « didactique » des informations

• Mise en place de valves électroniques

• Mise à disposition de boîtes aux lettres « délégués »

• Quotas d’impression dans les salles informatiques

• Optimisation des heures d’ouverture du secrétariat [OK !]

• Mieux identifier les rôle et fonction des relais/aides administratifs

– Directrice administratif

– Staff du secrétariat, cellule Mobilité, cellule Stage,

Améliorer les « interfaces » administratives

A suivre...A suivre...

Commission de l’Enseignement

Comités d’années

Administration

Enseignants

Etudiants

Commission de l’Enseignement

Comités d’années

Administration

Enseignants

Etudiants

EtudiantsEtudiants AdministrationAdministration

ThérèseThérèse

EnseignantsEnseignants

RemerciementsRemerciements

Membres de la CEMembres de la CE

IPMJ.M. BraibantP. Wouters

IPMJ.M. BraibantP. Wouters

FDPFDP