Image par Alexandra Koch de Pixabay
En mars dernier, Anaïs Deleuze et moi avons écrit un article sur l'enseignement à distance (pour le lire, c'est ici). Dans ce premier article, nous avons expliqué nos choix pédagogiques, à la lumière des données scientifiques en pédagogie. Nous avons parlé d'hybridation, de Zoom, d'exploration des connaissances antérieures, de Wooclap et d'autres outils technologiques.
Intéressons-nous à présent à la manière dont nous avons mené les évaluations de nos étudiant·e·s, à distance, toujours !
A noter, que depuis l'écriture du premier article, Anaïs est rentrée en France, mais elle enseigne toujours à distance. Quant à moi, je poursuis mon activité d'enseignante au CFUO de Strasbourg, à distance.
Quels éléments ont été pris en considération pour mener à bien les évaluations à distance ?
Claire
Que ce soit à distance ou non, évaluer les étudiant·es n’est pas simple. Depuis mon master en pédagogie, je me pose toujours deux questions-clés dès le début de la conception de mon cours :
- Qu’est-ce que les étudiant·es devront être capables de faire à la fin de ce cours ?
- Comment faire pour que l’évaluation proposée soit un moyen d’apprentissage, et pas seulement un moyen de sanctionner l’apprentissage de savoirs ?
Ce sont vraiment ces deux questions qui ont guidé ma réflexion pour construire ce cours à distance et son évaluation.
Ainsi, à la fin de ce cours de 4ème année portant sur la rééducation des troubles du langage oral de l’enfant, mon objectif est que les étudiant·es soient en mesure de proposer une rééducation adaptée à leurs patient·es. À partir de là, le choix de leur demander de proposer des plans de soins à partir de cas cliniques authentiques s’est rapidement imposé. D’un point de vue organisationnel, j'ai demandé à l'Unistra de pouvoir évaluer en contrôle continu, et non comme des partiels. Convaincue de la puissance du socioconstructivisme, j'avais envie de faire travailler les étudiant·es en groupe sur les cas cliniques. Toutefois, quand on évalue en groupe, on peut avoir peur que seul·es certain·es étudiant·es travaillent. J’ai donc proposé plusieurs points d’évaluation :
- un travail de groupe (5 à 6 personnes par groupe) avec un travail écrit à rendre et une présentation orale afin que toute la promotion puisse profiter du travail des autres
- un travail individuel où je demandais de présenter deux renforçateurs, soit sur support écrit, soit en vidéo
- un QCM testant les connaissances réalisé sur Moodle avec correction automatique, sur le même principe que les quiz formatifs proposés tout au long du cours
- un point bonus si tous les quiz proposés dans les séances asynchrones ont été réalisés
Dès le premier cours, j'ai expliqué aux étudiant·es les différents points d'évaluation et je leur ai transmis un planning clair afin de faciliter leur organisation.
Anaïs
Tout comme Claire, je prends le temps de définir les objectifs de mon cours et de les présenter aux étudiants, cours par cours (particulièrement lorsque j’enseigne une UE complète, comme c’est le cas dans l’exemple présent). Je m’applique à ce que les différents moyens d’évaluer leur compréhension et leurs connaissances constituent des moyens de renforcer ou de clarifier leurs apprentissages plutôt que de simplement les sanctionner. Ainsi, à la fin de ce cours de 3e année portant sur les troubles du langage écrit, de l’écriture et du graphisme, mon objectif est essentiellement que les étudiant·es comprennent comment se matérialisent ces troubles, comment ils affectent l’apprentissage et quelles en sont les causes. Ce cours recouvrant un grand nombre de concepts et de connaissances théoriques et cliniques, il m’a fallu trouver un équilibre entre des périodes inéluctables de présentation magistrale et des activités permettant de faire émerger, renforcer et tester au fur et à mesure leurs connaissances, en petit groupe ou de façon individuelle. Ainsi, grâce à Wooclap :
- j’ai proposé des activités en petits groupes, sur lesquelles je pouvais revenir tout de suite pendant le cours.
- j’ai aussi régulièrement vérifié la compréhension des étudiant·e·s via des questionnaires auxquels iels pouvaient répondre anonymement, me permettant de reformuler les informations et de dissiper les contre-sens au fur à mesure. Ces questions posées à des moments charnières des cours consistent en des questions vrai/faux, des QCM, des schémas à compléter, etc.
Bien que ces deux modalités soient uniquement dites “formatives”, c’est-à-dire qu’elles ne sont pas sanctionnées par une note prise en compte pour la validation de l’UE, elles me permettent d’une part d’avoir en permanence une bonne vision de leur compréhension (un peu comme un “thermomètre”), et d'autre part, de les habituer aux modalités d’évaluation, et ce dans une volonté d’alignement pédagogique.
Pour les examens en tant que tels, tous “à livres ouverts”, j’ai opté pour une répartition de la note de l’UE en trois examens (deux continus de 30 mn et un final d’une heure) afin de diluer la charge de l’étude et de pouvoir fournir des rétroactions régulières.
Que nous dit la science ?
L’évaluation à distance est encore peu fréquente et présente de nombreux enjeux (Pelaccia, 2021). Les conseils qu’on nous donne sont essentiellement de diversifier les outils d’évaluation (ne pas faire que des QCM, donc), limiter les risques de fraude en proposant notamment, en cas de QCM, les questions de façon aléatoire, privilégier le présentiel pour les évaluations à fort enjeu et enfin, de favoriser les rétroactions qualitatives plutôt qu’uniquement quantitatives.
Comment l'évaluation peut servir l'apprentissage et favoriser la motivation ?
Claire
Comme déjà souligné dans notre premier article, l’un des défis de la formation à distance est de maintenir la motivation des étudiant·es et de limiter le taux d’abandon.
Ainsi, l’évaluation est devenue l’un des moyens de favoriser la motivation des étudiant·es, surtout pour les cas cliniques. En effet, dès le départ, j’ai proposé aux étudiant·es de se mettre en groupe par affinité et leur ai donné accès aux ressources concernant le cas clinique de chaque groupe via Moodle, même s’ils ne disposaient pas encore de toutes les connaissances pour le résoudre. Les étudiant·es ont ensuite fait les modules d’e-learning en ayant en tête le travail final à réaliser (comment rédiger un objectif thérapeutique, quelles activités proposer en fonction de cet objectif, comment tenir compte des parents, etc.)
J'ai aussi organisé mon enseignement pour donner des rétroactions régulières :
- une rétroaction chiffrée et un feedback général dans les quiz formatifs proposés après chaque module d’e-learning
- le travail écrit de groupe a fait l’objet de 3 étapes de rendu à environ 5 semaines d’intervalle. Pour les deux premiers rendus, j’ai fait un feed-back écrit à chaque groupe, grâce aux commentaires sur PDF, en leur faisant des suggestions d’amélioration, en questionnant ce qui me paraissait peu clair, en soulignant ce qui me semblait particulièrement réussi. Seul le rendu final a fait l’objet d’une note (et d’une rétroaction qualitative, toujours).
- le travail individuel réflexif a fait l’objet d’une note chiffrée et d’une rétroaction qualitative
- le QCM individuel final n’a fait l’objet que d’une note chiffrée.
Ainsi, il n’y avait aucune “surprise” pour les étudiant·es. Je leur ai proposé une évaluation en lien direct avec ce qui a été fait durant les cours, essayant au maximum de respecter le principe d’”alignement pédagogique”. Et pour maximiser encore le sentiment de contrôle nécessaire à la motivation, j’ai créé des grilles d’évaluation que j’ai partagées aux étudiant·es, afin qu'ils et elles sachent sur quoi portera précisément l'évaluation.
Anaïs
En plus des activités interactives décrites dans la section précédente, j’ai mis en place deux stratégies principales pour permettre aux évaluations de mieux servir les apprentissages et le maintien de la motivation des étudiant·es : la mise à disposition d’une plateforme de révision et l’envoi de rétroactions suite aux examens.
Ainsi, j’ai utilisé Wooflash pour rendre accessible aux étudiant·e·s des questions de révision sous différents formats (vrai/faux, QCM, schémas à compléter, questions ouvertes), et classées selon les sections thématiques du cours. Cet outil intègre un seuil d’ancrage (c’est-à-dire un nombre de bonnes réponses nécessaires afin qu'une question soit considérée comme acquise), la possibilité de donner accès à un feedback plus élaboré que le simple retour “réussite/échec” (voir exemple ci-joint) et permet de suivre la progression des étudiant·e·s. À noter cependant que je n’utilise pas Wooflash pour “surveiller” qui révise ou non sur la plateforme car bien que je leur suggère fortement de l’utiliser (données probantes à l’appui), il n’est bien sûr obligatoire pour personne de privilégier ce moyen pour réviser. Cependant, observer la progression collective plus qu’individuelle de la promotion me permet de mieux cibler les éléments demeurant incompris, ou de reformuler des questions peu claires.
Wooflash a également été utilisé pour les examens. Ainsi, les étudiants étaient exposés pendant les cours et entre les cours à des formats de questions comparables, ce qui permet aux étudiants, dans une volonté d’alignement pédagogique, de bien comprendre les attentes du cours à mesure qu’iels étudient.
De plus, à la suite de chaque examen, les étudiant·e·s ont reçu par courriel :
- une rétroaction collective, incluant pour chaque question, la réponse attendue, la performance du groupe (p.ex. en pourcentage de réponses correctes) et des commentaires complémentaires, notamment pour dissiper certains contresens.
- une rétroaction individuelle, incluant le détail des résultats obtenus question par question et un retour plus détaillé sur une ou plusieurs questions lorsque nécessaire pour l’étudiant·e concerné·e. À Besançon, le fait que les promotions soient de 30 étudiants facilitent évidemment ces retours individuels, malheureusement bien moins réalistes lorsqu’on enseigne à une centaine d’étudiants à la fois…
Que nous dit la science ?
L'évaluation est un puissant moteur d'apprentissage. Pour maximiser ses effets, Bertrand et al. (2023) nous conseillent "de rechercher systématiquement une cohérence entre les compétences attendues du futur professionnel, les méthodes d’enseignement privilégiées et les stratégies d’évaluation retenues." C'est ce que Bédard et Béchard (2009) nomment l'"alignement pédagogique". Pour obtenir un alignement pédagogique le plus optimal possible, l'une des solutions est de combiner plusieurs outils d'évaluation (comme pour Claire, une évaluation de groupe orale et écrite et des évaluations individuelles). De plus, pour favoriser la motivation et soutenir efficacement les apprentissages des étudiant·es, à distance ou non, certaines stratégies démontrées efficaces peuvent être utilisées. Ainsi, utiliser Wooclap et Wooflash pendant et entre les cours, en fournissant aux étudiant·es des questions représentatives des attentes et des rétroactions permet de favoriser l’auto-test et la pratique distribuée, deux stratégies d’étude hautement efficaces (Dunlosky et al., 2013).
Comment avons-nous évalué notre enseignement ?
Claire
Comme en présentiel, j'ai demandé aux étudiant·es d'évaluer le cours grâce à un questionnaire Google Forms envoyé par courriel à la fin de l'enseignement. Le questionnaire est anonyme et comporte des affirmations (du type “le contenu de l’enseignement était adapté à mon niveau de connaissances”) avec une réponse à placer sur une échelle de Likert entre "pas du tout" et "tout à fait", et des questions ouvertes, comme “quel est votre avis sur la méthode d’évaluation proposée?”.
Je leur demande de répondre le plus honnêtement possible et leur explique pourquoi c'est important pour moi (pour améliorer le cours, notamment) et je nomme aussi ce que m'ont apporté les questionnaires des années précédentes. Par exemple, les années précédentes, beaucoup d'étudiant·es m'avaient indiqué qu'utiliser Wooclap était vraiment positif, ce qui fait que j'ai continué à l'utiliser. Et quand il a été question à l’Unistra de supprimer l’abonnement à Wooclap, j'ai transféré leurs avis aux instances administratives et on a eu Wooclap une année de plus (enfin ce n'est pas sûr que la décision ait quoique ce soit à voir avec mon intervention, mais sait-on jamais...) ! Bref, j'essaye de leur montrer qu'évaluer l'enseignement n'est pas "juste" du travail supplémentaire pour eux ou une énième demande administrative qui ne sert à rien, c'est vraiment utile, au contraire !
Ensuite, après avoir analysé les résultats, je leur ai envoyé une synthèse de leurs réponses avec les notes sur 5, mais aussi leurs commentaires. Les étudiant·es ont par exemple beaucoup apprécié le travail sur les cas cliniques, mais auraient bien aimé être moins nombreux·ses dans les groupes. Pas facile à mettre en place car les corrections sont chronophages, mais peut-être que de leur fournir des stratégies pour mieux travailler en groupe serait bénéfique ?
Anaïs
À la fin de chaque cours, juste avant de terminer, je propose aux étudiants un court questionnaire anonyme sur Wooclap visant à évaluer leur niveau d’intérêt et de compréhension, ainsi que les éléments moins bien compris et leurs remarques plus générales concernant le cours. J’affiche leurs réponses au fur et à mesure et j’y réagis en direct, ce qui me permet notamment de leur signifier que je prends en considération leurs retours et les éléments qui restent un peu plus difficiles à comprendre pour eux. J’apprécie particulièrement avoir un retour à chaud sur mon enseignement et savoir quels points seraient à reprendre lors du cours suivant. Cela me permet aussi d’ajuster mes stratégies d’enseignement au fur et à mesure, et bien souvent, les éléments les moins bien compris sont ceux pour lesquels je me suis sentie la moins claire ce jour-là, ou alors les parties de mon cours qui demandent selon moi des améliorations pour gagner en clarté.
À la fin de L’UE, comme le fait Claire, je propose un questionnaire plus long sur Google Forms, que je présente également aux étudiants comme un moyen très concret de donner leurs avis et de participer à l’amélioration de mon enseignement pour leurs camarades à qui j’enseignerai l’année suivante. Cela m’informe aussi sur mes stratégies d’enseignement de manière générale, pour cette UE mais aussi pour d’autres contextes. Le questionnaire est là encore anonyme et me permet d’établir une liste d’améliorations pour l’année suivante, ce que je trouve très motivant, car concret.
Comme le fait Claire, je leur fais parvenir par courriel une compilation de leurs réponses (notes sur 5 et sur 10) ainsi qu’une synthèse détaillée de leurs commentaires et suggestions, que j’accompagne d’idées d’améliorations lorsque j’en ai qui émergent spontanément ! L’année suivante, quand je me replonge dans la préparation de mes cours, je consulte de nouveaux ces appréciations et suggestions, afin de bien les prendre en compte.
Que nous dit la science ?
Dans les années 1950, Kirkpatrick a mis au point un modèle à quatre niveaux permettant d’évaluer une formation (voir le schéma de F. Sauzeau, tiré du blog hg_sempai, ci-dessous). D’après ce modèle, les questionnaires que l’on propose évaluent essentiellement la satisfaction des étudiant·es, leurs “réactions”, mais ils ne reflètent pas réellement l’efficacité d’une formation ou la qualité des enseignements. Toutefois, demander aux étudiant·es d’évaluer les enseignements reçus a de nombreux avantages, comme avoir des idées pour améliorer l’acceptabilité d’une formation, décider de la poursuivre ou non, s’inscrire dans une démarche qualité et montrer aux étudiant·tes que l’on s’intéresse à leur avis (Brunstein & al., 2023). A nous donc, de montrer aux étudiant·es que nous tenons vraiment compte de leurs réponses et qu’il ne s’agit pas d’une énième perte de temps.
Et pour les prochains cours, qu'allons-nous faire ?
Claire
J’ai tenu compte des avis des étudiant·es de l’année 2023/2024 et de mon ressenti, et, pour l’année 2024/2025, j’ai modifié quelques éléments :
- les travaux de groupe : dès le cours de présentation, j’ai parlé des travaux de groupe en demandant aux étudiant·es de partager des situations où il leur faudrait travailler en équipe en tant qu’orthophoniste. Nous avons aussi discuté des avantages et des inconvénients des travaux de groupe et je leur ai proposé différents outils pour les aider à travailler en groupe.
- le nombre d’évaluations : j’ai supprimé l’évaluation individuelle sur les renforçateurs, réduisant à 3 le nombre de travaux (travail écrit de groupe, présentation orale de groupe, QCM en ligne individuel). Cela a permis de moins charger les étudiant·es et de m’épargner quelques heures de correction. Je me demande si, à l’avenir, l’IA ne pourrait pas m’aider sur ce point !
Je vais aussi m’inspirer de ce qu’a fait Anaïs et proposer une rapide évaluation après chaque cours synchrone pour savoir le ressenti immédiat des étudiant·es et savoir ce qui a été plus ou moins bien compris.
Anaïs
J’ai moi aussi pu tenir compte des avis des étudiant·es pour ajuster certains points :
- la coordination avec les autres enseignants : en appui sur les appréciations et suggestions de mes étudiants, mais aussi sur leurs performances aux évaluations continues et finale, je me suis questionnée davantage sur l’équilibre des contenus enseignés en 2A et en 3A. Après un travail de coordination avec l’équipe, j’enseigne maintenant directement aux 2A les éléments qui me permettent le mieux de transitionner vers les contenus de 3A. Mes cours étant enregistrés, je peux prévoir de redonner l’accès aux 3A aux vidéos de 2A juste avant le début de l’UE, mais également planifier des activités de réactivation des connaissances.
- les activités de révision sur Wooflash : très appréciées des étudiants, je les ai bonifiées en ajoutant des questions, notamment ouvertes, et j’ai systématisé l’ajout d’une rétroaction pour les étudiant·es, c’est-à-dire une (plus ou moins longue) explication leur permettant de bien comprendre et ancrer les concepts abordés, en faisant des liens clairs entre les concepts mais aussi avec la clinique.
Nos conseils, si vous vous lancez !
Créer une évaluation pour un cours à distance n’est pas simple, mais c’est possible ! Voici nos conseils :
- pensez votre évaluation dès la conception du cours afin qu’elle soit réellement une occasion d’apprentissage pour les étudiant·es
- proposez une évaluation cohérente avec la manière dont les étudiant·es sont formé·es pour respecter le principe d’”alignement pédagogique”
- proposez plusieurs modalités d’évaluation si c’est possible
- partagez vos critères d’évaluation avec les étudiant·es afin d’éviter toute surprise
Et surtout… amusez-vous bien !
Anaïs et moi vous remercions de nous avoir lues et nous espérons que cet article vous sera utile.
Il nous reste à vous souhaiter une excellente année 2025, pleine de rires, de joies, de rêves et de beaux projets !
A très vite !
Références
Bédard, D., & Béchard, J.-P. (2009). Innover dans l’enseignement supérieur (p. 29‑43). https://doi.org/10.3917/puf.bedar.2009.01.0029
Bertrand, C., Dory, V., Pelaccia, T., Durand, E., Vaux, J., Charlin, B., Hodges, B., & Lorenzo, M. (2023). Choisi un outil d’évaluation. In T. Pelaccia, Comment mieux former et évaluer les étudiants en médecine et en sciences de la santé ? (2e édition, p. 371‑388). De Boeck Supérieur.
Brunstein, V., Pelaccia, T., Pottecher, T., & Triby, E. (2023). Concevoir et évaluer une formation. In T. Pelaccia, Comment mieux former et évaluer les étudiants en médecine et en sciences de la santé ? (2e édition, p. 91‑108). De Boeck Supérieur.
Dunlosky, J., Rawson, K. A., Marsh, E. J., Nathan, M. J., & Willingham, D. T. (2013). Improving students’ learning with effective learning techniques: Promising directions from cognitive and educational psychology. Psychological Science in the Public interest, 14(1), 4-58.
Pelaccia, T. (2021). Comment enseigner dans le supérieur ? À l’université et dans les différentes filières du supérieur. De Boeck supérieur.
Écrire commentaire