I. Description du Projet

I.1 Contexte :

Ce projet, réalisé dans le cadre du cours TEN-7006 - Design de systèmes d'enseignement et de formation à l’Université Laval, consiste à élaborer un plan d’évaluation formative pour une capsule de formation interactive. Il permet de vérifier si la capsule est claire, engageante et alignée avec les objectifs pédagogiques, tout en identifiant les améliorations à apporter avant son déploiement final.

I.2 Résultats et démarches :

L’évaluation formative du projet repose sur trois grandes étapes complémentaires : les tests utilisateurs, les examens techniques et la révision de production. Chacune de ces étapes vise à analyser des aspects spécifiques de la capsule et à identifier les ajustements nécessaires pour optimiser son efficacité. Les tests utilisateurs ont pour objectif d’observer comment les enseignants interagissent avec la capsule, d’évaluer leur compréhension du contenu et d’identifier les éventuelles difficultés rencontrées. La méthodologie repose sur une sélection ciblée des participants, un échantillonnage restreint mais représentatif et des scénarios de test précis. Ces scénarios permettent de mesurer la clarté des instructions, l’accessibilité de l’interface, l’engagement des utilisateurs, ainsi que leur acquisition des compétences visées. L’examen technique constitue la deuxième étape du processus. Il est réalisé par des experts en intelligence artificielle et en conception pédagogique, qui analysent la pertinence des contenus et la cohérence pédagogique de la capsule. Cette phase permet de s’assurer que les concepts abordés sont exacts, bien structurés et adaptés aux besoins des enseignants en soins infirmiers. Un accent particulier est mis sur l’alignement avec les objectifs d’apprentissage, la progression pédagogique et l’intégration des éléments interactifs. Enfin, la révision de production est effectuée selon le modèle SAM (Successive Approximation Model), qui privilégie une approche itérative du développement. Cette révision porte sur la qualité éditoriale, la cohérence visuelle et la vérification des supports numériques. Chaque version de la capsule est analysée en détail, en portant une attention particulière à la fluidité de la navigation, à la lisibilité des contenus et à l’harmonisation graphique avec la charte visuelle du projet. L’objectif final de cette démarche est de garantir une expérience utilisateur optimale, en rendant la capsule intuitive, efficace et parfaitement adaptée aux attentes du corps professoral.

II. Commentaires et réflexions

II.1 Compétences développées :

Ce projet a permis de développer plusieurs compétences essentielles en conception pédagogique, évaluation formative et gestion de projet. La conception et la mise en place des tests utilisateurs ont renforcé ma capacité à élaborer des méthodologies d’évaluation adaptées aux contextes éducatifs. La sélection des participants, la création de scénarios de test et l’analyse des données issues des tests m’ont permis d’acquérir une expertise dans l’évaluation de l’expérience utilisateur (UX) appliquée à la formation en ligne. Sur le plan technique, la collaboration avec des experts en intelligence artificielle m’a permis de mieux comprendre les enjeux liés à l’intégration de l’IA en éducation. Cette interaction m’a sensibilisé à l’importance de la validation des contenus générés par l’IA et aux défis que représente leur alignement avec les objectifs pédagogiques. Enfin, le travail sur la révision de production m’a permis d’affiner mes compétences en gestion de la qualité dans un projet de formation numérique. L’application du modèle SAM m’a appris à travailler de manière itérative, en intégrant des retours continus pour améliorer progressivement la capsule. J’ai également renforcé ma capacité à analyser des supports multimédias, à identifier les ajustements nécessaires et à veiller à la cohérence visuelle et éditoriale du produit final.

II.2 Défis rencontrés :

Ce projet a soulevé plusieurs défis importants, notamment en ce qui concerne le recrutement des participants aux tests utilisateurs. La population cible étant restreinte, il a fallu mettre en place des stratégies spécifiques pour encourager la participation des enseignants et obtenir un échantillon représentatif. Un autre défi majeur a été la validation des contenus générés par NotebookLM. L’IA peut proposer des quiz, mais ceux-ci doivent être soigneusement revus pour s’assurer qu’ils respectent les principes pédagogiques et les spécificités du domaine des soins infirmiers. Il a été nécessaire de développer des critères rigoureux pour évaluer la pertinence et la qualité des questions produites par l’IA. L’évaluation technique des interactions numériques a également présenté des défis. Il fallait s’assurer que l’interface soit fluide et intuitive pour des enseignants qui ne sont pas nécessairement familiers avec l’IA et les outils numériques avancés. L’intégration des normes xAPI pour suivre l’engagement des utilisateurs a nécessité une adaptation des choix techniques afin d’assurer leur compatibilité avec le système de gestion des apprentissages (SGA) du Cégep Jules-Vermont.

II.3 Solutions adoptées :

Pour pallier ces défis, plusieurs stratégies ont été mises en place. Concernant la participation aux tests utilisateurs, un processus en plusieurs étapes a été défini : une première invitation générale envoyée par la direction du programme, suivie de rappels ciblés et d’un ajustement des critères de sélection pour constituer un échantillon pertinent. Afin d’assurer la qualité pédagogique des contenus générés par NotebookLM, une lecture critique par des experts en IA et en pédagogie a été intégrée au processus. Les experts ont travaillé en collaboration pour vérifier la cohérence des quiz avec les principes andragogiques et les exigences spécifiques des enseignants en soins infirmiers. Sur le plan technique, l’utilisation des normes xAPI a été validée par des tests préliminaires afin de garantir leur compatibilité avec l’infrastructure du Cégep. L’équipe de soutien informatique a également été impliquée pour superviser l’intégration et s’assurer que les données collectées sur l’engagement des utilisateurs permettent une analyse pertinente des interactions avec la capsule.

II.4 Leçons apprises :

Ce projet a mis en évidence l’importance d’une approche structurée et itérative dans l’évaluation formative d’une ressource pédagogique numérique. L’application du modèle SAM a démontré son efficacité en permettant des ajustements continus basés sur des données concrètes. L’expérience a également souligné que l’IA en éducation doit être accompagnée d’un encadrement humain rigoureux. L’intégration d’outils comme NotebookLM ne peut être pleinement efficace que si elle s’appuie sur un processus de validation par des experts en pédagogie et en conception de formations. Enfin, ce projet a montré que l’engagement des utilisateurs est un facteur clé de succès. Une bonne planification de la communication avec les enseignants et une prise en compte de leurs besoins spécifiques sont essentielles pour favoriser leur participation aux tests et leur adoption de la capsule.

II.5 Autocritique et alternatives :

Si je devais améliorer l’évaluation formative de la maquette de formation sur NotebookLM, j’opterais pour une intégration plus progressive des feedbacks afin d’éviter une évaluation uniquement finale. L’ajout de quiz interactifs et de mises en situation après chaque module aurait permis aux enseignants de vérifier leur compréhension en temps réel. De plus, l’utilisation d’analyses de données issues des interactions des utilisateurs avec la capsule aurait offert des pistes d’amélioration basées sur des retours concrets. Une approche adaptative, où le contenu évolue en fonction des erreurs ou réussites des apprenants, aurait également renforcé la pertinence pédagogique de la formation. Enfin, une collecte systématique des impressions des utilisateurs via des sondages intégrés aurait permis un ajustement continu du dispositif.

II.6 Perspectives futures :

À court terme, la priorité est d’analyser les résultats des tests utilisateurs et d’optimiser la capsule en fonction des retours recueillis. Un ajustement des contenus et des interactions numériques sera effectué pour améliorer l’expérience d’apprentissage. À moyen terme, une extension de la capsule vers d’autres disciplines éducatives pourrait être envisagée. NotebookLM pourrait être utilisé pour créer des quiz adaptés à d’autres domaines, en ajustant les scénarios pédagogiques en conséquence. À long terme, l’intégration d’une IA conversationnelle avancée pourrait enrichir l’expérience utilisateur. Un assistant intelligent pourrait fournir des recommandations personnalisées aux enseignants et les guider dans l’optimisation de leurs quiz. Cette évolution permettrait de faire de NotebookLM un véritable outil d’accompagnement pédagogique interactif et adaptatif.