Dynamo
Vous organisez des travaux de groupes et vous rêvez d'un outil qui vous indique les groupes en difficulté et qui vous donne une idée de l'implication de chacun? Le fond de développement pédagogique UCLouvain a financé le développement du module Dynamo à ces fins !
Le moteur de notre Dynamo: l'évaluation par les pairs
L'outil Dynamo est basé sur une évaluation de la dynamique de groupe par les pairs. Chaque étudiant est invité à évaluer les autres membres de son groupe d’apprentissage sur plusieurs dimensions (responsabilité, expertise, attitude, etc.), et à s’évaluer lui-même. Ces évaluations sont ensuite traitées afin de
- mettre à la disposition des enseignants des indicateurs leur permettant de diagnostiquer en un coup d’œil les groupes en difficulté et les dimensions de la collaboration à prendre en charge.
- objectiver, sur la base d’autoévaluations et d’évaluations par les pairs, les conflits potentiels et le degré d’engagement de chaque membre dans un groupe ;
- fournir aux enseignants des informations tangibles, ancrées dans les évaluations étudiantes, pour discuter avec eux des problèmes éventuellement rencontrés dans leur groupe au cours de la réalisation du travail ;
- offrir aux enseignants, sur la base de ces mêmes évaluations, la possibilité de pondérer le travail collectif par une note individuelle rendant compte de la contribution apportée par chaque étudiant, sur base d'un indicateur d'implication validé, le NIWF.
Démonstration en vidéo
Découvrir la grille d'évaluation de la dynamique de groupe
La grille d'évaluation de la dynamique de groupe comporte des critères suivants (ils ont été légèrement reformulés suite aux retours des enseignants) :
- Participation : rencontres, ponctualité, respect des règles du groupe;
- Responsabilité : accomplissement des tâches confiées par le groupe et respect des engagements (lectures, recherches, rédaction, etc);
- Contribution scientifique : richesse et qualité des recherches, rigueur dans l'utilisation et la formulation des idées et concepts scientifiques;
- Contribution méthodologique : capacité à utiliser les outils méthodologiques et techniques pour la réalisation des activités (logiciels ou matériel, méthode de recherche, protocoles, bibliographie, citation des sources…);
- Collaboration : esprit d'équipe, respect des personnes, contribution à la cohésion du groupe et à un bon climat de travail, qualité d'écoute et d'ouverture;
- Critère personnalisé (facultatif) : l'enseignant peut définir un critère d'évaluation personnalisé spécifique au travail organisé, par exemple pour évaluer la qualité des échanges entre groupes.
Les 5 premiers critères ont été sélectionnés sur base d'une veille pédagogique sur la dynamique de groupe. Ils sont obligatoires car la qualité des indicateurs générés en dépend. L'enseignant peut seulement ajouter des éléments personnalisés pour mieux décrire les critères imposés (visibles dans les infobulles d'information).
Les participants sont invités à évaluer chaque membre du groupe selon ces critères sur une échelle graduée à 5 niveaux. Ils doivent aussi s'auto-évaluer et, éventuellement, évaluer leur groupe de manière globale selon les 5 (ou 6) critères.
Les individus sont aussi invités à compléter 2 champs de commentaires ouverts :
- un commentaire sur leur contribution dans le groupe;
- un commentaire sur le fonctionnement du groupe en général.
Précautions pour la composition des groupes : un groupement est obligatoire et les changements de groupes sont délicats
Avant d'utiliser Dynamo, vous devez préalablement associer un groupement aux groupes qui participeront à l'évaluation.
Si vous n'avez pas encore créé vos groupes, soyez attentif et créez vos groupes en spécifiant un nom de groupement associé.
Vous pouvez également utiliser notre plugin TeamUp pour créer des groupes basés sur des critères, ce plugin force la définition du groupement.
Le plugin Choix de groupe est également très couramment utilisé pour permettre aux étudiants de s'inscrire dans des groupes, et il permet également de travailler avec un groupement.
Ne démarrez pas votre activité Dynamo si vos groupes ne sont pas stabilisés. La façon la plus sage de gérer les déplacements de groupes est de supprimer le(s) groupe(s) affecté(s) du groupement, d'ajouter un ou deux nouveaux groupes au groupement, de verser les étudiants dans les groupes manuellement, et d'inviter les étudiants à refaire les évaluations.
Créer une activité Dynamo est très simple ...
Une fois que vous avez pris les précautions ci-dessus, la configuration de l'activité Dynamo suppose seulement de spécifier un titre pour l'activité et le nom du groupement ciblé. Tous les autres paramètres sont optionnels.
Les 5 critères d'évaluation imposés ont une description par défaut et les enseignants peuvent seulement y ajouter des informations si souhaité :
Le sixième critère est optionnel et peut être défini via le formulaire de création d'une activité Dynamo :
Les autres règlages par défaut sont aussi disponibles, comme le suivi d'achèvement qui peut être lié au fait que l'étudiant complète l'évaluation.
Une fois que l'activité est configurée, vous pouvez prévisualiser le formulaire d'évaluation via l'onglet Prévisualisation. Si tout est correctement configuré, vous pouvez inviter les participants à compléter l'évaluation, en veillant à motiver le processus formatif pour garantir le taux de réponse le plus élevé possible (condition d'achèvement). Au fur et à mesure que les évaluations sont complétées, vous verrez les résultats évoluer dans les onglets Résultats et Rapport. Notez que le rapport Liste des participants sans réponse vous montre la liste des participants qui n'ont pas rempli le formulaire d'évaluation, afin que vous puissiez effectuer des suivis ciblés.
Presentation des 5 indicateurs dynamo
| Indicateur | Cible | Interprétation | Visuels |
|---|---|---|---|
| Implication relative | Individu | = 1 L'étudiant a contribué autant que les autres au travail.
< 1 L'étudiant a contribué moins que les autres. > 1 L'étudiant a contribué plus que les autres. |
|
| Assurance relative | Individu | = 1 L'étudiant évalue correctement son niveau global.
< 1 L'étudiant se sous-évalue. > 1 L'étudiant se surévalue. |
|
| Cohérence | Dynamique de groupe | Indique pour chaque étudiant s'il y a une cohérence/variance dans les évaluations des pairs
(pour la facilité de lecture, la variance a été amplifiée pour afficher un nombre de l'ordre de 1) |
|
| Cohésion | Dynamique de groupe | Indique un degré de cohésion du groupe au travers d'indicateurs visuels (calculé sur base de la variance moyenne des étudiants du groupe) |
|
| Climat | Urgence d'intervention | Compile les 4 indicateurs précédents et leur niveau de gravité pour générer un indicateur visuel global qui indique le degré d'urgence d'intervention | 5 niveaux d'urgence du moins grave au plus grave :
|
Analyser les résultats et organiser le feedback
Les étudiants n'ont aucun retour automatique sur les évaluations des groupes via la plateforme. Il nous paraît trop délicat de communiquer les indicateurs aux étudiants sans une discussion associée, en particulier en cas de difficulté. Il est donc important d'organiser un feedback pour les groupes, en veillant en particulier à fournir une régulation dans les groupes où la dynamique peut être améliorée.
Les Résultats (dans l'onglet de même nom) sont présentés en 3 vues :
- Vue d'ensemble : ce tableau de pilotage qui présente la liste des groupes avec les indicateurs visuels synthétiques; chaque membre d'un groupe est représenté par une icône de personne et vous pouvez visualiser les noms et photos en survolant les icônes;Notez que la colonne Appréciations indique quand certains étudiants ont explicitement cité le prénom d'un membre du groupe dans les commentaires ouverts.
- Détails du groupe : présente les indicateurs pour analyser la dynamique du groupe et les commentaires ouverts, avec des graphiques qui comparent les évaluations de chacun avec les évaluations des pairs selon les différents critères d'évaluation;
- Détails du participant : présente toutes les données sur un individu.
Dans chacune de ces vues, les indicateurs préoccupants sont surlignés en couleur selon le degré de gravité.
Dynamo génère aussi divers Rapports (via l'onglet associé) :
- la liste des participants sans réponse (pour les relances);
- le trombinoscope des groupes;
- les rapports des groupes : affiche les rapports de tous les groupes sur une seule page (pour impression ou export pdf via le navigateur);
- les rapports individuels : affiche tous les rapports individuels sur une seule page (pour impression ou export pdf via le navigateur);
- le graphique des assurances relatives : met clairement en évidence les individus qui se surestiment dans le groupe (à rencontrer en priorité);
- un export Excel : cet export permet un archihvage de toutes les données de l'activité Dynamo dans un seul fichier.
Pour organiser le feedback aux groupes,
- nous vous conseillons de vous concentrer sur les groupes en difficulté sur base de la colonne "Climat" dans la vue d'ensemble. Vous pouvez trier votre liste de groupes sur base de ce critère;
- pour ces groupes, analysez les résultats de groupe et individuels, vous pouvez aussi les imprimer (utilisez les possibilités d'impression en pdf de votre navigateur pour générer un fichier pdf);
- consultez aussi les rapports (onglet Rapports) à titre informatif, notamment le trombinoscope qui peut être utile et le rapport des assurances relatives qui met clairement en évidence les étudiants qui se surestiment beaucoup;
- rencontrez les groupes ou individus en difficulté.
Les premières utilisations de Dynamo ont montré que souvent, quand il y a des difficultés dans un groupe, plusieurs indicateurs virent au rouge. Un étudiant n'est pas assez présent, il se surévalue en espérant que son désinvestissement passe ainsi inaperçu, et tout cela compose pour générer des indicateurs de cohérence et de cohésion critiques ... Les commentaires ouverts vous aideront à interpréter la situation et les difficultés individuelles des étudiants comme des problèmes de santé ou des problèmes personnels.
Attention, notez qu'il peut aussi arriver que plusieurs individus s'associent pour donner un mauvais feedback injustifié sur une personne. C'est pourquoi nous recommandons de toujours prévoir une possibilité de contact direct avec un enseignant.
Exploiter l'implication relative pour pondérer la note
L'indicateur d'Implication relative a été conçu pour permettre aux enseignants de prendre la mesure de l'implication de chaque étudiant dans un travail de groupe. Cet indicateur a été construit sur base de références bibliographiques solides et il peut donc être utilisé pour adapter la note.
Attention ! L'utilisation de l'indicateur d'implication relative pour moduler la note suppose que vous veilliez à annoncer cette modalité d'évaluation dès le départ. N'utilisez pas Dynamo uniquement à des fins certificatives. Nous vous inindiquons ci-dessous des exemples d'approches pour exploiter l'implication relative pour pondérer la note, mais il est essentiel de proposer plusieurs activités dynamo formatives avant d'envisager de l'utiliser de manière certificative.
La formule idéale pour l'exploiter est encore à construire ...
Mais voici les modalités d'usage conseillées :
- savoir travailler en équipe fait partie des compétences transversales de nombreux programmes de cours, mais les étudiants doivent pouvoir bénéficier de feedbacks formatifs avant de recevoir une note associée; veillez donc à faire au moins une utilisation formative de Dynamo à mi-parcours et veillez à fournir du feedback aux groupes et/ou aux individus en difficulté, via une rencontre associée à une discussion;
- prévoyez ensuite une activité Dynamo certificative en fin de parcours et prenez en compte l'implication relative pour pondérer la note de groupe pour générer une note individuelle pour le travail;
- un exemple de formule utilisée par un enseignant pour atténuer l'impact de l'implication relative (pondération de 70% de la note) : Note individuelle = Note de groupe * [0.7 * Implication relative + 0.3]
- certains enseignants visant explicitement l'acquisition de compétences de travail en équipe vont au-delà et proposent une pondération directe de la note par l'implication relative (pondération de 100% de la note) : Note individuelle = Note de groupe * Implication relativeNote
- d'autres prévoient une marge de correction maximale pour que la différence entre la note individuelle et la note de groupe reste de l'ordre 10% du score maximum (maximum 2 points d'écart pour une note sur 20);
- pour exploiter facilement l'indicateur d'implication relative, utilisez l'export tableur des données disponible via l'onglet Rapports. Les indicateurs individuels sont listés dans la seconde feuille du fichier tableur.
Exploiter les indicateurs pour générer une note pour la dynamique de groupe
Si le travail en équipe figure dans la liste des compétences transversales à exercer et à évaluer dans votre cours, nous vous suggérons d'exploiter Dynamo à divers moments du travail de groupe pour réguler la dynamique des groupes.
Il est assez délicat d'utiliser les indicateurs de cohérence et de cohésion à des fins de certification, car la dynamique de groupe dépend d'un ensemble de facteurs individuels et collectifs. Nous vous conseillons dès d'évaluer la progression des étudiants dans leur dynamique de groupe et leur prise en compte des feedbacks lors des différentes discussions de régulation.
Si vous trouvez une modalité d'évaluation qui vous paraît efficace, n'hésitez pas à nous le signaler à l'adresse 
Export tableur des résultats
A la fin d'une année académique, vous devrez archiver les résultats des activités Dynamo de votre cours.
Toutes les données sur l'activité sont reprises dans l'export tableur disponible via l'onglet Rapports > Export xls.
Le document exporté contient 3 feuilles :
- une feuille avec les indicateurs de groupe;
- une feuille avec les indicateurs individuels;
- une feuille avec les données brutes.
Rapport d'analyse sur les usages de TeamUp et Dynamo
Durant l'année académique 2021-2022, le Fond de développement pédagogique UCLouvain a financé une analyse des usages de TeamUp et Dynamo qui a permis de nourrir cette page de manuel. N'hésitez pas à parcourir le rapport d'analyse sur les usages de TeamUp et Dynamo, basé sur des entretiens avec une dizaine d'enseignants utilisateurs.
Feedback et suggestions
Si vous utilisez Dynamo et souhaitez nous faire part de vos commentaires ou suggestions, n'hésitez pas à créer des problèmes sur le projet Github de Dynamo ou à nous contacter à l'adresse électronique suivante
Les personnes qui ont contribué à ce plugin
Cette réalisation a été rendue possible grâce à la synergie d’une équipe pluridisciplinaire composée des personnes suivantes :
- Bruno Schoumaker, au pilotage du projet et à la recherche d’un indicateur pour détecter les « passagers clandestins » ;
- Philippe Bocquier, à la poursuite d’un indicateur d’implication individuelle pour pondérer les notes ;
- Patrick Gerin,en quête d’indicateurs de conflits et de graphiques utiles pour les tuteurs ;
- Andreia Lemaître, en quête d’indicateurs de feedbacks formatifs ;
- Séverine Gossiaux, à la veille pédagogique sur les critères d’évaluation des groupes ;
- Marie Demoulin, pour l'enquête sur les usages de l'outil auprès des enseignants;
- Dominique Palumbo, au clavier pour le développement sur Moodle ;
- Isabelle Motte, au tableau pour le design des interfaces et la bonne intégration à Moodle.
