Évaluer par compétences

Remarque : cet article est en cours de rédaction. N'hésitez pas à le compléter. Veuillez utiliser la page de discussion ou un forum adéquat de Moodle en français pour vos recommandations et suggestions d'améliorations.

Cette page est en construction ... pour le moment on en est au débat pour décider de ce qu'on va y mettre ... Voir la page de discussion attachée à cette page

Introduction

La notion de compétence est en rapport avec le niveau de savoir-faire, habileté, aptitude à résoudre des problèmes par un apprenant dans un contexte donné. L'apprentissage par compétences (Competency Based Learning - Skill-based learning) fait référence à un système d'assertion (affirmation) et d'évaluation dans lequel les apprenants apportent la preuve de leurs savoir-faire, états de compréhension, habiletés, dans des activités en rapport avec certaines compétences. Dans l'environnement Moodle, il existe plusieurs manières différentes de mettre en oeuvre une évaluation par compétences.

Par exemple :

• il est possible de créer des référentiels de compétences qui sont utilisés par le biais d'activités Moodle afin d'évaluer les utilisateurs au regard des compétences qui les composent ;
• la notion d'objectif et de barème permet aussi d'évaluer par compétences ;
• dans les devoirs, on peut utiliser des grilles d'évaluation ;
• dans les ateliers, les compétences s'appellent des critères.

Les possibilités d'évaluer par compétences sont nombreuses dans Moodle. Voyons quelques cas d'usages pour vous aider à choisir l'outil le plus intéressant. Nous ne verrons pas les aspects techniques de ces fonctionnalités puisque cela existe déjà dans la documentation Moodle.

Documentations techniques

Pour les aspects techniques, voir les documentations existantes :

• Mettre en place des référentiels de compétences dans Moodle 3.1 : Compétences
• Les grilles d'évaluation dans les devoirs : Grille d'évaluation
• Les objectifs : Objectifs
• Les barèmes :Barèmes

Cas d'usages

Scénario 1 : Délivrer un certificat d'après un référentiel

Dans ce premier scenario, je souhaite valider des compétences des étudiants par rapport à un référentiel officiel. Je veux pouvoir utiliser ce référentiel dans plusieurs cours avec plusieurs enseignants en tant qu'évaluateur. Dans certaines situations je vais valider des compétences automatiquement. Dans d'autres situations je souhaite faire réfléchir les étudiants un peu plus en leur demandant d'identifier des preuves de leur compétences, à leur initiative. Toutes les évaluations de tous les cours sont répertoriées dans un plan de formation indépendant de ces cours. Pour valider les compétences, je veux utiliser un barème "non acquis, insuffisant, acquis, excellent". La compétence sera considérée comme acquise aux niveaux "acquis" et "excellent".

Prenons l'exemple du référentiel du C2i 2 ForCom, mis en oeuvre réellement avec Moodle dans le MOOC Compétences Numériques pour les Cadres. Vous pouvez télécharger ce référentiel au format csv et l'importer dans Moodle. Cela ne peut être fait que par un administrateur. Une fois le référentiel créé par un administrateur, les compétences deviennent alors utilisables dans tous les cours.

Attention toutefois, si je ne fais rien de plus, les compétences ajoutées dans le cours ne sont valables que dans le cours. Il est important d'ajouter les étudiants dans un "plan de formation" pour que les compétences puissent être validées dans des cours différents (voir documentation techniques pour les détails).

Nous avons alors deux stratégies possibles :

• soit je crée des activités pour évaluer. Pour cela j'utilise les conditions d'achèvement d'une activité pour évaluer automatiquement une compétence en fonction des résultats de l'activité.
• soit je laisse l'étudiant faire une demande d'évaluation en lui demandant d'apporter une preuve de son choix.

Voyons ces deux stratégies un peu plus en détail ...

Evaluer automatiquement

L'enseignant peut créer une activité, par exemple un devoir. Dans la rubrique "Compétences" des paramètres du devoir il sélectionne les compétences qu'il veut évaluer dans ce devoir. Il configure les conditions d'achèvement de l'activité pour que les compétences soient automatiquement validées. L'enseignant a le choix sur la manière d'évaluer, il paramètre le devoir comme d'habitude (un barème avec des points, une grille d'évaluation, etc). L'étudiant dépose son travail, l'enseignant évalue comme habituellement et en fonction des critères d'achèvement les compétences sont automatiquement validées.

Avantage : la compétence est validée automatiquement et reportée dans le plan de formation. Quelque soit le cours dans lequel l'étudiant a travaillé, on dispose d'un espace - le plan de formation - qui permet de centraliser tous les résultats.

Inconvénient : si j'ai affecté 3 compétences à un devoir, je ne peux valider automatiquement que ces 3 compétences ou aucune. Je n'ai pas une interface qui permet de valider seulement une compétence sur les trois en fonction du travail réalisé par l'étudiant. De même, dans un QCM, je ne peux pas dire que telle réponse à telle question permet de valider telle compétence. Seul le résultat final permet de valider l'ensemble des compétences sélectionnées dans l'activité.

Evaluation manuelle par l'enseignant

Sans que cela soit lié à l'achèvement de l'activité lors de la correction d'un devoir les compétences associées peuvent être évaluées manuellement par l'enseignant. L'évaluation est alors remontée dans les plan de formations auxquels la compétence est associée.

Demande d'évaluation par l'étudiant

Commençons par un cas simple. L'étudiant veut faire une demande d'évaluation pour une compétence. Il va dans son plan de formation, choisi une compétence et fait une demande d'évaluation en joignant une preuve. La demande part alors vers tous les enseignants désignés comme évaluateur. L'enseignant qui doit évaluer va à son tour dans le plan de formation et regarde au milieu de toutes les compétences demandées par les étudiants celles qui le concernent ! Pas terrible ... mais on peut faire plus simple en attendant une future interface plus conviviale.

Allez dans un cours et afficher le rapport des compétences (détailler cette partie). Dans ce cas on évalue à partir d'une liste où ne figure que les étudiants qui sont inscrits dans le cours plutôt que de voir tous les étudiants de la plateforme qui ont fait une demande d'évaluation.

Voyons maintenant un cas plus complexe. En général, lorsqu'un étudiant travaille sur un projet, une tâche donnée peut lui permettre de valider plusieurs compétences. Or dans l'interface de Moodle, on part de la compétence pour se faire évaluer. Donc si l'étudiant veut faire évaluer 3 compétences, il doit faire 3 demandes en indiquant 3 fois la même preuve de compétences. Pour pallier à cela on peut, par exemple, lui demander de rédiger ses preuves de compétences dans un portfolio (mahara) puis de déposer ce travail dans un devoir Moodle. L'enseignant prend connaissance de ce travail puis, au lieu d'évaluer dans le devoir, il va valider les compétences à partir du "rapport de compétences".

Quelques pièges

L'évaluation par compétences dans Moodle n'en est qu'à ses débuts, il subsiste encore de nombreux défauts. Ce qu'il faut bien comprendre, c'est qu'un utilisateur n'a des droits d'enseignant que dans le cours qu'il crée. En dehors de ce cours il n'a aucun droit particulier en terme d'évaluation. Par défaut, un enseignant ne peut donc pas évaluer les étudiants quand c'est l'étudiant qui en fait la demande, hors du contexte d'un cours. C'est pour cela qu'un administrateur Moodle doit donner des droits d'évaluateur aux enseignants impliqués dans ce type d'évaluation.

Cela permet aussi de comprendre l'intérêt du plan de formation. Sans plan de formation, les validations effectuées dans un cours ne remontent pas au niveau du système. Quand on affiche le "rapport des compétences" on peut valider directement des compétences. Mais attention, ce rapport n'est pas synchronisé avec le plan de formation : il n'affiche pas l'état des compétences qui auraient été validées dans un autre cours. Ce rapport indique l'état des validations dans un cours donné, indépendamment des éventuels validations faites dans un autre cours. Par contre, si les étudiants sont inscrits dans un plan de formation, alors toutes les validations remontent dans ce plan.

Il n'y a aucun moyen de faire un suivi de groupe. Vous validez les étudiants individuellement, compétence par compétence, sans voir l'état d'avancement de votre groupe.

Scénario 2 : Evaluer un travail précis à partir de compétences hors référentiel

Un référentiel c'est bien, mais comment faire si je veux évaluer un travail à partir de compétences qui ne sont pas dans les référentiels présents dans la plateforme. On peut bien sur demander à son administrateur préféré d'ajouter un référentiel, mais ce n'est pas toujours possible ou souhaitable.

Prenons la situation suivante. Je demande à mes étudiants de créer leur premier portfolio dans le cadre d'un cours sur l'insertion professionnelle. Je veux évaluer leurs travaux selon 3 compétences. Je ne les évaluerai qu'une seule fois dans un seul cours, donc je n'ai pas besoin de déranger mon administrateur préféré. Dans ce scénario, je vais utiliser les grilles d'évaluation dans un devoir.

Les 3 compétences, avec 4 niveaux d'acquisition, sont les suivants :

Créer des pages agréables à lire :

• Contenu trop succinct, insuffisant pour évaluer
• Le contenu est mal présenté (mise en page inadaptée ou orthographe ou trop succinct ...)
• Le contenu est bien présenté mais essentiellement textuel, ou pas assez diversifié, ou avec des fautes
• Le contenu est bien présenté, diversifié et sans fautes

Présenter ses compétences, ses activités professionnelles :

• Pas de trace de l'activité professionnelle
• Traces de l'activité, mais sans analyse
• Traces de l'activité et début d'analyse de celle-ci mais sans rapport aux objectifs du cours
• Traces et analyse réflexive de l'activité en rapport avec le métier choisi par l'étudiant

Lier ses compétences à un référentiel (métier, c2i, universitaire, …) existant :

• Aucun lien avec un référentiel de compétences
• Des compétences métiers sont identifiées mais sans lien avec des activités de l'étudiant
• Un référentiel métier et des activités sont identifiés et liés, mais sans analyse réflexive
• Les compétences sont analysées par rapport à un référentiel métier

Les étudiants vont créer leur portfolio puis le déposer dans un devoir. L'enseignant aura créé une grille d'évaluation (évaluation avancée) dans laquelle il aura créé les 3 compétences avec les niveaux d'acquisition. Cette grille créée dans ce devoir peut éventuellement être réutilisée dans un autre devoir.

Avantage : je peux ainsi évaluer par compétences de manière très simple, sans avoir à créer de référentiel et de plan de formation, en créant mes propres compétences.

Inconvénient : cette grille ne peut être utilisée que dans le devoir et pas dans les autres activités de mon cours. Les résultats ne remontent pas vers le système, les notes ne sont valables que dans le cours où le devoir a été créé.

Scénario 3 : Evaluer des compétences hors référentiel

Dans ce cas d'usage, je veux évaluer quelques compétences qui ne sont pas dans un référentiel central. Je vais pouvoir les créer sans passer par mon administrateur. Contrairement à l'exemple précédent, ces compétences sont évaluées à partir de plusieurs activités qui ne sont pas forcément des devoirs (QCM, leçon, wiki, atelier, ...).

Pour cela je vais créer des "Objectifs" (Outcomes).

Soit ce sont des "Objectifs standards" définis au niveau du serveur (il faut le rôle d'administrateur pour les créer - importer), alors disponibles dans tous les cours, soit ce sont des "objectifs locaux". Ils ne seront disponibles dans le cours où ils sont créés, et ne peuvent être évalués que dans les activités du cours.

On peut alors décider, pour chaque activité proposée dans le cours, lesquels de ces objectifs seront évalués. Par exemple lors de la correction d'un Devoir, l'enseignant valide aussi les objectifs associés au devoir en utilisant un barème (standard ou créé par lui). Pour les autres activités du cours il fait cette évaluation dans la rubrique Notes. Le bilan des évaluations pour chaque étudiant apparaît dans la rubrique "Notes" du cours.

Avantage : Le mécanisme des objectifs est disponible (pourvu qu'il ait été activé par l'administrateur du serveur) dans tout le cours et utilisable dans presque toutes les activités.

Inconvénient : On ne peut pas évaluer depuis plusieurs cours puis centraliser les résultats. Il n'y a pas de notion de référentiel ni de plan de formation.