Correction automatique de QCM Papier

Présentation générale

Ce que fait "QCM Papier" ?

L'application "QCM Papier" est un ensemble d'utilitaires permettant de préparer, générer et corriger automatiquement des Questionnaires à Choix Multiples (QCM) depuis l'environnement de la plateforme pédagogique Moodle de l'UPMF.

QCM Papier est basé sur l'outil AMC (Auto Multiple Choice) d'Alexis Bienvenüe. En savoir plus. L'intégration Moodle a été réalisée par la société SILECS, à l'initiative de la Direction des Formations et de la Vie Étudiante de la Direction des Systèmes d'Information et du Service TICE-EAD de l'Université Pierre-Mendès-France - Grenoble 2.

QCM Papier vous permettra de préparer une série de QCM, en générant autant de questionnaires différents que souhaités, mélangeant les questions et les choix de réponses de façon aléatoire, puis d'imprimer les cahiers de questions et feuilles de réponses correspondant pour une utilisation sur table.

Une fois l'épreuve passée, les réponses des étudiants seront numérisées puis corrigées et notées automatiquement par l'application selon le barème choisi.

QCM Papier s'insère dans l'environnement Moodle pour la création des questionnaires. Ce manuel vous guidera dans la mise en œuvre de ses différents composants sans pré-supposition de vos connaissances de Moodle.

Prérequis

Pour commencer il est nécessaire de disposer d'un "espace de travail" (cours) dans Moodle. Cet espace de travail pourra être organisé de différentes façons : regrouper tous vos QCM, correspondre à une année d’étude, à une UE, etc. Si vous envisagez de permettre à ce niveau l'accès aux QCM directement par les étudiants, par exemple pour mettre en place une auto-évaluation, il faut aussi que vos étudiants soient inscrits dans ce cours.

Les termes utilisés dans ce manuel

Comme l'application Moodle "QCM Papier" peut être vue comme une extension des services de Moodle, elle s'appuie sur les outils et le vocabulaire de Moodle. Ci-dessous un rapide glossaire pour vous permettre de vous familiariser avec ce cadre.

  • Cours : espace de travail d'un site Moodle dans lequel un ou des enseignants proposent des contenus et/ou des activités à des étudiants. Un cours peut être structuré en différents formats : hebdomadaire, thématique ou informel. Les utilisateurs d'un site Moodle peuvent être inscrits dans plusieurs cours sur ce site, en tant qu'enseignant ou étudiant suivant le rôle qu'ils ont à jouer dans chaque cours.
  • Activité : une activité est un nom général pour un groupe de fonctions dans un cours Moodle. Habituellement, une activité est quelque chose que l'élève fera qui interagit avec d'autres étudiants et/ou l'enseignant.
  • QCM : Question de type “choix multiples” créée au sein d'une catégorie. Comprend généralement un nom et un libellé (qui peuvent être identiques). Plusieurs questions constituent un test.
  • Test : un test est une activité regroupant plusieurs questions et répondant à des règles de fonctionnement choisies. L’activité test permet à l’enseignant de créer et d’enrichir des tests contenant une grande variété de questions de différents types. Ces questions, une fois créées, sont enregistrées dans la Banque de questions et peuvent être utilisées dans différents tests.
  • Banque de questions : la banque de questions permet à l'enseignant de créer, de prévisualiser et de modifier des questions dans une base de données de catégories de questions.
  • Question : des questions de différents types peuvent être créées dans Moodle afin d'être utilisées dans des tests et pour les importer dans des leçons.
  • Catégories : Dans les tests, les questions peuvent être classées en différentes catégories. Les catégories se comportent comme des dossiers et sous-dossiers. Une catégorie de questions peut contenir des questions individuelles ou d'autres catégories de questions. On trouve les catégories en passant par la banque de questions ou en construisant un Test.
  • Contextes : On peut partager des questions dans différents contextes. Le terme contexte peut ne pas être familier. Songez à un contexte en tant qu'espace dans votre site Moodle. Chaque contexte possède sa propre hiérarchie de questions. Ainsi, vous pouvez sélectionner le 'contexte' dans lequel vos questions seront partagées. Un administrateur peut aussi donner aux utilisateurs différentes permissions à l'intérieur de différents contextes. Les questions sont placées dans une structure hiérarchique semblable à des dossiers. Vous pouvez imaginer les contextes des questions comme autant d'endroits où un ensemble de catégories de questions est placé. Par défaut, chaque enseignant peut créer de nouvelles questions dans le contexte du cours et de l'activité.

Les types de questions

Il y a deux types de questions :

  • les questions simples (appelées tout simplement "questions" dans le logiciel) : on pose une question, on propose un certain nombre de réponses mais une seule est vraie.

    Exemple : L'acronyme QCM signifie :

    1. Quantificateur de Constante Macabre
    2. Quasi Cours Magistral
    3. Questionnaire Comme Maïeutique
    4. Aucune des autres réponses proposée n'est correcte

      réponses inspirées de l'article "Le QCM dans tous ses états" de Marc Menou et Laurent Lagriffoul, PédagoTICE 2013

  • Les questions à choix multiples : on pose une question, on propose un certain nombre de réponses dont plusieurs sont justes (ou aucune ou une seule).

    Exemple : Dans QCM Papier, poser une question simple :

    1. Ne suppose qu'une seule réponse vraie
    2. Peut ne proposer qu'une réponse positive ou négative
    3. Peut proposer plusieurs réponses exactes

Les différentes étapes

Lors d'une première saisie

Un cycle complet de l'application "QCM Papier" comprend au maximum 6 étapes.

Soit, dans l'ordre :

  1. La création du "QCM Papier"
  2. La conception et la saisie des questions dans Moodle (éventuellement importées depuis un fichier de questions existantes).
  3. L'impression des copies
  4. Faire passer un test ou un examen avec QCM Papier
  5. La numérisation des copies
  6. La récupération des copies dans QCM Papier, leur vérification et leur notation

Lors d'une réutilisation

  1. La conception et la saisie des questions dans Moodle (éventuellement importées depuis un fichier de questions existantes).
  2. La modification de question existantes
  3. La création du "QCM Papier" par le choix des questions et la génération des copies
  4. L'impression des copies
  5. Faire passer un test ou un examen avec QCM Papier
  6. La numérisation des copies
  7. La récupération des copies dans QCM Papier, leur vérification et leur notation

La création du "QCM Papier"

La construction d’un QCM avec l'application QCM Papier suit quatre grandes étapes :

  1. Créer un questionnaire et le paramétrer
  2. Ajouter des questions au questionnaire à partir de la banque de questions et
    • Organiser les questions
    • Définir le barème du questionnaire
  3. Vérifier le questionnaire
    • Mettre en page le questionnaire
    • Identification des étudiants
  4. Préparer sujets et corrigés
    • Imprimer les cahiers de questions et feuilles de réponse constituant les sujets

Créer un QCM et le paramétrer - Page "Paramètres"

Mode Edition
caption Mode Edition
Ajouter QCM
De nombreux paramètres règlent le comportement de l'application QCM Papier. La plupart d'entre eux ont toutefois été déjà configurés avec des valeurs par défaut et vous n'aurez en général pas à modifier ces options. Certaines d'entre elles sont dites « avancées », ce qui signifie qu’elles n’apparaîtront pas par défaut dans la page de paramètres et pourront faire l'objet d'un paramétrage spécifique par l'administrateur de la plate-forme pédagogique (Service TICE-EAD). Un tel classement permet de simplifier la page de modification des paramètres. Vous pouvez afficher les options avancées en cliquant sur les boutons « 
Réglages courants
 » ou/et
Restreindre la disponibilité
. Lorsque vous ajoutez un QCM (
Ajouter une activité ou une ressource -> QCM papier
), la page de paramètres associés s'affiche automatiquement. Cette page de paramètres est également accessible par le menu
Administration -\> Paramètres
. Les paramètres de cette page comprennent, d'une part, les paramètres généraux d'un QCM aux standards de Moodle et, d'autre part, ceux utilisés pour définir le barème.

Page "Paramètres"

Paramètre
caption Paramètre
  • Nom : Donner un nom au questionnaire. Dans ce champ, vous devez entrer le nom du QCM. Ce nom s’affichera sur la page d’accueil du cours, dans le bloc
    Navigation
    et à tout autre endroit affichant des liens vers les QCMs
  • Préciser le nombre de questions
  • Attribution des points (voir ci-dessous)
  • Laisser la consigne prédéfinie comme telle
  • Consigne : vous pouvez y mettre des informations, telles que la durée, etc.
    Copies anonymes : Ne pas utiliser pour l’instant pour des examens car la procédure doit être validée dans les modalités d’examen.
  • Nombre de versions : vous pouvez faire un certain nombre de version du même QCM papier. Attention, cette étape détermine l'impression finale des QCM en fonction du nombre d'étudiants.
  • Note minimale : à préciser si vous ne souhaitez pas mettre une note négative.
    Vous avez la possibilité de mélanger les questions, les réponses. Si votre QCM fait plus d’une page, cochez l’onglet feuille réponses séparée. Vous pouvez afficher les points (menu déroulant) Pensez à
    enregistrer

Attribution des points

La définition d'un barème est complexe. On peut choisir :

  • La note affectée en cas d’incohérence des réponses : plusieurs cases cochées pour une question simple, ou, pour une question multiple, case « aucune de ces réponses n’est correcte » cochée en même temps qu’une autre case.
  • La note affectée en cas de non-réponse (aucune case n’est cochée).
  • La note plancher. Si le calcul de la note obtenue à la question donne une valeur inférieure à la valeur plancher, cette note est ramenée à la valeur plancher.
  • Les points à donner pour une bonne réponse à une question.
  • Les points à donner (ou à retirer) pour une mauvaise réponse à une question.
Dans un barème du type “maximum ou zéro”, si les réponses à la question sont toutes bonnes, alors la note attribuée sera
mz
. Dans le cas contraire, elle sera nulle.
  • Le barème par défaut pour une question simple est
    e=0,v=0,b=1,m=0
    , ce qui donne un point pour une bonne réponse et aucun point dans tous les autres cas.
  • Le barème par défaut pour une question multiple est
    e=0,v=0,b=1,m=0,p=-100,d=0
    , ce qui donne un point pour chaque case qui est cochée ou non à bon escient (case d’une bonne réponse cochée, ou case d’une mauvaise réponse non cochée).

Les notes des étudiants sont calculées, pour chacun d'entre eux, de la manière suivante :

  1. Le barème de chaque question est appliqué pour obtenir les scores obtenus aux questions.
  2. La somme des scores de toutes les questions (sauf les questions indicatives) est calculée : on obtient le score total de l’étudiant.
  3. Si une note maximale non-nulle est donnée en paramètre (dans l’onglet
    Projet
    ), le score total est divisé par le score maximal (c’est-à-dire le score total calculé pour une copie parfaite), puis multiplié par la note maximale, pour obtenir la note de l’étudiant. De cette façon, un étudiant ayant répondu de manière parfaite se verra attribuer la note maximale. Avec une note maximale fixée à 100, la note de l’étudiant pourra être vue comme un pourcentage de bonnes réponses. En France, on utilise souvent une note maximale égale à 20.

Un barème simple attribue un point si l’élève coche juste ; -0,5 s’il coche faux ; 0 s’il ne coche pas. Entièrement paramétrable, QCM Papier est capable de traiter des barèmes bien plus complexes. N'hésitez pas à solliciter le Service TICE-EAD si besoin.

La conception et la saisie des questions - Page "Modifier la sélection des questions"

Avant de sélectionner les questions...

L'application QCM Papier permet de choisir entre deux systèmes de rédaction des questions :

Import /création de questions

  • Soit en saisissant directement les questions dans une zone de texte spécifique ou en y collant une ou plusieurs questions copiées depuis un traitement de texte et rédigées selon une syntaxe spécifique
  • Mettre les questions en gras
  • Souligner les bonnes réponses
  • Barrer les mauvaises réponses
  • Ne pas numéroter les questions
Copier le questionnaire mis en forme. Puis Import / création de questions
Import Question
Import Création
Coller depuis Word

Création d'une question par formulaire

  • Soit en utilisant un formulaire de saisie qui en guide la création.
Création par formulaire
Pour toute modification, cliquer sur le lien "Modifier la sélection de questions"
formulaire

Sélections des questions

Choix des questions
On peut trier en cliquant sur l'en-tête de colonne. La colonne "actions" sélectionne la ou les question (s) que vous souhaitez utiliser dans votre QCM. Cliquer sur + (la ou les question (s) s'affiche en bas de la page). Le crayon permet de modifier la question. Attention, un nouvel onglet s'ouvre automatiquement. Penser à le fermer après avoir enregistrer vos modifications. Puis faire F5 pour rafraîchir le navigateur.
Tri

Questions choisies

Les questions sélectionnées sont affichées en bas de page. Vous pouvez changer l'ordre des questions (inutile si vous avez choisi le paramètre "Mélanger les questions"), désélectionner les questions et attribuer les notes. Enregistrer.
Questions Choisies

Page
tableau de bord

Vous disposez d'un lien vers la page "Paramètres" mais aussi "Modifier la sélection de questions".
Etape

Attribution des points par question :

Le nombre de points attribués dans la page "sélection des questions", "questions choisies" peut être modifié. Le total s'affiche automatiquement. On peut basculer le mode d'affichage avec le bouton "Afficher/masquer les réponses". Enregistrer.
Note
Si on attribue par exemple au QCM une valeur de 10 points (paramètres du QCM). Par défaut, chaque question aura une valeur de 1 point. Si au départ toutes les questions ont la même valeur. Vous pouvez modifier la valeur de chaque question en changeant le nombre se trouvant dans la case "Note" de la question, en n'oubliant pas de valider votre choix en cliquant sur le bouton "Enregistrer".

L'impression des copies

La préparation du sujet se fait en deux étapes.

Prévisualiser les PDF

Il faut tout d’abord fabriquer les documents de référence à partir du fichier source :

  • Ceci se fait en cliquant sur le bouton « 
    Prévisualiser les PDF
     » . Les documents produits sont les suivants :
  • Le sujet. C’est le fichier qu’il faudra imprimer pour que ses pages soient distribuées aux étudiants.
  • Le corrigé. Qui permettra de vérifier que les réponses cochées sont les bonnes. Il pourrait aussi être distribué aux étudiants.
Une fois produits, ces documents pourront être visualisés (et éventuellement imprimés) grâce au bouton "
préparer les documents à imprimer et verrouiller le questionnaire
" (création d'un fichier ZIP)
Prévisualiser

Télécharger les sujets

Imprimer les cahiers de questions et feuilles de réponse constituant les sujets.
Sujets

Impression

La prévisualisation effectuée, vous pouvez imprimer les QCM. Attention, le nombre de version indiqué dans les paramètres déterminera le nombre de fichiers à imprimer.

ATTENTION ! Après une demande d’impression, vous ne pourrez plus modifier le QCM.

Deux méthodes différentes permettent de mener à bien l'impression des cahiers de questions et des feuilles de réponse constituant les sujets :

  • La méthode la plus robuste consiste à avoir le même nombre de versions que d'étudiants. Chaque page de chaque copie étant différenciée par les codes inscrits en haut de la page, les pages pourront être numérisées sans risque d'erreur. Dans ce cas, même si le questionnaire fait plusieurs pages, les étudiants peuvent répondre dans le questionnaire.
  • La deuxième méthode consiste à produire un certain nombre de versions (éventuellement une seule), à les imprimer et ou photocopier pour que chaque étudiant puisse en disposer. Avec cette méthode le mélange des questions et réponses perd de son efficacité.
ATTENTION ! Avec la deuxième méthode utilisant des photocopies, les étudiants ne doivent nécessairement composer que sur une seule page (ce résultat peut être obtenu en utilisant une feuille de réponses séparée). Dans le cas contraire, vous ne pourriez pas traiter les feuilles numérisées ensuite ! En effet, il serait impossible pour l'application de faire le lien entre plusieurs pages composées par un même étudiant.

Faire passer un test ou un examen avec QCM Papier

ATTENTION ! Une fois le sujet imprimé et distribué, il ne faut plus modifier les documents de travail car il faut garder la certitude qu’ils resteront conformes aux copies distribuées.

Pour un premier QCM, prenez le temps d’expliquer à vos étudiants le mode opératoire :

  • Il faut noter son nom DANS le cadre et pas au dessus ou à coté. Si vous avez imprimé deux feuilles sur une, il faut aussi que les étudiants ajoutent leur nom dans la partie droite (n’importe où) car dans le cas ou vous massicoteriez les feuilles, la partie droite serait «orpheline» ce qui pourrait poser problème pour rendre les copies.
  • Il faut que les cases soient remplies correctement/entièrement (et non cochées, entourées ou soulignées, etc)
  • Il faut utiliser de préférence un crayon graphite et surtout pas de bleu clair qui ne serait pas reconnu. Le fait de pouvoir gommer permet de corriger un résultat noté au crayon.
  • Si on veut « décocher » une case que l’on a coché par erreur, il suffit de la passer entièrement au blanc sans refaire le carré noir.
L’idéal est de demander aux étudiants de répondre au crayon papier sans trop appuyer et de repasser à la fin au stylo noir.

En ce qui concerne la numérisation, le noir et blanc sans nuances de gris est conseillé. Une fois la numérisation effectuée, la photocopieuse/scanner vous enverra le fichier correspondant directement en messagerie (demandez à l'assistance informatique de votre composante si le matériel doit être paramétré pour ce faire). Il vous sera parfois nécessaire de passer par une clef USB pour récupérer la numérisation et pouvoir la récupérer sur votre poste de travail.

Nota : Pour l’analyse des copies, vous pouvez disposer d’un ou plusieurs fichiers PDF correspondant à la numérisation effectuée.
Envoi fichiers
caption Envoi fichiers

La récupération des copies dans QCM Papier, leur correction et leur notation

Vous devez, à ce moment de la procédure, disposer d'un ou plusieurs fichier (s) contenant l’ensemble des copies de vos étudiants numérisées.

Dès lors, la correction peut être lancée. Elle suivra trois étapes :

  • Identification éventuelle
  • Transfert des copies
  • Correction/Notation

Identification

Cette étape n’est pas obligatoire.

L'application QCM Papier permet d’associer chaque copie à un étudiant donné. La lecture directe ou par reconnaissance optique du nom de l'étudiant n’est pas possible, mais il est possible de demander aux étudiants de s’identifier grâce à leur **numéro** d’étudiant, qui sera renseigné en cochant une case par chiffre. Après l’examen, les copies seront identifiées automatiquement en mettant en correspondance les numéros d’étudiants et leurs identifiants Moodle. Il faut donc que les étudiants soient inscrits dans Moodle (envoi des codes étapes ou éléments pédagogiques au service TICE EAD). Si les étudiants ne sont pas correctement authentifiés, le tableau des scores sera difficilement exploitable. Par contre, les copies annotées et corrigées seront distribuables aux étudiants. L'application QCM Papier va procéder à une reconnaissance optique de marques sur les numérisations afin de détecter les quatre marques circulaires des coins, en déduire la position des cases à cocher et mesurer la proportion de noir à l’intérieur de chacune d’entre elles.

Transfert des copies à l'application QCM Papier

Retourner dans le tableau de bord de votre QCM papier, puis cliquer sur le bouton "Dépôt des copies des étudiants". Vous pouvez renouveler l'opération autant de fois que vous avez de fichiers PDF. Le nombre de pages scannées et déposées s'affiche.

Notes et copies corrigées

Un clic sur « 
Notes et copies corrigées
 » lance l'analyse des copies et affiche la moyenne de l'épreuve. L'opération peut prendre quelques minutes.
Notation
caption Notation
Statistiques de l'épreuve

Le nombre de copies, la moyenne, etc... s'affichent.

Score

Le nombre de copies "identifiées" s'affiche. Un fichier csv (tableur) avec et sans noms est téléchargeable. Il permet d'avoir des informations sur les réponses pour chaque question.

Annotation

En appuyant sur le bouton "Annotation", vous téléchargez les copies des étudiants corrigées et notées. L’annotation est assez longue.

  • les cases cochées à tort par l’étudiant sont entourées en rouge ;
  • les cases non-cochées qui auraient dû l’être sont cochées en rouge ;
  • les cases cochées et qui devaient l’être sont cochées en bleu ;
  • pour chaque question, sont indiquées la note obtenue ainsi que la note maximale pouvant être obtenue ;
  • la note globale de la copie est indiquée en haut à gauche, juste après le nom de l'étudiant si celui-ci a été correctement identifié.

Les possibilités de modification des questionnaires après épreuve

Après qu'une épreuve ait été organisée en utilisant votre QCM, vous pourrez être amenés à souhaiter le modifier, par exemple en plaçant les questions dans un ordre différent ou en les réévaluant.

Il vous faudra alors modifier chaque question individuellement en cliquant "Modifier".

Attention : Lorsque vous découvrez une mauvaise question dans votre QCM, cela peut avoir un impact sur la banque de questions. Rappelez-vous qu’un examen peut être construit à partir de questions aléatoires prises dans différentes catégories, ces mêmes catégories qui sont utilisées dans des courts QCMs sur le sujet. Il peut être très important de corriger les questions non valides dans une catégorie, surtout si cette catégorie est utilisée dans un autre QCM.

Informations techniques et installation

Les développements sont disponibles à l'adresse https://github.com/upmf/

Trois dépôts distincts sont utiles :

C'est le module central, celui qui gère les QCM.

Ce module optionnel permet de saisir plus facilement des questions pour les QCM.

Ce module optionnel permet d'utiliser des questions de Moodle contenant des formules mathématiques.

Chaque dépôt contient une courte documentation technique, notamment pour l'installation.