Fent servir la puntuació basada en certesa

Nota: CBM en Moodle es basa en les estratègies desenvolupades pel Prof. Gardner-Medwin at UCL (London, UK). Més documentació es pot trobar aquí.

Què és la puntuació basada en certesa QBC (CBM)?

• Després de cada resposta, heu d'indicar la seguretat que teniu que la vostra resposta és correcta.
• Es tracta d'una escala de 3 punts: C = 1 (baixa), C = 2 (mitjana) o C = 3 (alta)
• No fem servir paraules com "segur" o "molt segur" perquè això significa coses diferents per a persones diferents.
• L'esquema de puntuació i el risc de penalització determinarà quan heu de fer servir cada nivell de C:

Certainty level	C=1	C=2	C=3	No Response or 'No Idea'
Mark if correct	1	2	3	( 0 )
Mark if wrong	0	-2	-6	( 0 )
Probability correct	< 67%	67–80%	>80%	-
Description	Unsure	Mid	Quite sure	-

• Els nivells de certesa 1, 2, 3 sempre donen puntuació 1, 2, o 3 si la resposta és correcta.
• Si la resposta és incorrecta, tret que hàgiu optat per C = 1, us restarà puntuació: -2 a C=2 i -6 a C=3

Per què fer servir CBM?

• Fer reflexionar els estudiants sobre la fiabilitat de la seva resposta.
• Per animar els estudiants a intentar comprendre els problemes, no només reaccionar a una pregunta.
• Afegir un desafiament: Si un estudiant no s'arrisca a ser penalitzat a la puntuació, no sap realment la resposta.
• Si un estudiant és curós amb el seu raonament, pero no està molt segur de si mateix, guanyarà en confiança.
• És més just: una resposta correcta reflexiva i segura mereix més puntuació que un encert afortunat.
• Els estudiants necessiten prestar més atenció si responen malament amb seguretat: pensar, reflexionar, aprendre!
• Un estudi eficient requereix questionar-se constantment com sorgeixen les nostres idees i la seva fiabilitat.

Com decidir el millor nivell de certesa

• Si estàs segur, òbviament la millor opció és C=3. Però perdreu el doble (-6) si esteu equivocats!
• Si no estàs segur, hauríeu d'evitar qualsevol risc de penalització escollint C=1
• Entremig, el millor és utilitzar C=2: guanyes 2 o perds 2 depenent de si tens raó.

• El gràfic mostra com la nota mitjana de cada nivell C depèn de la probabilitat que la teva resposta sigui correcta.
  • Suposem que creieu que només teniu un 50% de probabilitat d'encertar: el valor més alt per al 50% de l'eix inferior és negre (per a C=1). D'aquesta forma hauries d'obtenir els millors resultats de mitjana seleccionant una certesa baixa (C=1).
  • Si creus que pots justificar bé la teva resposta, amb més d'un 80% de possibilitats de que sigui correcta, llavors el gràfic vermell és més alt, per C=3. Agafeu aquesta opció
• Tingueu en compte que mai no podeu esperar guanyar mitjançant la representació errònia de la vostra certesa. Si feu clic a C=3 (la línia vermella) quan no esteu segurs, esperareu fer-ho malament, molt probablement amb puntuació negativa. Podríeu tenir sort; però, de mitjana, perdreu! Si enteneu bé ka pregunta i penseu que la vostra resposta és fiable, perdreu si opteu per C=1 o C=2 en lloc de C=3. Ho fareu millor si podeu distingir de quines respostes esteu segurs i de quines no tant.

Retroacció sobre el teu rendiment CBM

• Si feu servir CBM amb retroacció després de cada resposta, llavors la vostra puntuació us dona molta informació: -6 farà que us pregunteu la vostra seguratet sobre una resposta incorrecta. Penseu (juntament amb qualsevol explicació disponible i els vostres llibres o notes) com lligar diferents parts del vostre coneixement.
• Si encerteu repetidament preguntes amb C=1, pregunteu-vos si potser coneixeu millor el tema del que creieu. Pregunteu-vos com podeu relacionar les vostres respostes amb coses que definitivament coneixeu i tingueu més confiança.
• Quan finalment envieu les respostes, veureu els percentatges correctes per a cada nivell C que heu fet servir. L'ideal seria que estiguessin al voltant de 50%,70%,90% per C=1,2,3 si coneixeu bé el tema (moltes respostes a C = 3) o sinó el coneixeu bé (lmoltes a C = 1). La retroacció us avisarà si tendiu a sobreestimar o subestimar la fiabilitat de les vostres respostes. Si el resultat és un excés de confiança penseu per què! Potser no heu anat amb compte, potser teniu idees errònieso esteu donant respostes segures a preguntes que realment no enteneu o que estan formulades ambiguament. Feu servir això per reconduir el vostre estudi i millorar la vostra interacció amb els professors.
• Tingueu en compte que algunes preguntes d'un qüestionari poden tenir més pes que altres, de manera que, per exemple, podríeu obtenir -12 si la pregunta té doble pes i cometeu un error de confiança. Com que això fa més difícil interpretar la retroacció probablement no és bona idea que els qüestionaris variïn els pesos dee les preguntes quan es fa servir CBM.
• Si només s'han respost algunes preguntes, la retroacció CBM pot tenir poc significat: 2 or 3 respostes correctes amb poca certesa poden ser uns qüestió de sort! El que és important és que penseu en per què esteu o no segurs, i apreneu d'això.

Qualificacions i puntuacions amb CBM

Mitjana i precisió de CBM

• La Mitjana CBM pot oscil·lar entre 3 i -6. Si totes les preguntes del qüestionari tenen el mateix pes, llavors és simplement la nota mitjana CBM, com es mostra a la taula CBM anterior. So els pesos (w) varien, llavors la puntuació CBM (m) atorgada a cada pregunta es Mitjana CBM = Σ(wm)/Σ(w).
• La Precisió és una mesura convencional de quant heu aconseguit en el qüestionari, ignorant les qualificacions CBM. Si totes les preguntes tenen un pes igual, és el percentatge de respostes correctes (potser algunes respostes es comptabilitzen com a parcialment correctes). Si les preguntes tenen diferents pesos w, i les respostes tenen una correcció fraccional f (entre 0 i 1) llavors Precisió = Σ(wf)/Σ(w).
• Respostes parcialment correctes. Si les respostes de Moodle són parcialment correctes (assignada una fracció f més gran que zero), aleshores per C=1, 2 o 3 la nota atorgada serà f, 2f o 3f. Si f és negatiu (el que implica que qualsevol porció correcta d’una resposta es veu superada per errors ) llavors la nota atorgada serà la mateixa que per a una resposta errònia (0, -2 o -6).

Què et diuen la puntuació i la precisió mitjana CBM?

The graph^* shows the scores (Accuracy and CBM average) for several thousand online submissions on a variety of voluntary CBM self-tests for learning and revision, mostly with university students. It is annotated with interpretations of the students' knowledge in different zones of the graph.

^* This graphical form is used in CBM Self-Tests (not currently in Moodle) to present a student's score after submission.

• Note that the CBM average is always less, as a percentage of maximum, than accuracy. For the score shown in yellow, the CBM average (1.5) was 50% of maximum, while the accuracy (which ignores C ratings) was 80%. You obviously shouldn't worry that your CBM average is less, expressed in this way, than your conventional score. It always is!
• If you didn't discriminate at all between reliable and uncertain answers (giving them all the same C rating, appropriate just for how well you know the topics on average), then your scores would lie somewhere on the green line on the graph.
• If your score lies above the green line, then you are successfully distinguishing reliable answers from uncertain ones. If your score lies below, then you are either misjudging how well you know and understand the topics, or you may have serious misconceptions (things you confidently believe, but that are not so!).

CBM Bonus, CB Accuracy and CB Grades

It is convenient to express a student's success at distinguishing reliable from uncertain knowledge in terms of a CBM Bonus that can be added to (or subtracted from) their conventional accuracy, expressing the percent correct in their answers. The CBM Bonus is determined by how much the CBM average lies above or below the green line on the graph above. A negative bonus^** means the student has discriminated badly or misjudged the reliability of their answers. For the example score shown in yellow, the CBM average is 0.3 marks above the line, which is multiplied by a standard factor β (=10%)^* to give a CB bonus = +3%. When added to the Accuracy (= 80%) this gives CB Accuracy = 83%. The CB Grade is simply the CB Accuracy multiplied by the grade value assigned to the quiz. Use of CB Accuracy makes it easy for students and examiners to compare conventional and CB grades, while the difference (the CB Bonus) is an indication of the student's critical awareness of which parts of his or her knowledge are and are not reliable.

^* The factor β=10% used to calculate CB Bonus is optimally chosen to maximize the statistical reliability of the resultant total score (Accuracy + Bonus): its ability to predict accurately the performance on related tests. Ref: Gardner-Medwin, 2013

^** If you think a negative bonus strange, think how much better the world would be if bankers' bonuses could go negative. A negative CBM bonus typically flags what were described by Confucius as an inability "when you do not know a thing, to allow that you do not know it" and by Donald Rumsfeld, more concisely, as "unknown unknowns". They are both essentially negative knowledge, worse than acknowledged ignorance.

CBM Data in Exams

By the time students take exams, many of their misconceptions (confident errors, leading to negative marks) will have gone, and students should be better judges of their areas of mastery and uncertainty. This means that CB Bonuses tend to be more uniformly positive. CB Accuracy allows examiners to make a direct comparison of CB standards criteria with conventional standards.

Example CBM data from a UCL medical exam using True/False questions.

Scores related to just part of a Quiz

CBM is particularly valuable for self-tests, where students challenge themselves as part of their study. Answers may be omitted because they are not on a topic of current interest, they are too easy, or perhaps not yet studied. CBM scores can then be presented relative to the set of questions the student has chosen to respond to. All correct on just half of a quiz would then show as 100% accurate. It is up to the student to interpret such scores: obviously if questions are omitted because they are difficult, then the relative score may overestimate competence in the subject. Moodle 'Grades' are always relative to the whole quiz, and this is the default presentation for other scores too.

Moodle Grades with CBM

The Moodle Grade is the total of marks awarded, scaled relative to a nominal value for the whole quiz. Grades are sometimes shown 'out of' this value, but with CBM the grade can be up to 3 times as big (if all answers are correct at C=3). This simple form of grading is not easily compared with conventional grades. The CB Grade (see above) is preferred, but until Moodle Grades are calculated this way when CBM is in use, staff should use the data shown in tables under Quiz - Results - CBM Grades or Attempt - Reviews for the clearest assessment of student performance. Beware that unless 'Unlimited Grades' are set (see below) Moodle Grades will often be shown quite incorrectly in gradebook displays.

Essential ADMIN actions for CBM

Essential PLUGIN for staff viewing of CBM data in Moodle 2.6 +

Moodle 2.6 and later versions require a Quiz Report Plugin to be installed for CBM data to be visible in CBM grade reports. Earlier Moodle versions (<2.6) can use the downloadable code modifications instead, which show CBM data in the regular reports.

Essential 'Unlimited Grades' Setting

'Unlimited Grades' must be set 'on', under Site Administration -> Grades -> General settings so that grades are not limited to 100%. Moodle currently calculates these gradebook entries based on raw marks (up to 300% of marks obtainable without CBM). Without this setting, most student grades may be shown as '100%' due to imposition of the limit. If the core code were changed to show grades as the CB Grade (designed to be properly comparable with conventional grades) this admin setting would no longer matter.

ARGM Jun 2020
More information: Certainty-Based Marking .