Fent servir la puntuació basada en certesa

Nota: CBM en Moodle es basa en les estratègies desenvolupades pel Prof. Gardner-Medwin at UCL (London, UK). Més documentació es pot trobar aquí.

Què és la puntuació basada en certesa QBC (CBM)?

• Després de cada resposta, heu d'indicar la seguretat que teniu que la vostra resposta és correcta.
• Es tracta d'una escala de 3 punts: C = 1 (baixa), C = 2 (mitjana) o C = 3 (alta)
• No fem servir paraules com "segur" o "molt segur" perquè això significa coses diferents per a persones diferents.
• L'esquema de puntuació i el risc de penalització determinarà quan heu de fer servir cada nivell de C:

Certainty level	C=1	C=2	C=3	No Response or 'No Idea'
Mark if correct	1	2	3	( 0 )
Mark if wrong	0	-2	-6	( 0 )
Probability correct	< 67%	67–80%	>80%	-
Description	Unsure	Mid	Quite sure	-

• Els nivells de certesa 1, 2, 3 sempre donen puntuació 1, 2, o 3 si la resposta és correcta.
• Si la resposta és incorrecta, tret que hàgiu optat per C = 1, us restarà puntuació: -2 a C=2 i -6 a C=3

Per què fer servir CBM?

• Fer reflexionar els estudiants sobre la fiabilitat de la seva resposta.
• Per animar els estudiants a intentar comprendre els problemes, no només reaccionar a una pregunta.
• Afegir un desafiament: Si un estudiant no s'arrisca a ser penalitzat a la puntuació, no sap realment la resposta.
• Si un estudiant és curós amb el seu raonament, pero no està molt segur de si mateix, guanyarà en confiança.
• És més just: una resposta correcta reflexiva i segura mereix més puntuació que un encert afortunat.
• Els estudiants necessiten prestar més atenció si responen malament amb seguretat: pensar, reflexionar, aprendre!
• Un estudi eficient requereix questionar-se constantment com sorgeixen les nostres idees i la seva fiabilitat.

Com decidir el millor nivell de certesa

• Si estàs segur, òbviament la millor opció és C=3. Però perdreu el doble (-6) si esteu equivocats!
• Si no estàs segur, hauríeu d'evitar qualsevol risc de penalització escollint C=1
• Entremig, el millor és utilitzar C=2: guanyes 2 o perds 2 depenent de si tens raó.

• El gràfic mostra com la nota mitjana de cada nivell C depèn de la probabilitat que la teva resposta sigui correcta.
  • Suposem que creieu que només teniu un 50% de probabilitat d'encertar: el valor més alt per al 50% de l'eix inferior és negre (per a C=1). D'aquesta forma hauries d'obtenir els millors resultats de mitjana seleccionant una certesa baixa (C=1).
  • Si creus que pots justificar bé la teva resposta, amb més d'un 80% de possibilitats de que sigui correcta, llavors el gràfic vermell és més alt, per C=3. Agafeu aquesta opció
• Tingueu en compte que mai no podeu esperar guanyar mitjançant la representació errònia de la vostra certesa. Si feu clic a C=3 (la línia vermella) quan no esteu segurs, esperareu fer-ho malament, molt probablement amb puntuació negativa. Podríeu tenir sort; però, de mitjana, perdreu! Si enteneu bé ka pregunta i penseu que la vostra resposta és fiable, perdreu si opteu per C=1 o C=2 en lloc de C=3. Ho fareu millor si podeu distingir de quines respostes esteu segurs i de quines no tant.

Retroacció sobre el teu rendiment CBM

• Si feu servir CBM amb retroacció després de cada resposta, llavors la vostra puntuació us dona molta informació: -6 farà que us pregunteu la vostra seguratet sobre una resposta incorrecta. Penseu (juntament amb qualsevol explicació disponible i els vostres llibres o notes) com lligar diferents parts del vostre coneixement.
• Si encerteu repetidament preguntes amb C=1, pregunteu-vos si potser coneixeu millor el tema del que creieu. Pregunteu-vos com podeu relacionar les vostres respostes amb coses que definitivament coneixeu i tingueu més confiança.
• Quan finalment envieu les respostes, veureu els percentatges correctes per a cada nivell C que heu fet servir. L'ideal seria que estiguessin al voltant de 50%,70%,90% per C=1,2,3 si coneixeu bé el tema (moltes respostes a C = 3) o sinó el coneixeu bé (lmoltes a C = 1). La retroacció us avisarà si tendiu a sobreestimar o subestimar la fiabilitat de les vostres respostes. Si el resultat és un excés de confiança penseu per què! Potser no heu anat amb compte, potser teniu idees errònieso esteu donant respostes segures a preguntes que realment no enteneu o que estan formulades ambiguament. Feu servir això per reconduir el vostre estudi i millorar la vostra interacció amb els professors.
• Tingueu en compte que algunes preguntes d'un qüestionari poden tenir més pes que altres, de manera que, per exemple, podríeu obtenir -12 si la pregunta té doble pes i cometeu un error de confiança. Com que això fa més difícil interpretar la retroacció probablement no és bona idea que els qüestionaris variïn els pesos dee les preguntes quan es fa servir CBM.
• Si només s'han respost algunes preguntes, la retroacció CBM pot tenir poc significat: 2 or 3 respostes correctes amb poca certesa poden ser uns qüestió de sort! El que és important és que penseu en per què esteu o no segurs, i apreneu d'això.

Qualificacions i puntuacions amb CBM

Mitjana i precisió de CBM

• La Mitjana CBM pot oscil·lar entre 3 i -6. Si totes les preguntes del qüestionari tenen el mateix pes, llavors és simplement la nota mitjana CBM, com es mostra a la taula CBM anterior. So els pesos (w) varien, llavors la puntuació CBM (m) atorgada a cada pregunta es Mitjana CBM = Σ(wm)/Σ(w).
• La Precisió és una mesura convencional de quant heu aconseguit en el qüestionari, ignorant les qualificacions CBM. Si totes les preguntes tenen un pes igual, és el percentatge de respostes correctes (potser algunes respostes es comptabilitzen com a parcialment correctes). Si les preguntes tenen diferents pesos w, i les respostes tenen una correcció fraccional f (entre 0 i 1) llavors Precisió = Σ(wf)/Σ(w).
• Respostes parcialment correctes. Si les respostes de Moodle són parcialment correctes (assignada una fracció f més gran que zero), aleshores per C=1, 2 o 3 la nota atorgada serà f, 2f o 3f. Si f és negatiu (el que implica que qualsevol porció correcta d’una resposta es veu superada per errors ) llavors la nota atorgada serà la mateixa que per a una resposta errònia (0, -2 o -6).

Què et diuen la puntuació i la precisió mitjana CBM?

El gràfic^* mostra les puntuacions (Precisió i CBM mitjana) per a diversos milers de trameses en línia de diferents proves voluntàries CBM, principalment amb estudiants universitaris. S'han afegit anotacions amb interpretacions dels diferents tipus de comportament dels estudiants en diferents zones del gràfic.

^* Aquest gràfic es fa servir a CBM Self-Tests (actualment no es troba a Moodle) per presentar la puntuació d'un estudiant després de la tramesa.

• Recordeu que la mitjana CBM és sempre menor, com un percentatge del màxim, que la precisió. For the score shown in yellow, the CBM average (1.5) was 50% of maximum, while the accuracy (which ignores C ratings) was 80%. YPer a la puntuació mostrada en groc, la mitjana CBM (1,5) va ser del 50% del màxim, mentre que la precisió (que ignora les qualificacions C) va ser del 80%. Evidentment, no us heu de preocupar que la vostra mitjana CBM sigui menor, expressada d'aquesta manera, que la vostra puntuació convencional. Sempre ho és!
• Si no discrimineu en absolut entre respostes fiables i incertes (donant a totes la mateixa C, adequada pel coneixement que teniu dels temes), llavors les teves puntuacions es troben en algun lloc de la línia verda del gràfic.
• Si la teva puntuació es troba per sobre de la línia verda, llavors estàs distingint correctament les respostes fiables de les incertes. Si la teva puntuació es troba per sota, llavors no tens clar els temes o no els has entès o pel contrari tunes unes idees errònies completament (coses que creus amb total seguretat, però que no ho són tant!).

CBM Bonus, CB Precisió i Graus CB

És convenient expressar l'èxit d'un estudiant distingint coneixements fiables i incerts en termes d'un Bonus CBM que es pot afegir (o restar) a la seva precisió convencional, expressant el percentatge correcte en les seves respostes. El Bonus CBM es determina per la quantitat de la mitjana CBM que es troba per sobre o per sota de la línia verda del gràfic anterior. Un bonus negatiu^** vol dir que l'estudiant ha discriminat malament o o no ha jutjat correctament la fiabilitat de les seves respostes. Per exemple, a la puntuació groga la mitjana CBM és de 0,3 punts per sobre de la línia, que es multiplica per un factor estàndard β (=10%)^* per donar CB bonus = +3%. Quan s'afegeix a la precisió Accuracy (= 80%) aoxò dona CB Accuracy = 83%. La Qualificació CB és simplement la precisió CB multiplicada pel valor de qualificació assignada al qüestionari. L'ús de la precissió CB fa que sigui fàcil per als estudiants i examinadors per comparar les qualificacions convencionals i les CB, mentre que la diferència (el CB Bonus) és una indicació de la consciència crítica de l'estudiant, de quines parts del seu coneixement són o no fiables.

^* El factor β=10% fet servir per calcular CB Bonus es escollit de forma òptima per maximitzar la fiabilitat estadística de la puntuació total resultant (Precisió + Bonus): té l'habilitat de predir amb precisió el rendimente de les proves relacionades. Ref: Gardner-Medwin, 2013

^** If you think a negative bonus strange, think how much better the world would be if bankers' bonuses could go negative. A negative CBM bonus typically flags what were described by Confucius as an inability "when you do not know a thing, to allow that you do not know it" and by Donald Rumsfeld, more concisely, as "unknown unknowns". They are both essentially negative knowledge, worse than acknowledged ignorance.

CBM Data in Exams

By the time students take exams, many of their misconceptions (confident errors, leading to negative marks) will have gone, and students should be better judges of their areas of mastery and uncertainty. This means that CB Bonuses tend to be more uniformly positive. CB Accuracy allows examiners to make a direct comparison of CB standards criteria with conventional standards.

Example CBM data from a UCL medical exam using True/False questions.

Scores related to just part of a Quiz

CBM is particularly valuable for self-tests, where students challenge themselves as part of their study. Answers may be omitted because they are not on a topic of current interest, they are too easy, or perhaps not yet studied. CBM scores can then be presented relative to the set of questions the student has chosen to respond to. All correct on just half of a quiz would then show as 100% accurate. It is up to the student to interpret such scores: obviously if questions are omitted because they are difficult, then the relative score may overestimate competence in the subject. Moodle 'Grades' are always relative to the whole quiz, and this is the default presentation for other scores too.

Moodle Grades with CBM

The Moodle Grade is the total of marks awarded, scaled relative to a nominal value for the whole quiz. Grades are sometimes shown 'out of' this value, but with CBM the grade can be up to 3 times as big (if all answers are correct at C=3). This simple form of grading is not easily compared with conventional grades. The CB Grade (see above) is preferred, but until Moodle Grades are calculated this way when CBM is in use, staff should use the data shown in tables under Quiz - Results - CBM Grades or Attempt - Reviews for the clearest assessment of student performance. Beware that unless 'Unlimited Grades' are set (see below) Moodle Grades will often be shown quite incorrectly in gradebook displays.

Essential ADMIN actions for CBM

Essential PLUGIN for staff viewing of CBM data in Moodle 2.6 +

Moodle 2.6 and later versions require a Quiz Report Plugin to be installed for CBM data to be visible in CBM grade reports. Earlier Moodle versions (<2.6) can use the downloadable code modifications instead, which show CBM data in the regular reports.

Essential 'Unlimited Grades' Setting

'Unlimited Grades' must be set 'on', under Site Administration -> Grades -> General settings so that grades are not limited to 100%. Moodle currently calculates these gradebook entries based on raw marks (up to 300% of marks obtainable without CBM). Without this setting, most student grades may be shown as '100%' due to imposition of the limit. If the core code were changed to show grades as the CB Grade (designed to be properly comparable with conventional grades) this admin setting would no longer matter.

ARGM Jun 2020
More information: Certainty-Based Marking .