Fent servir la puntuació basada en certesa

Nota: CBM en Moodle es basa en les estratègies desenvolupades pel Prof. Gardner-Medwin at UCL (London, UK). Més documentació es pot trobar aquí.

Què és la puntuació basada en certesa QBC (CBM)?

• Després de cada resposta, heu d'indicar la seguretat que teniu que la vostra resposta és correcta.
• Es tracta d'una escala de 3 punts: C = 1 (baixa), C = 2 (mitjana) o C = 3 (alta)
• No fem servir paraules com "segur" o "molt segur" perquè això significa coses diferents per a persones diferents.
• L'esquema de puntuació i el risc de penalització determinarà quan heu de fer servir cada nivell de C:

Certainty level	C=1	C=2	C=3	No Response or 'No Idea'
Mark if correct	1	2	3	( 0 )
Mark if wrong	0	-2	-6	( 0 )
Probability correct	< 67%	67–80%	>80%	-
Description	Unsure	Mid	Quite sure	-

• Els nivells de certesa 1, 2, 3 sempre donen puntuació 1, 2, o 3 si la resposta és correcta.
• Si la resposta és incorrecta, tret que hàgiu optat per C = 1, us restarà puntuació: -2 a C=2 i -6 a C=3

Per què fer servir CBM?

• Fer reflexionar els estudiants sobre la fiabilitat de la seva resposta.
• Per animar els estudiants a intentar comprendre els problemes, no només reaccionar a una pregunta.
• Afegir un desafiament: Si un estudiant no s'arrisca a ser penalitzat a la puntuació, no sap realment la resposta.
• Si un estudiant és curós amb el seu raonament, pero no està molt segur de si mateix, guanyarà en confiança.
• És més just: una resposta correcta reflexiva i segura mereix més puntuació que un encert afortunat.
• Els estudiants necessiten prestar més atenció si responen malament amb seguretat: pensar, reflexionar, aprendre!
• Un estudi eficient requereix questionar-se constantment com sorgeixen les nostres idees i la seva fiabilitat.

Com decidir el millor nivell de certesa

• Si estàs segur, òbviament la millor opció és C=3. Però perdreu el doble (-6) si esteu equivocats!
• Si no estàs segur, hauríeu d'evitar qualsevol risc de penalització escollint C=1
• Entremig, el millor és utilitzar C=2: guanyes 2 o perds 2 depenent de si tens raó.

• El gràfic mostra com la nota mitjana de cada nivell C depèn de la probabilitat que la teva resposta sigui correcta.
  • Suposem que creieu que només teniu un 50% de probabilitat d'encertar: el valor més alt per al 50% de l'eix inferior és negre (per a C=1). D'aquesta forma hauries d'obtenir els millors resultats de mitjana seleccionant una certesa baixa (C=1).
  • Si creus que pots justificar bé la teva resposta, amb més d'un 80% de possibilitats de que sigui correcta, llavors el gràfic vermell és més alt, per C=3. Agafeu aquesta opció
• Tingueu en compte que mai no podeu esperar guanyar mitjançant la representació errònia de la vostra certesa. Si feu clic a C=3 (la línia vermella) quan no esteu segurs, esperareu fer-ho malament, molt probablement amb puntuació negativa. Podríeu tenir sort; però, de mitjana, perdreu! Si enteneu bé ka pregunta i penseu que la vostra resposta és fiable, perdreu si opteu per C=1 o C=2 en lloc de C=3. Ho fareu millor si podeu distingir de quines respostes esteu segurs i de quines no tant.

Retroacció sobre el teu rendiment CBM

• Si feu servir CBM amb retroacció després de cada resposta, llavors la vostra puntuació us dona molta informació: -6 farà que us pregunteu la vostra seguratet sobre una resposta incorrecta. Penseu (juntament amb qualsevol explicació disponible i els vostres llibres o notes) com lligar diferents parts del vostre coneixement.
• Si encerteu repetidament preguntes amb C=1, pregunteu-vos si potser coneixeu millor el tema del que creieu. Pregunteu-vos com podeu relacionar les vostres respostes amb coses que definitivament coneixeu i tingueu més confiança.
• Quan finalment envieu les respostes, veureu els percentatges correctes per a cada nivell C que heu fet servir. L'ideal seria que estiguessin al voltant de 50%,70%,90% per C=1,2,3 si coneixeu bé el tema (moltes respostes a C = 3) o sinó el coneixeu bé (lmoltes a C = 1). La retroacció us avisarà si tendiu a sobreestimar o subestimar la fiabilitat de les vostres respostes. Si el resultat és un excés de confiança penseu per què! Potser no heu anat amb compte, potser teniu idees errònieso esteu donant respostes segures a preguntes que realment no enteneu o que estan formulades ambiguament. Feu servir això per reconduir el vostre estudi i millorar la vostra interacció amb els professors.
• Tingueu en compte que algunes preguntes d'un qüestionari poden tenir més pes que altres, de manera que, per exemple, podríeu obtenir -12 si la pregunta té doble pes i cometeu un error de confiança. Com que això fa més difícil interpretar la retroacció probablement no és bona idea que els qüestionaris variïn els pesos dee les preguntes quan es fa servir CBM.
• Si només s'han respost algunes preguntes, la retroacció CBM pot tenir poc significat: 2 or 3 respostes correctes amb poca certesa poden ser uns qüestió de sort! El que és important és que penseu en per què esteu o no segurs, i apreneu d'això.

Qualificacions i puntuacions amb CBM

Mitjana i precisió de CBM

• La Mitjana CBM pot oscil·lar entre 3 i -6. Si totes les preguntes del qüestionari tenen el mateix pes, llavors és simplement la nota mitjana CBM, com es mostra a la taula CBM anterior. So els pesos (w) varien, llavors la puntuació CBM (m) atorgada a cada pregunta es Mitjana CBM = Σ(wm)/Σ(w).
• La Precisió és una mesura convencional de quant heu aconseguit en el qüestionari, ignorant les qualificacions CBM. Si totes les preguntes tenen un pes igual, és el percentatge de respostes correctes (potser algunes respostes es comptabilitzen com a parcialment correctes). Si les preguntes tenen diferents pesos w, i les respostes tenen una correcció fraccional f (entre 0 i 1) llavors Precisió = Σ(wf)/Σ(w).
• Respostes parcialment correctes. Si les respostes de Moodle són parcialment correctes (assignada una fracció f més gran que zero), aleshores per C=1, 2 o 3 la nota atorgada serà f, 2f o 3f. Si f és negatiu (el que implica que qualsevol porció correcta d’una resposta es veu superada per errors ) llavors la nota atorgada serà la mateixa que per a una resposta errònia (0, -2 o -6).

Què et diuen la puntuació i la precisió mitjana CBM?

El gràfic^* mostra les puntuacions (Precisió i CBM mitjana) per a diversos milers de trameses en línia de diferents proves voluntàries CBM, principalment amb estudiants universitaris. S'han afegit anotacions amb interpretacions dels diferents tipus de comportament dels estudiants en diferents zones del gràfic.

^* Aquest gràfic es fa servir a CBM Self-Tests (actualment no es troba a Moodle) per presentar la puntuació d'un estudiant després de la tramesa.

• Recordeu que la mitjana CBM és sempre menor, com un percentatge del màxim, que la precisió. For the score shown in yellow, the CBM average (1.5) was 50% of maximum, while the accuracy (which ignores C ratings) was 80%. YPer a la puntuació mostrada en groc, la mitjana CBM (1,5) va ser del 50% del màxim, mentre que la precisió (que ignora les qualificacions C) va ser del 80%. Evidentment, no us heu de preocupar que la vostra mitjana CBM sigui menor, expressada d'aquesta manera, que la vostra puntuació convencional. Sempre ho és!
• Si no discrimineu en absolut entre respostes fiables i incertes (donant a totes la mateixa C, adequada pel coneixement que teniu dels temes), llavors les teves puntuacions es troben en algun lloc de la línia verda del gràfic.
• Si la teva puntuació es troba per sobre de la línia verda, llavors estàs distingint correctament les respostes fiables de les incertes. Si la teva puntuació es troba per sota, llavors no tens clar els temes o no els has entès o pel contrari tunes unes idees errònies completament (coses que creus amb total seguretat, però que no ho són tant!).

CBM Bonus, CB Precisió i Graus CB

És convenient expressar l'èxit d'un estudiant distingint coneixements fiables i incerts en termes d'un Bonus CBM que es pot afegir (o restar) a la seva precisió convencional, expressant el percentatge correcte en les seves respostes. El Bonus CBM es determina per la quantitat de la mitjana CBM que es troba per sobre o per sota de la línia verda del gràfic anterior. Un bonus negatiu^** vol dir que l'estudiant ha discriminat malament o o no ha jutjat correctament la fiabilitat de les seves respostes. Per exemple, a la puntuació groga la mitjana CBM és de 0,3 punts per sobre de la línia, que es multiplica per un factor estàndard β (=10%)^* per donar CB bonus = +3%. Quan s'afegeix a la precisió Accuracy (= 80%) aoxò dona CB Accuracy = 83%. La Qualificació CB és simplement la precisió CB multiplicada pel valor de qualificació assignada al qüestionari. L'ús de la precissió CB fa que sigui fàcil per als estudiants i examinadors per comparar les qualificacions convencionals i les CB, mentre que la diferència (el CB Bonus) és una indicació de la consciència crítica de l'estudiant, de quines parts del seu coneixement són o no fiables.

^* El factor β=10% fet servir per calcular CB Bonus es escollit de forma òptima per maximitzar la fiabilitat estadística de la puntuació total resultant (Precisió + Bonus): té l'habilitat de predir amb precisió el rendimente de les proves relacionades. Ref: Gardner-Medwin, 2013

^** Si teniu in bonus negatiu, penseu lo bo que podria arribar a ser el món si els banquers poguessin tenir un bonus negatiu. un bonus CBM negatiu assenyala el que Confucio va descriure com una incapacitat "quan no saps una cosa, acceptar que no ho saps" i per Donald Rumsfeld, de manera més concisa, com "desconeixements, desconeguts". Tots dos són coneixements essencialment negatius, pitjor que la ignorància reconeguda.

Dades CBM en exàmens

Quan els estudiants realitzen exàmens, moltes de les seves idees errònies (errors de confiança que porten a puntuacions negatives) desapareixeran, i els estudiants podran jutjar millor les àrees que dominen i les que no. Això vol dir que els Bonus CB tendeixen a ser positius. La precisió CB permet als examinadors fer una comparació directa entre els criteris CB estàndard i el criteris convencional estàndards.

Exemple de dades CBM d'un examen mèdic de la UCL utilitzant preguntes vertader/fals.

Puntuacions relatives només a una part d'un qüestionari

CBM és especialment valuós per a autoproves, on els estudiants es desafien a ells mateixos com a part del seu estudi. Es pot no respondre per què les preguntes no són sobre un tema d'interès, són massa fàcils, o potser encara no s'han estudiat. La puntuació CBM es pot presentar en relació al conjunt de preguntes a les quals l'estudiant ha triat respondre. Tot correcte sobre la meitat d'un qüestionari mostraria una precissió d'un 100%.Correspon a l'estudiant interpretar aquestes puntuacions: òbviament si s'ometen preguntes perquè són difícils, llavors la puntuació relativa pot sobreestimar la competència en l'assignatura. Les qualificacions de Moodle sempre són relatives a tot el qüestionari, i aquesta és la presentació per defecte per a altres puntuacions.

Qualificacions de Moodle amb CBM

La qualificació de Moodle és el total de les qualificacions atorgades, escalades respecte a un valor nominal de tot el qüestionari. De vegades, les qualificacions es mostren fora d'aquest valor, però cal tenir en compte que amb CBM la qualificació pot ser fins a 3 vegades més gran (si totes les respostes són correctes a C=3). Aquesta forma de qualificar no és senzilla comparada amb les qualificacions convencionals. La qualificació amb CBM (vegeu més amunt) és la recomanada, però fins que les qualificacions de Moodle siguin calculen d'aquesta forma, el professorat hauria de fer servir les dades mostrades a Qüestionari-->Resultats--> qualificacions CBM o intento--> revisiones per una valoració més acurada de la feina de l'estudiant. Tingueu en compte que a menys que s'estableixin les “qualificacions il·limitades” (vegeu més avall) les qualificacions de Moodle sovint es mostraran de forma incorrecta al llibre de qualificacions.

Accions ADMIN essencials per CBM

Plugin essencial per a la visualització, per part del staff, de les dades en Moodle 2.6+

Moodle 2.6 i versions posteriors requereixen de la instal·lació d'un Quiz Report Plugin per visualitzar les dades CBM a l'informe CBM del qualificador. Les versions anteriors de Moodle (<2.6)poden fer servir downloadable code modifications en el seu lloc, que mostrarà les dades CBM en els informes de Moodle.

Configuració de "Qualificacions sense límits'

'Qualificacions il·limitades' s'ha d'establir 'on', sota Administració del lloc -> Qualificacions -> Configuració general de manera que les qualificacions no es limiten al 100%.Actualment Moodle calcula aquestes entrades del llibre de qualificacions en funció de les primeres (fins al 300% de les notes que es poden obtenir sense CBM). Sense aquesta configuració, la majoria de les qualificacions dels estudiants es poden mostrar com a 100% a causa de la imposició del límit. Si el codi de Moodle es va canviar per mostrar les qualificacions com el grau CB (dissenyat per coparar-ho correctament amb les qualificacions convencionals) aquesta configuració d'administració ja no és necessaria

Més informació: Certainty-Based Marking .