Nota: Pendiente de Traducir. ¡Anímese a traducir esta página!. ( y otras páginas pendientes)

Notas del traductor: La expresión inglesa Quiz_module se tradujo como cuestionarios en el Español internacional y como Módulo de examen en el Español de México. Cuando se tradujo esta página de la documentación, la expresión inglesa accuracy estaba traducida al Español de México como precisión y no existía traducción en el paquete del idioma Español internacional.

Nota: Esta documentación está basada en el estudio muy detallado de Certainty-Based Marking porel profesor Tony Gardner-Medwin. Puede ver más documentación en idioma inglés aquí

¿Qué es la Puntuación Basada en Certeza ( Certainty-Based marking, CBM )

Después de cada respuesta, Usted dice qué tan seguro está de que su respuesta sea correcta.
Esto es en una escala de 3 puntos: C=1 (bajo), C=2 (medio) o C=3 (alto)
No nos confiamos en palabras como 'seguro' o 'muy seguro', porque estos conceptos significan cosas diferentes para personas diferentes
El esquema de puntuación y el riego de castigo determinan cuando debería Usted de usar cada nivel de C:

Nivel de certeza	C=1	C=2	C=3	Sin respuesta or 'No Tengo Idea'
Puntuación si estuviera correcta	1	2	3	( 0 )
Puntuación si estuviera equivocada	0	-2	-6	( 0 )
Probabilidad de correcto	< 67%	67–80%	>80%	-
Descripción	Inseguro	Medio	Bastante seguro	-

Los niveles de certeza 1, 2, 3 siempre le dan los puntos 1, 2, or 3 cuando está correcta la respuesta
Si Usted está equivocado, a menos que hubiera optado por C=1 Usted perderá puntos: -2 para C=2 y -6 para C=3

¿ Porqué usar CBM ?

Para asegurarse de que los estudiantes piensen acerca de qué tan confiable es su respuesta
Para motivar a los estudiantes qa que traten de entender los asuntos, y que no solamente reacionen inmediatamente a una pregunta
Para desafiarlos: si un estudiante no se arriega a perder puntos si se equivoca, entonces es porque realmente no conoce la respuesta
Si un estudiante es un pensador cuidadoso, pero no está muy seguro de sí mismo, ganará confianza
es más justo - una respuesta correcta pensada y certera merece más puntos que una adivinanza afortunada
Los estudiantes necesitan prestar atención si hacen respuestas equivocadas confianzudamente: ¡ pensar, refleccionar, aprender !
El estudio eficiente requiere cuestionarse constantemente sobre cómo surgen nuestras ideas y que tan confiables son.

2+2 = ¿cuanto? ¿Tal vez 4? ¿O 22? El conocimiento es conocer qué tanto conoces, y lo que no conoces.

Cómo decidir sobre el mejor nivel de certeza

Si Usted está seguro, obviamente le irá mejor con C=3. Pero si estuviera equivocada su respuesta, ¡ perderá el doble de puntos (-6)!.
Si está inseguro, debería de evitar todo riesgo de castigo, eligiendo C=1.
Si está intermedio, le conviene usar C=2: ganará o perderá 2 puntos si la tiene buena o mala.
La gráfica inferior muestra cómo la puntuación promedio para cada nivel de C depende de la probabilidad de que su respuesta sea acertada.

- Suponga que Usted solamente tiene una probabilidad de 50% de estar acertado: La gráfica más alta para 50% en la escala del fondo es negra, para C=1. Así es que Usted esperará mejorar más su puntaje en promedio al reconocer su baja certeza (C=1).
- Si Usted piensa que puede justificar su respuesta bien, con 80% o más de probabilidad de estar correcto, entonces la gráfica roja es la mayor, para C=3. Opte por ésta.
Tome nota de que Usted no puede esperar ganacia al representar falsamente su certeza. Si Usted elige C=3 (la línea roja) cuando no está seguro, entonces puede esperar que le vaya mal - y muy probablemente tendrá en promedio una puntuación negativa. Si Usted entiende el tópico bien, y piensa que su respuesta muy probablemente esté bien, entonces Usted perdería si optara por C=1 o C=2 en lugar de C=3. A Usted le irá mejor si puede distinguir cuales respuestas son confiables y cuales son inciertas.

Retroalimentación acerca de su desempeño en Puntuación Basada en Certeza

Si Usted está usando CBM con retroalimentación dad después de cad respuesta, entonces su puntuación le dice mucho: -6 hará que Usted se pregunte cómo fue que justificó confianza en una respuesta equivocada. Piense, (junto con cualquier explicación disponible y sus libros y apuntes de clase) cómo puede ensamblar juntas diferentes piezas de su conocimiento.
Si Usted obtiene repetidamente respuestas correctas con C=1, entonces pregúntese a sí mismo si es posible que Usted en realidad sepa los temas mejor de lo que piensa. Pregúntese a sí mismo cómo puede relacionar sus respuestas con cosas que Usted definitivamente si sabe que sabe y enlas que tiene más confianza.
Cuando Usted finalmente envíe su examen, Usted verá sus porcentajes correctos para cada nivel de C que usó. Idealmente, estos deberían de estar cercanos a 50%,70%,90% para C=1,2,3 si es que Usted se sabía bien los temas (muchas respuestas con C=3) o pobremente (muchas con C=1). La retroalimentación le advertirá si es que Usted está tendiendo a sobre-estimar o sub-estimar qué tan confiables son sus respuestas. Si está sobre-confiado, ¡piense porqué! Tal vez fue descuidado; tal vez tiene ideas preconcebidas equivocadas, o le está dando confianza a respuestas que realmente no entiende o que están escritas de forma ambigua. Use esto para guiar sus estudios y para mejorar su interacción con maestros.
Tome nota de que algunas preguntas dentro de un examen pudieran tener más peso que otras; así, por ejemplo, Usted podría obtener -12 si la pregunta tuviera una ponderación (peso) doble y Usted tuviera un error confiado. Dado que esto hace que la retroalimentación sea más difícil de interpretar, probablemente no sería una buena idea que quienes escribenlos exámenes cambien las ponderacioes de esta manera al emplear CBM.
Si Usted solamente ha contestado unas pocas preguntas, la retroalimentación CBM puede que no signifique mucho: tener 2 o 3 tres respuestas correctas sin certeza pdría ser simple suerte! Lo que es importante es que Usted piense acerca del porqué Usted tuvo certeza o falta de certeza, y que aprenda de esto.

Puntuaciones y Calificaciones con Puntuación Basada en Certeza

Calificación Moodle , Puntuación Promedio Basada en Certeza y Precisión

The Calificación Moodle es el total de puntos otorgados, escalado en forma relativa a un valor nominal para el examen completo. En ocasiones las calificaciones se muestran 'fuera de' este valor, pero con CBM la calificación puede ser hasta tres veces este valor (si todas las respuestas fueran correctas con C=3).
El Promedio CBM puede oscilar entre 3 y -6. Si todas las preguntas dentro del examen tienen el mismo peso, entonces es simplemente la puntuación CBM promedio, tal como se muestra arriba en la tabla CBM. Si las ponderaciones (pesos) varían, entonces para las puntuaciones CBM otorgadas en cada pregunta, el promedio CBM = Σ(wm)/Σ(w).
Precisión es una medida convencional de qué tanto tuvo acertado en el examen, ignorando las valoraciones por CBM. Si todas las preguntas tienen la misma ponderación (peso), es el porcentaje de respuestas que estuvieron correctast (tal vez con algunas respuestas contadas como parcialmente correctas). Silas preguntas tienen ponderaciones (pesos) diferentes (w), y las respuestas son fraccionalmente correctas (f entre 0 y 1) entonces la Precisión = Σ(wf)/Σ(w).
Respuestas Parcialmente Correctas. Si las respuestas en Moodle son parcialmente correctas (se asigna una fracción f mayor de cero), entonces para C=1, 2, o 3 el puntaje otorgado será de f, 2f o 3f. Si f es negativo (implicando que cualquier porción correcta de la pregunta es apabullada por los errores) entonces la puntuación otorgada será la misma que la de una respuesta equivocada (0,-2 o -6).

¿Qué le dicen a Usted Puntuación Promedio Basada en Certeza y Precisión?

La gráfica^* muetra las puntuaciones (Precisión y Promedio CBM) para varios miles d eenvíos en línea de una variedad de auto-exámenes CBM voluntarios para enseñanza y revisión, principalmente con estudiantes universitarios.
Tiene anotaciones con interpretaciones sobre el conocimiento de los estudiantes en diferentes zonas d la gráfica.

^* Formato usado en CBM Self-Tests (actualmente no-en-Moodle) para sobre-imponer un puntaje de estudiante después del envío.

Tome nota de que el promedio CBM siempre es menor que, como un porcentaje del máximo, que la Precisión. Para el puntaje mostrado en amarillo, el promedio CBM (1.5) fue 50% del máximo, mientras que la precisión (que ignora las valoraciones C) fue 80%. A Usted obviamente no debería d epreocuparle que su promedio CBM se amenor, expresado de esta forma, que su puntaje convencional. ¡Siempre es así!
Si Usted no discriminó para nada entre respuestas certeras e inciertas (dándoles a todas la misma valoración C, apropiada solamente para qué tan bien sabía en promedio los temas), entonces sus puntuaciones estarán en algún punto en la línea verde de la gráfica.
Si su puntuación cae por arriba d ela línea verde, entonces Usted está distinguiendo exitosamente entre las respuestas certeras de las inciertas. Si su puntuación estuviera debajo, entonces Usted está juzgando mal que tan bien sabe y comprende los temas, o Usted tiene serios prejuicios (cosas en las que cree con confianza, ¡que no son ciertas!).

Bono por Puntuación Basada en Certeza y 'Bono + por Precisión' Mejorado

It is convenient to express a student's ability to distinguish reliable from uncertain knowledge (as shown on the graph above) by adjusting conventional 'accuracy' with the addition of a simple bonus. The CBM Bonus is proportional to the amount the CBM average lies above the green line on the graph. The bonus is negative** if the score lies below the line. For the example score shown in yellow, the CBM average is 0.3 marks above the line, leading to a bonus of +3%. This can be added to the accuracy (=80%) to give Accuracy + CBM Bonus = 83%.

^** If you think a negative bonus strange, consider the benefits if bankers' bonuses could go negative. A negative CBM bonus typically flags what were described by Confucius as failures "when you do not know a thing, to allow that you do not know it" and by Donald Rumsfeld, more concisely, as "unknown unknowns". They are both essentially negative knowledge, worse than acknowledged ignorance.

The amount of CBM Bonus is determined by a multiplication factor β used to convert the mark difference to a bonus. A value of β=0.1 is used in Moodle, being both simple and essentially optimal when the resultant score (Accuracy + Bonus) has been judged by its statistical reliability and ability to predict performance on related tests. Ref: Gardner-Medwin, 2013
Consideration of Accuracy and CBM Bonus, rather than direct CBM grades or average scores, helps examiners to maintain existing standards criteria (typically based on accuracy) while readily seeing the added discrimination between students arising from CBM.

Example CBM data from a UCL medical exam.

Puntación relacionada con solamente parte de un Examen

CBM is particularly valuable for self-tests, where students challenge themselves as part of their study. Answers may be omitted because they are not on a topic of current interest, they are too easy, or perhaps not yet studied. CBM scores can then be presented relative to the set of questions the student has chosen to respond to. All correct on just half of a quiz would then show as 100% accurate. It is up to the student to interpret such scores: obviously if questions are omitted because they are difficult, then the relative score may overestimate competence in the subject. Moodle 'Grades' are always relative to the whole quiz, and this is the default presentation for other scores too.

Moodle 2.6

Moodle 2.7

PLUGIN importante para Moodle 2.6 y 2.7

Moodle 2.6 y 2.7 requieren que el Quiz Report Plugin esté instalado para poder tener reporte completo de calificación Basada en certeza.

Para mayor información acerca de puntuaciones, vea Self test scores with and without CBM
ARGM Dec 2013. Publications.

Puntuaciones

Para mayor información sobre puntuaciones (relacionadas con la versión UCL de CBM, aunque también es relevante para Moodle) por favor vea test scores with and without CBM por Tony Gardner-Medwin.

Documentation

Usando Puntuación Basada en Certeza

Sumario