Usando Puntuación Basada en Certeza

Nota del traductor: La expresión inglesa Quiz_module se tradujo como cuestionarios en el Español internacional y como Módulo de examen en el Español de México.

Nota del traductor: La expresión inglesa accuracy está traducida al Español de México y al Español internacional como precisión.

Nota: Esta documentación está basada en el estudio muy detallado de Certainty-Based Marking por el profesor Tony Gardner-Medwin del University College London. Puede ver más documentación en idioma inglés aquí, acá y acá .

Nota: Puntuación Basada en Certeza es igual que Puntuación Basada en Confianza.

Los experimentos que hacen uso de juicios de confianza para calificar tienen varias décadas de antiguedad. Estos han mostrado repetidamente que estimulan un pensamiento más cuidadoso y un mejor aprendizaje que la simple calificación de acertado/erróneo y que proporcionan una evaluación más confiable.

¿Qué es la (PBC) Puntuación Basada en Certeza ( Certainty-Based marking, CBM )

• Después de cada respuesta, Usted dice qué tan seguro (cierto) está de que su respuesta sea correcta.
• Esto es en una escala de 3 puntos: C=1 (bajo), C=2 (medio) o C=3 (alto)
• No nos confiamos en palabras como 'seguro' o 'muy seguro', porque estos conceptos significan cosas diferentes para personas diferentes
• El esquema de puntuación y el riego de castigo determinan cuando debería Usted de usar cada nivel de C:

Nivel de certeza	C=1	C=2	C=3	Sin respuesta or 'No Tengo Idea'
Puntuación si estuviera correcta	1	2	3	( 0 )
Puntuación si estuviera equivocada	0	-2	-6	( 0 )
Probabilidad de correcto	< 67%	67–80%	>80%	-
Descripción	Inseguro	Medio	Bastante seguro	-

• Los niveles de certeza 1, 2, 3 siempre le dan los puntos 1, 2, or 3 cuando está correcta la respuesta
• Si Usted está equivocado, a menos que hubiera optado por C=1 Usted perderá puntos: -2 para C=2 y -6 para C=3

¿ Porqué usar PBC ?

• Para asegurarse de que los estudiantes piensen acerca de qué tan confiable es su respuesta.
• Para motivar a los estudiantes a que traten de entender los asuntos, y que no solamente reacionen inmediatamente a una pregunta.
• Para desafiarlos: si un estudiante no se arriega a perder puntos si se equivoca, entonces es porque realmente no conoce la respuesta.
• Si un estudiante es un pensador cuidadoso, pero no está muy seguro de sí mismo, ganará confianza.
• Es más justo - una respuesta correcta pensada y certera merece más puntos que una adivinanza afortunada.
• Los estudiantes necesitan prestar atención si hacen respuestas equivocadas confianzudamente: ¡ pensar, refleccionar, aprender !
• El estudio eficiente requiere cuestionarse constantemente sobre cómo surgen nuestras ideas y que tan confiables son.

2+2 = ¿cuanto? ¿Tal vez 4? ¿O 22? El conocimiento es conocer qué tanto conoces, y lo que no conoces.

Cómo decidir sobre el mejor nivel de certeza

• Si Usted está seguro, obviamente le irá mejor con C=3. Pero si estuviera equivocada su respuesta, ¡ perderá el doble de puntos (-6)!.
• Si está inseguro, debería de evitar todo riesgo de castigo, eligiendo C=1.
• Si está intermedio, le conviene usar C=2: ganará o perderá 2 puntos si la tiene buena o mala.
• La gráfica inferior muestra cómo la puntuación promedio para cada nivel de C depende de la probabilidad de que su respuesta sea acertada.

Certanty (estimated probability correct) = Certeza (probabilidad estimada de ser correcta) Mark expected on average = Puntaje esperado en promedio

• • Suponga que Usted solamente tiene una probabilidad de 50% de estar acertado: La gráfica más alta para 50% en la escala del fondo es negra, para C=1. Así es que Usted esperará mejorar más su puntaje en promedio al reconocer su baja certeza (C=1).
  • Si Usted piensa que puede justificar su respuesta bien, con 80% o más de probabilidad de estar correcto, entonces la gráfica roja es la mayor, para C=3. Opte por ésta.
• Tome nota de que Usted no puede esperar ganacia al representar falsamente su certeza. Si Usted elige C=3 (la línea roja) cuando no está seguro, entonces puede esperar que le vaya mal - y muy probablemente tendrá en promedio una puntuación negativa. Si Usted entiende el tópico bien, y piensa que su respuesta muy probablemente esté bien, entonces Usted perdería si optara por C=1 o C=2 en lugar de C=3. A Usted le irá mejor si puede distinguir cuales respuestas son confiables y cuales son inciertas.

Retroalimentación acerca de su desempeño en Puntuación Basada en Certeza

• Si Usted está usando PBC con retroalimentación dada después de cada respuesta, entonces su puntuación le dice mucho: -6 hará que Usted se pregunte cómo fue que justificó confianza en una respuesta equivocada. Piense, (junto con cualquier explicación disponible y sus libros y apuntes de clase) cómo puede ensamblar juntas diferentes piezas de su conocimiento.
• Si Usted obtiene repetidamente respuestas correctas con C=1, entonces pregúntese a sí mismo si es posible que Usted en realidad sepa los temas mejor de lo que piensa. Pregúntese a sí mismo cómo puede relacionar sus respuestas con cosas que Usted definitivamente si sabe que sabe y en las que tiene más confianza.
• Cuando Usted finalmente envíe su examen, Usted verá sus porcentajes correctos para cada nivel de C que usó. Idealmente, estos deberían de estar cercanos a 50%,70%,90% para C=1,2,3 si es que Usted se sabía bien los temas (muchas respuestas con C=3) o pobremente (muchas con C=1). La retroalimentación le advertirá si es que Usted está tendiendo a sobre-estimar o sub-estimar qué tan confiables son sus respuestas. Si está sobre-confiado, ¡piense porqué! Tal vez fue descuidado; tal vez tiene ideas preconcebidas equivocadas, o le está dando confianza a respuestas que realmente no entiende o que están escritas de forma ambigua. Use esto para guiar sus estudios y para mejorar su interacción con maestros.
• Tome nota de que algunas preguntas dentro de un examen pudieran tener más peso que otras; así, por ejemplo, Usted podría obtener -12 si la pregunta tuviera una ponderación (peso) doble y Usted tuviera un error confiado. Dado que esto hace que la retroalimentación sea más difícil de interpretar, probablemente no sería una buena idea que quienes escriben los exámenes varíen las ponderacioes de esta manera al emplear PBC.
• Si Usted solamente ha contestado unas pocas preguntas, la retroalimentación de PBC puede que no signifique mucho: ¡tener 2 o 3 tres respuestas correctas sin certeza podría ser simple suerte! Lo que es importante es que Usted piense acerca del porqué Usted tuvo certeza o falta de certeza, y que aprenda de esto.

Puntuaciones y Calificaciones con PBC

Precisión y Puntuación Promedio PBC

Nota del traductor: La calificación Moodle es el total de puntos otorgados, escalado en forma relativa a un valor nominal para el examen completo. En ocasiones las calificaciones se muestran fuera de este valor, pero con CBC la calificación puede ser hasta tres veces este valor (si todas las respuestas fueran correctas con C igual a 3).

• El Promedio de PBC puede oscilar entre 3 y -6. Si todas las preguntas dentro del examen tienen el mismo peso, entonces es simplemente la puntuación de PBC promedio, tal como se muestra arriba en la tabla de PBC. Si las ponderaciones (pesos) varían, entonces para las puntuaciones de PBC otorgadas en cada pregunta, el promedio PBC = Σ(wm)/Σ(w).
• Precisión es una medida convencional de qué tanto tuvo acertado en el examen, ignorando las valoraciones por PBC. Si todas las preguntas tienen la misma ponderación (peso), es el porcentaje de respuestas que estuvieron correctas (tal vez con algunas respuestas contadas como parcialmente correctas). Si las preguntas tienen ponderaciones (pesos) diferentes (w), y las respuestas son fraccionalmente correctas (f entre 0 y 1) entonces la Precisión = Σ(wf)/Σ(w).
• Respuestas Parcialmente Correctas. Si las respuestas en Moodle son parcialmente correctas (se asigna una fracción f mayor de cero), entonces para C=1, 2, o 3 el puntaje otorgado será de f, 2f o 3f. Si f es negativo (implicando que cualquier porción correcta de la pregunta es sobrepasada por los errores) entonces la puntuación otorgada será la misma que la de una respuesta equivocada (0,-2 o -6).

¿Qué le dicen a Usted la Puntuación Promedio PBC y la Precisión?

La gráfica^* muestra las puntuaciones (Precisión y Promedio PBC) para varios miles de envíos en línea de una variedad de auto-exámenes PBC voluntario para enseñanza y revisión, principalmente con estudiantes universitarios. Tiene anotaciones con interpretaciones sobre el conocimiento de los estudiantes en diferentes zonas de la gráfica.

• T/F Qs = Preguntas Falso/Verdadero
• SBA = Small Business Administration = Administración de Pequeños Negocios
• EMQs = Extended Matching Questions = Preguntas Extendidas de Relacionar Diagnósticos para Medicina
• YOUR SCORE = SU PUNTUACIÓN
• maximum possible CBM av. = promedio máximo posible de PBC

^* Formato usado en CBM Self-Tests (actualmente no-en-Moodle) para sobre-imponer un puntaje de estudiante después del envío.

• Tome nota de que el promedio de PBC siempre es menor que, como un porcentaje del máximo, que la Precisión. Para el puntaje mostrado en amarillo, el promedio de PBC (1.5) fue 50% del máximo, mientras que la precisión (que ignora las valoraciones C) fue 80%. A Usted obviamente no debería de preocuparle que su promedio de PBC sea menor, expresado de esta forma, que su puntaje convencional. ¡Siempre es así!
• Si Usted no discriminó para nada entre respuestas certeras e inciertas (dándoles a todas la misma valoración C, apropiada solamente para qué tan bien sabía en promedio los temas), entonces sus puntuaciones estarán en algún punto en la línea verde de la gráfica.
• Si su puntuación cae por arriba de la línea verde, entonces Usted está distinguiendo exitosamente las respuestas certeras de las inciertas. Si su puntuación estuviera debajo, entonces Usted está juzgando mal que tan bien sabe y comprende los temas, o Usted tiene serios prejuicios (cosas en las que cree con confianza, ¡que no son ciertas!).

Bono por PBC, Precisión BC y Calificaciones BC

Es conveniente expresar el éxito de un estudiante para distinguir entre el conocimiento confiable del incierto (como se muestra en la gráfica superior) en términos de un Bono PBC que puede sumarse a (o restarse de) la precisión convencional expresando el porcentaje de respuestas correctas. El Bono PBC está determinado por qué tanto del promedio de la PBC está por encima o por debajo de la línea verde en la gráfica de arriba. Un bono negativo^** significa que el estudiante ha discriminado mala o que ha juzagado mal la confiabilidad de sus respuestas. Para el puntaje de ejemplo mostrado en amarillo, el promedio PBC es de 0.3 puntos por arriba de la línea, lo que es multiplicado por un factor estándar β (=10%)^* para dar un bono Basado en Certeza = +3%. Cuando se añade a la Precisión (= 80%) esto da una Precisión basada en Certeza = 83%. La Calificación Basada en Certeza es simplemente la Precisión Basada en certeza multiplicada por el valor de la calificación asignada al examen. el uso de la Precisión Basada en Certeza hace más fácil para los estudiantes y los profesores el comparar las calificaciones convencionales con lass calificaciones Basadas en certeza, mientras que la diferencia (el Bono BC) es una indicación de la autovaloración crítica del estudiante respecto a cuales partes de sus conocimientos son o no confiables.

^* El factor β=10% usado para calcular el Bono BC es elegido óptimamente para maximizar la confiabilidad estadística de la puntuación total resultante (Precisión + Bono): su habilidad para predecir el desempeño en exámenes relacionados. Referencia: Gardner-Medwin, 2013

^** Si a Usted le parece extraño un bono negativo, piense en cuanto mejor sería el mundo si los bonos a los banqueros pudieran ser negativos. Un bono negativo de PBC típicamente señala lo que fue descrito por Confucio como una inhabilidad para "cuando no sabes una cosa, aceptar que no lo sabes" y por Donald Rumsfeld, de una forma más concisa, como "desconocidos desconocido". Ambos son esencialmente conocimiento negativo, lo que es peor que la ignorancia reconocida.

Datos de PBC en Exámenes

Al momento en que los estudiantes realizan sus exámenes, muchas de sus suposiciones falsas (errores de confianza, que conducen a puntuaciones negativas) se habrán ido, y los estudiantes deberían de ser mucho mejores jueces en sus áreas de maestría y de incertidumbre. esto significa que los Bonos BC tienden a ser más uniformemente positivos. La Precisión BC les permite a los examinadores hacer una comparación directa de los criterios de estándares BC contra estándares convencionales.

• Simple Accuracy (% correct) = Precisión simple (% correcto)
• Average CBMMark = Puntuación PBC promedio
• CB Accuracy (including Bonus) = Precisión Basada en Certeza (incluyendo Bono)

Ejemplo de datos PBC de un examen de medicina en la UCL.

Puntación relacionada con solamente parte de un Examen

PBC es particularmente valiosa para auto-evaluaciones, en donde los estudiantes se desafían como parte de sus estudios. Las respuestas pueden omitirse debido a que no sean de un tema de interés actual, o que sean muy fáciles, o tal vez que todavía no las hayan estudiado. Las puntuaciones PBC pueden entonces presentarse relativas al conjunto de preguntas que el estudiante haya elegido contestar. Todas correctas en solamente la mitad del examen se mostraría entonces como una Precisión del 100%. Dependerá del estudiante el cómo interpreatar estos puntajes: obviamente, si se omiten preguntas debido a que son muy difíciles, entonces el puntaje relativo puede sobre-estimar competencia del sujeto.. Las 'Calificaciones' de Moodle siempre son relativas al examen completo, y esta es la presentación por defecto también para otros puntajes.

Calificaciones de Moodle con PBC

La Calificación de Moodle es el total de puntos otorgados, escalados en forma relativa a un valor nominal para el examen completo. Las calificaciones a veces son mostradas 'fuera de' este valor, pero con PBC la calificación puede ser hasta tres veces mayor (si todas las respuestas fueran correctas con C=3). Esta forma simple de calificar no es fácil de comparar con las calificaciones convencionales.La Calificación BC (vea arriba) es preferida, pero hasta que las calificaciones de Moodle sean calculadas de esta forma cuando está en uso la PBC, los empleados deberían de usar los datos mostrados en las tablas debajo de Examen - Resultados - Calificaciones de PBC o Intento - Revisiones para la valoración más clara del desempeño estudiantil. Tenga cuidado de que a menos que estén configuradas las 'Calificaciones Ilimitadas' (vea debajo) las calificaciones de Moodle a menudo se mostrarán incorrectamente en las vistas del Libro de calificaciones.

Acciones ADMINISTRATIVAS esenciales para PBC

PLUGIN esencial para que el staff vea datos de Puntuación Basada en Certeza en Moodle 2.6 y más recientes

Moodle 2.6 y más recientes requieren que se instale un plugin adicional de Quiz Report Plugin para que los datos de PBC sean visibles dentro de los reportes de calificaciones. Las versiones anteriores de Moodle (<2.6) pueden usar en su lugar las modificaciones al código descargables, que muestran los datos de PBC en los reportes regulares.

Como ver las calificaciones con PBC en forma sencilla y práctica

• Después de que se ha instalado el plugin arriba mencionado, cualquier profesor podrá ver las calificaciones ponderadas con la PBC.
• Obviamente, el reporte de calificaciones habituales de Moodle mostrará puntajes que pueden subir hasta 300%, o bajar hasta valores negativos, por lo que no se usará.
• Al revisar las calificaciones de un examen que empleó PBC:
  • NO elija el enlace azul que habitualmente muestra los intentos (cuadro rojo)
  • Debe elegir el ícono del engrane (cuadro verde superior) y luego la opción de 'Calificación PCB' (cuadro vede inferior)

• Observe el siguiente ejemplo:

• • la calificación cruda del examen está en el cuadro rojo,
  • el cuadro naranja muestra cuantas (%) preguntas respondió acertadamente el estudiante.
  • La calificación que se sugiere usar para las evaluaciones de nuestros alumnos será la última columna hacia la derecha (encuadrada en verde)

Configuración esencial de 'Calificaciones sin límites'

'Calificaciones sin límites' debe tener su casilla activada en ' Administración del sitio -> Calificaciones -> Configuraciones generales ' para que las calificaciones no estén limitadas al 100%. Moodle actualmente calcula estas entradas del Libro de calificaciones basadas en puntuaciones crudas (hasta del 300% de los puntos que podrían obtenerse sin PBC). Sin esta configuración, la mayoría d elas calificaciones de los estudiantes se mostrarán como '100%' debido a la imposición de este límite. Si el código del núcleo de Moodle se cambiara para mostrar calificaciones como la Calificación Basada en Certeza (CB Grade) (diseñada para ser adecuadamente comparable con las calificaciones convencionales) esta configuración administrativa ya no tendría importancia.

Más información

Para mayor información, vea Certainty-Based Marking (CBM) y test scores with and without CBM por Tony Gardner-Medwin.