Sugerencias para crear preguntas para examen

La mejor forma de cambiar la forma de enseñar algo es cambiar la forma en la que se evalúa.

"A continuación se describen algunas sugerencias generales a considerar al hacer preguntas para evaluaciones en Moodle:

Nivel de conocimiento que se quiere evaluar

Antes de redactar las preguntas que usaremos para una evaluación, es muy importante decidir el nivel del conocimiento que buscamos en nuestros estudiantes, para hacer reactivos que correspondan a dicho nivel:

• Memorización (capacidad de recordar algo)
• Análisis (capacidad de descomponer algo en sus partes)
• Síntesis (capacidad de ensamblar algo)
• Evaluación (hacer un juicio de valor sobre algo)
• Solución de problemas (aprendizaje basado en problemas)

Banco de preguntas

• • Escriba (en papel o archivo de texto) los objetivos parciales y finales del curso, mismos que serán evaluados
  • Agrupe todos sus objetivos de aprendizaje por temas/tópicos en categorías dentro del banco de preguntas.
  • Cree la pregunta dentro del banco de preguntas dentro de la categoría pertinente.
  • Cree todas las preguntas que necesitará para evaluar todos los objetivos de aprendizaje
  • Asegúrese de que todas las preguntas realmente estén dentro de la categoría correcta del Banco de preguntas.
  • Revise las características deseables e indeseables de las preguntas que se describen en el resto de este documento y corrija o elimine las preguntas con problemas.
  • Después cree la actividad del examen para un objetivo de aprendizaje y añádale las preguntas correspondientes del Banco de preguntas.
  • Ingrese al curso con una cuenta de estudiante y conteste el examen, para asegurarse que funciona adecuadamente o corregir los problemas detectados.
  • De ser posible, pídale a un colega que revise el examen y escuche atentamente sus comentarios y sugerencias.

Ejemplo de un banco de preguntas con varias categorías que corresponden a cada uno de los 8 temas del programa del curso y una categoría especial para las preguntas abiertas (tipo ensayo) que deben calificarse manualmente. (haga click para agrandar la imagen)

Examen, Lección, Tarea y Métodos avanzados de calificación

• Use escenarios con varias opciones a elegir para evaluar objetivos de alto nivel. Esto puede hacerse en una lección o en una pregunta de opción múltiple dentro de un examen.
• Aunque los exámenes son una excelente manera para evaluar el conocimiento, no lo son para todos los niveles.
• Use Métodos avanzados de calificar (rúbricas y guía de puntaje) para la evaluación.
• Para las tareas, actualmente Moodle no tiene una función para reportarle el desempeño comparativo de sus estudiantes a nivel de criterio (como si existe en un examen), aunque Usted puede evaluar los puntajes globales.

Pertinencia, Facilidad, Ponderación

• Asegúrese de que sus preguntas sean válidas, y que no sean demasiado fáciles ni demasiado difíciles; lo mejor es que tengan un índice de facilidad entre 30% y 70%.
• Evite preguntas capciosas, porque Usted no quiere confundir a sus estudiantes. Si los estudiantes consistentemente se equivocan en una pregunta (vea índice de facilidad), entonces revísela y descubra porqué se equivocan allí.

Pregunta en la que el 80% de los estudiantes se equivocan consistentemente.

• Use ponderación apropiada de los puntos de cada pregunta del examen.
  • No es necesario que el total de puntos sumados de las preguntas tenga un valor pre-definido, porque Moodle lo escalará por Usted.
  • En vez de eso, enfóquese en la ponderación de cada pregunta.
  • Por ejemplo, un punto para cada pregunta de pregunta de opción múltiple , pero si una pregunta tiene varias respuestas correctas entonces pondere el puntaje según el número de respuestas correctas.
  • Para preguntas de relación de columnas (emparejamiento) use el número total de puntos según el número de ítems a relacionar.

Explique las fallas y califique apropiadamente

• Si usa retroalimentación específica en las preguntas, proporcione razones específicas del porqué una respuesta está equivocada. Esta retroalimentaión específica usualmente no se usa cuando los estudiantes están tratando de contestar los exámenes sumativos, sino después que todos los estudiantes han contestado el examen.
• Configure las opciones de revisión para controlar cuando verán los alumnos la información sobre sus intentos de examen; como por ejemplo, la retroalimentación. Generalmente se recomienda usar retroalimentación diferida.

El alumno solamente podrá ver la respuesta correcta y la retroalimentación específica después de que se haya cerrado el examen

Moodle 2.6

• En Moodle 2.6 y superiores existe la opción de añadir un plugin para Retroalimentación diferida con explicación, que es similar a la retroalimentación diferida, pero con una caja adicional para escritura, en donde los estudiantes pueden dar una razón del porqué dieron la respuesta que dieron. No se hace intento alguno para calificar automáticamente la explicación del alumno, ni tampoco se requiere.
• Si se permiten intentos múltiples, asegúrese de seleccionar el método de agregación de calificaciones que quiere aplicar.
• La Puntuación Basada en Certeza puede ser una excelente técnica:
  • Para asegurarse de que los estudiantes piensen acerca de qué tan confiable es su respuesta
  • En situaciones en donde una creencia equivocada es peor que la ignorancia. En medicina y en ingeniería los conceptos erróneos e ideas falsan pueden matar personas.
  • Para motivar a los estudiantes a que traten de entender los asuntos, y que no solamente reacionen inmediatamente a una pregunta
  • Para desafiarlos: si un estudiante no se arriega a perder puntos si se equivoca, entonces es porque realmente no conoce la respuesta
  • Si un estudiante es un pensador cuidadoso, pero no está muy seguro de sí mismo, ganará confianza
  • Es más justo - una respuesta correcta pensada y certera merece más puntos que una adivinanza afortunada
  • Los estudiantes necesitan prestar atención si hacen respuestas equivocadas confianzudamente: ¡ pensar, refleccionar, aprender !
  • El estudio eficiente requiere cuestionarse constantemente sobre cómo surgen nuestras ideas y que tan confiables son.
  • La Puntuación Basada en Certeza solamente debe emplearse con las preguntas de tipo de opción múltiple y Falso/Verdadero.
    • Se podrían emplear preguntas del tipo de respuesta numérica o de respuesta corta si se definen tolerancias numéricas y ortográficas. Por ejemplo: ¿Cual es el valor de pi (con tolerancia de +/-1%)? o ¿Cómo se escribe en italiano la capital de Italia?.
  • PERO es importante mencionar que muchos estudiantes se molestan la primera vez que se enfrentan a una evaluación que emplea Puntuación Basada en Certeza porque la consideran demasiado difícil.

Aleatorización

• Barajee el orden de las preguntas para que cada alumno vea un examen diferentemente presentado. Use la característica de Preguntas Aleatorias para disminuir el copiado entre alumnos y para enriquecer exámenes con intentos múltiples.
• Aleatorice las preguntas al emplear Preguntas Aleatorias provenientes de lotes de preguntas de una categoría dada del banco de preguntas.
• Aleatorize el orden en el que se muestran la respuesta correcta y los distractores dentro de la pregunta.
  • Usted podría tener la tendencia a colocar las respuestas correctas en la misma posición.
  • Permítale al sistema que re-ordene las respuestas automáticamente.
  • En Moodle, Usted puede configurar cada pregunta para que "barajee" las opciones, para que se muestren en un orden aleatorio para cada intento.
  • Para que funcione esta característica, Usted necesitará también habilitar la configuración del comportamiento de la pregunta dentro del Examen a “Barajear las respuestas dentro de las preguntas."

Tipos de preguntas

• Evite usar demasiadas preguntas de Falso/Verdadero. Asegúrese de que Usted esté evaluando el nivel deseado de aprendizaje. Recuerde que en biología (y en otras ciencias) pocas aseveraciones son siempre 100% verdaderas o siempre 100% falsas. Este tipo de preguntas tiene un 50% de probabilidad estadística de que un estudiante le atine por azar a la respuesta correcta.

Ejemplo de una pregunta que es Falsa en la mayoría, pero no el 100% de los casos

Ejemplo de una pregunta Falso/Verdadero mal redactada y en la que solamente el 52% de los estudiantes acertaba a la opción correcta (verdadero).

• Evite tener demasiados ítems para relacionarse en preguntas de los tipos de relacionar columnas y Relacionar por Arrastrar y Soltar. Esto podría ser apabullante para los estudiantes a los que se les presentan demasiados ítems a la vez y causa demasiado desplazamiento del cursor, lo que afecta la usabilidad. En lugar de ello, considere dividir la pregunta en dos preguntas, o partirla en preguntas del tipo de opción múltiple .

Ejemplo de una pregunta con más de 20 ítems en cada columna para relacionar (emparejar).

• Evite tener respuestas muy largas dentro de las preguntas de relacionar columnas (emparejamiento), porque estas respuestas son las que se ponen dentro de los menús desplegables, lo que podría hacerles difícil a los estudiantes el leer estas preguntas al tratar de relacionar las columnas.
  • Tradicionalmente, en Moodle, la respuesta correcta y los distractores deberán de ir dentro del área de Respuestas y los ítems con los que se relacionan deberán de ir dentro del área de la (base de la) Pregunta.
  • Usted podría querer considerar invertir estas dos áreas para mejorar la legibilidad. Por ejemplo, si Usted quiere que los estudiantes relacionen términos con sus definiciones, entonces lo mejor es escribir las definiciones (texto largo) dentro del área de Pregunta y los términos (texto corto) en el área de Respuesta.

Ejemplo de pregunta donde las opciones son demasiado largas

• Recuerde que las preguntas del Tipo de pregunta de ensayo requieren calificarse manualmente. Si Usted quiere usar la calificación automática, entonces evalúe la pregunta dentro de una tarea. También, use el módulo de tarea si la respuesta esperada será de más de un par de párrafos.
• Para las preguntas de opción múltiple con múltiples respuestas correctas, asegúrese de darles puntos negativos a los distractores, para que los estudiantes sean penalizados al seleccionar una respuesta incorrecta. Si Usted no lo hace así, entonces los estudiantes podrían seleccionar todas las respuestas y recibirían crédito total aunque hubieran seleccionado alguna(s) respuesta(s) incorrecta(s).

Tipos de preguntas poco conocidos

• El Tipo de Pregunta con respuestas incrustadas (Cloze) puede resultar muy útil cuando se desea crear varias preguntas relacionadas con una situación; por ejemplo, en un caso clínico en medicina o un problema de ingeniería.
  • Aunque la sintaxis del Tipo de Pregunta con respuestas incrustadas (Cloze) puede resultar intimidante para muchos profesores, existe un [[Complementos|plugin adicional] que permite instalar un editor Cloze muy amistoso en un servidor Moodle 1.9 o 2.x. Vea Editor cloze. Es importante mencionar que este editor solamente funciona si su sitio Moodle tiene el Editor TinyMCE habilitado, porque (febrero 2015) aun no existe versión de este plugin para el editor Atto.
  • En http://projects.ael.uni-tuebingen.de/quiz/htmlarea/index.php hay un editor CLOZE en línea :)
  • En el Tipo de Pregunta con respuestas incrustadas (Cloze) es muy importante cada pregunta individual no le permita al estudiante descartar o resolver las otras preguntas del conjunto. Si en un caso simulado hay cuatro posibilidades de diagnóstico en la primera pregunta y en la segunda pregunta se preguntara el tratamiento, las opciones de respuestas para la segunda pregunta (tratamiento) deberán de corresponder a las cuatro posibilidades (diagnósticos) anteriormente planteadas.

Ejemplo de una pregunta tipo CLOZE que sustituye a varias preguntas de opción múltiple..

Ejemplo de una pregunta tipo CLOZE con varios tipos de preguntas dentro de ella.

• Moodle puede emplear muchos tipos de Preguntas de terceros novedosos y útiles para muchas circunstancias. Existen varios tipos de preguntas especializadas para Química, Matemáticas y Música, ademas de numerosas preguntas de 'Arrastrar y Soltar', que posiblemente se incorporarán al núcleo de Moodlle 2.9. Se le recomienda al lector consultar la página de Preguntas de terceros .

Formateado del texto

• Use preguntas de opción múltiple como si fuera un tipo de pregunta de complete el espacio vacío (rellene-el-hueco), pero con opciones.
  • Si Usted decide hacer ésto, siempre use un número estándar de caracteres de subrayado (guión_bajo) para cada espacio vacío.
  • Yo (Rebecca DeSantis) siempre uso cinco caracteres de subrayado (guión_bajo) (_____).
  • Usted podría inclusive tener dos espacios vacíos dentro de una oración, pero evite usar un espacio vacío al principio de la oración; en lugar de esto, escriba primeramente la base de la pregunta al principio de la oración.
• Sea consistente con el formateado de sus preguntas. Usted podría poner en MAYÚSCULAS la primera letra de cada opción de la pregunta. Evite hacer esto en el caso de las preguntas del tipo de rellene-el-hueco, dado que las opciones en realidad no deberían de iniciar con una letra mayúscula, a menos que estuvieran al principio de la oración (lo que ya se vio que no se recomienda).
• En lugar de usar dos puntos después de la base de la pregunta, escriba una pregunta completa y gramaticalmente correcta que tenga sentido, o cree una pregunta del tipo de rellene-el-hueco.

Distractores

• Evite crear respuestas distractores que sean obviamente incorrectos. Los distractores bien-escritos deberían de ser plausíbles (creíbles para los que no están seguros) . Esta puede ser una de las partes más difíciles al escribir preguntas.

En esta pregunta hay demasiados (seis) distractores y la mayoría no son plausíbles (creíbles).

• Haga que la longitud de los distractores sea similar a la longitud de la respuesta correcta. La respuesta correcta típicamente es más larga, y esto le permite adivinarla a los estudiantes. Recuerde esto al escribir distractores.

En esta pregunta los tres distractores no tienen nada que ver con el testículo, mientras que la opción correcta es la única que lo menciona y además es más larga

Imágenes

• No tenga miedo de añadir imágenes a una pregunta para evaluación. Por ejemplo, puede usarlos en las preguntas del tipo de Arrastrar y Soltar y en las preguntas del tipo de opción múltiple (por ejemplo, un diagrama).

Uso del idioma Español

• Evite usar la palabra no en preguntas. Por ejemplo, ¿Cual de los siguientes ítems NO es….
• Evite usar la palabra excepto. Por ejemplo, Las siguientes son causas de choque anafiláctico EXCEPTO….
• Evite usar las palabras solamente, nunca y siempre dentro de preguntas, especialmente en las preguntas del tipo Falso/Verdadero.
• Evite usar Ninguna de las anteriores como opción de respuesta verdadera o como distractor.
• Evite usar la opción Todas las anteriores al usar aleatorización. En su lugar, opte por usar Todas estas. ¡De hecho, lo mejor es que evite usar ambas!

Ejemplo de pregunta que debe evitarse que usa 'Todas las anteriores'

• Si Usted observa que está usando las mismas palabras en la respuesta correcta y en los distractores, entonces mueva ese texto hacia adentro de la base de la pregunta para evitar repeticiones.

Mejora contínua

• Revise los reportes para ver cómo están punteando sus estudiantes en las evaluaciones.
• Si muchos estudiantes están obteniendo pocos aciertos en alguna pregunta en particular, revise la pregunta para asegurarse de que la respuesta correcta esté señalada correctamente en el sistema.
  • Revise la redacción de la pregunta y su validez y corríjala si es posible o elimínela
  • Si la pregunta es buena, pero los estudiantes desconocen la respuesta correcta, revise el contenido del curso para complementarlo y mejorar su calidad.
  • En Moodle, Usted puede hacer click en el enlace hacia los Intentos dentro del Examen para evaluar las Respuestas usando en Análisi de ítems en Moodle 1.9 y las Estadísticas en Moodle 2.x en los Reportes de examen de las Calificaciones del Examen.
  • Usted también puede acceder a esto al navegar a una actividad de Examen dentro del Bloque de navegación y expanderlo para ver el enlace de Resultados.
  • También puede intentar ver las Respuestas y las Estadísticas.

Vea también

• Prácticas Eficaces en los Exámenes
• National Board of Medical Examiners (2006). Como elaborar preguntas para evaluaciones escritas en el área de ciencias básicas y clínicas
• 30 tips for creating quiz questions by Rebecca DeSantis, MSIT, Moodlerooms Instructional Designer (el enlace es de acceso limitado a los Estados Unidos, pero la página puede encontrarse cacheada)