Sugerencias para crear preguntas para examen

La mejor manera de cambiar la forma de enseñar algo es cambiar la forma en la que se evalúa.

A continuación se describen algunas sugerencias generales a considerar al hacer preguntas para evaluaciones en Moodle:

Decida el nivel de conocimiento que quiere evaluar

Antes de redactar las preguntas que usaremos para una evaluación, es muy importante decidir el nivel del conocimiento que buscamos en nuestros estudiantes, para hacer reactivos que correspondan a dicho nivel, por ejemplo:

• Memorización (capacidad de recordar algo)
• Análisis (capacidad de descomponer algo en sus partes)
• Síntesis (capacidad de ensamblar algo)
• Evaluación (hacer un juicio de valor sobre algo)
• Solución de problemas (aprendizaje basado en problemas)

Conozca la taxonomía de Bloom

La taxonomía de Bloom es jerárquica, esto significa que asume que el aprendizaje a niveles superiores depende de la adquisición del conocimiento y habilidades de ciertos niveles inferiores.

Dimensión cognitiva: Es la habilidad para pensar sobre los objetos de estudio. Los objetivos del nivel cognitivo giran en torno al conocimiento y la comprensión de cualquier tema dado.

Hay seis niveles en la taxonomía propuesta por Benjamín Bloom y colaboradores. En orden ascendente son los siguientes:

• Conocer. Muestra el recuerdo de materiales previamente aprendidos por medio de hechos evocables, términos, conceptos básicos y respuestas
  • Conocimiento de terminología o hechos específicos
  • Conocimiento de los modos y medios para tratar con convenciones, tendencias y secuencias específicas, clasificaciones y categorías, criterios, metodología.
  • Conocimiento de los universales y abstracciones en un campo: principios y generalizaciones, teorías y estructuras

• Comprender: Entendimiento demostrativo de hechos e ideas por medio de la organización, la comparación, la traducción, la interpretación, las descripciones.
  • Traducción
  • Interpretación
  • Extrapolación

• Aplicar: Uso de conocimiento nuevo. Resolver problemas en nuevas situaciones aplicando el conocimiento adquirido, hechos, técnicas y reglas en un modo diferente

• Analizar: Examen y discriminación de la información identificando motivos o causas. Hacer inferencias y encontrar evidencia para fundamentar generalizaciones
  • Análisis de los elementos
  • Análisis de las relaciones
  • Análisis de los principios de organización

• Crear (Síntesis): Compilación de información de diferentes modos combinando elementos en un patrón nuevo o proponiendo soluciones alternativas
  • Elaboración de comunicación unívoca
  • Elaboración de un plan o conjunto de operaciones propuestas
  • Derivación de un conjunto de relaciones abstractas

• Evaluar: Presentación y defensa de opiniones juzgando la información, la validez de ideas o la calidad de una obra en relación con un conjunto de criterios
  • Juicios en términos de evidencia interna
  • Juicios en términos de criterios externos

Organice el Banco de preguntas

• • Escriba (en papel o archivo de texto) los objetivos parciales y finales del curso, mismos que serán evaluados
  • Agrupe todos sus objetivos de aprendizaje por temas/tópicos en categorías dentro del banco de preguntas.
  • Cree la pregunta dentro del banco de preguntas dentro de la categoría pertinente.
  • Cree todas las preguntas que necesitará para evaluar todos los objetivos de aprendizaje
  • Asegúrese de que todas las preguntas realmente estén dentro de la categoría correcta del Banco de preguntas.
  • Revise las características deseables e indeseables de las preguntas que se describen en el resto de este documento y corrija o elimine las preguntas con problemas.
  • Después cree la actividad del examen para un objetivo de aprendizaje y añádale las preguntas correspondientes del Banco de preguntas.
  • Ingrese al curso con una cuenta de estudiante y conteste el examen, para asegurarse que funciona adecuadamente o corregir los problemas detectados.
  • De ser posible, pídale a un colega que revise el examen y escuche atentamente sus comentarios y sugerencias.

Ejemplo de un banco de preguntas con varias categorías que corresponden a cada uno de los 8 temas del programa del curso y una categoría especial para las preguntas abiertas (tipo ensayo) que deben calificarse manualmente. (haga click para agrandar la imagen)

Elija entre Examen, Lección, Tarea y Métodos avanzados de calificar

• Use escenarios con varias opciones a elegir para evaluar objetivos de alto nivel. Esto puede hacerse en una lección o en una pregunta de opción múltiple dentro de un examen.
• Use Métodos avanzados de calificar (rúbricas y guía de puntaje) para la evaluación.
• Para las tareas, actualmente Moodle no tiene una función para reportarle el desempeño comparativo de sus estudiantes a nivel de criterio (como si existe en un examen), aunque Usted puede evaluar los puntajes globales.

Revise la pertinencia, facilidad y ponderación

• Asegúrese de que sus preguntas sean válidas, y que no sean demasiado fáciles ni demasiado difíciles; lo mejor es que tengan un índice de facilidad entre 30% y 70%.
• Evite preguntas capciosas, porque Usted no quiere confundir a sus estudiantes. Si los estudiantes consistentemente se equivocan en una pregunta (vea índice de facilidad), entonces revísela y descubra porqué se equivocan allí.

Pregunta en la que el 80% de los estudiantes se equivocan consistentemente.

• Use ponderación apropiada de los puntos de cada pregunta del examen.
  • No es necesario que el total de puntos sumados de las preguntas tenga un valor pre-definido, porque Moodle lo escalará por Usted.
  • En vez de eso, enfóquese en la ponderación de cada pregunta.
  • Por ejemplo, un punto para cada pregunta de pregunta de opción múltiple , pero si una pregunta tiene varias respuestas correctas entonces pondere el puntaje según el número de respuestas correctas.
  • Para preguntas de relación de columnas (emparejamiento) use el número total de puntos según el número de ítems a relacionar.
  • Las preguntas de ensayo y respuesta corta deberían de tener un mayor puntaje que las de opción múltiple y falso/verdadero

Explique las fallas y califique apropiadamente

• Si usa retroalimentación específica en las preguntas, proporcione razones específicas del porqué una respuesta está equivocada. Esta retroalimentaión específica usualmente no se usa cuando los estudiantes están tratando de contestar los exámenes sumativos, sino después que todos los estudiantes han contestado el examen.
• Configure las opciones de revisión para controlar cuando verán los alumnos la información sobre sus intentos de examen; como por ejemplo, la retroalimentación. Generalmente se recomienda usar retroalimentación diferida.

El alumno solamente podrá ver la respuesta correcta y la retroalimentación específica después de que se haya cerrado el examen

Moodle 2.6

• En Moodle 2.6 y superiores existe la opción de añadir un plugin para Retroalimentación diferida con explicación, que es similar a la retroalimentación diferida, pero con una caja adicional para escritura, en donde los estudiantes pueden dar una razón del porqué dieron la respuesta que dieron. No se hace intento alguno para calificar automáticamente la explicación del alumno, ni tampoco se requiere.
• Si se permiten intentos múltiples, asegúrese de seleccionar el método de agregación de calificaciones que quiere aplicar.
• La Puntuación Basada en Certeza puede ser una excelente técnica:
  • Para asegurarse de que los estudiantes piensen acerca de qué tan confiable es su respuesta
  • En situaciones en donde una creencia equivocada es peor que la ignorancia. En medicina y en ingeniería los conceptos erróneos e ideas falsan pueden matar personas.
  • Para motivar a los estudiantes a que traten de entender los asuntos, y que no solamente reacionen inmediatamente a una pregunta
  • Para desafiarlos: si un estudiante no se arriega a perder puntos si se equivoca, entonces es porque realmente no conoce la respuesta
  • Si un estudiante es un pensador cuidadoso, pero no está muy seguro de sí mismo, ganará confianza
  • Es más justo - una respuesta correcta pensada y certera merece más puntos que una adivinanza afortunada
  • Los estudiantes necesitan prestar atención si hacen respuestas equivocadas confianzudamente: ¡ pensar, refleccionar, aprender !
  • El estudio eficiente requiere cuestionarse constantemente sobre cómo surgen nuestras ideas y que tan confiables son.
  • La Puntuación Basada en Certeza solamente debe emplearse con las preguntas de tipo de opción múltiple y Falso/Verdadero.
    • Se podrían emplear preguntas del tipo de respuesta numérica o de respuesta corta si se definen tolerancias numéricas y ortográficas. Por ejemplo: ¿Cual es el valor de pi (con tolerancia de +/-1%)? o ¿Cómo se escribe en italiano la capital de Italia?.
  • PERO es importante mencionar que muchos estudiantes se molestan la primera vez que se enfrentan a una evaluación que emplea Puntuación Basada en Certeza porque la consideran demasiado difícil.

Emplee la aleatorización

• Barajee el orden de las preguntas para que cada alumno vea un examen diferentemente presentado. Use la característica de Preguntas Aleatorias para disminuir el copiado entre alumnos y para enriquecer exámenes con intentos múltiples.
• Aleatorice las preguntas al emplear Preguntas Aleatorias provenientes de lotes de preguntas de una categoría dada del banco de preguntas.
• Aleatorize el orden en el que se muestran la respuesta correcta y los distractores dentro de la pregunta.
  • Usted podría tener la tendencia a colocar las respuestas correctas en la misma posición.
  • Permítale al sistema que re-ordene las respuestas automáticamente.
  • En Moodle, Usted puede configurar cada pregunta para que "barajee" las opciones, para que se muestren en un orden aleatorio para cada intento.
  • Para que funcione esta característica, Usted necesitará también habilitar la configuración del comportamiento de la pregunta dentro del Examen a “Barajear las respuestas dentro de las preguntas."

Use los diferentes tipos de preguntas apropiadamente

• Evite usar demasiadas preguntas de Falso/Verdadero. Asegúrese de que Usted esté evaluando el nivel deseado de aprendizaje. Recuerde que en biología (y en otras ciencias) pocas aseveraciones son siempre 100% verdaderas o siempre 100% falsas. Este tipo de preguntas tiene un 50% de probabilidad estadística de que un estudiante le atine por azar a la respuesta correcta.

Ejemplo de una pregunta que es Falsa en la mayoría, pero no el 100% de los casos

Ejemplo de una pregunta Falso/Verdadero mal redactada y en la que solamente el 52% de los estudiantes acertaba a la opción correcta (verdadero).

• Evite tener demasiados ítems para relacionarse en preguntas de los tipos de relacionar columnas y Relacionar por Arrastrar y Soltar. Esto podría ser apabullante para los estudiantes a los que se les presentan demasiados ítems a la vez y causa demasiado desplazamiento del cursor, lo que afecta la usabilidad. En lugar de ello, considere dividir la pregunta en dos preguntas, o partirla en preguntas del tipo de opción múltiple .

Ejemplo de una pregunta con más de 20 ítems en cada columna para relacionar (emparejar).

• Evite tener respuestas muy largas dentro de las preguntas de relacionar columnas (emparejamiento), porque estas respuestas son las que se ponen dentro de los menús desplegables, lo que podría hacerles difícil a los estudiantes el leer estas preguntas al tratar de relacionar las columnas.
  • Tradicionalmente, en Moodle, la respuesta correcta y los distractores deberán de ir dentro del área de Respuestas y los ítems con los que se relacionan deberán de ir dentro del área de la (base de la) Pregunta.
  • Usted podría querer considerar invertir estas dos áreas para mejorar la legibilidad. Por ejemplo, si Usted quiere que los estudiantes relacionen términos con sus definiciones, entonces lo mejor es escribir las definiciones (texto largo) dentro del área de Pregunta y los términos (texto corto) en el área de Respuesta.

Ejemplo de pregunta donde las opciones son demasiado largas

Ejemplo de la pregunta anterior, pero ahora las opciones son de tamaño adecuado

• Recuerde que las preguntas del Tipo de pregunta de ensayo requieren calificarse manualmente. Si Usted quiere usar la calificación automática, entonces evalúe la pregunta dentro de una tarea. También, use el módulo de tarea si la respuesta esperada será de más de un par de párrafos.
• Para las preguntas de opción múltiple con múltiples respuestas correctas, asegúrese de darles puntos negativos a los distractores, para que los estudiantes sean penalizados al seleccionar una respuesta incorrecta. Si Usted no lo hace así, entonces los estudiantes podrían seleccionar todas las respuestas y recibirían crédito total aunque hubieran seleccionado alguna(s) respuesta(s) incorrecta(s).

Familiarícese con los tipos de preguntas poco conocidos

• El Tipo de Pregunta con respuestas incrustadas (Cloze) puede resultar muy útil cuando se desea crear varias preguntas relacionadas con una situación; por ejemplo, en un caso clínico en medicina o un problema de ingeniería.
  • Aunque la sintaxis del Tipo de Pregunta con respuestas incrustadas (Cloze) puede resultar intimidante para muchos profesores, existe un plugin adicional que permite instalar un editor Cloze muy amistoso en un servidor Moodle 1.9, 2.x o 3.x. Vea Editor cloze para TinyMCE y Editor Cloze para Atto. Es importante mencionar que el Editor cloze para TinyMCE solamente funciona si su sitio Moodle tiene el Editor TinyMCE habilitado en lugar de Atto , que es el estándar a partir de Moodle 2.7.
  • En http://projects.ael.uni-tuebingen.de/quiz/htmlarea/index.php hay un editor CLOZE en línea :)
  • En el Tipo de Pregunta con respuestas incrustadas (Cloze) es muy importante cada pregunta individual no le permita al estudiante descartar o resolver las otras preguntas del conjunto. Si en un caso simulado hay cuatro posibilidades de diagnóstico en la primera pregunta y en la segunda pregunta se preguntara el tratamiento, las opciones de respuestas para la segunda pregunta (tratamiento) deberán de corresponder a las cuatro posibilidades (diagnósticos) anteriormente planteadas.

Ejemplo de una pregunta tipo CLOZE que sustituye a varias preguntas de opción múltiple..

Ejemplo de una pregunta tipo CLOZE con varios tipos de preguntas dentro de ella.

• Moodle puede emplear muchos tipos de Preguntas de terceros novedosos y útiles para muchas circunstancias. Existen varios tipos de preguntas especializadas para Química, Matemáticas y Música, ademas de numerosas preguntas de 'Arrastrar y Soltar', que posiblemente se incorporarán al núcleo de Moodlle 2.9. Se le recomienda al lector consultar la página de Preguntas de terceros .

Revise el formateado del texto

• Use preguntas de opción múltiple como si fuera un tipo de pregunta de complete el espacio vacío (rellene-el-hueco), pero con opciones.
  • Si Usted decide hacer ésto, siempre use un número estándar de caracteres de subrayado (guión_bajo) para cada espacio vacío.
  • Yo (Rebecca DeSantis) siempre uso cinco caracteres de subrayado (guión_bajo) (_____).
  • Usted podría inclusive tener dos espacios vacíos dentro de una oración, pero evite usar un espacio vacío al principio de la oración; en lugar de esto, escriba primeramente la base de la pregunta al principio de la oración.
• Sea consistente con el formateado de sus preguntas. Usted podría poner en MAYÚSCULAS la primera letra de cada opción de la pregunta. Evite hacer esto en el caso de las preguntas del tipo de rellene-el-hueco, dado que las opciones en realidad no deberían de iniciar con una letra mayúscula, a menos que estuvieran al principio de la oración (lo que ya se vio que no se recomienda).
• En lugar de usar dos puntos después de la base de la pregunta, escriba una pregunta completa y gramaticalmente correcta que tenga sentido, o cree una pregunta del tipo de rellene-el-hueco.

Tenga cuidado con los distractores

• Evite crear respuestas distractores que sean obviamente incorrectos. Los distractores bien-escritos deberían de ser plausíbles (creíbles para los que no están seguros) . Esta puede ser una de las partes más difíciles al escribir preguntas.

En esta pregunta hay demasiados (seis) distractores y la mayoría no son plausíbles (creíbles).

• Haga que la longitud de los distractores sea similar a la longitud de la respuesta correcta. La respuesta correcta típicamente es más larga, y esto le permite adivinarla a los estudiantes. Recuerde esto al escribir distractores.

En esta pregunta los tres distractores no tienen nada que ver con el testículo, mientras que la opción correcta es la única que lo menciona y además es más larga

Use adecuadamente imágenes

• No tenga miedo de añadir imágenes a una pregunta para evaluación. Por ejemplo, puede usarlos en las preguntas del tipo de Arrastrar y Soltar y en las preguntas del tipo de opción múltiple (por ejemplo, un diagrama).
• Al subir una imagen al servidor Moodle, dele un nombre apropiado para que Usted pueda identificarla con facilidad y encontrarla dentro del Banco de preguntas, pero al insertar la imagen adentro de una pregunta, dele un nombre (título) simplificado, para evitar que los estudiantes adivinen la respuesta al ver el título de la imagen que es mostrado al pasarle el ratón encima, como se observa en la imagen siguiente:

Haga un buen uso del idioma Español

• Evite usar la palabra no en preguntas. Por ejemplo, ¿Cual de los siguientes ítems NO es….
• Evite usar la palabra excepto. Por ejemplo, Las siguientes son causas de choque anafiláctico EXCEPTO….
• Evite usar modificadores o calificadores extremos, especialmente en las preguntas del tipo Falso/Verdadero.
  • todos, todo, siempre, solamente, invariablemente, mejor, peor, ninguno, nunca, nadie, absolutamente, ciertamente...
  • usualmente, a menudo, algunos, muchos, probablemente, podía, podría, frecuentemente, a veces, ocasionalmente, rara vez, mucho, mayormente, la mayoría, unos pocos, improbable...
• Evite usar Ninguna de las anteriores como opción de respuesta verdadera o como distractor.
• Evite usar la opción Todas las anteriores al usar aleatorización. En su lugar, opte por usar Todas estas. ¡De hecho, lo mejor es que evite usar ambas!

Ejemplo de pregunta que debe evitarse que usa 'Todas las anteriores'

• Si Usted observa que está usando las mismas palabras en la respuesta correcta y en los distractores, entonces mueva ese texto hacia adentro de la base de la pregunta para evitar repeticiones.

Practique la mejora contínua de los exámenes

• Revise los reportes para ver cómo están punteando sus estudiantes en las evaluaciones.
• Si muchos estudiantes están obteniendo pocos aciertos en alguna pregunta en particular, revise la pregunta para asegurarse de que la respuesta correcta esté señalada correctamente en el sistema.
  • Revise la redacción de la pregunta y su validez y corríjala si es posible o elimínela
  • Si la pregunta es buena, pero los estudiantes desconocen la respuesta correcta, revise el contenido del curso para complementarlo y mejorar su calidad.
  • En Moodle, Usted puede hacer click en el enlace hacia los Intentos dentro del Examen para evaluar las Respuestas usando en Análisis de ítems en Moodle 1.9 y las Estadísticas en Moodle 2.x y 3.x en los Reportes de examen de las Calificaciones del Examen.
  • Usted también puede acceder a esto al navegar a una actividad de Examen dentro del Bloque de navegación y expanderlo para ver el enlace de Resultados.
  • También puede intentar ver las Respuestas y las Estadísticas.

Vea también

• Prácticas Eficaces en los Exámenes
• Documentación sobre preguntas y exámenes
• National Board of Medical Examiners (2006). Como elaborar preguntas para evaluaciones escritas en el área de ciencias básicas y clínicas
• 30 Sugerencias para crear preguntas para exámenes, que es la traducción al español de 30 tips for creating quiz questions by Rebecca DeSantis, MSIT, Moodlerooms Instructional Designer (el enlace aparentemente es de acceso limitado a los Estados Unidos, pero la página puede encontrarse cacheada)
• Is This a Trick Question? A Short Guide to Writing Effective Test Qestions , by Ben Clay, Kansas Curriculum Center (2001)
  • Estrategias estudiantiles para adivinar las respuestas correctas y como impedirlo
  • Sugerencias al hacer preguntas de respuesta corta
  • Sugerencias al hacer preguntas de ensayo (de respuesta abierta)
  • Sugerencias al hacer preguntas de opción múltiple
• 10 Reglas para escribir preguntas de opción múltiple, que es la traducción al español de 10 Rules For Writing Multiple Choice Questions (2001) by Connie Malamed.
• Vea también todas las páginas de la Categoría:Preguntas y de la Categoría:Examen