Prácticas Eficaces en los Exámenes
Nota: Esta es una traducción de una página de la documentación en idioma Inglés (Docs), que se considera particularmente importante, y que en su versión original se actualiza frecuentemente. Por ello, se le recomienda que revise la página original en idioma inglés: Effective quiz practices.
Existe documentación diferente para varias versiones de Moodle: Esta es una traducción reciente, muy apegada al Español de México para Moodle 2.x y 3.x; si Usted preferiría ver la traducción antigua, para Moodle 1.9, apegada al Español internacional vaya a Prácticas Eficaces en los Cuestionarios |
Como hemos visto, el motor para exámenes de Moodle es una herramienta potente y flexible para monitorear y diagnosticar el desempeño del estudiante con ciertos tipos de conocimiento. Al usar efectivamente esta herramienta puede aumentar la efectividad de su curso, y promover el desempeño del alumno. Mientras que un examen calificado por computadora tiene un desempeño diferente que las evaluaciones más abiertas, sí da una ventana valiosa sobre el pensamiento del estudiante, especialmente cuando Usted usa buenas estrategias, y un poco de creatividad.
Estrategias de examen
Desde luego, el usar el motor del examen eficientemente requiere trabajo y paciencia. Lo primero que debe hacerse es usar estrategias eficientes para el diseño de preguntas. Si Usted hace buenas preguntas, Usted obtendrá datos útiles acerca del desempeño de sus estudiantes y su comprensión del material. Desde luego, lo contrario también es cierto. Hay una tonelada de literatura disponible acerca del diseño eficiente de evaluaciones. Yo (Tim Hunt) solamente resaltaré unas cuantas de las ideas más importantes.
- Ligue cada pregunta a un objetivo del curso. Después de todo, si Usted quiere saber si es que sus estudiantes están cumpliendo los objetivos del curso, ¿porqué no se los pregunta directamente?
- Trate de hacer varias preguntas acerca de cada idea importante en la clase. Esto le dará a Usted más puntos de datos acerca de la comprensión de los estudiantes
- Al escribir una pregunta de opción múltiple, asegúrese de que cada respuesta equivocada represente una idea equivocada común. Esto le ayudará a Usted a diagnosticar el pensamiento de sus estudiantes y eliminar las respuestas fáciles de adivinar.
- Escriba preguntas que requieran que el estudiante piense en diferentes niveles. Incluya algunas preguntas de memorización, algunas preguntas de comprensión y algunas preguntas de aplicación y análisis. Usted puede determinar en donde están teniendo problemas los estudiantes en su pensamiento. ¿Será que pueden recordar el material pero no pueden aplicarlo?
- Pruebe sus preguntas. Después de que Usted haya establecido un Banco de preguntas inicial, use los reportes del sistema para determinar cuales preguntas son útiles y cuales no lo son. Conforme Usted escriba nuevas preguntas, deles un valor de puntaje bajo y ponga algunas de ellas en exámenes para establecer su confiabilidad.
Una vez que Usted tenga varios bancos de preguntas de prueba bien escritas, asegúrese de usar los Reportes de examen y las estadísticas para monitorear el desempeño de sus alumnos. Los reportes detallados y las estadísticas que están disponibles para Usted son herramientas valiosas para valorar la comprensión del material por los estudiantes.
Usos creativos del examen
Con el motor de examen de Moodle, es más fácil el utilizar estrategias de evaluación educativamente sólidas que serían demasiado difíciles de implementar en lápiz y papel.
Evaluaciones formativas y sumativas
La mayoría de las personas piensan que los exámenes son actividades de alta importancia infrecuentes; como por ejemplo los exámenes de mediados de año y los exámenes finales (evaluaciones sumativas). Las mejores estrategias involucran evaluaciones frecuentes de bajo impacto (evaluaciones formativas), que Usted y sus estudiantes pueden usar para guiar su desempeño a lo largo del curso en el semestre.
El crear una serie de pequeños mini-exámenes le da a Usted un sistema muy flexible para sopesar el desempeño y para mantener a los estudiantes entretenidos en la clase. Aquí hay algunas ideas para examencillos rápidos, que Usted puede usar como parte de una estrategia de evaluación más amplia.
Revisiones del capítulo
El lograr que los estudiantes completen tareas de lecturas tiene que ser una de las tareas motivacionales más difíciles en la educación. La lectura es crítica para comprender la mayoría de los materiales y es fundamental para el éxito de muchas clases. El problema para la mayoría de los estudiantes es que no existe una recompensa inmediata ni un castigo para el estudiante que deja para después una tarea de lectura. Si Usted no ha hecho la lectura previa para una discusión en clase, Usted puede quedarse calladito, o como yo (Tim Hunt) he hecho ocasionalmente, se pone a leerla rapidísimo en la propia clase. Si Usted tiene un curso de lectura, casi no existe necesidad de hacer la lectura, porque de todos modos el profesor usualmente cubre la mayoría del material en la clase.
El crear un mini-examen para cada tarea de lectura soluciona varios problemas. Primeramente alienta a los estudiantes para que hagan la lectura para que así les vaya bien en el examencito. Segundamente, les da a los estudiantes una retroalimentación acerca de que tan bien entendieron la tarea de lectura. En tercer lugar, le da a Usted datos acerca de cuales aspectos de la lectura encontraron confusos los estudiantes, y cuales ya han dominado, para que Usted pueda enfocar sus actividades en la clase
Para un mini-examen de lectura, yo recomendaría el configurar un examen con el tiempo limitado y que los estudiantes solamente puedan tomar una vez. Debido a que esta es una actividad de pocas consecuencias (de poco impacto sobre la calificación final), Usted quiere que los estudiantes lo usen para auto-evaluación; yo también mostraría la retroalimentación y las respuestas correctas. Si Usted está preocupado acerca de que los estudiantes compartan las respuestas después de que hayan tomado el examen, barajee el orden de las preguntas y el orden de las respuestas. Si Usted tiene un Banco de preguntas, seleccione aleatoriamente algunas de las preguntas. Como una tarea adicional, los estudiantes deberían de escribir un párrafo acerca de una pregunta que tuvieron equivocada y traer este escrito a la clase.
Práctica del examen
La clave para una práctica efectiva es tener un ambiente de práctica realista. Muchos estudiantes se preocupan por los exámenes, especialmente los exámenes de alta importancia, porque ellos no tienen ni idea de qué esperar: ¿Qué formato de preguntas se usará? ¿Qué tan detalladas serán las preguntas? ¿Qué deben de estudiar?
Usted puede ayudar a disminuir la ansiedad al crear exámenes de práctica que los estudiantes pueden realizar para que les ayuden a contestarse estas interrogantes. Estos exámenes usualmente están basados en preguntas antiguas similares a las preguntas del examen vigente. Use, por ejemplo, el examen final del año pasado como un examen de ejemplo para este año, lo que lo forzará a Usted a tener que escribir preguntas nuevas cada año. Esta es una buena idea de cualquier forma, porque Usted puede estar (casi) seguro de que alguien en algún lugar tiene una copia de los exámenes del año pasado y que la está compartiendo con otros estudiantes.
Para configurar un examen de práctica, yo crearía un examen con valor de cero puntos con las preguntas del año pasado en orden aleatorio con respuestas barajeadas aleatoriamente. Yo también les permitiría a los estudiantes que realizaran este examen cuantas veces quieran, para que puedan examinarse a sí mismos cuanto necesiten. Muestre la retroalimentación, pero no muestre las respuestas correctas, para que así represente un reto mayor.
La Ludificación podría emplearse para exámenes de práctica. Vea Actividad Examenventura.
Reunir datos
Como experto que es, Usted conoce mucho acerca de su campo. Su reto como profesor es traducir su conocimiento para un novato que no comparte su experiencia o estructura conceptual. Un ejemplo o una clase que Usted piensa que es brillante podría dejar completamente confundidos a sus estudiantes. Puede ser difícil decir qué tanto realmente entienden los estudiantes y qué los está dejando perplejos. Un examen para recolectar datos es similar a una revisión de un capítulo, pero sucede después de una reunión del grupo o una clase. El objetivo de Usted es de recolectar rápidamente una retroalimentación acerca de la comprensión de su disertación por el estudiante. ¿Qué tanto realmente entendieron?¿En qué necesita Usted invertir más tiempo? Yo (Tim Hunt) he encontrado que muchos instructores tienen problemas para valorar qué es lo que los estudiantes encuentran difícil y qué es lo que encuentran tan fácil que se aburren.
El configurar un examen post-clase para recolectar datos es similar a crear una lista-de-revisión de un capítulo. Configure el examen para un tiempo límite; digamos un día o dos antes de la próxima reunión. Permítales que contesten el examen una sola vez y muestre las respuestas correctas y la retroalimentación.
Seguridad y trampas en el examen
Por supuesto, los exámenes en línea también presentan otra oportunidad para los tramposos en el salón que tratan de ganarle al sistema. La mayoría de los exámenes en línea están hechos para tomarse en casa, o al menos, realizarse fuera de clase. Los estudiantes pueden descargar las preguntas e imprimirlas. Pueden resolver el examen en compañía de otros estudiantes, o cuando están leyendo los libros de texto.
Afortunadamente, Usted puede contrarrestar muchas de estas estrategias, haciendo que el hacer trampa sea más complicado de lo que les representa ventaja. Veamos unas cuantas estrategias para contrarrestar la mayoría de los esquemas para hacer trampa:
Imprimir y compartir preguntas
Si Usted muestra las respuestas correctas y la retroalimentación, los estudiantes podrán imprimir la página de resultados y compartirla con sus amigos. O, puede que simplemente ellos mismos impriman sus respuestas del examen. La clave para desalentar este comportamiento es aleatorizar el orden de las preguntas y el orden de las respuestas; esto hace que las impresiones sean mucho menos útiles. El crear bancos de preguntas muy grandes y aplicarles exámenes con sub-conjuntos aleatorios de preguntas también es una estrategia efectiva. Si el estudiante solamente puede imprimir un número pequeño de preguntas a la vez, necesitarán ver el examen una y otra vez y después ordenar las preguntas para eliminar las duplicadas.
Advertencia: Asuma que existirán copias impresas de sus preguntas disponibles para los estudiantes que las quieran. La mayoría de los instructores no se dan cuenta de que los estudiantes frecuentemente tienen copias de exámenes antiguos basados en papel, y la implementación electrónica de exámenes es otra manera de que los estudiantes obtengan copias de las preguntas. Yo conozco a un profesor que tenía más de 1100 preguntas en su Banco de preguntas en línea. Al final del semestre, el profesor confiscó un impreso de un estudiante; tenía todas las preguntas con su respuesta correcta, elegantemente formateadas y divididas según los capítulos del libro de texto. Nosotros decidimos que si los estudiantes querían memorizar 1100 preguntas y respuestas al nivel que pudieran contestar un pequeño número de ellas mostradas aleatoriamente, entonces ellos habrían aprendido más que si simplemente hubieran estudiado. Por supuesto, nosotros usamos exámenes con límite de tiempo y otras estrategias para minimizar el que usen el impreso como un manual de referencia para contestar el examen.
Usando el libro de texto
Frecuentemente los estudiantes buscarán la respuesta a las preguntas en un libro o los apuntes de la clase. Si Usted les está haciendo una revisión de un capítulo, entonces eso es justamente lo que Usted quiere. De lo contrario, Usted necesitará inventar formas creativas para que el libro de texto sea menos útil directamente. Los exámenes con límite de tiempo son la herramienta individual más efectiva para eliminar esta estrategia estudiantil. Un examen con límite de tiempo requiere que el estudiante conteste la pregunta dentro de un cierto período de tiempo. Si Usted les da un número suficiente de preguntas y hace el tiempo lo suficientemente corto, ellos no tendrán tiempo disponible para buscar todas las preguntas. Yo les doy usualmente 30 segundos para cada pregunta de opción múltiple. Si ellos las contestan más rápido y les sobra tiempo para buscar algunas respuestas, yo considero que saben suficiente para merecer el buscar una respuesta o dos.
El pedirles a los estudiantes que apliquen su conocimiento a una situación novedosa también puede hacer una diferencia. Las respuestas a preguntas de síntesis y aplicación del conocimiento no pueden buscarse en libros. Los estudiantes necesitan comprender el material y aplicar ese conocimiento de forma creativa para contestar la pregunta. Por eso, aunque puedan tomarse el tiempo para revisar el libro de texto, todavía necesitarán entender lo que hayan leído para contestar exitosamente la pregunta.
Trabajando con amigos
Si sus estudiantes están todos en el mismo campus, pueden juntarse en algún laboratorio e intentar resolver el examen juntos. Esa es una estrategia fácil de contrarrestar con un orden aleatorio de preguntas, orden de respuestas aleatorio y preguntas extraídas aleatoriamente de un Banco de preguntas grande. Si mi pantalla no se parece a la tuya, entonces será más difícil para nosotros el encontrar respuestas rápidas para todas las preguntas. Un examen con límite de tiempo también hace más difícil que dos estudiantes hagan trampa si tienen diferentes preguntas y un tiempo corto para contestarlas.
Haga que alguien más conteste el examen
Hay un dicho antiguo “En el internet, nadie sabe que tu eres un perro”, y nadie sabe quien está realmente contestando el examen. Los estudiantes en ocasiones les pagan a compañeros de clase o a otras personas que ya pasaron la materia, para que contesten por ellos exámenes en línea. Hay dos formas de contrarrestar esta estrategia. Una, tener ocasionalmente exámenes supervisados, en donde los estudiantes necesitan mostrar una identificación oficial. Si ellos no han hecho los exámenes o hecho su tarea para entonces, les irá pobremente en el examen supervisado. Para evitar que los compañeros de clase actuales realicen exámenes de otros estudiantes, hágalos disponibles por un período corto de tiempo. Usted podría exigir que todos contesten el examen en un bloque de 2 a 4 horas. Si un examen está correctamente aleatorizado, será muy difícil el contestarlo más de una vez durante el tiempo del examen. La persona que contesta el examen se preocupará más por su propia calificación que por la del que sujeto le paga por suplantarlo.
Obviamente, existen muchas estrategias que los estudiantes podrían emplear para hacer trampa. Aunque podría ser muy ingenuo de nuestra parte el pensar que no están haciendo trampa, la gran mayoría de sus estudiantes quieren lograr el éxito por ellos mismos. El anonimato del entorno en-línea puede abrir nuevas avenidas para quienes hacen trampas, pero realmente no es muy diferente de sus clases cara-a-cara. Unas cuantas personas harán grandes esfuerzos para hacer trampas, pero la mayoría serán honestos, a menos que no resulte demasiado facil el lograrlo. Unas cuantas precauciones eliminarán la mayoría de las trampas fáciles, y las estrategias clásicas funcionarán para las demás.
Uso de anulaciones de grupos
Cuando en una escuela emplearemos el mismo examen para varios grupos, en horas o fechas diferentes, es conveniente emplear anulaciones de grupo. Las anulaciones de grupo nos permiten configurar, por ejemplo, una hora de apertura y cierre diferente para el examen de cada grupo, además de una contraseña del examen diferente para cada grupo. Eso dificultará que los estudiantes de un grupo pudieran emplear la contraseña que ya se les dijo a los alumnos de otro grupo.
Exámenes robustos con variantes aleatorias
Esta sección describe una buena forma para ayudarle a minimizar el potencial para hacer trampa, y aumentar la oportunidad para que los estudiantes aprendan de la retroalimentación al hacer intentos repetidos de resolver el examen. La idea básica es tomar cada una de las preguntas en particular que Usted estuviera pensando en hacer y hacer varias pequeñas variantes de la pregunta. Después se usa la característica de preguntas aleatorias de Moodle, para que a cada estudiante le salga una de las variantes elegidas al azar.
Un ejemplo
Un buen ejemplo de esto (aunque no es en Moodle) puede verse en https://students.open.ac.uk/openmark/mu120.m5omdemo/. Conteste este examen una vez, haciendo una nota acerca de las preguntas que le hicieron. Después de que haya terminado el examen ('End test'), reinície todo el examen ( 'Restart entire test' ) y vea que le preguntarán un conjunto diferente de preguntas que tienen respuestas diferentes, aunque se evalúa el mismo conocimiento. Este tipo de estrategias es más fácil de implementar en algunas materias que en otras.
Como configurar esto en Moodle
Suponga que vamos a crear un examen con 6 preguntas acerca de interpretación de diagramas (esto es, vamos a intentar clonar el ejemplo superior de OpenMark). Para la cuarta pregunta, lo más cercano que podremos obtener será el the Image target question type from the Modules and plugins database.
1. Cree una categoría para cada 'pregunta' del examen
Como puede ver en la imagen de pantalla, yo he creado seis categorías con los nombres apropiados; todas ellas bien agrupadas dentro de una categoría padre. Usted hace esto en la pestaña de 'Categorías' de la interfaz del Banco de preguntas.
2. Cree la primera variante de la primera pregunta
Cree la primera variante de la primera pregunta, de la misma forma que Usted crearía cualquier otra pregunta en Moodle. En nuestro ejemplo, esta podría ser una pregunta de Respuestas incrustadas (Cloze). El resto de la pregunta pordría ser:
- Debajo está un jardín propuesto. La escala es tal que cada división representa una distancia en el jardín de 0.5 metros. ¿Cual es la longitud propuesta y el ancho del Patio en el jardín?
- El Patio es de {sintaxis CLOZE} metros por {sintaxis CLOZE} metros.
Nota: Hay dos plugins adicionales que le ayudarían a hacer preguntas cloze más fácilmente: el Editor Cloze para Atto y el Editor cloze para TinyMCE. |
3. Cree las otras variantes de la primera pregunta
Para crear fácilmente una variante, haga clic en el ícono para duplicar que está junto a la primera pregunta; después haga los cambios que necesita para volverla la segunda variante y guárdela. Repita este proceso para crear tantas variantes como desee.
En nuestro ejemplo, podríamos cambiar la palabra Patio, y el factor de escala en donde cada división representa 0.5 metros. También podríamos necesitar cambiar las respuestas y la retroalimentación asociada en las porciones de la {sintaxis CLOZE}.
4. Repita 2. y 3.para las demás preguntas
Las imágenes de pantalla muestran las variantes de la tercera pregunta. Esta es un poco más complicada de configurar, porque cada variante usará una imagen diferente de un gráfico de pastel, por lo que habrá más edición que realizar, y más archivos que subir al área de archivos del curso.
5. Añada la pregunta al examen
Una vez que haya creado todas las preguntas, añádalas al examen usando la característica para 'Añadir preguntas aleatorias'. Seleccione la primera categoría (variantes de lectura de un plano 'Reading a plan variants'). Asegúrese de que esté desactivada 'Mostrar también preguntas de sub-categoría'. Use los controles en la parte inferior para Añadir 1 pregunta aleatoria al examen.
Repita para cada categoría en orden.
Creando preguntas variantes en Atto
En 2016, un nuevo plugin adicional, el Editor Cloze para Atto tiene un botón para 'Duplicar', que le permite a Usted crear rápida y fácilmente muchas variantes de preguntas.
Comentarios
Obviamente, esto es más trabajoso para configurar (aunque no tanto como tres veces el trabajo de crear un solo examen). Usted decide hacer el análisis de costo/beneficio para su examen particular. Tome nota de que una vez que lo haya configurado, Usted tendrá más facilidad para re-utilizar exámenes a futuro, porque Usted ha reducido el potencial para simplemente copiar las respuestas.
Como una alternativa para 'Guardar como una pregunta nueva', Usted puede usar los formatos para exportar y importar de Moodle, y copiar y pegar dentro de su Editor de texto para crear variantes.
Un asunto del que Usted si debe preocuparse, es que todas las variantes que Usted haya hecho para cada pregunta tengan la misma dificultad. Moodle 2.0 tiene un nuevo reporte estadístico que le ayudará a analizar los resultados de sus exámenes para ver que tan difícil es en realidad cada variante:
La experiencia demuestra que 'unas cuantas variantes' puede normalmente tomarse como que son 3 variantes. Esto es suficiente para asegurar que dos estudiantes que trabajan en computadoras vecinas muy probablemente tendrán principalmente preguntas diferentes entre ellos. Más es mejor (siempre y cuando Usted pueda asegurar que son de la misma dificultad), pero es más trabajo, por lo que obtendrá retornos decrecientes.
(Esta sección expande algunas de las recomendaciones de arriba en Imprimir y compartir preguntas. También describe como se construyen la mayoría de las evaluaciones en-línea en la Open University. El tipo de pregunta calculada es, a veces, otra manera de implementar exámenes similares a estos.)
Puntuación Basada en Certeza
- Para asegurarse de que los estudiantes piensen acerca de qué tan confiable es su respuesta.
- Para motivar a los estudiantes a que traten de entender los asuntos, y que no solamente reaccionen inmediatamente a una pregunta.
- Para desafiarlos: si un estudiante no se arriesga a perder puntos si se equivoca, entonces es porque realmente no conoce la respuesta.
- Si un estudiante es un pensador cuidadoso, pero no está muy seguro de sí mismo, ganará confianza.
- Es más justo - una respuesta correcta pensada y certera merece más puntos que una adivinanza afortunada.
- Los estudiantes necesitan prestar atención si hacen respuestas equivocadas confianzudamente: ¡ pensar, reflexionar, aprender !
- El estudio eficiente requiere cuestionarse constantemente sobre cómo surgen nuestras ideas y que tan confiables son.
Vea Usando Puntuación Basada en Certeza.
Exámenes supervisados (Proctored exams)
- De inicio, revise la información en esta discusión: https://moodle.org/mod/forum/discuss.php?d=399255#p1610674. Use búsqueda avanzada para los foros, porque han existido muchas discusiones en el año 2020 acerca de este tema.
- Una de las mejores soluciones vistas recientemente par exámenes en aislamiento social, fue una combinación de varias cosas:
- Use el Safe Exam Browser y haga que el supervisor del examen llame al estudiante por algún tipo de video llamada.
- Haga que el estudiante le muestre al supervisor su equipo de cómputo y el sitio donde tomará el examen.
- Entonces, haga que el supervisor le indique al estudiante que acomode el teléfono en una posición tal que muestre al estudiante y su pantalla de la computadora, lo mejor que se pueda dentro del cuarto.
- Esto le permite al supervisor observar, y optimistamente, ver cualquier intento de hacer trampa en el examen.
Vea también
- Navegador de examen seguro. El Navegador de Examen Seguro puede trabajar con Moodle para controlar lo que puede hacer un alumno al estar en Moodle. Para usarlo, debe habilitarlo en Configuraciones > Administración del sitio > Desarrollo > Experimental > Configuraciones experimentales. Esto añadirá la opción de 'Requerir Navegador para examen seguro' al campo de 'Seguridad del navegador' en el formato de configuraciones del examen.
- Sugerencias para crear preguntas para examen
Discusiones en foros de Moodle:
- Implementing remotely invigilated online exams at scale - The key lessons and successes of the University of New England's experience in implementing large scale remotely invigilated (proctored) online exams
- How do you keep people from cheating while taking a quiz?
- User dependent locking and unlocking of quizzes
Enlaces externos:
- 30 tips for creating quiz questions by Rebecca DeSantis, MSIT, Moodlerooms Instructional Designer.
- Who is Cheating Whom article
- Como elaborar preguntas para evaluaciones escritas en las áreas de ciencias básicas y clínicas, por el (US) National Board of Medical Examiners