Prácticas Eficaces en los Exámenes

Nota del traductor: Esta es una traducción reciente, muy apegada al Español de México; si Usted preferiría ver la traducción antigua, apegada al Español internacional vaya a Prácticas Eficaces en los Cuestionarios

Como hemos visto, el motor para exámenes de Moodle es una herramienta potente y flexible para monitorear y diagnosticar el desempeño del estudiante con ciertos tipos de conocimiento. Al usar efectivamente esta herramiente puede aumentar la efectividad de su curso, y promover el desempeño del alumno. Mientras que un examen calificado por computadora tiene un desempeño diferente que las evaluaciones más abiertas, si da una ventana valiosa sobre el pensamiento del estudiante, especialmente cuando Usted usa buenas estrategias, y un poco de creatividad.

Estrategias de examen

Of course, using the quiz engine effectively takes some work and practice. The first thing to do is to use effective question design strategies. If you ask good questions, you’ll get useful data about your students’ performance and understanding of the material. Of course, the converse is also true. There is a ton of literature about effective assessment design available. I’ll just highlight a few of the most important ideas.

• Tie each question to a course goal. After all, you want to know whether your students are achieving the goals of the course, so why not ask them directly?
• Try to ask multiple questions about each important idea in the class. This gives you more data points about student understanding.
• When writing a multiple-choice question, be sure each wrong answer represents a common mis-conception. This will help you diagnose student thinking and eliminate easy guessing.
• Write questions requiring your students to think at different levels. Include some recall questions, some comprehension questions and some application and analysis questions. You can determine where students are having problems in their thinking. Can they recall the material, but not apply it?
• Test your questions. After you’ve established an initial question bank, use the system reports to determine which questions are useful, and which aren’t. As you write new questions, give them a lower point value and throw in a few to establish their reliability.

Once you’ve got a few well-written test banks, be sure to use the Reportes de examen and statistics to monitor your classes performance. The detailed reports and statistics available to you are valuable tools for understanding student understanding of the material.

Usos creativos del examen

With the Moodle quiz engine, it’s easier to utilize educationally sound assessment strategies which would be too difficult to implement with paper and pencil. Most people think of tests as an infrequent, high-stakes activity, like mid-terms and finals. Better strategies involve frequent, low-stakes assessments you and your students can use to guide their performance during the course of the semester.

Creating a series of small mini-tests gives you a very flexible system for gauging performance and keeping students engaged in the class. Here are a few ideas for quick quizzes you can use as part of a larger assessment strategy.

Revisión del capítulo

Getting students to complete reading assignments has to be one of the hardest motivational tasks in education. Reading is critical to understanding most material, and fundamental to success in many classes. The problem for most students is there is no immediate reward or punishment for procrastinating on a reading assignment. If you haven’t done the reading for a class discussion, you can either keep quiet, or, as I used to do occasionally, wing it by skimming in class. If you have a lecture course, there’s almost no need to do the reading as the lecturer usually covers most of the material in class anyway.

Creating a little mini-test for each reading assignment solves a number of problems. First, it encourages students to do the reading so they can do well on the quiz. Second, it gives the students feedback on how well they understood the reading assignment. Third, it gives you data about what aspects of the reading students found confusing, and which they have already mastered so you can focus your class activities.

For a reading mini-test, I would recommend setting a limited time quiz students can only take once. Because it’s a low-stakes activity you want students to use for self-assessment, I would also display feedback and correct answers. If you’re concerned about students sharing answers after they’ve taken the quiz, randomize the question and answer order. If you have a test bank, make some of the questions random as well. As an additional assignment, students should write down one question about a question they got wrong, and bring it to class.

Práctica del examen

The key to effective practice is to have a realistic practice environment. Many students worry about tests, especially high-stakes tests, because they have no idea what to expect. What question format will you use? How detailed will the questions be? What should they study?

You can help alleviate test anxiety by creating a practice test students can take to help answer these questions. These tests are usually based on old questions similar to the current test questions. Use last year's final as an example test, which will force you into the practice of writing new questions every year. This is a good idea anyway, as you can be sure someone has a copy of last year’s test they are sharing with others.

To set up a practice test, I’d create a zero point test with questions from the year before in random order with random answers. I would also allow students to take the test as many times as they’d like so they can test themselves as much as they need. Display feedback, but not correct answers so it presents more of a challenge.

Reunir datos

As an expert, you know a lot about your field. Your challenge as a teacher is to translate your knowledge for a novice who doesn’t share your conceptual structure or experience. An example or lecture you think is brilliant may leave your students completely confused. It can be hard to tell what students really understand and what’s leaving them baffled.

A data-gathering quiz is similar to a chapter check, but it takes place after a class meeting or lecture. Your goal is to quickly get some feedback on student understanding of a lecture. What did they really understand? What do you need to spend more time on? I’ve found many instructors have trouble gauging what students find difficult, and what the students find so easy they are bored.

Setting up a post-class data-gathering quiz is similar to creating a chapter check. Set the quiz for a limited time, like a day or two before the next meeting. Allow them to take it once and display feedback and correct answers.

Seguridad y trampas en el examen

Por supuesto, los exámenes en línea tambien presentan otra oportunidad para los tramposos en el salor que tratan de ganarle al sistema. LA mayoría de los exámenes en línea están hechos para tomarse en casa, o al menos, realizarse fuera de clase. Los estudiantes pueden descargar las preguntas e imprimirlas. Pueden resolver el examen en compañía de otros estudiantes, o cuando están leyendo los libros de texto.

Afortunadamente, USted puede contrarestar muchas de estas estrategias, haciéndoles más complicado el hacer trampa d elo que les representa ventaja. Veamos unas cuantas estrategias para contrarestar la mayoría de los esquemas para hacer tramapa:

Imprimir y compartir preguntas

If you display feedback and correct answers, students can print the results page and share it with their friends. Or they can simply print the questions themselves directly from the quiz. The key to discouraging this behavior is to randomize the question order and the answer order. It makes the printouts a lot less useful. Creating larger question banks and giving tests with random subsets is also an effective strategy. If students can only print a small number of questions at a time, they will need to view the test again and again, then sort the questions to eliminate duplicates.

Advertencia: Assume there will be printed copies of your questions available to students who want them. Most instructors don’t realize students frequently have copies of old paper based tests, and electronic test delivery is another way for students to get copies of the questions. I know one professor who had over 1100 questions in his online test bank. At the end of the semester, he confiscated a printout from a student. It had every question with the correct answer, neatly formatted and divided by textbook chapter. We decided if students wanted to memorize 1100 questions and answers to the level where they could answer a small number of them displayed at random, then they would have learned more than if they had just studied. Of course, we used timed quizzes and other strategies to minimize using the print-out as a reference manual.

Usando el libro de texto

Students will frequently look up the answer to questions in the textbook or a reading. If you are giving a chapter check quiz, then this is what you want them to do. Otherwise, you need to come up with creative ways of making the textbook less directly useful. Timed quizzes are the single most effective tool for eliminating this strategy. A timed quiz requires the students answer the questions in a certain amount of time. If you give enough questions and make the time short enough, they won’t have time to look up all the answers. I usually give about 30 seconds per multiple-choice question. If they answer them faster and have time to look up some answers afterward, I figure they knew enough to deserve to look up an answer or two.

Asking students to apply their knowledge to novel situation can also make a difference. Synthesis and application questions can’t be looked up. Students have to understand the material and apply it creatively to answer the questions. So while they may take the time to review the text, they will still need to try to understand what they’ve read to successfully answer the question.

Trabajando con amigos

If your students are on the same campus, they may get together in a lab and try to take the quiz together. This is an easy strategy to thwart with random question order, random answer order and questions randomly pulled from a test bank. If my screen doesn’t look like yours, then it’s harder for us to quickly answer all of the questions. A timed quiz also makes it harder for the two of us to cheat if we have different questions and we only have a short amount of time to answer.

Haga que alguien más conteste el examen

The old adage goes “On the Internet, no one knows you’re a dog”, and no one knows who is actually taking the test. Students will sometimes pay classmates, or others who have taken the course in the past, to take online quizzes for them. There are two ways to counter this strategy. One, have an occasional proctored exam where students need to show ID. If they haven’t taken the quizzes or done the work until then, they will do poorly on the proctored exam. To eliminate current classmates from taking each others quizzes, only make them available for a short time. You could require everyone take the test within a 2- or 4-hour block. If the test is properly randomized, it will be very difficult to take it more than once during the testing period. The test taker will worry about their own grade first, then about their employer's grade.

Obviously, there are many strategies students can use to cheat. While it would be naïve to assume there isn’t cheating, the vast majority of your students want to succeed on their own merits. The anonymity of the online environment may open up new avenues for the cheaters, but it’s not really much different from your face-to-face classes. A few people will go to great lengths to cheat, but most will be honest as long as it’s not too easy to get away with it. A few precautions will eliminate most of the easy cheats, and the classic strategies will work for the others.

Exámenes robustos con variantes aleatorias

Esta sección describe una buena forma para ayudarle a minimizar el potencial para hacer trampa, y aumentar la oportunidad para que los estudiantes aprendan de la retroalimentación al hacer intentos repetidos de resolver el examen. La idea básica es tomar cada una de las preguntas en particular que Usted estuviera pensando en hacer y hacer varias pequeñas variantes de la pregunta. Después se usa la característica de preguntas aleatorias de Moodle, para que a cada aestudiante le salga una de las variantes elegidas al azar.

Un ejemplo

A good example of this (although not in Moodle) can be seen at https://students.open.ac.uk/openmark/mu120.m5omdemo/. Take that test once, making a rough note of the questions you are asked. Then after you have done 'End test', do 'Restart entire test' and see that you are asked a different set of questions that have different answers, although they test the same knowledge. This sort of strategy is easier to implement in some subjects than in others.

Como configurar esto en Moodle

Suppose we are going to create a quiz with 6 questions about interpreting diagrams (that is, we are going to try to clone the OpenMark example above). For the fourth question, the closest we will be able to get would be the Image target question type from the Modules and plugins database.

1. Cree una categoría para cada 'pregunta' del examen

As you can see from the screen shot, I have created six appropriately named categories, all neatly grouped inside a parent category. You do this on the 'Categories' tab of the question bank interface.

2. Cree la primera variante de la primera pregunta

Create the first variant of the first question, just like you would create any other Moodle question.

In our example, this might be a Embedded answers (Cloze) question type. The question text might be:

Below is a plan of a proposed garden. The scale is that each division in the plan represents a length in the garden of 0.5 metres. What is the proposed length and width of the Patio in the garden?

The Patio is {CLOZE syntax} metres by {CLOZE syntax} metres.

3. Cree las otras variantes de la primera pregunta

To easily create a variant, click the edit icon next to the first question, make the changes you need to turn it into the second variant, then use the 'Save as new question' button to create the second variant. (Remember to change the question name, or you will get confused.) Repeat this process to create as many variants as you want.

In our example, we might change the word Patio, and the scale factor each division represents 0.5 metres. We would also need to change the answers and the associated feedback in the {CLOZE syntax} bits.

4. Repita 2. y 3.para las demás preguntas

The screen shots show the variants of the third question. This one is a bit more of a pain to set up, because each variant will use a different image of a pie chart, so there is a bit more editing to do, and more files to upload to the course files area.

5. Añada la pregunta al examen

Once you have created all the questions, add them to the quiz using the 'Add random question' feature. Select the first category (Reading a plan variants). Ensure 'Display questions from sub-categories too' is off. Use the controls at the bottom to Add 1 random question to the quiz.

Repeat for each of the other categories in order.

Comentarios

Obviously this is more work to set up (although not three times as much work as creating one quiz). It is up to you to do the cost benefit analysis for your particular quiz. Note that once you have set this up, you are more likely to be able to reuse quizzes in future, because you have reduced the potential for simple copying of answers.

As an alternative to 'Save as new question', you can use Moodle's import and export formats, and copy and paste in your text editor to create variants.

One issue you have to worry about is, are all the variants you have made of each question really equally difficult? Moodle 2.0 will feature a new Statistics report which should help you analyse your quiz results to see how difficult each variant is.

Experience shows that 'a few variants' can normally be taken to be 3 variants. This is enough to ensure that two students working at neighbouring computers will mostly get different questions to each other. More is better (providing you can ensure equal difficulty) but is more work, so you get diminishing returns.

(This section expands some of the advice above under Printing and sharing questions. It also describes how most online assessments at the Open University are constructed. The calculated question type is sometimes another way to implement quizzes like this.)

Vea también

• Navegador de examen seguro El Navegador de Examen Seguro puede trabajar con Moodle para controlar lo que puede hacer un alumno al estar en Moodle. Para usarlo, debe habilitarlo en Configuraciones > Administración del sitio > Desarrollo > Experimental > Configuraciones experimentales. Esto añadirá la opción de 'Requerir Navegador para examen seguro' al campo de 'Seguridad del navegador' en el formato de configuraciones del examen.
• 30 tips for creating quiz questions by Rebecca DeSantis, MSIT, Moodlerooms Instructional Designer (US only):

1. Asegúrese de que sus preguntas sean válidas, y que no sean demasiado fáciles ni demasiado difíciles; lo mejor es que tengan un Índice de facilidad entre 30% y 70%.
2. Escriba sus evaluaciones al principio de la fase de diseño del curso y cuando esté listo para trabajar en Moodle, primeramente cree la pregunta dentro del Banco de preguntas y después cree la Actividad y añádale las preguntas del banco.
3. Evite preguntas capciosas, porque Usted no quiere confundir a sus estudiantes. Si los estudiantes consistentemente se equivocan en una pregunta (vea Índice de facilidad), entonces revísela y descubra porqué se equivocan allí.
4. Use escenarios para evaluar objetivos de alto nivel. Esto puede hacerse en una Lección o en una pregunta de opción múltiple en un Examen.
5. Aunque los Exámenes son una excelente manera para evaluar el conocimiento, no lo son para todos los niveles. Use Métodos avanzados de calificar para la evaluación. Para las Tareas, actualmente Moodle no tiene una función para reportarle el desempeño comparativo de sus estudiantes a nivel de criterio (como si existe en un Examen), aunque Usted puede evaluar los puntajes globales.
6. Organize sus preguntas dentro del Banco de preguntas en categorías sensatas. Usted puede emplear Objetivos de Aprendizaje Finales, para agrupar todos sus Objetivos de Aprindizaje; puede organizarlos por tópico y hacer un Examen para cada tópico.
7. Use ponderación de los puntos de cada pregunta del examen. No es necesario que el total de puntos sumados de las preguntas tenga un valor pre-definido, porque Moodle lo escalará por Usted. En vez de eso, enfóquese en la ponderación de cada pregunta. Por ejemplo, un punto para las preguntas de opción múltiple, pero si tiene varias respuestas correctas entonces pondere el puntaje según el número de respuestas corretas. Para preguntas de relación de columnas (emparejamiento) use el número total de puntos según el número de ítems a relacionar.
8. Si usa retroalimentación en las preguntas, proporcione razones específicas del porqué una respuesta está equivocada. Esta retroalimentaión generalmente no se usa durante los exámenes sumativos, sino después de ellos.
9. Configure las opciones de revisión para controlar cuando verán los alumnos la información sobre sus intentos de examen, como por ejemplo, la retroalimentación; se recomienda usar retroalimentación diferida.
10. Si se permiten intentos múltiples, asegúrese de seleccionar el método de agregación que quiere aplicar.
11. Barajee el orden de las preguntas para que cada alumno vea un examen diferentemente presentado. Use la característica de preguntas aleatorias para disminuir el copiado entre alumnos y para enriquecer exámenes con intentos múltiples.
12. Aleatorize el orden en el que se muestran la respuesta correcta y los distractores dentro de la pregunta. Usted podría tener la tendencia a colocar las respuestas correctas en la misma posición. Permítale al sistema que re-ordene las respuestas automáticamente. En Moodle, Usted puede configurar cada pregunta para que "barajee" las opciones, para que se muestren en un orden aleatorio para cada intento. Para que fucione esta característica, Usted necesitará también habilitar la configuración del comportamiento de la pregunta dentro del Examen a “Barajear las respuestas dentro de las preguntas."
13. Aleatorice las preguntas al emplear lotes de preguntas. En Moodle esto puede hacerse al añadir un cierto número de preguntas aleatorias de una categoría dada del Banco de preguntas.
14. Evite usar demasiadas preguntas de Falso/Verdadero. Asegúrese de que Usted esté evaluando el nivel deseado de aprendizaje.
15. Evite tener demasiados ítems para relacionarse en preguntas de los tipos Relación de columnas y Relacionar por arrastrar y soltar. Esto podría ser apabullante para los estudiantes a los que se les presentan demasiados ítems a la vez y causa demasiado desplazamiento del cursor, lo que afecta la Usabilidad. En lugar de ello, considere dividir la pregunta en dos preguntas, o partirla en preguntas de tipos de opción múltiple.
16. Evite tener respuestas muy largas dentro de las preguntas de relacionar columnas, porque estas respuestas son las que se ponen dentro de los menús desplegables, lo que podría hacerles difícil a los estudiantes el leer estas preguntas al tratar de relacionar las columnas. En Moodle, la respuesta correcta y los distractores deberán de ir dentro del área de Respuestas y los ítems con los que se relacionan deberán de ir dentro del área de la (base de la) Pregunta. Usted podría querer considerar invertir estas dos áreas para mejorar la legibilidad. Por ejemplo, si Usted quiere que los estudiantes relacionen términos con sus definiciones, entonces lo mejor es escribir las definiciones dentro del área de Pregunta y los términos en el área de Respuesta.
17. Recuerde que las preguntas de tipo de Ensayo requieren calificarse manualmente. Si Usted quiere usar la calificación automática, entonces evalúe la pregunta dentro de una Tarea. También, use el módulo de Tarea si la respuesta esperada será de más de un par de párrafos.
18. Para las preguntas de Opción Múltiple con múltiples respuestas correctas, asegúrese de darles puntos negativos a los distractores, para que los estudiantes sean penalizados al seleccionar una respuesta incorrecta. Si Usted no lo hace así, entonces los estudiantes podrían seleccionar todas las respuestas y reibirían crédito total aunque hubieran seleccionado alguna(s) respuesta(s) incorrecta(s).
19. Use preguntas de Opción Múltiple como si fuera un tipo de pregunta de complete el espacio vacío, pero con opciones. Si Usted decide hacer ésto, siempre use un número estándar de caracteres de subrayado para cada espacio vacío. Yo siempre uso cinco caracteres (_____). Usted podría inclusive tener dos espacios vacíos dentro de una oración, pero evite usar un espacio vacío al principio de la oración; en lugar de esto, haga que aparezca la base de la pregunta primeramente.
20. Sea consistente con el formateado de sus preguntas. Usted podría poner en MAYÚSCULAS la primera letra de cada opción de la pregunta. Evite hacer esto en el caso de las preguntas de rellene-el-hueco, dado que as opciones en realidad no deberían de iniciar con mayúscul, a menos que estuvieran al principio de la oración (lo que no se recomienda)..
21. En lugar de usar dos puntos después de la base de la pregunta, escriba una pregunta que tenga sentido o cree una pregunta del tipo de llenar-el-hueco.
22. Evite crear respuestas distractores que sean obviamente incorrectos. Los distractores bien-escritos deberían de ser plausibles . Esta puede ser una de las partes más difíciles al escribir preguntas.
23. Haga que la longitud de los distractores sea similar a la longitud de la respuesta correcta. La respuesta correcta típicamente es más larga, y esto le permite adivinarla a los estudiantes. Recuerde esto al escribir distractores.
24. No tenga miedo de añadir imágenes a una pregunta para evaluación. Por ejemplo, puede usarlos en las preguntas del tipo de Arrastrar y Soltar y en las preguntas del tipo de Opción Múltiple (por ejemplo, un diagrama).
25. Tenga cuidado con la palabra “cual”. A menudo, las preguntas se escriben incorrectamente al usar "cual". Por ejemplo, es incorrecto escribir “¿Cual es el mejor…” porque se debería de escribir “¿Cual método es el mejor…”
26. Evite usar la palabra “no” en preguntas. Por ejemplo, “¿Cual de los siguientes ítems NO es…”
27. Evite usar las palabras solamente, nunca y siempre dentro de preguntas, especialmente en las preguntas del tipo Falso/Verdadero.
28. Evite usar la opción “Todas las anteriores” al usar aleatorización. En su lugar, opte por usar “Todas estas.” ¡De hecho, lo mejor es que evite usar ambas!
29. Si Usted continúa usando el mismo fraseo en la respuesta correcta y en los distractores, entonces mueva ese texto dentro de la base de la pregunta para evitar redundancia.
30. Revise los reportes para ver cómo están punteando sus estudiantes en las evaluaciones. Si los estudiantes están desempeñándose pobremente en una pregunta particular, revise lapregunta para asegurarse de que la respuesta correcta esté señalada correctamente en el sistema. Revise la validez de la pregunta y revise el contenido del curso para mejorale su calidad. En Moodle, Usted puede hacer click en el enlace hacia los Intentos dentro del Examen para evaluar las Respuestas usando el Reporte de Calificaciones. Usted puede inclusive descargar los datos en otros formatos, como en una hoja de cálculo. Usted también puede acceder a esto al navegar a una actividad de Examen dentro del bloque de Navegación y expanderlo para ver el enlace de Resultados. También puede intentar ver las Respuestas y las Estadísticas. ¡Yo le apuesto que Usted no sabía cuan fácil es encontrar la calificación promedio de los intentos, su desviación estándar y más!

- Vea más en: http://webcache.googleusercontent.com/search?q=cache:8fkBui7-ECUJ:www.moodlerooms.com/resources/blog/best-practices-30-tips-creating-quiz-questions-0+&cd=1&hl=es-419&ct=clnk&gl=mx&client=firefox-a#sthash.uiG26xKI.dpuf