Tipo de pregunta de ensayo (auto-calificar)

Esta página es la documentación del asombroso tipo de pregunta de Ensayo (auto-calificar) de Gordon Bateson que actualmente está disponible en la base de datos de plugins de terceros de Moodle.

Vista general

El tipo de pregunta Ensayo (auto-calificar) permite que a una pregunta de ensayo se le otorgue una calificación preliminar que es generada automáticamente, basada en uno o más de las siguientes características de la respuesta.

• el número de palabras en la respuesta
• el número de caracteres en la respuesta
• la presencia de una o más frases clave en la respuesta
• la presencia de uno o más errores comunes en la respuesta

La calificación automática puede ser anulada más tarde por el profesor.

Adicionalmente, el profesor puede configurar bandas de calificación que ofrecen un esquema de calificación no-lineal. En este esquema, la calificación otorgada es la de la banda de calificación en la cual cae el número de palabras/caracteres.

El profesor puede elegir proporcionar una respuesta de muestra o un glosario de errores comunes (tipográficos o párrafos plagiados).

Ramas de Moodle soportadas

3.0 en adelante

Características amistosas al usuario únicas

Respuesta de muestra

Una 'respuesta de muestra' le permite al profesor proporcionar una respuesta muestra con las cualidades deseadas, para que los estudiantes puedan elegir el texto (Mostrar muestra) y leer lo que se espera de ellos. Al hacer clic (Ocultar muestra) se quitará el texto de muestra y le permite al estudiante escribir su ensayo. Esta característica amistosa para el usuario es altamente recomendada para evaluaciones formativas, pero raramente es usada en evaluaciones sumativas.

Glosario de errores comunes

• Un 'Glosario de errores comunes' le permite al profesor usar una Actividad de glosario para documentar los errores comúnmente hechos que los estudiantes han cometido en el pasado, para que puedan revisar sus ensayos y evitar o corregir estos errores comunes. Usted puede usar este glosario para:
  • errores tipográficos comunes de pocas letras en una palabra (por ejemplo: acentuacion)
  • errores tipográficos comunes en vocabulario especializado )por ejemplo, vocabulario médico: abseso, emorragia, torax, ...)
  • errores gramaticales de dos palabras (por ejemplo: "ellos eres", "yo es"
  • párrafos copiados exactamente de fuentes (por ejemplo: wikipedia), que los estudiantes a veces emplean para buscar información (lo que podría estar permitido), pero que los estudiantes copiaron y pegaron íntegramente sin señalar correctamente la cita o referencia (lo que merecería un pequeño castigo, digamos castigo por error=10%), o que ellos hayan enviado como si fuera su propio trabajo original en sus propias palabras (cuando esto está específicamente prohibido). Las trampas (plagio) usualmente son castigadas severamente por la mayoría de los profesores (por ejemplo, castigo por error=90%), ya que promueve el robo del trabajo de otros y desalienta el verdadero aprendizaje.

Nota: Si bien el usar un glosario hecho localmente es un método fácil, rápido y gratuito de revisar algunos de los tipos comunes de plagio estudiantil, no es tan detallado y exhaustivo (no tan costosos) como un servicio de prevención de plagio.

• En medicina, ingeniería y otras materias científicas, estos glosarios de errores comunes pueden usarse para detectar conceptos equivocados y contra-indicaciones que el estudiante equivocadamente hubiera incluido en sus ensayos, y que ameritan ser castigados.
• Al usar frases en el glosario de errores comunes, Usted debe elegir cuidadosamente el número de palabras: demasiadas palabras podrían no detectar todos los infractores, mientras que muy pocas palabras podrían señalar una simple coincidencia en la redacción. Siempre es recomendable el revisar su glosario como si fuera un estudiante; copie algo de la wikipedia y revise que sea detectado correctamente.
• Usted podría tener visible este glosario de errores comunes para los estudiantes si tuviera, por ejemplo, errores comunes en la escritura de palabras en idioma inglés o español.
• Pero probablemente Usted debería tener oculto para los estudiantes un glosario con frases copiadas del Internet (texto frecuentemente plagiado) .

Idiomas disponibles

Inglés, Español de México, Portugués. Se pueden añadir más traducciones en AMOS.

Descarga

• de la base de datos de plugins de Moodle
• de GitHub.

Instalación

• Directamente desde la base de datos de plugins de Moodle
• O instale desde l archivo ZIP, o
• instale los archivos directamente en el servidor
• Ahora Usted puede fácilmente elegir el tipo de pregunta Ensayo (auto-calificar) para añadir a su Banco de preguntas

Ejemplo 1: Una pregunta para un curso de idioma español

• Escriba un nombre razonable para la pregunta (por ejemplo "Escritura de ensayo sobre vacaciones de verano")

Nota: Dentro de las frases clave, la palabra OR es un operador lógico que significa O, para aceptar 'este_texto' OR 'otro_texto'

• Para una pregunta simple, en el texto de la pregunta escriba lo siguiente:

Escriba un párrafo breve de 50 o más palabras acerca de sus vacaciones de verano. Trate de incluir las siguientes frases:
  Primero
  Después OR Más tarde
  Finalmente OR Al final
Usted obtendrá puntos adicionales si usa TODAS las frases de arriba.

• Escriba la siguiente Retroalimentación general:

Su calificación es generada automáticamente.
Su profesor podría cambiar la calificación más tarde.

• Escriba la siguiente retroalimentación combinada para cualquier respuesta correcta:

Su ensayo ha sido calificado como correcto.
Su profesor revisará esta calificación más tarde.

• Escriba la siguiente retroalimentación combinada para cualquier respuesta parcialmente correcta

Buen intento.
Por favor revise que haya escrito suficientes palabras apropiadas
Por favor incluya todas las frases clave.

• Escriba la siguiente retroalimentación combinada para cualquier respuesta incorrecta:

No se recibió ningún ensayo.
Por favor pregúntele a su profesor como ingresar y subir un ensayo.

• Escriba la siguiente Plantilla de Respuesta:

Escriba aquí su ensayo:

• Escriba la siguiente Respuesta muestra:

Estas vacaciones regresé a mi tierra natal
Primero visité a mis abuelos y les conté sobre mi vida en la gran ciudad.
Después fuimos a ver los fuegos artificiales junto al río. 
Había muchas personas y muechos expendios de comida. Los fuegos artificiales estuvieron fabulosos.
Finalmente, me reuní con algunos de mis viejos amigos de la escuela secundaria.

• Para Auto-calificar:

Habilitar calificación automática 
Tipo de ítems contables : Palabras
Número esperado de ítems : 50
¿Mostrar retroalimentación al estudiante? : Si, mostrar a profesores y estudiantes

¿Mostrar estadísticas del texto?  : Si, mostrar a profesores y estudiantes, mostrar Palabras, Palabras únicas, Palabras largas y 

• NO Mostrar bandas de calificación
• SI Otorgar calificaciones parciales
• Agregar: Añadir 2 más bandas de calificación:

• • Banda de calificación [1] Para 0 o más ítems, otorgar 0% de la calificación de la pregunta
  • Banda de calificación [2] Para 50 o más ítems, otorgar 60% de la calificación de la pregunta

• NO Mostrar frases clave
• Agregar: Añadir 4 más frases clave:

Frase clave [1]  : Si [Primero] es usado/a, otorgar [10% de la calificación de la pregunta.]
Frase clave [2] : Si [Después OR Entonces] es usado/a, otorgar [10% de la calificación de la pregunta.]
Frase clave [1] : Si [Finalmente] es usado/a, otorgar [10% de la calificación de la pregunta.]
Frase clave [1] : Si [Primero AND (Después OR Entonces) AND Finalmente] es usado/a, otorgar [10% de la calificación de la pregunta.]

Nota: Por favor tenga en cuenta que las palabras que ingrese en las 'Frases clave' son de coincidencia exacta y sensibles a MAYÚSCULAS/minúsculas. En este ejemplo, un estudiante que escriba 'Primero' obtendrá un bono de puntaje del 10%, pero 'primero' obtendrá 0% de bono de puntaje. Si desea aceptar tanto minúsculas como primera letra MAYÚSCULA, entonces ingrese [Primero OR primero] en la frase clave [1]. También tenga en cuenta que 'Primeros' también tendrá un bono de puntaje de 10%, ya que 'Primero' de hecho es parte de 'Primeros'. También, tenga en cuenta que palabras sin sentido como 'Primerordinariamente' también obtendrían un bono de puntaje de 10%. Cuando el profesor revise manualmente todas las respuestas de todos los estudiantes más tarde, el profesor deberá identificar estas respuestas sin sentido y otros errores, añadirlos al glosario de 'errores comunes' y re-calificar el examen.

Nota: Actualmente (mayo 2019) se está desarrollando una nueva versión del plugin que le permitirá decidir si desea o no concordancia de palabras completas y si la concordancia deberá ser o no sensible a MAYÚSCULAS/minúsculas.

• Si Usted anteriormente ya había escrito un Glosario de errores comunes, elija dicho glosario y elija un castigo razonable para cada error.
• Guardar cambios
• Vista previa :)

Pregunta demostrativa

• Así es como se verá inicialmente su pregunta:

• Si Usted hace clic sobre del texto 'Mostrar muestra', entonces verá el texto de muestra que Usted ingresó:

• Si Usted hace clic sobre del texto de color morado 'Ocultar muestra', Usted regresará a la pantalla anterior. Borre las instrucciones y escriba un ensayo estudiantil imaginario, pero cometiendo algunos errores intencionales (por ejemplo, escriba unas pocas palabras menos de las solicitadas y deletree incorrectamente alguna palabra):

• Envíe su respuesta y termine. Observe la magia de auto-calificar:

• Observe que dos de las frases clave fueron correctamente identificadas, pero dos le faltaron al estudiante:

• Observe como el glosario de errores comunes reconoció correctamente una palabra mal escrita 'avuelos'

• Vea la retroalimentación. Revise que sea una buena retroalimentación para la pregunta, de acuerdo al nivel de conocimientos de sus estudiantes. en este caso, el estudiante fue penalizado por un error (común) tipográfico :

• Haga clic en el error de 'avuelos' y vea la entrada correspondiente del glosario de errores comunes que Usted seleccionó:

• Usted puede mirar todas sus entradas del glosario y añadir/quitar/cambiar lo que sea necesario:

• Si su glosario de errores comunes incluye oraciones que son usadas por estudiantes para hacer trampa al copiar y pegar es posible que Usted descubra a algunos estudiantes que copiaron y pegaron texto ilegalmente:

• Si Usted hace clic en el enlace de color azul del texto del error común, Usted verá su entrada del glosario para ese texo de error común:

• Haga los cambios necesarios a su pregunta e inténtela de nuevo.

• Cuando esté satisfecho con la pregunta, póngala en un examen para sus estudiantes.

• Asegúrese de revisar todas las respuestas de sus estudiantes y hágales comentarios o cámbieles las calificaciones si fuera necesario:

• Después de quelos estudiantes hayan contestado el examen, elija el enlace para los 'Intentos' ly revise las respuestas de cada estudiante, uno a la vez, al elegir el enlace para 'Revisar intento'.

• • Si observa alguna respuesta que merezca un comentario o un cambio de la calificación, elija el enlace para 'Hacer comentario o anular calificación'.

• • Asegúrese de oprimir el botón para 'Guardar' cuando haya terminado de hacer comentarios y cambiar calificaciones.

• Haga los cambios necesarios a sus preguntas y a su glosario de errores comunes en preparación para el semestre siguiente.

• Re-califique todos los intentos de exámenes e infórmele a sus estudiantes acerca de sus calificaciones actualizadas y los comentarios de retroalimentación. Verifique que las calificaciones que anuló se conservan como Usted las configuró (como debe de ser).

• Siga enseñando y evaluando :)

Ejemplo 2: Un ejemplo de una pregunta de medicina

• We will be making a question for a formative quiz for an undergraduate general pathology course for a medical degree course.

• Write a reasonable question name (e.g. "Types of circulatory shock")

• For this question, in the question text write the following:

Write a short paragraph of 50 words or more about the different types of circulatory shock. You must also write your source for this information.
Try to include the following phrases:
  Low volume OR hypovolemic
  Cardiogenic OR heart
  Distributive or isovolemic
You will get special bonus points, if you use ALL of the above phrases.
You may fail this activity if you get your information from an unreliable source (as described in the course outline).

• Type the following General feedback:

You grade is generated automatically.
Your teacher may change the grade later.

• Type the following combined feedback for any correct response:

Your essay has been marked as correct.
Your teacher will review this mark later.

• Type the following combined feedback for any partially correct response:

Good try. 
Please check to see if you have written enough words.
Please include all the target phrases.

• Type the following combined feedback for any incorrect response:

No essay was received.
Please ask you teacher about how to input and submit an essay.

• Type the following Response Template:

Type your essay here:

• Type the following Sample response:

Shock is divided into four main types based on the underlying cause: low volume, cardiogenic, obstructive, and distributive shock.
Low volume shock may be from bleeding, vomiting, or pancreatitis. Cardiogenic shock may be due to a heart attack or cardiac contusion. 
Obstructive shock may be due to cardiac tamponade or a tension pneumothorax. Distributed shock may be due to sepsis, spinal cord injury, or certain overdoses. 
Sourced from the wikipedia.

• Type the following Grader information:

If the student quoted the wikipedia as the source for information, be sure to check carefully all the essay, as some parts may contain unaccurate/disputed data.

• For Auto.grading:

Enable automatic grading
Type of countable items: Words
Expected number of items: 50
Show student feedback to teachers and students
Do not show grade calculations
Show text statistics to teachers and students
Show text statistics for Words, Unique words, long words, lexical density and common errors

• Do not show grade bands
• Do allow partial grades
• Add 2 grade bands:
  • Grade band [1] For 0 items award 0%
  • Grade band [2] For 50 or more items award 60%

• Do NOT show target phrases
• Add 4 target phrases
  • Target phrase [1] : If [low volume OR hypovolemic] is used, award [10% of the question grade.]
  • Target phrase [2] : If [cardiogenic OR heart OR cardiac OR pump] is used, award [10% of the question grade.]
  • Target phrase [3] : If [obstructive] is used, award [10% of the question grade.]
  • Target phrase [4] : If [distributive OR isovolemic] is used, award [10% of the question grade.]

• If you have previously written a Glossary of common errors, choose that glossary and choose a reasonable penalty per error. In this example we will use a glossary of untrustworty sources, that has several sources of information that are notoriously biased and should not have been used for this activity. Any student that used one or several untrustworthy sources of information will be severely penalyzed and the student may fail this activity (as stated in the question instructions and the course outline), because medical students should use good, trustworthy, updated lecture notes and medical books and journals, and never rely on gossip, Facebook or Tweeter for their medical knowledge. The use of Wikipedia here will be considered a gray area, and the teacher will have to read carefully what the student wrote in order to mark the essay.

• Save changes
• Try it :)

Demo of example medical question

• This is how your question looks initially:

• If you click on the red coloured 'Show sample' text, you will then see the sample text you entered:

• If you click on the purple coloured 'Hide sample' text, you will return to the previous screen. Delete the instructions and type an imaginary student essay, but make a few intentional mistakes (e.g. write too few words and quote some untrustworthy sources of information):

• Submit and finish. See the auto-grade magic:

• Notice that three targets phrases were correctly identified, but one was missed by the student:

• See how the glossary of common errors correctly recognized several common errors.
  • In this case the errors were untrustworthy sources of information for this course.
  • If this was a pharmacology question we could have used a glossary of counterindications or antagonists.

• See the feedback. Check that it is a good feedback for the question, according to your students' level of knowledge:

• Click on all of the Common errors and see their corresponding entries in the glossary of common errors you selected:

• You can browse all your glossay entries and add/remove/change as necessary:

• Make any necessary changes to your question and try it again.

• When you are happy with the question, quiz the students

• Make sure to check the students' responses and make comments or change grades if needed:

• When the students have taken the quiz, look at the 'Attempts' link and check them one student at a time, one question at a time, by clicking on the 'Review attempt' link.

• Make sure that you click on the 'Save' button when you have finished making comments or changing a grade.

• Make any necessary changes to your questions and to your glossary of common errors in preparation for the following term.

• Regrade all quiz attempts and inform your students about their changed grades and the feedback comments. Verify that your overrriden marks have remained as you set them (they should).

• Keep on the good teaching work :)

Example 3: Another example medical question

• The teacher wants to ask the student to name two common presenting conditions where an exposure history is useful to assist in diagnosis.
• Possible Answers: pre-conception exposures, prenatal exposures, rash, new onset asthma, exacerbation asthma, exacerbation COPD, new or worsening arrythmia, worsening angina, eye irritation, throat irritation, allergic rhinitis, unexplained worsening symptoms, non-specific symptoms such as fatigue, headache
• If the student writes any two answers above then they will score 100%.
• As requested in this forum thread
• You will need to set many target phrases.

• Because for this example we included two concepts in the Sample response: "pre-conception exposures" and "prenatal exposures", we will use a Glossary of errors named "Examples that should not be repeated", with a 10% Penalty per error.

• As usual, the teacher should try the newly created question with some correct and some incorrect tries, and verify that the question works as expected.

• A very important issue in this particular example question is the Grader information:

As there may be many acceptable answers here, be sure to check carefully all answers, as it is very likely that many students will include valid answers that are not yet included in the target phrases. If so, please add the new valid answers. After all the new valid answers have beeen incorporated in the question target phrases, re-grade all student's attempts and inform them about their new grades. Be sure to hear all student's complaints about their answers not considered as valid (even though they might have been actually wrong). You can (maybe you should) include the feedback for the wrong student's answers in your glossary of common errors for the question (so that the students will see why their answers were marked as wrong).

Tags

You can use Tags to organize your questions and make later searching for them easier.

Sharing is caring

When you have made a sizable number of working questions (and/or common errors glossaries), you have tried them with real students and you think that they might be useful for other teachers of the same subject (e.g, English language, medicine, engineering), you can upload them to Moodle.net, where they can be curated and made available for the world to use.

Sharing is caring

When you have made a sizable number of working questions (and/or common errors glossaries), you have tried them with real students and you think that they might be useful for other teachers of the same subject (e.g, English language, medicine, engineering), you can upload them to Moodle.net, where they can be curated and made available for the world to use.

Vea también

• Marcus Green's automatic assessment presentation at the Glasgow Moot 2018.

• Estos plugins adicionales, muy poderosos, pero más complicados para usar:

• • Tipo de pregunta Preg - usa expresiones regulares (regexes) para revisar las respuestas del estudiante (aunque Usted puede usarlo son regexes para aprovechar sus características de proporcionar pistas).
  • Tipo de pregunta respuesta corta de expresión regular - expects the respondent to answer an "open" question with a word or a short phrase. However, the RegExp system system gives you access to a more powerful system for analyzing the student's answers with the aim of providing more relevant immediate feedback.
  • Tipo de pregunta coincidencia de patrón - allow the student to give an answer of up to about 20 words, which can then be automatically graded by matching the students response against a number of different patterns expressed in the PMatch syntax. The first matching pattern determines the score and the feedback.