Reporte de estadísticas de examen

Nota del traductor: En Español internacional "cuestionario" corresponde a "examen" del Español de México como traducción de la palabra inglesa "quiz".

El reporte de estadísticas del examen puede ser visto al (hacer clic en el menú del engrane en versiones antiguas de Moodle) hacer clic en el examen y entonces desde Navegación del examen > Resultados seleccionar estadísticas del menú desplegable, o si Usted está usando un tema que no está basado en Boost, al acceder a Administración > Administración del examen > Resultados > Estadísticas

Este reporte da un análisis estadístico (psicométrico) del examen (cuestionario), y de sus preguntas. La parte superior del reporte da un resumen del examen completo. La siguiente sección da un análisis que muestra todas las preguntas en un formato de tabla. Hay enlaces en esta sección, para editar preguntas individuales o entrar en un análisis detallado de una pregunta en particular. La última parte de este reporte es una gráfica de barras del porcentaje de respuestas correctas (Índice de Facilidad) y del índice de Eficiencia Discriminatoria.

El reporte completo (vista general, y análisis detallado de todas las preguntas) se puede descargar en una variedad de formatos, al igual que la tabla del análisis de la estructura del examen.

Nota del traductor: Para una introducción general a psicometría, este seminario de 45-minutos proporcionaba una introducción muy accesible.

Razones para revisar el reporte de estadísticas

Hay mucha información técnica en las Estadísticas del examen, lo cual es buenísimo si Usted es un científico de datos o matemático, pero aunque Usted no lo fuera, lo que hay allí es información útil que Usted puede conocer para saber qué tanto le están ayudando sus exámenes a sus estudiantes (aunque Usted no entienda todos los tecnicismos).

Encontrar preguntas 'rotas'

Si todo está funcionando bien, entonces lo que normalmente pasa es que los estudiantes que obtuvieron un puntaje alto en el examen completo tienen mayor probabilidad de tener cada pregunta correcta. Si Usted comete un error al crear una pregunta, entonces este patrón podría estar alterado. Por ejemplo, al configurar una pregunta de opción múltiple si Usted accidentalmente configura a la respuesta correcta con cero puntos,mientras que un distractor (opción incorrecta de respuesta) resulta configurado con puntaje completo. En este escenario los mejores estudiantes que obtienen una mayor puntaje global del examen tendrían mayor esperanza de seleccionar la respuesta correcta; pero debido a la pregunta configurada incorrectamente, la tendrán calificada como mala. Este tipo de problema podría mostrarse en la columna del '¨´Indice de discriminación' como un número pequeño. Las preguntas rotas no son la única causa posible de esto, por lo que Usted necesitará investigar más, pero es un signo muy preocupante. Debido a esto. Moodle resaltará los valores bajos en esta columna con un sombreado en rojo (para que sea muy evidente).

Sugerencia: Vea la columna del 'Índice de discriminación' Si allí hay números pequeños, entonces investigue esa pregunta.

Si Usted encuentra una pregunta 'rota', hay varias opciones para manejar esta pregunta, de forma tal que no afecte más a su examen.

1) Usted puede editar la pregunta y después re-calificar el examen. La re-calificación no se puede deshacer fácilmente, por lo que debe ser muy cuidadoso al editar preguntas que ya hayan sido contestadas. Usted podría hacer una copia de respaldo del examen que incluya los intentos de sus estudiantes ANTES de intentar re-calificarlo.

2) Usted podría asignarle ponderación (peso) de cero a la pregunta. Para hacer esto, vaya a la página para Editar el examen y configurar la puntuación para el puntaje de esa pregunta a 0 (dele un valor de cero). Al hacer esto se excluye la pregunta del examen y ya no afectará las calificaciones de sus estudiantes.

3) En lugar de darle un valor de cero, podría otorgarles el máximo puntaje para la pregunta rota a todos los estudiantes, sin importar si la contestaron correcta o incorrectamente. Desde el punto de vista estadístico, esto tiene el mismo efecto que la opción 2). Sin embargo, este método usualmente es mejor recibido por los estudiantes, porque nadie pierde puntos que antes tenía. Para hacer esto, usted tiene que asignar manualmente el puntaje máximo para esta pregunta a cada uno de sus estudiantes.

4) Si originalmente usted quería realizar la opción 1, pero no pudo corregir el problema al editar la pregunta, usted podría entonces elegir asignar manualmente la cantidad correcta de puntos por pregunta a cada uno de sus estudiantes mediante calificación manual.

Asegurarse de que las variantes aleatorias sean apropiadas

Hay muchas formas diferentes en las que la aleatorización puede ser usada en un examen. En esta instancia queremos considerar el uso de variantes similares de la 'misma' pregunta. Al usar exámenes formativos, esto les da a los estudiantes más oportunidades para practicar. Para exámenes sumativos el uso de variaciones de preguntas puede reducir la oportunidad de hacer trampa por colusión. Algunos tipos de pregunta como Calculada o STACK tienen variantes aleatorias internas. Para todos los otros tipos de preguntas usted puede configurar variaciones al añadir preguntas aleatorias a un examen. Para hacer esto, vaya a la página para Editar examen > Añadir pregunta > + una pregunta aleatoria. Entonces usted puede configurar un filtro específico para recolectar varias variantes de su Banco de preguntas (Para más detalles, vea aquí.)

Si un examen está siendo usado para evaluación sumativa es particularmente importante asegurarse que todas las variantes de una pregunta sean 'justas'. Es indeseable que una variante sea más difícil que las otras . Para investigar las variantes de la pregunta, examine las filas subsidiarias que muestran todas las diferentes preguntas que aparecieron en algún lugar en particular dentro del examen. Revise particularmente el 'Índice de facilidad', que indica el porcentaje de sus estudiantes que tuvo correcta esa pregunta específica. Si estos índices de facilidad fueran muy diferentes para variantes diferentes, eso es un signo de que las variantes podrían no ser de igual dificultad, lo que conduciría a una evaluación injusta.

Sugerencia: si está usando variantes, revise la columna del 'Índice de facilidad' para asegurarse de que todas las diferentes variantes de una pregunta particular tiene un índice de facilidad similar.

Si hay una gran variación en alguna pregunta, primeramente revise también el índice de discriminación para asegurarse que ninguna de las variantes está rota. Para resolver el problema con el índice de facilidad diferente, usted podría asignar puntaje de cero a toda la pregunta, incluyendo todas las variantes.

Si Usted quiere re-utilizar la pregunta a futuro, considere quitar la variante que tiene un índice de dificultad diferente, y añadir una nueva variante. Asegúrese de cubrir el contenido de todas las variantes en sus clases con sus alumnos.

Entender como están respondiendo los estudiantes a una pregunta particular

Cuando Usted pregunta una pregunta particular en un examen, normalmente Usted tiene la intención de evaluar una habilidad particular o un concepto del conocimiento. Dado que nosotros solamente podemos observar el patrón de respuestas a la pregunta de los estudiantes, pero no podemos saber lo que realmente pasa dentro de sus cabezas, ¿cómo podemos asegurarnos que las preguntas están midiendo la habilidad o el elemento de conocimiento que pretendemos evaluar? Esta interrogante se está refiriendo a un concepto llamado validez.

Como un ejemplo de esto, hubo un curso de 'Matemáticas para Científicos' en la Open University del Reino Unido, que se suponía que evaluaba que el estudiante pudiera sustituir algunos números en una ecuación y calcular la respuesta con su calculadora. Como es la práctica estándar en los exámenes de ciencia en la Open University, los estudiantes debían de dar la respuesta con el número correcto de decimales (lo cual ya se les había enseñado y evaluado). Sin embargo, cuando se revisaron las respuestas que los estudiantes habían dado, encontraron que muchos estudiantes habían calculado claramente el valor correcto en sus calculadoras, pero fueron calificados erróneamente porque habían introducido demasiados decimales en el campo de respuesta de la pregunta. (vea http://oro.open.ac.uk/39669/). En este caso la pregunta ya no era simplemente una medida de la habilidad del estudiante para sustituir y computar la respuesta correcta, sino que también se volvió una prueba no deseada de su habilidad para seguir una regla relacionada con el número de decimales deseados. Este problema no contemplado podría haberse evitado si la pregunta estuviera configurada para permitir un número mayor de decimales en la respuesta numérica esperada, o si las instrucciones de la pregunta especificaran con mayor claridad el número esperado de decimales para la respuesta.

El reporte de estadísticas permite el análisis de las respuestas de los estudiantes a una pregunta. Al hacer clic en los detalles de una pregunta particular, entonces en el fondo de esa página se muestran todas las diferentes respuestas que fueron enviadas, ya sea que fueran calificadas como acertadas o erróneas, y cuantos estudiantes dieron cada respuesta.

Este puede ser un buen lugar para empezar a evaluar si algunas de las revisiones de arriba resaltan algún problema potencial.

Otra manera en la que Usted puede usar esta información es, si Usted está usando más tipos de preguntas de respuestas abiertas, como Respuesta Corta o Numérica, entonces Usted podría observar que varios alumnos tuvieron el mismo error. Usted podría entonces regresar y editar la pregunta, para añadirle retroalimentación específica para los estudiantes que han dado esa respuesta.

Sugerencia: particularmente si Usted está usando preguntas abiertas, revise el Análisis de las respuestas para ver qué respuestas están realmente enviando los estudiantes.

Estadísticas generales del examen

Debajo encontrará los detalles acerca de cada sección del reporte, además de la información específica presentada en las diferentes secciones.

Información del examen

Esta sección proporciona alguna información básica sobre la prueba como un todo. Usted verá:

• Nombre del examen
• Nombre del curso
• Fechas de apertura y cierre del examen (si usted las especificó en las configuraciones del examen)
• Número total de intentos, tanto el primero y los calificados
• Calificación promedio para el primero y también todos los intentos
• Mediana de calificación
• Desviación estándar de calificaciones
• Sesgo y Kurtosis de la distribución de las calificaciones
• Coefficiente de Consistencia interna (en ocasiones llamado Cronbach Alpha) - Esta es una medición de si todos los elementos en el examen están examinando básicamente la misma cosa. Por lo tanto, mide la consistencia del texto, que es el límite inferior de la validez. Aquí los números mayores son mejores.
• Tasa de error - la variación de las calificaciones viene de dos fuentes. En primer lugar, algunos alumnos son mejores que otros para lo que se les está preguntando, y en segundo lugar existe una variación aleatoria (por ejemplo, malas instrucciones, vea el ejemplo de la Open University debajo). Nosotros esperamos que las calificaciones del examen estén principalmente determinadas por la habilidad del estudiante, y que la variación aleatoria será minimizada. La tasa de error estima cuanta de la variación está determinada por error de la medición o error aleatorio. Por lo tanto los valores más bajos son mejores.
• Error estándar - este se deriva de la tasa de error, y es una medida de cuanta variación aleatoria existe en cada calificación del examen. Por lo tanto, si el error estándar es 10%, y un estudiante tuvo calificación de 60%, entonces su habilidad real probablemente esté entre 50% y 70%.

Ejemplo de sección de información del examen

Análisis de la estructura del examen

Esta sección enlista todas las preguntas en el examen con varias estadísticas en un formato de tabla.

• Q# - muestra el número de la pregunta (su posición), ícono del tipo de pregunta, y los íconos de vista previa y edición
• Nombre de la pregunta - el nombre es también una liga al análisis detallado de esta pregunta (vea debajo Estadísticas de la Pregunta).
• Intentos - cuantos estudiantes intentaron esta pregunta.
• Índice de Facilidad - la calificación promedio (como un porcentaje) obtenida en la pregunta. Un valor más alto indica una pregunta más fácil (Recuerde que el índice de facilidad podría estar influenciado por otros factores (como por ejemplo, mal diseño de la pregunta) también).
• Desviación estándar - cuanto variación había en los puntajes para esta pregunta. Cuanto menor sea este valor, los estudiantes contestaron la pregunta de manera más similar.
• Calificación aleatoria estimada - el puntaje que el estudiante obtendría adivinando aleatoriamente sin saber nada del tema. Para preguntas calificadas automáticamente este puntaje mayormente depende del método de calificación seleccionado por el profesor.
• Ponderación Deseada/Ponderación efectiva - El peso (la ponderación) deseado es simplemente lo que Usted configura cuando edita el examen. Si la pregunta 1 vale 3 puntos de un total de 10 que vale el examen completo, entonces el peso deseado es 30%. El peso efectivo es un intento para estimar, a partir de los resultados, cuanto de la variación real se debió a esta pregunta. Así, idealmente los pesos efectivos deberían estar cercanos a los pesos deseados.
• Índice de Discriminación - esta es la correlación entre el puntaje para esta pregunta y el puntaje para el examen completo. Así, para una buena pregunta, Usted espera que los estudiantes que obtengan un puntaje alto en esta pregunta sean los mismos estudiantes que tengan puntaje alto en el examen completo. Los números mayores son mejores.
• Eficiencia Discriminatoria - otra medida que es similar al Índice de Discriminación.

Donde se emplean preguntas al azar, existe una fila en la tabla para las preguntas al azar, seguida por otras filas, una para cada pregunta real que fue seleccionada en lugar de la pregunta al azar.

Donde las preguntas del examen se ordenan aleatoriamente para cada examen, el módulo examen determina una posición por defecto.

El artículo en idioma inglés Quiz statistics calculations proporciona mayores detalles sobre cómo se obtienen y qué significan todas estas cantidades.

Ejemplo de sección de análisis estructural de estadísticas

Gráfica de estadísticas del examen

Ejemplo de gráfica

Estadísticas de Pregunta de examen

Navegación > nombre del examen > Resultados > Estadísticas (elija cualquier título de pregunta) Es posible ver las estadísticas para una pregunta en una página individual. Esta vista también le dirá qué porcentaje de los examinados seleccionó cada una de las respuestas (Análisis de Respuestas) y le dará información básica sobre la pregunta.

• Información de la Pregunta- La información básica sobre la pregunta, el nombre del examen, la pregunta, el tipo de pregunta, la posición dentro del examen y la pregunta en sí misma. Hay íconos para vista previa y edición en esta página.
• Estadísticas de la pregunta - Esto repite la información de la fila de la tabla del análisis de la estructura del examen que tiene que ver con esta pregunta.
• Opciones del Reporte - Usted puede elegir si quiere correr el reporte sobre todos los intentos, o solamente primeros intentos de cada estudiante. Algunos de los cálculos usados en el reporte están basados en suposiciones que tal vez no apliquen para exámenes en donde se permitió más de un intento para resolverlos.

:Sugerencia: Calcular las estadísticas toma un cierto tiempo, el reporte guardará los valores computados y los re-utilizará por hasta 15 minutos. Por lo tanto, se muestra que tan recientemente se calcularon las estadísticas , con un botón para re-calcularlas inmediatamente.

• 

  Preferencias de página para pregunta individual

• 

  Información de pregunta individual

• 

  Información estadística para pregunta individual

Análisis de respuestas a preguntas individuales

Esto da un análisis de frecuencia de las diferentes respuestas que se dieron para cada parte de la pregunta. Los detalles del análisis dependen del tipo de pregunta, y no todos los tipos de preguntas soportan esto. Por ejemplo, las preguntas de ensayo (respuesta abierta) no pueden ser analizadas.

Información estadística de respuestas a pregunta individual

Análisis de respuestas a preguntas aleatorias: A partir de Moodle 3.4.3 en adelante se corrigió un problema en el reporte de estadísticas para mostrar las preguntas elegidas para posiciones de preguntas aleatorias (https://tracker.moodle.org/browse/MDL-61950 MDL61950).

Interpretación del Índice de dificultad y del coeficiente de discriminación: Vea Significado de las estadísticas del examen de Moodle.

Vea también

• https://docs.moodle.org/dev/Quiz_statistics_calculations
• https://docs.moodle.org/dev/Quiz_report_statistics on the Developers documentation
• A brief guide to what the statistics mean, from the Open University