Reporte de estadísticas de examen

(Redirigido desde «Análisis de ítems»)
Saltar a: navegación, buscar
translator note icon.png Nota del traductor: En Español internacional "cuestionario" corresponde a "examen" del Español de México como traducción de la palabra inglesa "quiz".


El reporte de estadísticas del examen puede ser visto al hacer click en el examen y acceder a Estadísticas desde el menú del engrane, o si Usted está usando un tema que no está basado en Boost, al acceder a Administración > Administración del examen > Resultados > Estadísticas

Este reporte da un análisis estadístico (psicométrico) del examen (cuestionario), y de sus preguntas. La parte superior del reporte da un resumen del examen completo. La siguiente sección da un análisis que muestra todas las preguntas en un formato de tabla. Hay ligas en esta sección, para editar preguntas individuales o entrar en un análisis detallado de una pregunta en particular. La última parte de este reporte es una gráfica de barras del porcentaje de respuestas correctas (Índice de Facilidad) y del índice de Eficiencia Discriminatoria.

El reporte completo (vista general, y análisis detallado de todas las preguntas) se puede descargar en una variedad de formatos, al igual que la tabla del anáisis de la estructura del examen.

Para una introducción general a psicometría, este seminario de 45-minutos proporcionaba una introducción muy accesible.

Razones para revisar el reporte de estadísticas

Hay mucha información técnica en las Estadísticas del examen, lo cual es buenísimo si Usted es un científico de datos o matemático, pero aunque Usted no lo fuera, lo que hay allí es información útil que Usted puede conocer para saber qué tanto le están ayudando sus exámenes a sus estudiantes, aunque Usted no entienda todos los tecnicismos.

Encontrar preguntas 'rotas'

Si todo está funcionando bien, entonces lo que normalmente pasa es que los estudiantes que obtuvieron un puntaje alto en el examen completo tienen mayor probabilidad de tener cada pregunta correcta. Si Usted comete un error al crear una pregunta, por ejemplo, si Usted accidentalmente configura una respuesta errónea como la calificada acertadamente. Lo que sucede entonces es que los mejores estudiantes que obtienen un mayor puntaje general tienen mayor probabilidad de seleccionar la respuesta correcta y que se les califique como equivocada. Esto aparece en la columna del 'Índice de discriminación'. Si el número allí es demasiado pequeño, Usted podría tener un problema. Una pregunta rota no es la única causa posible de esto, por lo que Usted necesitará investigar más, pero es un signo muy preocupante. Debido a esto. Moodle resaltará cualquier valor bajo en esta columna para que sea muy evidente.

Sugerencia: Vea la columna del 'Índice de discriminación' Si hay números pequeños, entonces investigue esa pregunta.

Si Usted encuentra una pregunta 'rota', hay varias opciones. Usted puede editar la pregunta y después recalificar el examen para corregir el problema (pero sea muy cuidadoso al editar preguntas que ya hayan sido contestadas.) O, Usted podría ir a la página para Editar el examen y configurar la puntuación para el puntaje de esa pregunta a 0 (darle un valor de cero).

Asegurarse de que las variantes aleatorias sean apropiadas

Hay muchas formas diferentes en las que puede usarse la aleatorización al construir un examen. A veces, Usted tendrá algo como un examen para revisión de un tema que saca una selección de 10 preguntas de un conjunto de 100, pero el caso que queremos considerar aquí es cuando, para cada '´pregunta' en el examen, Usted tiene varias versiones similares pero diferentes de la 'misma' pregunta. Esto es bueno para exámenes formativos, porque les da a los estudiantes más oportunidades para practicar. Para exámenes sumativos es bueno porque reduce la posibilidad de copiar. Usted puede hacer esto, ya sea, usando selección aleatoria desde diferentes categorías como 'Variantes de pregunta 1', o Usted puede hacerlo con tipos de pregunta como Calculada o STACK que tienen variantes aleatorias internas, o ambas. (Para más detalles, vea aquí.)

Si Usted está haciendo esto, particularmente si está haciendo esto para créditos académicos, Usted probablemente querrá asegurarse de que sea 'justo'. Usted no quisiera que una variante sea mucho más difícil que las otras. Para ver esto, vea las filas subsidiarias que muestran todas las diferentes preguntas que aparecieron en algún lugar en particular dentro del examen. Revise particularmente el 'Índice de facilidad', que básicamente es la proporción de personas que tuvieron correcta la pregunta. Si estos índices de facilidad fueran muy diferentes para variantes diferentes, eso es un signo de que el examen podría ser injusto.

Sugerencia: si está usando variantes, revise la columna del 'Índice de facilidad' para asegurarse de que todas las diferentes variantes de una pregunta particular tiene un índice de facilidad similar.

Si hay una gran variación en algunas preguntas, entonces Usted podría considerar darles ponderación de cero. También, si Usted está re-utilizando el examen a futuro, considere quitar esa variante, y añadir una variante nueva.

Desde luego, cuando Usted tiene variantes como esta, Usted debería de revisar el Índice de discriminación para todas las diferentes variantes, para asegurarse de que tampoco ninguna de las variantes está rota de esa manera .

Entender como están respondiendo los estudiantes a una pregunta particular

Cuando Usted configura una pregunta particular en un examen, normalmente Usted lo hace con la intención de evaluar una habilidad particular o un concepto del conocimiento. Sin embargo, ¿Puede Usted estar seguro de lo que realmente está midiendo?

Como un ejemplo de esto, hubo un curso de 'Matemáticas para Científicos' en la Open University del Reino Unido, que se suponía que evaluaba que el estudiante pudiera sustituir algunos números en una ecuación y calcular la respuesta con su calculadora. Como es la práctica estándar en los exámenes de ciencia en la Open University, los estudiantes debían de dar la respuesta con el número correcto de decimales (lo cual ya se les había enseñado y evaluado). Sin embargo, cuando se revisaron las respuestas que los estudiantes habían dado, encontraron que muchos estudiantes habían calculado claramente el valor correcto en sus calculadoras, pero fueron calificados erróneamente porque habían introducido demasiados decimales. (Jordan, 2014)

El reporte de estadísticas hace que sea bastante fácil este tipo de análisis. Como se describe debajo, si Usted hace click en los detalles de una pregunta particular, entonces en el fondo de esa página se muestran todas las diferentes respuestas que fueron dadas, ya sea que fueran calificadas como acertadas o erróneas, y cuantos estudiantes dieron cada resultado.

Este puede ser un buen lugar para empezar a evaluar si algunas de las revisiones de arriba resaltan algún problema potencial.

Otra manera en la que Usted puede usar esta información es, si Usted está usando más tipos de preguntas de respuestas abiertas, como Respuesta Corta o Numérica, entonces Usted podría observar que varios alumnos tuvieron el mismo error. Usted podría entonces regresar y editar la pregunta, para añadirle retroalimentación específica para los estudiantes que han dado esa respuesta.

Sugerencia: particularmente si Usted está usando preguntas abiertas, revise el Análisis de las respuestas para ver qué respuestas están dando realmente los estudiantes.


Estadísticas generales del examen

Aquí están los detalles sobre la información de este reporte robusto.

Información del examen

Esta sección proporciona alguna información básica sobre la prueba como un todo. Usted verá:

  • Nombre del examen
  • Nombre del curso
  • Fechas de apertura y cierre (si aplican)
  • Número total de intentos (primeros/calificados)
  • Calificación promedio para intentos primeros/todos
  • Mediana de calificación
  • Desviación estándar de calificaciones
  • Sesgo y Kurtosis de la distribución de las calificaciones
  • Coefficiente de Consistencia interna (en ocasiones llamado Cronbach Alpha) - Esta es una medición de si todos los items en el examen están examinando básicamente la misma cosa. Por lo tanto, mide la consistencia del texto, que es el límite inferior de la validez. Aquí los números mayores son mejores.
  • Tasa de error - la variación de las calificaciones viene de dos fuentes. En primer lugar, algunos alumnos son mejores que otros para lo que se les está preguntando, y en segundo lugar existe una variación aleatoria. Nosotros esperamos que las calificaciones del examen estén principalmente determinadas por la habilidad del estudiante, y que se minimice la variación aleatoria. La tasa de error estima cuanta de la variación es aleatoria, por lo que menos es mejor.
  • Error estándar - este se deriva de la tasa de error, y es una medida de cuanta variación aleatoria existe en cada calificación del examen. Por lo tanto, si el error estándar es 10%, y un estudiante tuvo calificación de 60%, entonces su habilidad real probablemente esté entre 50% y 70%.
Ejemplo de sección de información del examen

Análisis de la estructura del examen

Esta sección enlista todas las preguntas en el examen con varias estadísticas en un formato de tabla.

  • Q# - muestra el número de la pregunta (su posición), ícono del tipo de pregunta, y los íconos de vista previa y edición
  • Nombre de la pregunta - el nombre es también una liga al análisis detallado de esta pregunta (vea debajo Estadísticas de la Pregunta).
  • Intentos - cuantos estudiantes intentaron esta pregunta.
  • Índice de Facilidad - el porcentaje de estudiantes que contestó correctamente la pregunta.
  • Desviación estándar - cuanto variación había en los puntajes para esta pregunta.
  • Puntaje por adivinar aleatoriamente - el puntaje que el estudiante obtendría adivinando aleatoriamente.
  • Peso Deseado/Efectivo - El peso deseado es simplemente lo que Usted configura cuando edita el examen. Si la pregunta 1 vale 3 puntos de un total de 10 que vale el examen completo, entonces el peso deseado es 30%. El peso efectivo es un intento para estimar, a partir de los resultados, cuanto de la variación real se debió a esta pregunta. Así, idealmente los pesos efectivos deberían estar cercanos a los pesos deseados.
  • Índice de Discriminación - esta es la correlación entre el puntaje para esta pregunta y el puntaje para el examen completo. Así, para una buena pregunta, Usted espera que los estudiantes que obtengan un puntaje alto en esta pregunta sean los mismos estudiantes que tengan puntaje alto en el examen completo. Los números mayores son mejores.
  • Eficiencia Discriminatoria - otra medida que es similar al Índice de Discriminación.
Donde se emplean preguntas al azar, existe una fila en la tabla para las preguntas al azar, seguida por otras filas, una para cada pregunta real que fue seleccionada en lugar de la pregunta al azar.
Donde las preguntas del examen se ordenan aleatoriamente para cada examen, el módulo examen determina una posición por defecto.
Quiz statistics calculations Proporciona mayores detalles sobre cómo se obtienen y qué significan todas estas cantidades.
Ejemplo de sección de análisis estructural de estadísticas

Gráfica de estadísticas del examen

Ejemplo de gráfica

Estadísticas de Pregunta de examen

Navigación > nombre del examen > Resultados > Estadísticas (elija cualquier título de pregunta) Es posible ver las estadísticas para una pregunta en una página individual. Esta vista también le dirá qué porcentaje de los examinados seleccionó cada una de las respuestas (Análisis de Respuestas) y le dará información básica sobre la pregunta.

  • Información de la Pregunta- La información básica sobre la pregunta, el nombre del examen, la pregunta, el tipo de pregunta, la posición dentro del examen y la pregunta en sí misma. Hay íconos para vista previa y edición en esta página.
  • Estadísticas de la pregunta - Esto repite la información de la fila de la tabla del análisis de la estructura del examen que tiene que ver con esta pregunta.
  • Opciones del Reporte - Usted puede elegir si quiere correr el reporte sobre todos los intentos, o solamente primeros intentos de cada estudiante. Algunos de los cálculos usados en el reporte están basados en suposiciones que tal vez no apliquen para exámenes en donde se permitió más de un intento para resolverlos.

:Sugerencia: Calcular las estadísticas toma un cierto tiempo, el reporte guardará los valores computados y los re-utilizará por hasta 15 minutos. Por lo tanto, se muestra que tan recientemente se calcularon las estadísticas , con un botón para re-calcularlas inmediatamente.

Análisis de respuestas a preguntas individuales

Esto da un análisis de frecuencia de las diferentes respuestas que se dieron para cada parte de la pregunta. Los detalles del análisis dependen del tipo de pregunta, y no todos los tipos de preguntas soportan esto. Por ejemplo, las preguntas de ensayo (respuesta abierta) no pueden ser analizadas.


Información estadística de respuestas a pregunta individual
Análisis de respuestas a preguntas aleatorias

A partir de Moodle 3.4.3 en adelante se corrigió un problema en el reporte de estadísticas para mostrar las preguntas elegidas para posiciones de preguntas aleatorias (https://tracker.moodle.org/browse/MDL-61950 MDL61950).

Interpretación del Índice de dificultad y del coeficiente de discriminación

Vea Significado de las estadísticas del examen de Moodle

Vea también