Reporte de estadísticas de examen
|
Nota del traductor: En Español internacional "cuestionario" corresponde a "examen" del Español de México como traducción de la palabra inglesa "quiz". |
El reporte de estadísticas del examen puede ser visto al hacer click en el examen y acceder a Estadísticas desde el menú del engrane, o si Usted está usando un tema que no está basado en Boost, al acceder a Administración > Administración del examen > Resultados > Estadísticas
Este reporte da un análisis estadístico (psicométrico) del examen (cuestionario), y de sus preguntas. La parte superior del reporte da un resumen del examen completo. La siguiente sección da un análisis que muestra todas las preguntas en un formato de tabla. Hay ligas en esta sección, para editar preguntas individuales o entrar en un análisis detallado de una pregunta en particular. La última parte de este reporte es una gráfica de barras del porcentaje de respuestas correctas (Índice de Facilidad) y del índice de Eficiencia Discriminatoria.
El reporte completo (vista general, y análisis detallado de todas las preguntas) se puede descargar en una variedad de formatos, al igual que la tabla del anáisis de la estructura del examen.
Para una introducción general a psicometría, este seminario de 45-minutos proporcionaba una introducción muy accesible.
Razones para revisar el reporte de estadísticas
Hay mucha información técnica en las Estadísticas del examen, lo cual es buenísimo si Usted es un científico de datos o matemático, pero aunque Usted no lo fuera, lo que hay allí es información útil que Usted puede conocer para saber qué tanto le están ayudando sus exámenes a sus estudiantes, aunque Usted no entienda todos los tecnicismos.
Encontrar preguntas 'rotas'
Si todo está funcionando bien, entonces lo que normalmente pasa es que los estudiantes que obtuvieron un puntaje alto en el examen completo tienen mayor probabilidad de tener cada pregunta correcta. Si Usted comete un error al crear una pregunta, por ejemplo, si Usted accidentalmente configura una respuesta errónea como la calificada acertadamente. Lo que sucede entonces es que los mejores estudiantes que obtienen un mayor puntaje general tienen mayor probabilidad de seleccionar la respuesta correcta y que se les califique como equivocada. Esto aparece en la columna del 'Índice de discriminación'. Si el número allí es demasiado pequeño, Usted podría tener un problema. Una pregunta rota no es la única causa posible de esto, por lo que Usted necesitará investigar más, pero es un signo muy preocupante. Debido a esto. Moodle resaltará cualquier valor bajo en esta columna para que sea muy evidente.
Sugerencia: Vea la columna del 'Índice de discriminación' Si hay números pequeños, entonces investigue esa pregunta.
Si Usted encuentra una pregunta 'rota', hay varias opciones. Usted puede editar la pregunta y después recalificar el examen para corregir el problema (pero sea muy cuidadoso al editar preguntas que ya hayan sido contestadas.) O, Usted podría ir a la página para Editar el examen y configurar la puntuación para el puntaje de esa pregunta a 0 (darle un valor de cero).
Asegurarse de que las variantes aleatorias sean apropiadas
Hay muchas formas diferentes en las que puede usarse la aleatorización al construir un examen. A veces, Usted tendrá algo como un examen para revisión de un tema que saca una selección de 10 preguntas de un conjunto de 100, pero el caso que queremos considerar aquí es cuando, para cada '´pregunta' en el examen, Usted tiene varias versiones similares pero diferentes de la 'misma' pregunta. Esto es bueno para exámenes formativos, porque les da a los estudiantes más oportunidades para practicar. Para exámenes sumativos es bueno porque reduce la posibilidad de copiar. Usted puede hacer esto, ya sea, usando selección aleatoria desde diferentes categorías como 'Variantes de pregunta 1', o Usted puede hacerlo con tipos de pregunta como Calculada o STACK que tienen variantes aleatorias internas, o ambas. (Para más detalles, vea aquí.)
Si Usted está haciendo esto, particularmente si está haciendo esto para créditos académicos, Usted probablemente querrá asegurarse de que sea 'justo'. Usted no quisiera que una variante sea mucho más difícil que las otras. Para ver esto, vea las filas subsidiarias que muestran todas las diferentes preguntas que aparecieron en algún lugar en particular dentro del examen. Revise particularmente el 'Índice de facilidad', que básicamente es la proporción de personas que tuvieron correcta la pregunta. Si estos índices de facilidad fueran muy diferentes para variantes diferentes, eso es un signo de que el examen podría ser injusto.
Sugerencia: si está usando variantes, revise la columna del 'Índice de facilidad' para asegurarse de que todas las diferentes variantes de una pregunta particular tiene un índice de facilidad similar.
Si hay una gran variación en algunas preguntas, entonces Usted podría considerar darles ponderación de cero. También, si Usted está re-utilizando el examen a futuro, considere quitar esa variante, y añadir una variante nueva.
Desde luego, cuando Usted tiene variantes como esta, Usted debería de revisar el Índice de discriminación para todas las diferentes variantes, para asegurarse de que tampoco ninguna de las variantes está rota de esa manera .
Entender como están respondiendo los estudiantes a una pregunta particular
When you set a particular question in a quiz, you normally do so intending to test a particular skill or bit of knowledge. However, can you be sure that is what you are really measuring?
As an example from this, there was an Open University 'Maths for Scientists' course, where they had a question which was supposed to test that the student could substitute some numbers in an equation, and computer the answer with their calculator. As is standard practice for OU science tests, students had to give the answer to the right number of decimal places (which had already been taught and assessed). However, when they look at the answers students had given, they found that many students had clearly computed the right thing in their calculator, but were then being marked wrong because they input too many decimal places. ([http://oro.open.ac.uk/39669/ Jordan, 2014)
The statistics report makes this kind of anlysis quite easy. As described below, if you click through to the details about a particular question, then at the bottom of that page it shows all the different responses that were given, whether they were marked right or wrong, and how many students gave each results.
This can be a good place to start looking if some of the checks above hilight a potential problem.
Another way you can use this information is, if you are using more open-ended question types, like Short answer or Numerical, then you may notice several students have made the same mistake. You might then go back end edit the question, to add specific feedback for students who have given that answer.
Sugerencia: particularmente si Usted está usando preguntas abiertas, revise el Análisis de las respuestas para ver que respuestas están dando realmente los estudiantes.
Estadísticas generales del examen
Aquí están los detalles sobre la información de este reporte robusto.
Información del examen
Esta sección proporciona alguna información básica sobre la prueba como un todo. Usted verá:
- Nombre del examen
- Nombre del curso
- Fechas de apertura y cierre (si aplican)
- Número total de intentos (primeros/calificados)
- Calificación promedio para intentos primeros/todos
- Mediana de calificación
- Desviación estándar de calificaciones
- Sesgo y Kurtosis de la distribución de las calificaciones
- Coefficiente de Consistencia interna (en ocasiones llamado Cronbach Alpha) - Esta es una medición de si todos los items en el examen están examinando básicamente la misma cosa. Por lo tanto, mide la consistencia del texto, que es el límite inferior de la validez. Aquí los números mayores son mejores.
- Tasa de error - la variación de las calificaciones viene de dos fuentes. En primer lugar, algunos alumnos son mejores que otros para lo que se les está preguntando, y en segundo lugar existe una variación aleatoria. Nosotros esperamos que las calificaciones del examen estén principalmente determinadas por la habilidad del estudiante, y que se minimice la variación aleatoria. La tasa de error estima cuanta de la variación es aleatoria, por lo que menos es mejor.
- Error estándar - este se deriva de la tasa de error, y es una medida de cuanta variación aleatoria existe en cada calificación del examen. Por lo tanto, si el error estándar es 10%, y un estudiante tuvo calificación de 60%, entonces su habilidad real probablemente esté entre 50% y 70%.
Análisis de la estructura del examen
Esta sección enlista todas las preguntas en el examen con varias estadísticas en un formato de tabla.
- Q# - muestra el número de la pregunta (su posición), ícono del tipo de pregunta, y los íconos de vista previa y edición
- Nombre de la pregunta - el nombre es también una liga al análisis detallado de esta pregunta (vea debajo Estadísticas de la Pregunta).
- Intentos - cuantos estudiantes intentaron esta pregunta.
Índice de facilidad
- Índice de Facilidad - el porcentaje de estudiantes que contestó correctamente la pregunta.
Desviación estándar
- Desviación estándar - cuanto variación había en los puntajes para esta pregunta.
Puntaje por adivinar aleatoriamente
- Puntaje por adivinar aleatoriamente - el puntaje que el estudiante obtendría adivinando aleatoriamente.
Peso Deseado/Efectivo
- Peso Deseado/Efectivo - El peso deseado es simplemente lo que Usted configura cuando edita el examen. Si la pregunta 1 vale 3 puntos de un total de 10 que vale el examen completo, entonces el peso deseado es 30%. El peso efectivo es un intento para estimar, a partir de los resultados, cuanto de la variación real se debió a esta pregunta. Así, idealmente los pesos efectivos deberían estar cercanos a los pesos deseados.
Índice de Discriminación y Eficiencia Discriminatoria
- Índice de Discriminación - esta es la correlación entre el puntaje para esta pregunta y el puntaje para el examen completo. Así, para una buena pregunta, Usted espera que los estudiantes que obtengan un puntaje alto en esta pregunta sean los mismos estudiantes que tengan puntaje alto en el examen completo. Los números mayores son mejores.
- Eficiencia Discriminatoria - otra medida que es similar al Índice de Discriminación.
- Donde se emplean preguntas al azar, existe una fila en la tabla para las preguntas al azar, seguida por otras filas, una para cada pregunta real que fue seleccionada en lugar de la pregunta al azar.
- Donde las preguntas del examen se ordenan aleatoriamente para cada examen, el módulo examen determina una posición por defecto.
Mayores detalles
- Quiz statistics calculations Proporciona mayores detalles sobre cómo se obtienen y qué significan todas estas cantidades.
Gráfica de estadísticas del examen
Estadísticas de Pregunta de examen
Navigación > nombre del examen > Resultados > Estadísticas (elija cualquier título de pregunta) Es posible ver las estadísticas para una pregunta en una página individual. Esta vista también le dirá qué porcentaje de los examinados seleccionó cada una de las respuestas (Análisis de Respuestas) y le dará información básica sobre la pregunta.
- Información de la Pregunta- La información básica sobre la pregunta, el nombre del examen, la pregunta, el tipo de pregunta, la posición dentro del examen y la pregunta en sí misma. Hay íconos para vista previa y edición en esta página.
- Estadísticas de la pregunta - Esto repite la información de la fila de la tabla del análisis de la estructura del examen que tiene que ver con esta pregunta.
- Opciones del Reporte - Usted puede elegir si quiere correr el reporte sobre todos los intentos, o solamente primeros intentos de cada estudiante. Algunos de los cálculos usados en el reporte están basados en suposiciones que tal vez no apliquen para exámenes en donde se permitió más de un intento para resolverlos.
:Tip: Calcular las estadísticas toma un cierto tiempo, el reporte guardará los valores computados y los re-utilizará por hasta 15 minutos. Por lo tanto, se muestra que tan recientemente se calcularon las estadísticas , con un botón para recalcularlas inmediatamente.
Análisis de respuestas a preguntas individuales
Esto da un análisis de frecuencia de las diferentes respuestas que se dieron para cada parte de la pregunta. Los detalles del análisis dependen del tipo de pregunta, y no todos los tipos de preguntas soportan esto. Por ejemplo, las preguntas de ensayo (respuesta abierta) no pueden ser analizadas.
Análisis de respuestas a preguntas aleatorias
A partir de Moodle 3.4.3 en adelante se corrigió un problema en el reporte de estadísticas para mostrar las preguntas elegidas para posiciones de preguntas aleatorias (https://tracker.moodle.org/browse/MDL-61950 MDL61950).
Interpretación del Índice de dificultad y del coeficiente de discriminación
Vea Significado de las estadísticas del examen de Moodle
