Diferencia entre revisiones de «Usando Taller»
({{Pendiente de traducir}}) |
m (Texto reemplazado: «class="nicetable"» por «class="wikitable"») |
||
| (No se muestran 7 ediciones intermedias de 2 usuarios) | |||
| Línea 1: | Línea 1: | ||
{{Taller}} | {{Taller}} | ||
==Fases del taller== | ==Fases del taller== | ||
El flujo del trabajo para el módulo de Taller puede | El flujo del trabajo para el módulo de Taller puede considerarse compuesto de cinco fases. La actividad típica de Taller puede desarrollarse a lo largo de varios días e incluso semanas. El docente puede modificar la actividad de una fase a otra. | ||
El taller típico sigue una | El taller típico sigue una recorrido lineal desde la Configuración a, Envío, Valoración, Calificación/Evaluación, y finalizar con la condición de Cerrado. Sin embargo, también es posible una ruta de avances recursivos. | ||
El progreso de la actividad es visualizado | El progreso de la actividad es visualizado a través de la herramienta de planeamiento del Taller. Muestra todas sus fases y resalta la fase actual. También lista todos los trabajos de cada usuario en la fase actual, con la información acerca de si el trabajo está terminado o no e incluso, reprobado/fallido. | ||
[[Archivo: workshop-phase-button.png|thumb|Botones de Fase de | [[Archivo: workshop-phase-button.png|thumb|Botones de Fase de Planificación del Taller]] | ||
===Fase de configuración=== | ===Fase de configuración=== | ||
En esta fase inicial, los | En esta fase inicial, sólo intervienen los facilitadores del curso, cambiando las configuraciones del Taller, modificandi la estrategia para calificar o ajustando los formatos (formularios) de evaluación. Los destinatarios no pueden participar del taller en esta fase: ni siquiera pueden modificar sus envíos o sus evaluaciones. Los facilitadores pueden pasar a esta fase en cualquier momento si es que necesitan cambiar las configuraciones del Taller y evitar que los usuarios modifiquen sus trabajos. | ||
===Fase de envío=== | ===Fase de envío=== | ||
| Línea 46: | Línea 46: | ||
La tabla inferior explica como se visualizan las calificaciones: | La tabla inferior explica como se visualizan las calificaciones: | ||
{| class=" | {| class="wikitable" | ||
|- | |- | ||
! Valor | ! Valor | ||
| Línea 72: | Línea 72: | ||
=== Calificación por envío === | === Calificación por envío === | ||
La calificación final para cada | La calificación final para cada tarea enviada se calcula según la media ponderada de las de evaluaciones particulares dadas por todos los revisores de lo recibido. El valor se redondea al número de (lugares) decimales establecido en la configuración del Taller. | ||
El docente del curso pueden influir de dos maneras en la calificación: | |||
* al proporcionar su propia evaluación, | * al proporcionar su propia evaluación, generalmente con una ponderación mayor que el peso de las de los pares evaluadores | ||
* al | * al llevar la calificación a un valor dado | ||
=== Calificación por evaluación === | === Calificación por evaluación === | ||
La calificación por evaluación intenta estimar la calidad de | La calificación por evaluación intenta estimar la calidad de las evaluaciones que el participante le asigna a los pares. Esta calificación (también conocida como "calificando la calificación") la calcula la Inteligencia Artificial oculta dentro del módulo de Taller que procura realizar la típica tarea docente. | ||
Durante la fase de calificación de la evaluación, se usa un sub-plugin del Taller para calcular calificaciones por evaluación. Actualmente, solo está disponible un sub-plugin estándar llamado Comparación con la mejor evaluación ''Comparison with the best assessment'' (pueden encontrarse otros suplementos de evaluación en el directorio de aplicaciones de Moodle [https://moodle.org/plugins/browse.php?list=category&id=17 Moodle). El siguiente texto describe el método usado por este sub-plugin. | |||
Las calificaciones por evaluación aparecen entre paréntesis () en el Reporte de calificaciones del Taller. La calificación final por evaluación se calcula como el promedio de calificaciones evaluadas por particulares. | |||
No existe una fórmula única para describir el cálculo. Sin embargo, el proceso es determinístico. El Taller elige a una de las evaluaciones como la ''mejor'' - la más cercana a la media de todas las evaluaciones - y le otorga una calificación del 100%. Entonces mide la 'distancia' de todas las demás evaluaciones a esta mejor evaluación y les otorga calificaciones más baja, cuanto más distantes estén de la mejor (dado que la mejor representa un consenso de la mayoría de los evaluadores). El parámetro del cálculo es cuán estricto deberíamos ser, lo que implica cuán rápidamente caerán las calificaciones si difieren de la mejor. | |||
Si hubiera solo dos evaluaciones por envío, el Taller no puede decidir cual de ellas es 'correcta'. Imaginemos que se tienen dos revisores - Alicia y Bob. Ambos evalúan el envío de Cindy. Alicia dice que es deplorable y Bob, que es excelente. No hay forma de decidir quien está en lo correcto. Por eso, el Taller simplemente dice - bueno, ambos tiene razón y les voy a dar a ambos dos calificación del 100% para esta evaluación. Para evitar que ocurra esto, se cuenta con dos opciones: | |||
* | * proporcionar una evaluación adicional para que su número sea impar y el taller pueda elegir al mejor. Típicamente el docente proporciona su propia evaluación para juzgar el envío | ||
* | * O se puede decidir un grado de confianza dispar, mayor para uno de los revisores. Por ejemplo, si se sabe que Alicia es mucho mejor evaluadora que Bob, se le puede aumentar la ponderación a la evaluación de Alicia, digamos que a "2" (en lugar del ajuste por defecto de "1"). A los propósitos del cálculo, la evaluación de Alicia será considerada como si hubiera dos revisores que tienen exactamente la misma opinión y por lo tanto es más probable que sean elegidos como el mejor. | ||
''' | '''Nota de Retro-compatibilidad''' | ||
En la versión de Taller 1.x el caso de dos evaluadores con la misma ponderación no es manejado apropiadamente y conduce a resultados erróneos ya que solo uno de ellos es afortunado de obtener 100% y el segundo obtiene una calificación más baja. | |||
''' | '''No son las calificaciones finales las que se comparan''' | ||
{{Pendiente de traducir}} | |||
Es muy importante saber que el plugin de la calificación de evaluación de comparación con la mejor (''Comparison with the best assessment'') no compara las calificaciones finales. Respecto de la estrategia de calificación implementada, cada formulario de calificación completado se puede considerar como un vector n-dimensional de valores normalizados. Por lo tanto, el subplugin compara respuestas de todas las dimensiones de los formularios de las evaluaciones (criterios, aserciones, ...). Entonce, calcula la distancia de dos evaluaciones apelando a las varianzas estadísticas. | |||
Para demostrarlo con un ejemplo, digamos que se empleara la estrategia de calificación Número de errores para los ensayos de investigación evaluados por los pares. esta estrategia apela a una simple lista de cotejo y cada evaluador simplemente tilda cada ítem como verificado o no. Digamos que se define el formulario de evaluación según tres criterios: | |||
# | #¿Se establece claramente el propósito de la investigación? (si/no) | ||
# | # ¿Se describe la metodología de la investigación? (si/no) | ||
# | # ¿Las referencias se citan apropiadamente? (si/no) | ||
Digamos que una tarea alcanza el 100% de calificación si se cumplen todos los criterios (se responde por "sí" cada rubro), 75% si solo dos de los criterios se respetan, 25% si se cumple solo uno y 0% si en la revisión se responde por 'no' en los tres casos.. | |||
Ahora, imaginemos que el trabajo de Daniel es evaluado por tres colegas - Alicia, Bob y Cindy. Los tres dan sus respuestas individuales a los criterios en orden: | |||
* | * Alicia: sí / sí / no | ||
* Bob: | * Bob: sí / sí / no | ||
* Cindy: no / | * Cindy: no / sí / sí | ||
Como puede observarse, los tres calificaron al 75% la tarea. Pero Alicia y Bob acordaron en sus respuestas individuales, también, mientras las respuestas de evaluación de Cindy son diferentes. El método de evaluación por comparación con la mejor evaluación (''Comparison with the best assessment'') procura imaginar, cómo aparecería una hipotética evaluación absolutamente justa. En el documento de Desarrollo de Especificaciones del Taller 2.0 ([https://docs.moodle.org/dev/Workshop_2.0_specification Development:Workshop 2.0 specification]), David lo refiere como la posible calificación de Zeus ("how would Zeus assess this submission?") y estimamos sería algo como esto (no tenemos otro modo): | |||
* Zeus 66% | * Zeus 66% sí / 100% sí / 33% sí | ||
Entonces intentamos averiguar aquellas evaluaciones que están más cerca a esta teóricamente objetiva. Notamos que las de Alicia y Bob son las mejores y les asignamos calificación del 100% para evaluarlos. Entonces, calculamos cuán lejos queda la evaluación de Cindy de la mejor. Como podemos observar, la respuesta de Cindy concuerda solo en un criterio con la mejor por lo que la calificación de la evaluación de Cindy no será demasiado alta. | |||
La misma lógica se aplica para otras estrategias de calificación, adecuadamente. La conclusión es que la calificación dada por la mejor revisión no necesariamente será la más próxima al promedio dado que la evaluación se compara a los niveles de respuestas individuales, no de las calificaciones finales. | |||
==Grupos y Taller== | ==Grupos y Taller== | ||
Cuando el Taller se propone en en un curso con [[Grupos]] y [[Agrupamientos]] visibles o separados, es posible filtrar por grupo en un menú desplegable en la fase de Evaluación, la página de asignación manual, reporte de calificaciones y otras más. | |||
[[File:workshopdropdown.png |thumb|none|upright=2.0|alt="Group filtering" | Menú desplegable de filtrado por Grupo]] | [[File:workshopdropdown.png |thumb|none|upright=2.0|alt="Group filtering" | Menú desplegable de filtrado por Grupo]] | ||
Revisión actual - 15:23 10 ago 2021
Fases del taller
El flujo del trabajo para el módulo de Taller puede considerarse compuesto de cinco fases. La actividad típica de Taller puede desarrollarse a lo largo de varios días e incluso semanas. El docente puede modificar la actividad de una fase a otra.
El taller típico sigue una recorrido lineal desde la Configuración a, Envío, Valoración, Calificación/Evaluación, y finalizar con la condición de Cerrado. Sin embargo, también es posible una ruta de avances recursivos.
El progreso de la actividad es visualizado a través de la herramienta de planeamiento del Taller. Muestra todas sus fases y resalta la fase actual. También lista todos los trabajos de cada usuario en la fase actual, con la información acerca de si el trabajo está terminado o no e incluso, reprobado/fallido.
Fase de configuración
En esta fase inicial, sólo intervienen los facilitadores del curso, cambiando las configuraciones del Taller, modificandi la estrategia para calificar o ajustando los formatos (formularios) de evaluación. Los destinatarios no pueden participar del taller en esta fase: ni siquiera pueden modificar sus envíos o sus evaluaciones. Los facilitadores pueden pasar a esta fase en cualquier momento si es que necesitan cambiar las configuraciones del Taller y evitar que los usuarios modifiquen sus trabajos.
Fase de envío
En la fase de envío, los participantes del Taller envían su trabajo. Las fechas para control del acceso pueden configurarse de forma tal que aun y cuando el taller estuviera en esta fase, el envío está restringido a solamente al marco de tiempo dado. La fecha (y hora) de inicio del envío, la fecha ( y hora) de fin, o ambas, pueden especificarse.
¡Nueva característica
en Moodle 3.0!
El reporte de envíos del taller le permite a los profesores ver quienes han enviado y quienes no han enviado su trabajo, y filtrar por envío y por última modificación:
¡Nueva característica
en Moodle 3.1!
Un estudiante puede eliminar sus envíos propios siempre y cuando el estudiante pueda editarlos y que aun no hayan sido evaluados. Un profesor puede eliminar cualquier envío en cualquier momento; sin embargo, si ya hubiera sido evaluado, al profesor se le advertirá que también se eliminará la evaluación y que pueden afectarse las calificaciones de los evaluadores.
Fase de evaluación
Si el Taller usa la característica de evaluación por pares, esta es la fase cuando los participantes del Taller evalúan los envíos que les fueron asignados para revisar. Igual que en la fase de envío, el acceso puede ser controlado por la fecha y hora especificadas en 'desde cuando' y en 'hasta cuando' está permitida la evaluación.
Fase de evaluación de la calificación
El trabajo principal durante esta fase es calcular las calificaciones finales para los envíos y para las evaluaciones y proporcionar retroalimentación para autores y revisores. Los participantes del Taller ya no pueden modificar más sus envíos o sus evaluaciones en esta fase. Los facilitadores del curso pueden anular manualmente las calificaciones calculadas. También, los envíos seleccionados pueden ser configurados como publicados, de forma tal que estén disponibles para todos los participantes del Taller en la siguiente fase. Vea Taller FAQ para las instrucciones sobre como publicar los envíos.
Cerrado
Siempre que el taller sea cambiado hacia esta fase, las calificaciones finales que fueron calculadas en la fase anterior son empujadas al interior del Libro de calificaciones del curso. Esto resultará en que aparezcan las calificaciones del Taller dentro del Libro de calificaciones y dentro del Taller (nuevo a partir de Moodle 2.4 en adelante). Los participantes pueden ver sus envíos, las evaluaciones de sus envíos y eventualmente cualquier otro envío publicado en esta fase.
Calificación del taller
Las calificaciones para una actividad de Taller se obtienen gradualmente en diferentes etapas y después son finalizadas. El esquema siguiente ilustra el proceso y también proporciona la información sobre en cuales tablas de la base de datos están almacenadas.
Los participantes obtienen dos calificaciones que son calculadas durante la fase de Calificación de la Evaluación. el profesor puede editar estas calificaciones mientras todavía están en esta fase. No se irán al interior del Libro de calificaciones hasta después de que el taller sea cerrado en la fase final. Tenga en cuenta que es posible moverse entre las fases y aun y cuando el Taller estuviera cerrado, las calificaciones se pueden cambiar directamente adentro del Libro de calificaciones si fuera necesario
La tabla inferior explica como se visualizan las calificaciones:
| Valor | Significado |
|---|---|
| - (-) < Alicia | Hay una valoración asignada por hacer por Alicia, pero no ha sido valorada ni evaluada todavía |
| 68 (-) < Alicia | Alicia valoró el envío, dando la calificación por envío de 68. La calificación por evaluación (calificación por calificar) aun no ha sido evaluada. |
| 23 (-) > Bob | El envío de Bob fue evaluado por un par, recibiendo una calificación por el envío de 23. La calificación para esta evaluación aun no ha sido evaluada. |
| 76 (12) < Cindy | Cindy evaluó el envío, otorgando la calificación de 76. La calificación por esta evaluación ha sido evaluada con 12. |
| 67 (8) @ 4 < David | David evaluó el envío, otorgando la calificación por envío de 67, recibiendo la calificación por esta evaluación de 8. Su evaluación tiene ponderación de 4 |
| 80 ( |
El envío de Eva fue evaluado por un par. El envío de Eva recibió 80 y la calificación por esta evaluación fue calculada en 20. El profesor ha anulado la calificación por calificar a 17, probablemente junto con una explicación para el revisor. |
Calificación por envío
La calificación final para cada tarea enviada se calcula según la media ponderada de las de evaluaciones particulares dadas por todos los revisores de lo recibido. El valor se redondea al número de (lugares) decimales establecido en la configuración del Taller.
El docente del curso pueden influir de dos maneras en la calificación:
- al proporcionar su propia evaluación, generalmente con una ponderación mayor que el peso de las de los pares evaluadores
- al llevar la calificación a un valor dado
Calificación por evaluación
La calificación por evaluación intenta estimar la calidad de las evaluaciones que el participante le asigna a los pares. Esta calificación (también conocida como "calificando la calificación") la calcula la Inteligencia Artificial oculta dentro del módulo de Taller que procura realizar la típica tarea docente. Durante la fase de calificación de la evaluación, se usa un sub-plugin del Taller para calcular calificaciones por evaluación. Actualmente, solo está disponible un sub-plugin estándar llamado Comparación con la mejor evaluación Comparison with the best assessment (pueden encontrarse otros suplementos de evaluación en el directorio de aplicaciones de Moodle [https://moodle.org/plugins/browse.php?list=category&id=17 Moodle). El siguiente texto describe el método usado por este sub-plugin.
Las calificaciones por evaluación aparecen entre paréntesis () en el Reporte de calificaciones del Taller. La calificación final por evaluación se calcula como el promedio de calificaciones evaluadas por particulares.
No existe una fórmula única para describir el cálculo. Sin embargo, el proceso es determinístico. El Taller elige a una de las evaluaciones como la mejor - la más cercana a la media de todas las evaluaciones - y le otorga una calificación del 100%. Entonces mide la 'distancia' de todas las demás evaluaciones a esta mejor evaluación y les otorga calificaciones más baja, cuanto más distantes estén de la mejor (dado que la mejor representa un consenso de la mayoría de los evaluadores). El parámetro del cálculo es cuán estricto deberíamos ser, lo que implica cuán rápidamente caerán las calificaciones si difieren de la mejor.
Si hubiera solo dos evaluaciones por envío, el Taller no puede decidir cual de ellas es 'correcta'. Imaginemos que se tienen dos revisores - Alicia y Bob. Ambos evalúan el envío de Cindy. Alicia dice que es deplorable y Bob, que es excelente. No hay forma de decidir quien está en lo correcto. Por eso, el Taller simplemente dice - bueno, ambos tiene razón y les voy a dar a ambos dos calificación del 100% para esta evaluación. Para evitar que ocurra esto, se cuenta con dos opciones:
- proporcionar una evaluación adicional para que su número sea impar y el taller pueda elegir al mejor. Típicamente el docente proporciona su propia evaluación para juzgar el envío
- O se puede decidir un grado de confianza dispar, mayor para uno de los revisores. Por ejemplo, si se sabe que Alicia es mucho mejor evaluadora que Bob, se le puede aumentar la ponderación a la evaluación de Alicia, digamos que a "2" (en lugar del ajuste por defecto de "1"). A los propósitos del cálculo, la evaluación de Alicia será considerada como si hubiera dos revisores que tienen exactamente la misma opinión y por lo tanto es más probable que sean elegidos como el mejor.
Nota de Retro-compatibilidad
En la versión de Taller 1.x el caso de dos evaluadores con la misma ponderación no es manejado apropiadamente y conduce a resultados erróneos ya que solo uno de ellos es afortunado de obtener 100% y el segundo obtiene una calificación más baja.
No son las calificaciones finales las que se comparan
Nota: Pendiente de Traducir. ¡Anímese a traducir esta página!. ( y otras páginas pendientes)
Es muy importante saber que el plugin de la calificación de evaluación de comparación con la mejor (Comparison with the best assessment) no compara las calificaciones finales. Respecto de la estrategia de calificación implementada, cada formulario de calificación completado se puede considerar como un vector n-dimensional de valores normalizados. Por lo tanto, el subplugin compara respuestas de todas las dimensiones de los formularios de las evaluaciones (criterios, aserciones, ...). Entonce, calcula la distancia de dos evaluaciones apelando a las varianzas estadísticas.
Para demostrarlo con un ejemplo, digamos que se empleara la estrategia de calificación Número de errores para los ensayos de investigación evaluados por los pares. esta estrategia apela a una simple lista de cotejo y cada evaluador simplemente tilda cada ítem como verificado o no. Digamos que se define el formulario de evaluación según tres criterios:
- ¿Se establece claramente el propósito de la investigación? (si/no)
- ¿Se describe la metodología de la investigación? (si/no)
- ¿Las referencias se citan apropiadamente? (si/no)
Digamos que una tarea alcanza el 100% de calificación si se cumplen todos los criterios (se responde por "sí" cada rubro), 75% si solo dos de los criterios se respetan, 25% si se cumple solo uno y 0% si en la revisión se responde por 'no' en los tres casos..
Ahora, imaginemos que el trabajo de Daniel es evaluado por tres colegas - Alicia, Bob y Cindy. Los tres dan sus respuestas individuales a los criterios en orden:
- Alicia: sí / sí / no
- Bob: sí / sí / no
- Cindy: no / sí / sí
Como puede observarse, los tres calificaron al 75% la tarea. Pero Alicia y Bob acordaron en sus respuestas individuales, también, mientras las respuestas de evaluación de Cindy son diferentes. El método de evaluación por comparación con la mejor evaluación (Comparison with the best assessment) procura imaginar, cómo aparecería una hipotética evaluación absolutamente justa. En el documento de Desarrollo de Especificaciones del Taller 2.0 (Development:Workshop 2.0 specification), David lo refiere como la posible calificación de Zeus ("how would Zeus assess this submission?") y estimamos sería algo como esto (no tenemos otro modo):
- Zeus 66% sí / 100% sí / 33% sí
Entonces intentamos averiguar aquellas evaluaciones que están más cerca a esta teóricamente objetiva. Notamos que las de Alicia y Bob son las mejores y les asignamos calificación del 100% para evaluarlos. Entonces, calculamos cuán lejos queda la evaluación de Cindy de la mejor. Como podemos observar, la respuesta de Cindy concuerda solo en un criterio con la mejor por lo que la calificación de la evaluación de Cindy no será demasiado alta.
La misma lógica se aplica para otras estrategias de calificación, adecuadamente. La conclusión es que la calificación dada por la mejor revisión no necesariamente será la más próxima al promedio dado que la evaluación se compara a los niveles de respuestas individuales, no de las calificaciones finales.
Grupos y Taller
Cuando el Taller se propone en en un curso con Grupos y Agrupamientos visibles o separados, es posible filtrar por grupo en un menú desplegable en la fase de Evaluación, la página de asignación manual, reporte de calificaciones y otras más.
Vea también
- Research paper Moodle Workshop activities support peer review in Year 1 Science: present and future by Julian M Cox, John Paul Posada and Russell Waldron
- Using Moodle Workshop module forum
- Using Moodle forum discussion [1] where David explains a particular Workshop results
- Moodle Workshop 2.0 - a (simplified) explanation presentation by Mark Drechsler
- Development:Workshop for more information on the module infrastructure and ways how to extend provided functionality by developing own Workshop subplugins
- A Brief Journey into the Moodle 2.0 Workshop at moodlefairy's posterous
