Utilizzare il Workshop: differenze tra le versioni

Da MoodleDocs.
(Creata pagina con "{{Attività Workshop}} ==Workshop phases== The work flow for the Workshop module can be viewed as having five phases. The typical workshop activity can cover days or even we...")
 
m (Sostituzione testo - "class="nicetable"" con "class="wikitable"")
 
(41 versioni intermedie di un altro utente non mostrate)
Riga 1: Riga 1:
{{Attività Workshop}}
{{Attività Workshop}}
==Workshop phases==


The work flow for the Workshop module can be viewed as having five phases. The typical workshop activity can cover days or even weeks. The teacher switches the activity from one phase to another.
==Fasi del Workshop==
Il flusso lavorativo per il Workshop può essere considerato come composto da cinque fasi. Una tipica attività di workshop può coprire giorni o perfino settimane. Il Docente fa passare l’attività da una fase all’altra.  


The typical workshop follows a straight path from Setup to, Submission, Assessment, Grading/Evaluation, and ending with the Closed phase. However, an advanced recursive path is also possible.
Solitamente, il workshop segue un percorso ordinato dall'[[#Fase di allestimento|Allestimento]] verso la [[#Fase di consegna|Consegna]], la [[#Fase di valutazione|Valutazione]], il [[#Fase di calcolo dei voti|Calcolo dei voti]] fino alla [[#Fine|chiusura]] del workshop. Tuttavia, è anche possibile adottare un percorso ricorsivo avanzato.  


The progress of the activity is visualized in so called Workshop planner tool. It displays all Workshop phases and highlights the current one. It also lists all the tasks the user has in the current phase with the information of whether the task is finished or not yet finished or even failed.
Il progresso dell’attività è visualizzato nel cosiddetto planner del workshop, che ne mostra tutte le fasi ed evidenzia quella attuale. Elenca anche tutti gli incarichi che l’utente ha nella fase attuale insieme alle informazioni per capire se l’incarico è terminato o meno o anche se ha fallito nell’obiettivo.


===Fase di allestimento===
In questa fase iniziale, i partecipanti al workshop non possono fare nulla (non possono modificare né le consegne né le valutazioni). I facilitatori del corso utilizzano questa fase per modificare le impostazioni del workshop e per modificare il criterio con cui assegnare il voto nelle schede di valutazione modificate. È possibile passare a questa fase in qualsiasi momento in cui si debbano cambiare le impostazioni del workshop e impedire agli utenti di modificare il loro lavoro.


===Setup phase===
===Fase di consegna===
Nella fase di consegna, i partecipanti al workshop consegnano il proprio lavoro. Le date per il controllo degli accessi possono essere impostate in modo che, anche se il workshop si trova in questa fase, la consegna sia limitata solo al periodo indicato. La data (e l’ora) di inizio consegna, la data (e l’ora) di fine consegna o entrambe possono essere specificate.


In this initial phase, Workshop participants cannot do anything (neither modify their submissions nor their assessments). Course facilitators use this phase to change workshop settings, modify the grading strategy of tweak assessment forms. You can switch to this phase any time you need to change the Workshop setting and prevent users from modifying their work.
Il report delle consegne del workshop permette ai Docenti di vedere chi ha consegnato, chi ancora non l’ha fatto e di utilizzare i filtri ''Consegna'' e ''Ultima modifica'':


===Submission phase===
[[File:UtilizzareWorkshopConsegna.png|thumb|center|Elenco delle consegne]]


In the submission phase, Workshop participants submit their work. Access control dates can be set so that even if the Workshop is in this phase, submitting is restricted to the given time frame only. Submission start date (and time), submission end date (and time) or both can be specified.
Lo Studente può eliminare la propria consegna a patto che sia ancora possibile modificarla e che non sia già stata valutata. Il Docente può eliminare qualsiasi consegna in qualsiasi momento, tuttavia, se è già stata valutata, apparirà un avviso indicante che anche le valutazioni saranno eliminate e i voti dei revisori ne potrebbero risentire.


The workshop submissions report allows teachers to see who has submitted and who has not, and to filter by submission and last modified:
===Fase di valutazione===
Se il workshop usufruisce della funzione di valutazione tra pari, questa fase è quella in cui i partecipanti valutano le consegne che sono state distribuite loro per la revisione. Come nella fase di consegna, è possibile controllare gli accessi tramite una data e un’ora di inizio e fine, entro cui la valutazione è consentita.


[[File:workshopsubmisisonsreport.png|thumb|604px|center]]
===Fase di calcolo dei voti===
L’obiettivo principale in questa fase è calcolare i voti finali per le consegne e per le valutazioni, oltre a fornire un feedback per gli autori e i revisori. I partecipanti al workshop non possono più modificare le proprie consegne o le valutazioni in questa fase. I facilitatori del corso possono sovrascrivere manualmente i voti calcolati. Inoltre, è possibile selezionare delle consegne ed impostarle come pubblicate, in modo da renderle disponibili a tutti i partecipanti nella fase successiva. Consultare [[FAQ Workshop]] per le istruzioni su come pubblicare le consegne.


A student is able to delete their own submission as long as they can still edit it and it has not been assessed. A teacher can delete any submission at any time, however if it has been assessed, they will be warned that the assessments will also be deleted and reviewers' grades may be affected.
===Fine===
[[File:UtilizzareWorkshopFine.png|thumb|center|Fine di un workshop]]


===Assessment phase===
Ogni volta che si passa a questa fase, i voti finali calcolati nella fase precedente sono inseriti nel [[Registro valutatore]] del corso. Di conseguenza, i voti appariranno sia nel Registro valutatore che nel workshop. I partecipanti possono visualizzare le proprie consegne, le proprie valutazioni delle consegne e altre consegne pubblicate in questa fase.


If the Workshop uses peer assessment feature, this is the phase when Workshop participants assess the submissions allocated to them for the review. As in the submission phase, access can be controlled by specified date and time since when and/or until when the assessment is allowed.
==Valutazione del workshop==


===Grading evaluation phase===
I voti per un workshop sono ottenuti gradualmente attraverso varie fasi, per poi essere ultimati. Il seguente schema ne illustra il processo (con informazioni sui valori dei voti immagazzinati nel database).


The major task during this phase is to calculate the final grades for submissions and for assessments and provide feedback for authors and reviewers. Workshop participants cannot modify their submissions or their assessments in this phase any more. Course facilitators can manually override the calculated grades. Also, selected submissions can be set as published so they become available to all Workshop participants in the next phase. See [[Workshop FAQ]] for instructions on how to publish submissions.
[[Image:workshop_grades_calculation.png|thumb|left|Schema del calcolo dei voti nel workshop]]
 
===Closed===
 
[[File:workshop final grades.png|thumb|center|500px|A closed workshop]]
 
Whenever the Workshop is being switched into this phase, the final grades calculated in the previous phase are pushed into the course [[Gradebook]].This will result in the Workshop grades appearing in the Gradebook and in the workshop. Participants may view their submissions, their submission assessments and eventually other published submissions in this phase.
 
==Workshop grading==
 
The grades for a Workshop activity are obtained gradually over several stages and are then finalised. The following scheme illustrates the process (with information about grade values stored in the database).
 
[[Image:workshop_grades_calculation.png|400px|thumb|left|The scheme of grades calculation in Workshop]]
<br clear="all"/>
<br clear="all"/>


Participants get two grades which are calculated during the Grading evaluation phase. The teacher can edit these grades while still in this phase. They will not go to the gradebook until the workshop is closed in the final phase. Note that it is possible to move between phases and even when the workshop is closed, grades could be changed directly in the gradebook  if necessary.
I partecipanti ottengono due voti che vengono calcolati durante la [[#Fase di calcolo dei voti|Fase di calcolo dei voti]]. Il Docente può modificare questi voti finché si trova in questa fase. I voti non andranno nel registro valutatore fino a quando il workshop non sarà concluso. Si noti che è possibile spostarsi tra le fasi e, anche dopo la chiusura del workshop, i voti potranno essere modificati direttamente nel registro valutatore, se necessario.


The table below explains how the grades display:
La tabella di seguito spiega come sono mostrati i voti:


{| class="nicetable"
{| class="wikitable"
|-
|-
! Value
! Valore
! Meaning
! Significato
|-
|-
| - (-) < Alice
| - (-) < Alice
| There is an assessment allocated to be done by Alice, but it has been neither assessed nor evaluated yet
| C’è una valutazione distribuita ad Alice, ma non è stata ancora valutata né è stato fatto il calcolo dei voti.
|-
|-
| 68 (-) < Alice
| 68 (-) < Alice
| Alice assessed the submission, giving the grade for submission 68. The grade for assessment (grading grade) has not been evaluated yet.
|Alice ha valutato la consegna, dando 68 come voto per la consegna. Il voto per la valutazione non è stato ancora calcolato.
|-
|-
| 23 (-) > Bob
| 23 (-) > Bob
| Bob's submission was assessed by a peer, receiving the grade for submission 23. The grade for this assessment has not been evaluated yet.
| La consegna di Bob è stata valutata da un suo pari, ricevendo 23 come voto per la consegna. Il voto per questa valutazione non è stato ancora calcolato.
|-
|-
| 76 (12) < Cindy
| 76 (12) < Cindy
| Cindy assessed the submission, giving the grade 76. The grade for this assessment has been evaluated 12.
| Cindy ha valutato la consegna, dando 76 come voto. Il voto calcolato per questa valutazione è 12.
|-
|-
| 67 (8) @ 4 < David
| 67 (8) @ 4 < David
| David assessed the submission, giving the grade for submission 67, receiving the grade for this assessment 8. His assessment has weight 4
| David ha valutato la consegna, dando 67 come voto per la consegna e ricevendo 8 come voto per la valutazione. La sua valutazione ha come peso 4.
|-
|-
| 80 (<del>20</del> / <ins>17</ins>) > Eve
| 80 (<del>20</del> / <ins>17</ins>) > Eve
| Eve's submission was assessed by a peer. Eve's submission received 80 and the grade for this assessment was calculated to 20. Teacher has overridden the grading grade to 17, probably with an explanation for the reviewer.
| La consegna di Eve è stata valutata da un suo pari. La consegna di Eve ha ricevuto 80 e il voto per questa valutazione era stato calcolato su 20. Il Docente ha sovrascritto il voto con un 17, probabilmente includendo una spiegazione per il revisore.
|}
|}


=== Grade for submission ===
=== Voto per la consegna ===
 
Il voto finale per ogni consegna è calcolato come media ponderata dei singoli voti per la valutazione dati da tutti i revisori della consegna in questione. Il valore è arrotondato alle cifre decimali stabilite nella scheda delle Impostazioni del workshop. Il Docente può influenzare il voto in due modi:  
The final grade for every submission is calculated as weighted mean of particular assessment grades given by all reviewers of this submission. The value is rounded to a number of decimal places set in the Workshop settings form. The teacher can influence the grade in two ways:


* by providing their own assessment, possibly with a higher weight than usual peer reviewers have
*Fornendo la propria valutazione, possibilmente con un peso maggiore di quello che solitamente hanno le revisioni dei pari.
* by overriding the grade to a fixed value
*Sovrascrivendo il voto con un valore fisso.


=== Grade for assessment ===
=== Voto per la valutazione ===
Il voto per la valutazione cerca di stimare la qualità delle valutazioni che il partecipante ha inserito. Questo voto (conosciuto anche come ''voto della valutazione'') è calcolato attraverso l’intelligenza artificiale che opera all’interno del modulo di workshop, cercando di imitare il tipico lavoro di un Docente.


The grade for assessment tries to estimate the quality of assessments that the participant gave to the peers. This grade (also known as ''grading grade'') is calculated by the artificial intelligence hidden within the Workshop module as it tries to do a typical teacher's job.
Durante la fase di calcolo dei voti, viene utilizzato un sub-plugin del workshop per calcolare i voti per la valutazione. Attualmente è disponibile un solo sub-plugin standard, chiamato ''Confronto con la valutazione migliore'' (è possibile trovare altri plugin per il calcolo dei voti nella {{en}} [https://moodle.org/plugins/browse.php?list=category&id=17 directory dei plugin] di Moodle). Il seguente testo descrive il metodo usato dal sub-plugin.


During the grading evaluation phase, a Workshop subplugin is used to calculate the grades for assessment. Currently there is only one standard subplugin available called ''Comparison with the best assessment'' (other grading evaluation plugins can be found in the [https://moodle.org/plugins/browse.php?list=category&id=17 Moodle plugins directory]). The following text describes the method used by this subplugin.
I voti per valutazione sono mostrati all’interno di parentesi ( ) nel report dei voti del workshop. Il voto finale per la valutazione è calcolato sulla media di particolari voti per la valutazione.


Grades for assessment are displayed in the brackets () in the Workshop grades report. The final grade for assessment is calculated as the average of particular grading grades.
Non c’è un’unica formula che descriva il calcolo, tuttavia il processo è deterministico. Il workshop seleziona una delle valutazioni come la ''migliore'' - quella che si avvicina maggiormente alla media di tutte le valutazioni - dandole come voto il 100%. Poi, misura la ''distanza'' di tutte le altre valutazioni dalla migliore e assegna loro voti più bassi a seconda di quanto differiscono dalla valutazione migliore (dato che la migliore rappresenta il consenso della maggioranza dei valutatori). Il parametro del calcolo si basa sul criterio di precisione, cioè quanto velocemente debbano calare i voti se differiscono dalla valutazione migliore.


There is not a single formula to describe the calculation. However the process is deterministic. The workshop picks one of the assessments as the ''best'' one - that is closest to the mean of all assessments - and gives it a grade of 100%. Then it measures the 'distance' of all other assessments from this best one and gives them lower grades depending on how different they are from the best assessment (given that the best one represents a consensus of the majority of assessors). The parameter of the calculation is how strict we should be, that is how quickly the grades fall down if they differ from the best one.
Se ci sono solo due valutazioni per consegna, il workshop non può decidere quale delle due sia “corretta”. Si immagini la situazione in cui ci sono due revisori, Alice e Bob. Entrambi valutano la consegna di Cindy. Alice ritiene che sia pessima, Bob dice che è perfetta. Non c’è modo per decidere chi abbia ragione. Quindi, il workshop farà questo semplice ragionamento - OK, avete entrambi ragione e do a tutti e due un voto del 100% per questa valutazione. Per evitare ciò, si hanno due opzioni:


If there are just two assessments per submission, the workshop cannot decide which of them is 'correct'. Imagine you have two reviewers - Alice and Bob. They both assess Cindy's submission. Alice says it is  rubbish and Bob says it is excellent. There is no way of deciding who is right. So the workshop simply says - OK, you are both right and I will give you both a grade of 100% for this assessment. To prevent this, you have two options:
*Si può fornire una valutazione aggiuntiva cosicché il numero dei valutatori (revisori) sia dispari e il workshop sia in grado di scegliere la migliore. Normalmente, il Docente interviene e fornisce la propria valutazione della consegna affinché venga giudicata.
*Si può decidere di dare più fiducia a uno dei revisori. Per esempio, è risaputo che Alice è molto più brava di Bob nella valutazione. In questo caso, si può aumentare il peso della valutazione di Alice, ad esempio a '2' (invece che '1' di default). Ai fini del calcolo, la valutazione di Alice sarà considerata come se ci fossero due revisori che hanno la stessa identica opinione e quindi sarà probabilmente scelta come la migliore.


* Either you have to provide an additional assessment so the number of assessors (reviewers) is odd and workshop will be able to pick the best one. Typically, the teacher comes and provide their own assessment of the submission to judge it
{{Nota|I voti finali non sono confrontati.}}È molto importante sapere che il sub-plugin di calcolo dei voti ''Confronto con la valutazione migliore'' non confronta i voti finali. Indipendentemente dal criterio di valutazione usato, ogni scheda di valutazione riempita può essere vista come un vettore n-dimensionale di valori normalizzati. Così il sub-plugin confronta le risposte di tutti gli aspetti della scheda di valutazione (criteri, asserzioni,...). Poi, calcola la distanza tra due valutazioni, utilizzando le statistiche di variazione.  
* Or you may decide that you trust one of the reviewers more. For example you know that Alice is much better in assessing than Bob is. In that case, you can increase the weight of Alice's assessment, let us say to "2" (instead of default "1"). For the purposes of calculation, Alice's assessment will be considered as if there were two reviewers having the exactly same opinion and therefore it is likely to be picked as the best one.


'''It's not final grades that are compared'''
Per dimostrare ciò con un esempio, utilizziamo la strategia ''Numero di errori'' con valutazioni tra pari di saggi di ricerca. Questo criterio adopera un semplice elenco di asserzioni e il revisore (valutatore) controlla soltanto se l’asserzione sia soddisfacente o meno. Si può dire, quindi, che la scheda di valutazione è definita utilizzando tre criteri:


It is very important to know that the grading evaluation subplugin ''Comparison with the best assessment'' does not compare the final grades. Regardless of the grading strategy used, every filled assessment form can be seen as an n-dimensional vector of normalized values. So the subplugin compares responses to all assessment form dimensions (criteria, assertions, ...). Then it calculates the distance of two assessments, using the variance statistics.
#L’autore stabilisce l’obiettivo di ricerca in modo chiaro? (sì/no)
#Viene descritta la metodologia di ricerca? (sì/no)
#Le fonti sono citate in modo appropriato? (sì/no)


To demonstrate this with an example, let us say you use the grading strategy Number of errors to peer-assess research essays. This strategy uses a simple list of assertions and the reviewer (assessor) just checks if the given assertion is passed or failed. Let us say you define the assessment form using three criteria:
Si supponga che l’autore ottenga il voto del 100% se soddisfa tutti i criteri (il che corrisponde alla risposta ''sì''del valutatore), il 75% se ne soddisfa due, il 25% se ne soddisfa solo uno e lo 0% se il revisore risponde “no” a tutte e tre le domande.


# Does the author state the goal of the research clearly? (yes/no)
Ora, si immagini che il lavoro di Daniel venga valutato da tre colleghi - Alice, Bob e Cindy. Tutti danno risposte individuali ai criteri nell’ordine:
# Is the research methodology described? (yes/no)
# Are references properly cited? (yes/no)


Let us say the author gets 100% grade if all criteria are passed (that is answered "yes" by the assessor), 75% if only two criteria are passed, 25% if only one criterion is passed and 0% if the reviewer gives 'no' for all three statements.
*Alice: sì / sì / no
*Bob: sì / sì / no
*Cindy: no / sì / sì


Now imagine the work by Daniel is assessed by three colleagues - Alice, Bob and Cindy. They all give individual responses to the criteria in order:
Come si può vedere, tutti hanno assegnato il 75% alla valutazione. Però, Alice e Bob sono d’accordo anche nelle risposte individuali, mentre le risposte nella valutazione di Cindy sono diverse. Il metodo valutativo ''Confronto con la valutazione migliore'' si basa sull’idea di un’ipotetica valutazione che sia quanto più possibile corretta e obiettiva. Nelle {{en}} [[dev:Workshop 2.0 specification|specifiche di sviluppo del Workshop 2.0]], David la paragona a questa domanda ''Come valuterebbe Zeus questa consegna?'' e ci si immagina che possa essere qualcosa di simile a questo (non c’è altro modo):


* Alice: yes / yes / no
* Zeus 66% sì / 100% sì / 33% sì
* Bob: yes / yes / no
* Cindy: no / yes / yes


As you can see, they all gave 75% grade to the submission. But Alice and Bob agree in individual responses, too, while the responses in Cindy's assessment are different. The evaluation method ''Comparison with the best assessment'' tries to imagine, how a hypothetical absolutely fair assessment would look like. In the [[Development:Workshop 2.0 specification]], David refers to it as "how would Zeus assess this submission?" and we estimate it would be something like this (we have no other way):
Poi si cerca di individuare quelle valutazioni che si avvicinano di più a questa, che teoricamente è obiettiva. Si capisce che quelle di Alice e Bob sono le migliori e si assegna il 100% di voto alle loro valutazioni. Si calcola, quindi, quanto la valutazione di Cindy si allontani dalla migliore. Come si può vedere, la risposta di Cindy corrisponde alla migliore solo in un criterio su tre, di conseguenza, il voto di Cindy per la valutazione non sarà molto alto.


* Zeus 66% yes / 100% yes / 33% yes
La stessa logica si applica a tutti gli altri criteri di valutazione, in maniera adeguata. La conclusione è che il voto dato dal valutatore non necessita di essere quello più vicino alla media, perché le valutazioni sono confrontate sulla base delle risposte individuali, non dei voti finali.


Then we try to find those assessments that are closest to this theoretically objective assessment. We realize that Alice and Bob are the best ones and give 100% grade for assessment to them. Then we calculate how much far Cindy's assessment is from the best one. As you can see, Cindy's response matches the best one in only one criterion of the three so Cindy's grade for assessment will not be as high.
==Gruppi e workshop==
Quando un'attività workshop viene inserita in un corso che utilizza gruppi separati o visibili e raggruppamenti, è possibile applicare un filtro per i gruppi all’interno di un menù a tendina nella pagina di distribuzione manuale della [[#Fase di consegna|Fase di consegna]], nel report dei voti e così via.


The same logic applies to all other grading strategies, adequately. The conclusion is that the grade given by the best assessor does not need to be the one closest to the average as the assessments are compared at the level of individual responses, and not the final grades.
[[File:UtilizzareWorkshopGruppi.png|thumb|none|upright=2.0|alt="Group filtering" | Menù a tendina con il filtro per i gruppi]]


==Groups and Workshop==
==Per saperne di più==
When a workshop is used in a course using separate or visible groups and groupings, it is possible to filter by group in a drop-down menu at the Assessment phase, manual allocation page, grades report and so on.  
*[https://school.demo.moodle.net/mod/workshop/view.php?id=651 Esempio di workshop]: effettuare il login inserendo ''teacher'' come username e ''moodle'' come password e consultare la valutazione e le fasi di un workshop completato sul sito [https://school.moodledemo.net/ Moodle School demo].


[[File:workshopdropdown.png |thumb|none|upright=2.0|alt="Group filtering" | Group filtering drop down]]
* Documento di ricerca {{en}} [https://www.ascilite.org.au/conferences/wellington12/2012/images/custom/cox,_julian_moodle.pdf Moodle Workshop activities support peer review in Year 1 Science: present and future] di Julian M Cox, John Paul Posada e Russell Waldron.
* Discussione {{en}} [https://moodle.org/mod/forum/view.php?id=740 Workshop] sul forum.
* Discussione {{en}} [https://moodle.org/mod/forum/discuss.php?d=153268 How the heck did you work that out?] in cui David spiega i risultati di un particolare Workshop.
* Presentazione {{en}} [https://www.slideshare.net/mark.drechsler/moodle-workshop-20-a-simplified-explanation Moodle Workshop 2.0 - a (simplified) explanation] di Mark Drechsler.
* {{en}} [[dev:Workshop|Workshop]] per maggiori informazioni sulla struttura del modulo e modi con cui estendere la funzionalità fornita attraverso lo sviluppo di sub-plugin personali per il Workshop.
* Articolo {{en}} [http://www.moodleblog.net/2010/02/15/a-brief-journey-into-the-moodle-2-0-workshop/ A Brief Journey into the Moodle 2.0 Workshop] sul blog ''Moodlefairy's''.


==See also==
*[http://school.demo.moodle.net/mod/workshop/view.php?id=651 Example workshop with data] Log in with username ''teacher''/password ''moodle'' and explore the grading and phases of a completed workshop on the Moodle School demo site.


* [http://www.ascilite.org.au/conferences/wellington12/2012/images/custom/cox,_julian_moodle.pdf Research paper] ''Moodle Workshop activities support peer review in Year 1 Science: present and future'' by Julian M Cox, John Paul Posada and Russell Waldron
* Using Moodle [http://moodle.org/mod/forum/view.php?id=740 Workshop module forum]
* Using Moodle forum discussion [http://moodle.org/mod/forum/discuss.php?d=153268] where David explains a particular Workshop results
* [http://www.slideshare.net/mark.drechsler/moodle-workshop-20-a-simplified-explanation Moodle Workshop 2.0 - a (simplified) explanation] presentation by Mark Drechsler
* [[Development:Workshop]] for more information on the module infrastructure and ways how to extend provided functionality by developing own Workshop subplugins
* [http://www.moodleblog.net/2010/02/15/a-brief-journey-into-the-moodle-2-0-workshop/ A Brief Journey into the Moodle 2.0 Workshop] from moodlefairy's blog.
[[de:Gegenseitige Beurteilung nutzen]]
[[de:Gegenseitige Beurteilung nutzen]]
[[en:Using Workshop]]
[[en:Using Workshop]]
[[es:Uso de taller]]
[[es:Uso de taller]]

Versione attuale delle 15:13, 10 ago 2021


Fasi del Workshop

Il flusso lavorativo per il Workshop può essere considerato come composto da cinque fasi. Una tipica attività di workshop può coprire giorni o perfino settimane. Il Docente fa passare l’attività da una fase all’altra.

Solitamente, il workshop segue un percorso ordinato dall'Allestimento verso la Consegna, la Valutazione, il Calcolo dei voti fino alla chiusura del workshop. Tuttavia, è anche possibile adottare un percorso ricorsivo avanzato.

Il progresso dell’attività è visualizzato nel cosiddetto planner del workshop, che ne mostra tutte le fasi ed evidenzia quella attuale. Elenca anche tutti gli incarichi che l’utente ha nella fase attuale insieme alle informazioni per capire se l’incarico è terminato o meno o anche se ha fallito nell’obiettivo.

Fase di allestimento

In questa fase iniziale, i partecipanti al workshop non possono fare nulla (non possono modificare né le consegne né le valutazioni). I facilitatori del corso utilizzano questa fase per modificare le impostazioni del workshop e per modificare il criterio con cui assegnare il voto nelle schede di valutazione modificate. È possibile passare a questa fase in qualsiasi momento in cui si debbano cambiare le impostazioni del workshop e impedire agli utenti di modificare il loro lavoro.

Fase di consegna

Nella fase di consegna, i partecipanti al workshop consegnano il proprio lavoro. Le date per il controllo degli accessi possono essere impostate in modo che, anche se il workshop si trova in questa fase, la consegna sia limitata solo al periodo indicato. La data (e l’ora) di inizio consegna, la data (e l’ora) di fine consegna o entrambe possono essere specificate.

Il report delle consegne del workshop permette ai Docenti di vedere chi ha consegnato, chi ancora non l’ha fatto e di utilizzare i filtri Consegna e Ultima modifica:

Elenco delle consegne

Lo Studente può eliminare la propria consegna a patto che sia ancora possibile modificarla e che non sia già stata valutata. Il Docente può eliminare qualsiasi consegna in qualsiasi momento, tuttavia, se è già stata valutata, apparirà un avviso indicante che anche le valutazioni saranno eliminate e i voti dei revisori ne potrebbero risentire.

Fase di valutazione

Se il workshop usufruisce della funzione di valutazione tra pari, questa fase è quella in cui i partecipanti valutano le consegne che sono state distribuite loro per la revisione. Come nella fase di consegna, è possibile controllare gli accessi tramite una data e un’ora di inizio e fine, entro cui la valutazione è consentita.

Fase di calcolo dei voti

L’obiettivo principale in questa fase è calcolare i voti finali per le consegne e per le valutazioni, oltre a fornire un feedback per gli autori e i revisori. I partecipanti al workshop non possono più modificare le proprie consegne o le valutazioni in questa fase. I facilitatori del corso possono sovrascrivere manualmente i voti calcolati. Inoltre, è possibile selezionare delle consegne ed impostarle come pubblicate, in modo da renderle disponibili a tutti i partecipanti nella fase successiva. Consultare FAQ Workshop per le istruzioni su come pubblicare le consegne.

Fine

Fine di un workshop

Ogni volta che si passa a questa fase, i voti finali calcolati nella fase precedente sono inseriti nel Registro valutatore del corso. Di conseguenza, i voti appariranno sia nel Registro valutatore che nel workshop. I partecipanti possono visualizzare le proprie consegne, le proprie valutazioni delle consegne e altre consegne pubblicate in questa fase.

Valutazione del workshop

I voti per un workshop sono ottenuti gradualmente attraverso varie fasi, per poi essere ultimati. Il seguente schema ne illustra il processo (con informazioni sui valori dei voti immagazzinati nel database).

Schema del calcolo dei voti nel workshop


I partecipanti ottengono due voti che vengono calcolati durante la Fase di calcolo dei voti. Il Docente può modificare questi voti finché si trova in questa fase. I voti non andranno nel registro valutatore fino a quando il workshop non sarà concluso. Si noti che è possibile spostarsi tra le fasi e, anche dopo la chiusura del workshop, i voti potranno essere modificati direttamente nel registro valutatore, se necessario.

La tabella di seguito spiega come sono mostrati i voti:

Valore Significato
- (-) < Alice C’è una valutazione distribuita ad Alice, ma non è stata ancora valutata né è stato fatto il calcolo dei voti.
68 (-) < Alice Alice ha valutato la consegna, dando 68 come voto per la consegna. Il voto per la valutazione non è stato ancora calcolato.
23 (-) > Bob La consegna di Bob è stata valutata da un suo pari, ricevendo 23 come voto per la consegna. Il voto per questa valutazione non è stato ancora calcolato.
76 (12) < Cindy Cindy ha valutato la consegna, dando 76 come voto. Il voto calcolato per questa valutazione è 12.
67 (8) @ 4 < David David ha valutato la consegna, dando 67 come voto per la consegna e ricevendo 8 come voto per la valutazione. La sua valutazione ha come peso 4.
80 (20 / 17) > Eve La consegna di Eve è stata valutata da un suo pari. La consegna di Eve ha ricevuto 80 e il voto per questa valutazione era stato calcolato su 20. Il Docente ha sovrascritto il voto con un 17, probabilmente includendo una spiegazione per il revisore.

Voto per la consegna

Il voto finale per ogni consegna è calcolato come media ponderata dei singoli voti per la valutazione dati da tutti i revisori della consegna in questione. Il valore è arrotondato alle cifre decimali stabilite nella scheda delle Impostazioni del workshop. Il Docente può influenzare il voto in due modi:

  • Fornendo la propria valutazione, possibilmente con un peso maggiore di quello che solitamente hanno le revisioni dei pari.
  • Sovrascrivendo il voto con un valore fisso.

Voto per la valutazione

Il voto per la valutazione cerca di stimare la qualità delle valutazioni che il partecipante ha inserito. Questo voto (conosciuto anche come voto della valutazione) è calcolato attraverso l’intelligenza artificiale che opera all’interno del modulo di workshop, cercando di imitare il tipico lavoro di un Docente.

Durante la fase di calcolo dei voti, viene utilizzato un sub-plugin del workshop per calcolare i voti per la valutazione. Attualmente è disponibile un solo sub-plugin standard, chiamato Confronto con la valutazione migliore (è possibile trovare altri plugin per il calcolo dei voti nella (EN) directory dei plugin di Moodle). Il seguente testo descrive il metodo usato dal sub-plugin.

I voti per valutazione sono mostrati all’interno di parentesi ( ) nel report dei voti del workshop. Il voto finale per la valutazione è calcolato sulla media di particolari voti per la valutazione.

Non c’è un’unica formula che descriva il calcolo, tuttavia il processo è deterministico. Il workshop seleziona una delle valutazioni come la migliore - quella che si avvicina maggiormente alla media di tutte le valutazioni - dandole come voto il 100%. Poi, misura la distanza di tutte le altre valutazioni dalla migliore e assegna loro voti più bassi a seconda di quanto differiscono dalla valutazione migliore (dato che la migliore rappresenta il consenso della maggioranza dei valutatori). Il parametro del calcolo si basa sul criterio di precisione, cioè quanto velocemente debbano calare i voti se differiscono dalla valutazione migliore.

Se ci sono solo due valutazioni per consegna, il workshop non può decidere quale delle due sia “corretta”. Si immagini la situazione in cui ci sono due revisori, Alice e Bob. Entrambi valutano la consegna di Cindy. Alice ritiene che sia pessima, Bob dice che è perfetta. Non c’è modo per decidere chi abbia ragione. Quindi, il workshop farà questo semplice ragionamento - OK, avete entrambi ragione e do a tutti e due un voto del 100% per questa valutazione. Per evitare ciò, si hanno due opzioni:

  • Si può fornire una valutazione aggiuntiva cosicché il numero dei valutatori (revisori) sia dispari e il workshop sia in grado di scegliere la migliore. Normalmente, il Docente interviene e fornisce la propria valutazione della consegna affinché venga giudicata.
  • Si può decidere di dare più fiducia a uno dei revisori. Per esempio, è risaputo che Alice è molto più brava di Bob nella valutazione. In questo caso, si può aumentare il peso della valutazione di Alice, ad esempio a '2' (invece che '1' di default). Ai fini del calcolo, la valutazione di Alice sarà considerata come se ci fossero due revisori che hanno la stessa identica opinione e quindi sarà probabilmente scelta come la migliore.
Nota: I voti finali non sono confrontati.

È molto importante sapere che il sub-plugin di calcolo dei voti Confronto con la valutazione migliore non confronta i voti finali. Indipendentemente dal criterio di valutazione usato, ogni scheda di valutazione riempita può essere vista come un vettore n-dimensionale di valori normalizzati. Così il sub-plugin confronta le risposte di tutti gli aspetti della scheda di valutazione (criteri, asserzioni,...). Poi, calcola la distanza tra due valutazioni, utilizzando le statistiche di variazione.

Per dimostrare ciò con un esempio, utilizziamo la strategia Numero di errori con valutazioni tra pari di saggi di ricerca. Questo criterio adopera un semplice elenco di asserzioni e il revisore (valutatore) controlla soltanto se l’asserzione sia soddisfacente o meno. Si può dire, quindi, che la scheda di valutazione è definita utilizzando tre criteri:

  1. L’autore stabilisce l’obiettivo di ricerca in modo chiaro? (sì/no)
  2. Viene descritta la metodologia di ricerca? (sì/no)
  3. Le fonti sono citate in modo appropriato? (sì/no)

Si supponga che l’autore ottenga il voto del 100% se soddisfa tutti i criteri (il che corrisponde alla risposta del valutatore), il 75% se ne soddisfa due, il 25% se ne soddisfa solo uno e lo 0% se il revisore risponde “no” a tutte e tre le domande.

Ora, si immagini che il lavoro di Daniel venga valutato da tre colleghi - Alice, Bob e Cindy. Tutti danno risposte individuali ai criteri nell’ordine:

  • Alice: sì / sì / no
  • Bob: sì / sì / no
  • Cindy: no / sì / sì

Come si può vedere, tutti hanno assegnato il 75% alla valutazione. Però, Alice e Bob sono d’accordo anche nelle risposte individuali, mentre le risposte nella valutazione di Cindy sono diverse. Il metodo valutativo Confronto con la valutazione migliore si basa sull’idea di un’ipotetica valutazione che sia quanto più possibile corretta e obiettiva. Nelle (ENspecifiche di sviluppo del Workshop 2.0, David la paragona a questa domanda Come valuterebbe Zeus questa consegna? e ci si immagina che possa essere qualcosa di simile a questo (non c’è altro modo):

  • Zeus 66% sì / 100% sì / 33% sì

Poi si cerca di individuare quelle valutazioni che si avvicinano di più a questa, che teoricamente è obiettiva. Si capisce che quelle di Alice e Bob sono le migliori e si assegna il 100% di voto alle loro valutazioni. Si calcola, quindi, quanto la valutazione di Cindy si allontani dalla migliore. Come si può vedere, la risposta di Cindy corrisponde alla migliore solo in un criterio su tre, di conseguenza, il voto di Cindy per la valutazione non sarà molto alto.

La stessa logica si applica a tutti gli altri criteri di valutazione, in maniera adeguata. La conclusione è che il voto dato dal valutatore non necessita di essere quello più vicino alla media, perché le valutazioni sono confrontate sulla base delle risposte individuali, non dei voti finali.

Gruppi e workshop

Quando un'attività workshop viene inserita in un corso che utilizza gruppi separati o visibili e raggruppamenti, è possibile applicare un filtro per i gruppi all’interno di un menù a tendina nella pagina di distribuzione manuale della Fase di consegna, nel report dei voti e così via.

"Group filtering"
Menù a tendina con il filtro per i gruppi

Per saperne di più

  • Esempio di workshop: effettuare il login inserendo teacher come username e moodle come password e consultare la valutazione e le fasi di un workshop completato sul sito Moodle School demo.