Criteri di valutazione del Workshop

Il Criterio di valutazione' selezionato determina l’aspetto dello schema di valutazione e come viene calcolato il voto di una consegna in base allo schema di valutazione stesso. Il Workshop utilizza quattro criteri di votazione standard. Possono essere sviluppate ulteriori strategie come estensioni rimovibili.

Criterio di valutazione con Voto cumulativo

File:Accumulative assessment form.png

Schema di valutazione utilizzando il Voto cumulativo

In questo caso, lo schema di valutazione consiste in una serie di criteri. Ogni criterio viene valutato separatamente usando una valutazione numerica (ad esempio su 100) o una scala di voti (usando una scala apposita per il sito o una scala definita nel corso). È possibile impostare un peso per ogni criterio. I revisori possono aggiungere dei commenti a tutti i criteri valutati.

Quando viene calcolato il voto totale della consegna, i voti per i singoli criteri vengono prima normalizzati (fatti rientrare in un range che va da 0% a 100%). In seguito il voto totale in base a una certa valutazione viene calcolato come media ponderata dei voti normalizzati. Le scale sono considerate come voti da 0 a M-1, dove M è il numero di elementi della scala.

$G_{s}={\frac {\sum _{i=1}^{N}{\frac {g_{i}}{max_{i}}}w_{i}}{\sum _{i=1}^{N}w_{i}}}$

dove $g_{i}\in \mathbb {N}$ è il voto dato al criterio i-esimo, $max_{i}\in \mathbb {N}$ è il voto massimo possibile per il criterio i-esimo, $w_{i}\in \mathbb {N}$ è il peso del criterio i-esimo e $N\in \mathbb {N}$ è il numero dei criteri nello schema di valutazione.

È importante tenere presente che l’influenza di un particolare criterio è determinata solamente dal suo peso, non dal tipo di valutazione o dalla scala utilizzata. Supponiamo di avere tre criteri nello schema, il primo che utilizza una valutazione 0-100, il secondo una valutazione 0-20 e il terzo una scala con tre elementi. Se tutti hanno lo stesso peso, allora dare voto 50 al primo criterio avrà lo stesso impatto di un voto 10 al secondo criterio.

Si prenda il caso sopra come esempio. Supponiamo che il terzo criterio utilizzi la scala: 6 livelli. Un esaminatore dà voto 90 per il primo criterio (o aspetto 1), voto 16 per il secondo criterio e voto 9 molto bene per l’ultimo criterio, e i pesi dei tre criteri sono rispettivamente 1, 2, e 3. Dato che per il terzo criterio, la scala ha 6 elementi e il voto 9 molto bene è il secondo in sequenza dal più alto al più basso, il voto 9 verrà associato a 4. Ovvero, nella formula sopra, g3 = 4 e max3 = 5. Quindi il voto finale generato da questa valutazione sarà:

File:Accumulative formula.png

Commenti

File:Comments assessment form.png

Schema di valutazione utilizzando i Commenti

Lo schema di valutazione è simile a quello utilizzato nel criterio di votazione con Voto cumulativo, ma non è possibile dare alcun voto, solo aggiungere commenti. Il voto totale per il compito assegnato è sempre impostato su 100%. Questo criterio può essere efficace in flussi di lavoro ripetitivi, quando le consegne vengono inizialmente solo commentate da dei revisori per fornire agli autori un primo feedback. Il workshop viene poi rimandato indietro alla fase di consegna e gli autori hanno la possibilità di perfezionarlo basandosi sui commenti ricevuti. È poi possibile scegliere un altro criterio di votazione che utilizzi una valutazione vera e propria e le consegne verranno valutate di nuovo con uno schema di valutazione diverso.

Numero di errori

File:Numoferror assessment form.png

Schema di valutazione utilizzando il Numero di errori

Lo schema di valutazione consiste in una serie di affermazioni, ognuna delle quali può essere contrassegnata dal revisore come giusta o sbagliata. È possibile scegliere varie parole per descrivere lo stato di giusto o sbagliato - come Sì/No, Presente/Mancante, Buono/Scarso, ecc.

The grade given by a particular assessment is calculated from the weighted count of negative assessment responses (failed assertions). Here, the weighted count means that a response with weight $w_{i}$ is counted $w_{i}$-times. Course facilitators define a mapping table that converts the number of failed assertions to a percent grade for the given submission. Zero failed assertion is always mapped to 100% grade.

Il voto dato da una particolare valutazione viene calcolato in base al conteggio ponderato dei responsi negativi nella valutazione (affermazioni sbagliate). In questo caso, per conteggio ponderato si intende che un responso con peso $w_{i}$ viene contato $w_{i}$- volte. I facilitatori didattici delineano una tabella di mappatura che converte il numero di affermazioni sbagliate in un voto in percentuale per la consegna valutata. Se non si conta nessuna affermazione sbagliata il voto corrispondente è sempre 100%.

Questo criterio può essere usato per assicurarsi che nella consegna siano stati rispettati certi criteri. Alcuni esempi di affermazioni per questo tipo di valutazione sono: 'Ha meno di 3 errori di ortografia', 'Non ha problemi di formattazione', 'Ha idee originali', 'Rispetta i requisiti di lunghezza' ecc. Questo metodo di valutazione è ritenuto più facile da capire e gestire per i revisori. È quindi adatto anche ai partecipanti più giovani o a chi si sta cimentando nell’autovalutazione, generando comunque risultati abbastanza oggettivi.

Lo schema di valutazione originale può essere modificato seguendo i passaggi seguenti:

1. Per ogni affermazione, scrivere la descrizione corrispondente nello spazio vuoto. In seguito compilare gli spazi vuoti parola per valutazione negativa e parola per valutazione positiva. Impostare il peso di ogni affermazione. Come si può vedere, la tabella dei voti è ancora vuota.
2. Cliccare sul pulsante salva e chiudi alla fine di questa pagina.
3. Cliccare sul link Modifica schema di valutazione nell’area in ombra con intestazione Fase di allestimento nella parte superiore della pagina e visualizzare di nuovo lo schema di valutazione. A questo punto si può vedere che la tabella dei voti è già stata configurata. (Nota: inizialmente tutti i campi sono vuoti. È necessario selezionare il valore corretto da ogni lista per far sì che questo criterio di votazione funzioni in modo appropriato.)

File:Numberoferrors grade mapping table.png

grade mapping table

Supponiamo che uno schema di valutazione contenga tre affermazioni:

Affermazione No.	Contenuto	Stato di superamento	Peso
1	Ha un titolo appropriato	Sì/No	1
2	Ha idee originali	Presente/Mancante	2
3	L'abstract è ben scritto	Sì/No	3

In the example above, suppose that a reviewer gives one certain work Yes/Miss/Yes as the assessment. Since the submission only fails to meet the second criterion and the weight of the second criterion is 2, the total number of errors will be 2. Thus the grade for submission given by this assessment is 66%. Suppose that the maximum grade for submission set in grade settings is 100, therefore the final grade for this submission given by this assessment is grade 66.

Rubric

File:Rubric assessmentform list.png

Assessment form in list mode

See the description of this scoring tool at Wikipedia. The rubric assessment form consists of a set of criteria. For each criterion, several ordered descriptive levels are provided. A number grade is assigned to each of these levels. The reviewer chooses which level answers/describes the given criterion best.

The final grade is aggregated as

$G_{s}={\frac {\sum _{i=1}^{N}(g_{i}-min_{i})}{\sum _{i=1}^{N}(max_{i}-min_{i})}}$

where $g_{i}\in \mathbb {N}$ is the grade given to the i-th criterion, $min_{i}\in \mathbb {N}$ is the minimal possible grade of the i-th criterion, $max_{i}\in \mathbb {N}$ is the maximal possible grade of the i-th criterion and $N\in \mathbb {N}$ is the number of criteria in the rubric.

File:Rubric assessmentform grid.png

Assessment Form in grid mode

Example of a single criterion can be: Overall quality of the paper with the levels 5 - An excellent paper, 3 - A mediocre paper, 0 - A weak paper (the number represent the grade).

There are two modes how the assessment form can be rendered - either in common grid form or in a list form. It is safe to switch the representation of the rubric any time.

Example of calculation: let us have a rubric with two criteria, which both have four levels 1, 2, 3, 4. The reviewer chooses level with the grade 2 for the first criterion and the grade 3 for the second criterion. Then the final grade is:

$G_{s}={\frac {(2-1)+(3-1)}{(4-1)+(4-1)}}={\frac {3}{6}}=50\%$

Note that this calculation may be different from how you intuitively use rubric. For example, when the reviewer in the previous example chose both levels with the grade 1, the plain sum would be 2 points. But that is actually the lowest possible score so it maps to the grade 0. To avoid confusion, it is recommended to always include a level with the grade 0 in the rubric definition.

Note on backwards compatibility: This strategy merges the legacy Rubric and Criterion strategies from Moodle 1.x into a single one. Conceptually, legacy Criterion was just one dimension of Rubric. In Workshop 1.x, Rubric could have several criteria (categories) but were limited to a fixed scale with 0-4 points. On the other hand, Criterion strategy in Workshop 1.9 could use custom scale, but was limited to a single aspect of assessment. The new Rubric strategy combines the old two. To mimic the legacy behaviour, the old Workshop are automatically upgraded so that:

• Criterion strategy from 1.9 are replaced with Rubric 2.0 using just one dimension
• Rubric from 1.9 are by Rubric 2.0 by using point scale 0-4 for every criterion.

In Moodle 1.9, reviewer could suggest an optional adjustment to a final grade. This is not supported any more. Eventually this may be supported in the future versions again as a standard feature for all grading strategies, not only rubric.

Experiencing Real Workshop

If you would like to try out a real workshop, please log in to the School demo Moodle with the username teacher and password moodle. You can access the different stages of and explore the grading and phases of a completed workshop with data on My home country.