Criteri di valutazione del Workshop

Il Criterio di valutazione' selezionato determina l’aspetto dello schema di valutazione e come viene calcolato il voto di una consegna in base allo schema di valutazione stesso. Il Workshop utilizza quattro criteri di votazione standard. Possono essere sviluppate ulteriori strategie come estensioni rimovibili.


Criterio di valutazione con Voto cumulativo

File:Accumulative assessment form.png
Schema di valutazione utilizzando il Voto cumulativo

In questo caso, lo schema di valutazione consiste in una serie di criteri. Ogni criterio viene valutato separatamente usando una valutazione numerica (ad esempio su 100) o una scala di voti (usando una scala apposita per il sito o una scala definita nel corso). È possibile impostare un peso per ogni criterio. I revisori possono aggiungere dei commenti a tutti i criteri valutati.

Quando viene calcolato il voto totale della consegna, i voti per i singoli criteri vengono prima normalizzati (fatti rientrare in un range che va da 0% a 100%). In seguito il voto totale in base a una certa valutazione viene calcolato come media ponderata dei voti normalizzati. Le scale sono considerate come voti da 0 a M-1, dove M è il numero di elementi della scala.

dove è il voto dato al criterio i-esimo, è il voto massimo possibile per il criterio i-esimo, è il peso del criterio i-esimo e è il numero dei criteri nello schema di valutazione.

È importante tenere presente che l’influenza di un particolare criterio è determinata solamente dal suo peso, non dal tipo di valutazione o dalla scala utilizzata. Supponiamo di avere tre criteri nello schema, il primo che utilizza una valutazione 0-100, il secondo una valutazione 0-20 e il terzo una scala con tre elementi. Se tutti hanno lo stesso peso, allora dare voto 50 al primo criterio avrà lo stesso impatto di un voto 10 al secondo criterio.

Si prenda il caso sopra come esempio. Supponiamo che il terzo criterio utilizzi la scala: 6 livelli. Un esaminatore dà voto 90 per il primo criterio (o aspetto 1), voto 16 per il secondo criterio e voto 9 molto bene per l’ultimo criterio, e i pesi dei tre criteri sono rispettivamente 1, 2, e 3. Dato che per il terzo criterio, la scala ha 6 elementi e il voto 9 molto bene è il secondo in sequenza dal più alto al più basso, il voto 9 verrà associato a 4. Ovvero, nella formula sopra, g3 = 4 e max3 = 5. Quindi il voto finale generato da questa valutazione sarà:


Commenti

File:Comments assessment form.png
Schema di valutazione utilizzando i Commenti

Lo schema di valutazione è simile a quello utilizzato nel criterio di votazione con Voto cumulativo, ma non è possibile dare alcun voto, solo aggiungere commenti. Il voto totale per il compito assegnato è sempre impostato su 100%. Questo criterio può essere efficace in flussi di lavoro ripetitivi, quando le consegne vengono inizialmente solo commentate da dei revisori per fornire agli autori un primo feedback. Il workshop viene poi rimandato indietro alla fase di consegna e gli autori hanno la possibilità di perfezionarlo basandosi sui commenti ricevuti. È poi possibile scegliere un altro criterio di votazione che utilizzi una valutazione vera e propria e le consegne verranno valutate di nuovo con uno schema di valutazione diverso.


Numero di errori

File:Numoferror assessment form.png
Schema di valutazione utilizzando il Numero di errori

Lo schema di valutazione consiste in una serie di affermazioni, ognuna delle quali può essere contrassegnata dal revisore come giusta o sbagliata. È possibile scegliere varie parole per descrivere lo stato di giusto o sbagliato - come Sì/No, Presente/Mancante, Buono/Scarso, ecc.

Il voto dato da una particolare valutazione viene calcolato in base al conteggio ponderato dei responsi negativi nella valutazione (affermazioni sbagliate). In questo caso, per conteggio ponderato si intende che un responso con peso viene contato - volte. I facilitatori didattici delineano una tavola di mappatura dei voti che converte il numero di affermazioni sbagliate in un voto in percentuale per la consegna valutata. Se non si conta nessuna affermazione sbagliata il voto corrispondente è sempre 100%.

Questo criterio può essere usato per assicurarsi che nella consegna siano stati rispettati certi criteri. Alcuni esempi di affermazioni per questo tipo di valutazione sono: 'Ha meno di 3 errori di ortografia', 'Non ha problemi di formattazione', 'Ha idee originali', 'Rispetta i requisiti di lunghezza' ecc. Questo metodo di valutazione è ritenuto più facile da capire e gestire per i revisori. È quindi adatto anche ai partecipanti più giovani o a chi si sta cimentando nell’autovalutazione, generando comunque risultati abbastanza oggettivi.

Lo schema di valutazione originale può essere modificato seguendo i passaggi seguenti:

  1. Per ogni affermazione, scrivere la descrizione corrispondente nello spazio vuoto. In seguito compilare gli spazi vuoti parola per valutazione negativa e parola per valutazione positiva. Impostare il peso di ogni affermazione. Come si può vedere, la tabella dei voti è ancora vuota.
  2. Cliccare sul pulsante salva e chiudi alla fine di questa pagina.
  3. Cliccare sul link Modifica schema di valutazione nell’area in ombra con intestazione Fase di allestimento nella parte superiore della pagina e visualizzare di nuovo lo schema di valutazione. A questo punto si può vedere che la tabella dei voti è già stata configurata. (Nota: inizialmente tutti i campi sono vuoti. È necessario selezionare il valore corretto da ogni lista per far sì che questo criterio di votazione funzioni in modo appropriato.)
File:Numberoferrors grade mapping table.png
Tavola di mappatura dei voti


Supponiamo che uno schema di valutazione contenga tre affermazioni:

Affermazione No. Contenuto Stato di superamento Peso
1 Ha un titolo appropriato Sì/No 1
2 Ha idee originali Presente/Mancante 2
3 L'abstract è ben scritto Sì/No 3

In questo esempio, supponiamo che un revisore dia a un dato lavoro la votazione Sì/Mancante/Sì. Dato che la consegna non soddisfa solamente il secondo criterio e il peso del secondo criterio è 2, il numero totale di errori è 2. Il voto per la consegna dato da questa valutazione sarà quindi 66%. Se supponiamo che il voto massimo per la consegna impostato nelle impostazioni di valutazione sia 100, allora il voto finale sarà 66.

Rubric

File:Rubric assessmentform list.png
Schema di valutazione in modalità lista

Consultare la (ENdescrizione di questo strumento di valutazione su Wikipedia. Lo schema di valutazione della Rubric consiste in una serie di criteri. Per ciascun criterio, vengono forniti diversi livelli descrittivi secondo un certo ordine. A ciascuno di questi livelli viene assegnata una valutazione numerica. Il revisore seleziona il livello che risponde o descrive al meglio il criterio dato.

Il voto finale viene aggregato come:

dove è il voto dato al criterio i-esimo, è il voto minimo possibile per il criterio i-esimo, è il voto massimo possibile per il criterio i-esismo e è il numero dei criteri nel Rubric.


File:Rubric assessmentform grid.png
Schema di valutazione in modalità griglia

L’esempio di un singolo criterio può essere: Qualità complessiva del compito con i livelli 5 - Compito eccellente, 3 - Compito mediocre, 0 - Compito scadente (il numero rappresenta il voto).

Lo schema di valutazione può essere visualizzato in due modalità, sotto forma di griglia o di lista. Si raccomanda di cambiare la visualizzazione della Rubric ogni volta.

Esempio di calcolo: supponiamo di avere un Rubric con due criteri, entrambi con quattro livelli 1, 2, 3, 4. Il revisore seleziona il livello con voto 2 per il primo criterio e il voto 3 per il secondo criterio. Il voto finale sarà:

Si noti che questo metodo di calcolo può risultare diverso da come ci si aspetterebbe di usare una Rubric in modo intuitivo. Nel precedente esempio, se il revisore seleziona entrambi i livelli con voto 1, normalmente la somma sarebbe 2. Tuttavia si tratterebbe in realtà del punteggio minimo possibile, quindi associato al voto 0. Per evitare di fare confusione, si raccomanda di includere sempre nella definizione della Rubric un livello con voto 0.

Note sulla compatibilità con le versioni precedenti: Questa strategia unisce i vecchi metodi Rubric e Criterio di Moodle 1.x in un metodo unico. Concettualmente, il vecchio Criterio costituiva solo una dimensione della Rubric. Nel Workshop 1.x, le Rubric potevano avere diversi criteri (categorie), limitati però a una scala fissa con 0-4 punti. D’altro canto, il metodo del Criterio nel Workshop 1.9 poteva utilizzare scale personalizzate, ma era limitato a un solo aspetto della valutazione. La nuova Rubric mette insieme questi due metodi. Per imitare il vecchio funzionamento, i Workshop precedenti vengono aggiornati automaticamente, cosicché:

  • La strategia Criterio dalla versione 1.9 viene sostituita da Rubric 2.0, usando una sola dimensione
  • La Rubric viene sostituita a partire dalla versione 1.9 da Rubric 2.0, che utilizza una scala di punti 0-4 per ogni criterio

In Moodle 1.9, il revisore può facoltativamente suggerire una modifica del voto finale, cosa non più supportata nelle versioni più recenti. Ciò potrebbe essere nuovamente supportato nelle versioni future come funzionalità standard per tutti i metodi di valutazione, non solo per il Rubric.

Provare un vero Workshop

Se si desidera provare un vero Workshop, è possibile effettuare il login sul sito demo di Moodle con username teacher e password moodle. È possibile accedere ai vari stadi ed esplorare la valutazione e le fasi di un workshop completo di dati su My home country.