Criteri di valutazione del Workshop

Il criterio di valutazione selezionato determina l’aspetto della scheda di valutazione e come viene calcolato il voto di una consegna in base alla scheda di valutazione stessa. Il Workshop utilizza quattro criteri di votazione standard. Possono essere sviluppate ulteriori strategie come estensioni rimovibili.

Criterio di valutazione con Voto cumulativo

Scheda di valutazione utilizzando il Voto cumulativo

In questo caso, la scheda di valutazione consiste in una serie di criteri. Ogni criterio viene valutato separatamente usando una valutazione numerica (ad esempio su 100) o una scala di voti (usando una scala apposita per il sito o una scala definita nel corso). È possibile impostare un peso per ogni criterio. I revisori possono aggiungere dei commenti a tutti i criteri valutati.

Quando viene calcolato il voto totale della consegna, i voti per i singoli criteri vengono prima normalizzati (fatti rientrare in un range che va da 0% a 100%). In seguito il voto totale in base a una certa valutazione viene calcolato come media ponderata dei voti normalizzati. Le scale sono considerate come voti da 0 a M-1, dove M è il numero di elementi della scala.

$G_{s}={\frac {\sum _{i=1}^{N}{\frac {g_{i}}{max_{i}}}w_{i}}{\sum _{i=1}^{N}w_{i}}}$

dove $g_{i}\in \mathbb {N}$ è il voto dato al criterio i-esimo, $max_{i}\in \mathbb {N}$ è il voto massimo possibile per il criterio i-esimo, $w_{i}\in \mathbb {N}$ è il peso del criterio i-esimo e $N\in \mathbb {N}$ è il numero dei criteri nella scheda di valutazione.

È importante tenere presente che l’influenza di un particolare criterio è determinata solamente dal suo peso, non dal tipo di valutazione o dalla scala utilizzata. Supponiamo di avere tre criteri nella scheda, il primo che utilizza una valutazione 0-100, il secondo una valutazione 0-20 e il terzo una scala con tre elementi. Se tutti hanno lo stesso peso, allora dare voto 50 al primo criterio avrà lo stesso impatto di un voto 10 al secondo criterio.

Si prenda il caso sopra come esempio. Supponiamo che il terzo criterio utilizzi la scala: 6 livelli. Un esaminatore dà voto 90 per il primo criterio (o aspetto 1), voto 16 per il secondo criterio e voto 9 molto bene per l’ultimo criterio, e i pesi dei tre criteri sono rispettivamente 1, 2, e 3. Dato che per il terzo criterio, la scala ha 6 elementi e il voto 9 molto bene è il secondo in sequenza dal più alto al più basso, il voto 9 verrà associato a 4. Ovvero, nella formula sopra, g3 = 4 e max3 = 5. Quindi il voto finale generato da questa valutazione sarà:

Commenti

Scheda di valutazione utilizzando i Commenti

La scheda di valutazione è simile a quella utilizzata nel criterio di votazione con Voto cumulativo, ma non è possibile dare alcun voto, solo aggiungere commenti. Il voto totale per il compito assegnato è sempre impostato su 100%. Questo criterio può essere efficace in flussi di lavoro ripetitivi, quando le consegne vengono inizialmente solo commentate da dei revisori per fornire agli autori un primo feedback. Il workshop viene poi rimandato indietro alla fase di consegna e gli autori hanno la possibilità di perfezionarlo basandosi sui commenti ricevuti. È poi possibile scegliere un altro criterio di votazione che utilizzi una valutazione vera e propria e le consegne verranno valutate di nuovo con una scheda di valutazione diversa.

Numero di errori

Scheda di valutazione utilizzando il Numero di errori

La scheda di valutazione consiste in una serie di affermazioni, ognuna delle quali può essere contrassegnata dal revisore come giusta o sbagliata. È possibile scegliere varie parole per descrivere lo stato di giusto o sbagliato - come Sì/No, Presente/Mancante, Buono/Scarso, ecc.

Il voto dato da una particolare valutazione viene calcolato in base al conteggio ponderato dei responsi negativi nella valutazione (affermazioni sbagliate). In questo caso, per conteggio ponderato si intende che un responso con peso $w_{i}$ viene contato $w_{i}$- volte. I facilitatori didattici delineano una tavola di mappatura dei voti che converte il numero di affermazioni sbagliate in un voto in percentuale per la consegna valutata. Se non si conta nessuna affermazione sbagliata il voto corrispondente è sempre 100%.

Questo criterio può essere usato per assicurarsi che nella consegna siano stati rispettati certi criteri. Alcuni esempi di affermazioni per questo tipo di valutazione sono: 'Ha meno di 3 errori di ortografia', 'Non ha problemi di formattazione', 'Ha idee originali', 'Rispetta i requisiti di lunghezza' ecc. Questo metodo di valutazione è ritenuto più facile da capire e gestire per i revisori. È quindi adatto anche ai partecipanti più giovani o a chi si sta cimentando nell’autovalutazione, generando comunque risultati abbastanza oggettivi.

La scheda di valutazione originale può essere modificata seguendo i passaggi seguenti:

1. Per ogni affermazione, scrivere la descrizione corrispondente nello spazio vuoto. Compilare gli spazi parola per valutazione negativa e parola per valutazione positiva. Impostare il peso di ogni affermazione. La Tavola di mappatura dei voti è ancora vuota.
2. Cliccare sul pulsante salva e chiudi alla fine di questa pagina.
3. Cliccare sul link Modifica scheda di valutazione nell’area in ombra con intestazione Fase di allestimento nella parte superiore della pagina e visualizzare di nuovo la scheda di valutazione. A questo punto si può vedere che la Tavola di mappatura dei voti è già stata configurata.

Nota: Inizialmente tutti i campi sono vuoti. È necessario selezionare il valore corretto da ogni lista per far sì che questo criterio di votazione funzioni in modo appropriato.

Tavola di mappatura dei voti

Supponiamo che una scheda di valutazione contenga tre affermazioni:

Affermazione No.	Contenuto	Stato di superamento	Peso
1	Ha un titolo appropriato	Sì/No	1
2	Ha idee originali	Presente/Mancante	2
3	L'abstract è ben scritto	Sì/No	3

In questo esempio, supponiamo che un revisore dia a un dato lavoro la votazione Sì/Mancante/Sì. Dato che la consegna non soddisfa solamente il secondo criterio e il peso del secondo criterio è 2, il numero totale di errori è 2. Il voto per la consegna dato da questa valutazione sarà quindi 66%. Se supponiamo che il voto massimo per la consegna impostato nelle impostazioni di valutazione sia 100, allora il voto finale sarà 66.

Rubric

Scheda di valutazione in modalità elenco

Consultare la (EN) descrizione di questo strumento di valutazione su Wikipedia. La scheda di valutazione della Rubric consiste in una serie di criteri. Per ciascun criterio, vengono forniti diversi livelli descrittivi secondo un certo ordine. A ciascuno di questi livelli viene assegnata una valutazione numerica. Il revisore seleziona il livello che risponde o descrive al meglio il criterio dato.

Il voto finale viene aggregato come:

$G_{s}={\frac {\sum _{i=1}^{N}(g_{i}-min_{i})}{\sum _{i=1}^{N}(max_{i}-min_{i})}}$

dove $g_{i}\in \mathbb {N}$ è il voto dato al criterio i-esimo, $min_{i}\in \mathbb {N}$ è il voto minimo possibile per il criterio i-esimo, $max_{i}\in \mathbb {N}$ è il voto massimo possibile per il criterio i-esismo e $N\in \mathbb {N}$ è il numero dei criteri nel Rubric.

Scheda di valutazione in modalità griglia

L’esempio di un singolo criterio può essere: Qualità complessiva del compito con i livelli 5 - Compito eccellente, 3 - Compito mediocre, 0 - Compito scadente (il numero rappresenta il voto).

La scheda di valutazione può essere visualizzata in due modalità, sotto forma di griglia o di elenco. Si raccomanda di cambiare la visualizzazione della Rubric ogni volta.

Esempio di calcolo: supponiamo di avere un Rubric con due criteri, entrambi con quattro livelli 1, 2, 3, 4. Il revisore seleziona il livello con voto 2 per il primo criterio e il voto 3 per il secondo criterio. Il voto finale sarà:

$G_{s}={\frac {(2-1)+(3-1)}{(4-1)+(4-1)}}={\frac {3}{6}}=50\%$

Si noti che questo metodo di calcolo può risultare diverso da come ci si aspetterebbe di usare una Rubric in modo intuitivo. Nel precedente esempio, se il revisore seleziona entrambi i livelli con voto 1, normalmente la somma sarebbe 2. Tuttavia si tratterebbe in realtà del punteggio minimo possibile, quindi associato al voto 0. Per evitare di fare confusione, si raccomanda di includere sempre nella definizione della Rubric un livello con voto 0.

Note sulla compatibilità con le versioni precedenti: Questa strategia unisce i vecchi metodi Rubric e Criterio di Moodle 1.x in un metodo unico. Concettualmente, il vecchio Criterio costituiva solo una dimensione della Rubric. Nel Workshop 1.x, le Rubric potevano avere diversi criteri (categorie), limitati però a una scala fissa con 0-4 punti. D’altro canto, il metodo del Criterio nel Workshop 1.9 poteva utilizzare scale personalizzate, ma era limitato a un solo aspetto della valutazione. La nuova Rubric mette insieme questi due metodi. Per imitare il vecchio funzionamento, i Workshop precedenti vengono aggiornati automaticamente, cosicché:

• La strategia Criterio dalla versione 1.9 viene sostituita da Rubric 2.0, usando una sola dimensione
• La Rubric viene sostituita a partire dalla versione 1.9 da Rubric 2.0, che utilizza una scala di punti 0-4 per ogni criterio

In Moodle 1.9, il revisore può facoltativamente suggerire una modifica del voto finale, cosa non più supportata nelle versioni più recenti. Ciò potrebbe essere nuovamente supportato nelle versioni future come funzionalità standard per tutti i metodi di valutazione, non solo per il Rubric.

Provare un vero Workshop

Se si desidera provare un vero Workshop, è possibile effettuare il login sul sito demo di Moodle con username teacher e password moodle. È possibile accedere ai vari stadi ed esplorare la valutazione e le fasi di un workshop completo di dati su My home country.