Bewertungsstrategien bei gegenseitigen Beurteilungen

Bewertungsstrategien für gegenseitige Beurteilungen bestimmen, wie ein Beurteilungsformular aussehen kann und wie die Bewertung einer Einreichung auf der Basis dieses Beurteilungsformulars berechnet wird. Die gegenseitige Beurteilung stellt standardmäßig vier Bewertungsstrategien zur Verfügung. Weitere Strategien können als Plugins entwickelt und installiert werden.

Akkumulative Bewertungsstrategie

Bewertungsformular für eine akkumulative Bewertungsstrategie

Das Bewertungsformular besteht aus mehreren Kriterien. Jedes Kriterium wird mit einer Punktzahl (z.B. x von 10) oder einem Skalenwert einer Bewertungsskala (systemweite oder kursspezifische Bewertungsskala) bewertet. Jedes Kriterium kann mit einem Gewicht gewichtet werden. Die Bewerter/innen können zu jedem Kriterium einen Kommentar hinterlegen.

Bei der Berechnung der Gesamtbewertung einer Einreichungen werden die Bewertungen für die einzelnen Kriterien zunächst auf einen Wert zwischen 0% und 100% normalisiert. Die Gesamtbewertung ergibt sich dann als gewichtetes Mittel der normalisierten Bewertungen der einzelnen Kriterien. Bei der Verwendung von Bewertungsskalen werden die einzelnen Skalenwerte von 0 bis M-1 durchnummeriert (wenn M die Anzahl der möglichen Skalenwerte ist) und diese "umgerechneten" Zahlenwerte werden ebenfalls normalisiert. Die entsprechende Berechnungsformel für die Gesamtbewertung einer Einreichung lautet dann:

$G_{s}={\frac {\sum _{i=1}^{N}{\frac {g_{i}}{max_{i}}}w_{i}}{\sum _{i=1}^{N}w_{i}}}$

mit $g_{i}\in \mathbb {N}$ - Bewertung für das i-te Kriterium, $max_{i}\in \mathbb {N}$ - maximale Bewertung für das i-te Kriterium, $w_{i}\in \mathbb {N}$ - Gewicht des i-ten Kriteriums und $N\in \mathbb {N}$ - Anzahl der Kriterien im Beurteilungsformular.

Wichtig: Der Einfluss eines einzelnen Kriteriums auf die Gesamtbewertung wird allein durch das Gewicht bestimmt und nicht durch die maximale Bewertung dieses Kriteriums.

Beispiel 1: Sie verwenden ein Bewertungsformular mit drei Kriterien. Für das 1. Kriterium gibt es 0-100 Punkte, für das 2. Kriterium gibt es 0-20 Punkte und für das 3. Kriterium verwenden Sie eine Bewertungsskala mit drei Skalenwerten. Wenn Sie alle drei Kriterien gleich gewichten, dann hat eine Bewertung des 1. Kriteriums mit 50 Punkten denselben Einfluss auf die Gesamtbewertung wie eine Bewertung des 2. Kriteriums mit 10 Punkten: Beide Kriterien werden mit 50% der möglichen Punktzahl bewertet (Normalisierung).

Beispiel 2: Sie verwenden ein Bewertungsformular mit drei Kriterien. Für das 1. Kriterium gibt es 0-100 Punkte, für das 2. Kriterium gibt es 0-20 Punkte und für das 3. Kriterium verwenden Sie eine Bewertungsskala mit sechs Skalenwerten (umgerechnet in Zahlen entspricht das Werten zwischen 0 und 5). Das 1. Kriterium wird mit 90 Punkten bewertet (also 90/100 = 90%), das 2. Kriterium mit 16 Punkten (also 16/20 = 80%) und das 3. Kriterium mit dem zweitbesten Skalenwert (umgerechnet in Zahlen entspricht das einer 4, also 4/5 = 80%). Die Gewichte der Kriterien seien 1, 2 und 3. Das ergibt nach der obigen Formel eine Gesamtbewertung

Kommentare

Bewertungsformular mit Kommentaren

Das Bewertungsformular sieht ähnlich aus wie bei der akkumulativen Bewertungsstrategie. Es werden jedoch keine Punkte oder Skalenwerte vergeben, sondern Kommentare hinterlegt. Die Gesamtbewertung einer Einreichung wird immer auf 100% gesetzt. Diese Strategie ist nützlich bei wiederholten Einreichungen, wenn Beurteiler/innen die Arbeit zunächst kommentieren und die Teilnehmer/innen anschließend ihre Abgabe überarbeiten. Die Aktivität muss dann erneut in die Einreichungsphase umgeschaltet werden.

Der Prozess des Einreichens und Kommentierens kann auch mehrfach wiederholt werden.

Für die endgültige Einreichung können Sie auf eine andere Bewertungsstrategie umgestellten.

Anzahl der Fehler

Bewertungsformular mit Anzahl der Fehler

Das Bewertungsformular besteht aus mehreren Kriterien, die als zutreffend oder nicht zutreffend markiert werden müssen (ja/nein, vorhanden/nicht vorhanden, gut/schlecht, usw.)

Die Gesamtbewertung einer Einreichung wird aus der gewichteten Anzahl der Kriterien berechnet, die als nicht zutreffend bewertet wurden. Diese gewichtete Anzahl wird nach Vorgaben, die die Trainer/innen festlegen, in eine prozentuale Bewertung umgerechnet. Wenn die Anzahl der nicht zutreffenden Kriterien gleich Null ist (also alle Kriterien erfüllt sind), ergibt sich eine Bewertung von 100%.

Umrechnungstabelle: Gewichtete Anzahl der nicht zutreffenden Kriterien - prozentuale Bewertung

Mit dieser Bewertungsstrategie stellen Sie sicher, dass eine Einreichung alle Kriterien berücksichtigen muss, um als sehr gut bewertet zu werden.

Beispiele für solche Kriterien könnten sein:

• weniger als 3 Rechtschreibfehler
• keine Formatierungsfehler
• kreative Ideen
• Umfang der Einreichung passt

usw.

Diese Bewertungsstrategie ist leicht anzuwenden, objektiv und transparent. Sie eignet sich insbesondere für jüngere Beurteiler/innen oder Personen, die noch wenig Erfahrung mit Peer-Assessment-Methoden haben.

Beispiel: Das Bewertungsformular bestehe aus drei Kriterien.

Kriterium Nr.	Inhalt	Status	Gewicht
1	Titel vorhanden	ja/nein	1
2	Kreative Ideen	vorhanden/nicht vorhanden	2
3	Zusammenfassung gut geschrieben	ja/nein	3

Angenommen, eine Einreichung wurde mit ja / nicht vorhanden / ja bewertet. Da die Einreichung nur das 2. Kriterium nicht erfüllt und das Gewicht dieses Kriterium 2 ist, ist die Anzahl der Fehler 2. Daraus ergibt sich eine Bewertung von 66%. Bei einer angenommen Gesamtbewertung von 100 Punkten würde die Einreichung in diesem Fall mit 66 Punkten bewertet werden.

Rubriken

Bewertungsformular mit Rubriken - Listenform

Eine Beschreibung von Rubriken als Bewertungsinstrument finden Sie in Wikipedia.

Dieses Bewertungsformular besteht aus einer Anzahl von Kriterien. Für jedes Kriterium werden verschiedene beschreibende Niveaustufen bereitgestellt. Jeder Niveaustufe wird eine Punktzahl zugeordnet. Bewerter/innen wählen für jedes Kriterium aus, welche Niveaustufe eine Einreichung hat.

Die Gesamtbewertung berechnet sich dann gemäß folgender Formel:

$G_{s}={\frac {\sum _{i=1}^{N}(g_{i}-min_{i})}{\sum _{i=1}^{N}(max_{i}-min_{i})}}$

mit $g_{i}\in \mathbb {N}$ - Punktzahl für das i-te Kriterium, $min_{i}\in \mathbb {N}$ - minimale Punktzahl für das i-te Kriterium, $max_{i}\in \mathbb {N}$ - maximale Punktzahl für das i-te Kriterium und $N\in \mathbb {N}$ - Anzahl der Kriterien in der Rubrik.

Bewertungsformular mit Rubriken - Matrixform

Beispiele für Niveaustufen eines Kriteriums Gesamtqualität der Einreichung:

• 5 - ausgezeichnet
• 3 - mittelmäßig
• 0 - schwach

(die Zahl entspricht der Punktzahl der Niveaustufe).

Es gibt zwei Modi, in denen das Bewertungsformular mit Rubriken dargestellt werden kann: Listenform und Matrixform. Sie können jederzeit zwischen den beiden Darstellungen wechseln.

Beispiel: Sie verwenden ein Bewertungsformular mit zwei Kriterien mit jeweils vier Niveaustufen 1, 2, 3, 4. Eine Einreichung wird mit Niveaustufe 2 für das 1. Kriterium und Niveaustufe 3 für das 2. Kriterium bewertet. Dann ergibt sich folgende Gesamtbewertung:

$G_{s}={\frac {(2-1)+(3-1)}{(4-1)+(4-1)}}={\frac {3}{6}}=50\%$

Beachten Sie, dass diese Berechnung vieleicht von der Art abweicht, wie Sie Rubriken intuitiv nutzen würden. Wenn z.B. eine Einreichung bei beiden Kriterien mit Niveaustufe 1 bewertet wurde, dann ergibt das eine Gesamtpunktzahl von 2. Das ist die kleinste mögliche Punktzahl, die auf die Bewertung 0% umgerechnet werden würde. Um Verwirrung zu vermeiden, empfehlen wir daher stets eine Niveaustufe 0 zu verwenden (so dass eine Gesamtpunktzahl von 0 zu einer Bewertung von 0% führt).

Gegenseitige Beurteilung ausprobieren

Wenn Sie die Aktivität einmal ausprobieren möchten, dann melden Sie sich als Trainer/in in diesem School demo Moodle an. Die Login-Daten sind: Anmeldename teacher und Passwort moodle. Sie können auf die verschiedenen Phasen der gegenseitigen Beurteilung zugreifen und die Bewertungen einer abgeschlossenen Aktivität ansehen.