Bewertungsstrategien bei gegenseitigen Beurteilungen: Unterschied zwischen den Versionen

Aus MoodleDocs
Wechseln zu:Navigation, Suche
Zeile 101: Zeile 101:


Note that this calculation may be different from how you intuitively use rubric. For example, when the reviewer in the previous example chose both levels with the grade 1, the plain sum would be 2 points. But that is actually the lowest possible score so it maps to the grade 0. To avoid confusion, it is recommended to always include a level with the grade 0 in the rubric definition.
Note that this calculation may be different from how you intuitively use rubric. For example, when the reviewer in the previous example chose both levels with the grade 1, the plain sum would be 2 points. But that is actually the lowest possible score so it maps to the grade 0. To avoid confusion, it is recommended to always include a level with the grade 0 in the rubric definition.
'''Note on backwards compatibility:''' This strategy merges the legacy Rubric and Criterion strategies from Moodle 1.x into a single one. Conceptually, legacy Criterion was just one dimension of Rubric. In Workshop 1.x, Rubric could have several criteria (categories) but were limited to a fixed scale with 0-4 points. On the other hand, Criterion strategy in Workshop 1.9 could use custom scale, but was limited to a single aspect of assessment. The new Rubric strategy combines the old two. To mimic the legacy behaviour, the old Workshop are automatically upgraded so that:
* Criterion strategy from 1.9 are replaced with Rubric 2.0 using just one dimension
* Rubric from 1.9 are by Rubric 2.0 by using point scale 0-4 for every criterion.


==Gegenseitige Beurteilung ausprobieren==
==Gegenseitige Beurteilung ausprobieren==

Version vom 11. Januar 2017, 11:36 Uhr


Baustelle.png Diese Seite muss überarbeitet werden.

Bewertungsstrategien für gegenseitige Beurteilungen bestimmen, wie ein Beurteilungsformular aussehen kann und wie die Bewertung einer Einreichung auf der Basis dieses Beurteilungsformulars berechnet wird. Die gegenseitige Beurteilung stellt standardmäßig vier Bewertungsstrategien zur Verfügung. Weitere Strategien können als Plugins entwickelt und installiert werden.

Akkumulative Bewertungsstrategie

Bewertungsformular für eine akkumulative Bewertungsstrategie

Das Bewertungsformular besteht aus mehreren Kriterien. Jedes Kriterium wird mit einer Punktzahl (z.B. x von 10) oder einem Skalenwert einer Bewertungsskala (systemweite oder kursspezifische Bewertungsskala) bewertet. Jedes Kriterium kann mit einem Gewicht gewichtet werden. Die Bewerter/innen können zu jedem Kriterium einen Kommentar hinterlegen.

Bei der Berechnung der Gesamtbewertung einer Einreichungen werden die Bewertungen für die einzelnen Kriterien zunächst auf einen Wert zwischen 0% und 100% normalisiert. Die Gesamtbewertung ergibt sich dann als gewichtetes Mittel der normalisierten Bewertungen der einzelnen Kriterien. Bei der Verwendung von Bewertungsskalen werden die einzelnen Skalenwerte von 0 bis M-1 durchnummeriert (wenn M die Anzahl der möglichen Skalenwerte ist) und diese "umgerechneten" Zahlenwerte werden ebenfalls normalisiert. Die entsprechende Berechnungsformel für die Gesamtbewertung einer Einreichung lautet dann:

mit - Bewertung für das i-te Kriterium, - maximale Bewertung für das i-te Kriterium, - Gewicht des i-ten Kriteriums und - Anzahl der Kriterien im Beurteilungsformular.

Wichtig: Der Einfluss eines einzelnen Kriteriums auf die Gesamtbewertung wird allein durch das Gewicht bestimmt und nicht durch die maximale Bewertung dieses Kriteriums.

Beispiel 1: Sie verwenden ein Bewertungsformular mit drei Kriterien. Für das 1. Kriterium gibt es 0-100 Punkte, für das 2. Kriterium gibt es 0-20 Punkte und für das 3. Kriterium verwenden Sie eine Bewertungsskala mit drei Skalenwerten. Wenn Sie alle drei Kriterien gleich gewichten, dann hat eine Bewertung des 1. Kriteriums mit 50 Punkten denselben Einfluss auf die Gesamtbewertung wie eine Bewertung des 2. Kriteriums mit 10 Punkten: Beide Kriterien werden mit 50% der möglichen Punktzahl bewertet (Normalisierung).

Beispiel 2: Sie verwenden ein Bewertungsformular mit drei Kriterien. Für das 1. Kriterium gibt es 0-100 Punkte, für das 2. Kriterium gibt es 0-20 Punkte und für das 3. Kriterium verwenden Sie eine Bewertungsskala mit sechs Skalenwerten (umgerechnet in Zahlen entspricht das Werten zwischen 0 und 5). Das 1. Kriterium wird mit 90 Punkten bewertet (also 90/100 = 90%), das 2. Kriterium mit 16 Punkten (also 16/20 = 80%) und das 3. Kriterium mit dem zweitbesten Skalenwert (umgerechnet in Zahlen entspricht das einer 4, also 4/5 = 80%). Die Gewichte der Kriterien seien 1, 2 und 3. Das ergibt nach der obigen Formel eine Gesamtbewertung

Accumulative formula.png


Kommentare

Bewertungsformular mit Kommentaren

Das Bewertungsformular sieht ähnlich aus wie bei der akkumulativen Bewertungsstrategie. Es werden jedoch keine Punkte oder Skalenwerte vergeben, sondern Kommentare hinterlegt. Die Gesamtbewertung einer Einreichung wird immer auf 100% gesetzt. Diese Strategie ist nützlich bei wiederholten Einreichungen, wenn Beurteiler/innen die Arbeit zunächst kommentieren und die Teilnehmer/innen anschließend ihre Abgabe überarbeiten. Die Aktivität muss dann erneut in die Einreichungsphase umgeschaltet werden.

Der Prozess des Einreichens und Kommentierens kann auch mehrfach wiederholt werden.

Für die endgültige Einreichung können Sie auf eine andere Bewertungsstrategie umgestellten.


Anzahl der Fehler

Bewertungsformular mit Anzahl der Fehler

Das Bewertungsformular besteht aus mehreren Kriterien, die als zutreffend oder nicht zutreffend markiert werden müssen (ja/nein, vorhanden/nicht vorhanden, gut/schlecht, usw.)

Die Gesamtbewertung einer Einreichung wird aus der gewichteten Anzahl der Kriterien berechnet, die als nicht zutreffend bewertet wurden. Diese gewichtete Anzahl wird nach Vorgaben, die die Trainer/innen festlegen, in eine prozentuale Bewertung umgerechnet. Wenn die Anzahl der nicht zutreffenden Kriterien gleich Null ist (also alle Kriterien erfüllt sind), ergibt sich eine Bewertung von 100%.

Umrechnungstabelle: Gewichtete Anzahl der nicht zutreffenden Kriterien - prozentuale Bewertung

Mit dieser Bewertungsstrategie stellen Sie sicher, dass eine Einreichung alle Kriterien berücksichtigen muss, um als sehr gut bewertet zu werden.

Beispiele für solche Kriterien könnten sein:

  • weniger als 3 Rechtschreibfehler
  • keine Formatierungsfehler
  • kreative Ideen
  • Umfang der Einreichung passt

usw.

Diese Bewertungsstrategie ist leicht anzuwenden, objektiv und transparent. Sie eignet sich insbesondere für jüngere Beurteiler/innen oder Personen, die noch wenig Erfahrung mit Peer-Assessment-Methoden haben.

Beispiel: Das Bewertungsformular bestehe aus drei Kriterien.

Kriterium Nr. Inhalt Status Gewicht
1 Titel vorhanden ja/nein 1
2 Kreative Ideen vorhanden/nicht vorhanden 2
3 Zusammenfassung gut geschrieben ja/nein 3

Angenommen, eine Einreichung wurde mit ja / nicht vorhanden / ja bewertet. Da die Einreichung nur das 2. Kriterium nicht erfüllt und das Gewicht dieses Kriterium 2 ist, ist die Anzahl der Fehler 2. Daraus ergibt sich eine Bewertung von 66%. Bei einer angenommen Gesamtbewertung von 100 Punkten würde die Einreichung in diesem Fall mit 66 Punkten bewertet werden.

Rubriken

Bewertungsformular mit Rubriken

Eine Beschreibung von Rubriken als Bewertungsinstrument finden Sie in Wikipedia.

Dieses Bewertungsformular besteht aus einer Anzahl von Kriterien. Für jedes Kriterium The rubric assessment form consists of a set of criteria. For each criterion, several ordered descriptive levels are provided. A number grade is assigned to each of these levels. The reviewer chooses which level answers/describes the given criterion best.

The final grade is aggregated as

where is the grade given to the i-th criterion, is the minimal possible grade of the i-th criterion, is the maximal possible grade of the i-th criterion and is the number of criteria in the rubric.
Assessment Form in grid mode

Example of a single criterion can be: Overall quality of the paper with the levels 5 - An excellent paper, 3 - A mediocre paper, 0 - A weak paper (the number represent the grade).

There are two modes how the assessment form can be rendered - either in common grid form or in a list form. It is safe to switch the representation of the rubric any time.

Example of calculation: let us have a rubric with two criteria, which both have four levels 1, 2, 3, 4. The reviewer chooses level with the grade 2 for the first criterion and the grade 3 for the second criterion. Then the final grade is:

Note that this calculation may be different from how you intuitively use rubric. For example, when the reviewer in the previous example chose both levels with the grade 1, the plain sum would be 2 points. But that is actually the lowest possible score so it maps to the grade 0. To avoid confusion, it is recommended to always include a level with the grade 0 in the rubric definition.

Gegenseitige Beurteilung ausprobieren

Wenn Sie die Aktivität einmal ausprobieren möchten, dann melden Sie sich als Trainer/in in diesem School demo Moodle an. Die Login-Daten sind: Anmeldename teacher und Passwort moodle. Sie können auf die verschiedenen Phasen der gegenseitigen Beurteilung zugreifen und die Bewertungen einer abgeschlossenen Aktivität ansehen.