Bewertungsstrategien für gegenseitige Beurteilung: Unterschied zwischen den Versionen

Aktuelle Version vom 10. August 2021, 15:13 Uhr

Die gewählte Bewertungsstrategie legt fest, wie der Beurteilungsbogen aussieht und wie die Bewertung berechnet wird. Bei der Aktivität Gegenseitige Beurteilung gibt es standardmäßig vier verschiedene Bewertungsstrategien. Weitere Strategien können als zusätzliche Plugins implementiert werden.

Beurteilen mit Kommentaren und Punkten

Bei dieser Strategie besteht der Beurteilungsbogen auf einer Menge von Kriterien. Jedes Kriterium wird mit einer Punktzahl (z.B. 0-100) oder einer anderen Bewertungsskala bewertet. Jedes Kriterium hat ein Gewicht, mit dem es in die Gesamtbewertung eingeht. Bewerter/innen können zusätzlich zu jedem Kriterium Kommentare abgeben.

Bei der Berechnung der Gesamtbewertung werden die Punkte für die einzelnen Kriterien zunächst normalisiert (zwischen 0% und 100%). Die Gesamtbewertung wird dann als gewichtetes Mittel der normalisierten Punktzahlen berechnet. Bewertungsskalen werden auf Punkte von 0 bis M-1 umgerechnet, wobei M die Anzahl der Stufen der Skala ist.

Dabei ist die beim i-ten Kriterium erzielte Punktzahl, ist die beim i-ten Kriterium maximal erreichbare Punktzahl, ist das Gewicht des i-ten Kriteriums und ist die Anzahl der Kriterien im Beurteilungsbogen.

Es ist wichtig zu verstehen, dass der Einfluss eines Kriteriums auf die Gesamtbewertung ausschließlich über das Gewicht gesteuert werden kann und nicht durch die Skala oder den Punktebereich.

Beispiel: Angenommen, dass der Beurteilungsbogen drei Kriterien enthält. Das erste Kriterium wird mit einer Skala von 0-100 Punkten bewertet, das zweite mit 0-20 Punkten und das dritte verwendet eine Skala mit drei Einträgen. Wenn alle Kriterien das gleiche Gewicht haben, dann hat eine Bewertung von 50 Punkten für das erste Kriterium denselben Einfluss auf das Gesamtergebnis wie 10 Punkte beim zweiten Kriterium. Angenommen, das dritte Kriterium verwendet eine Skala mit sechs Stufen, d.h. das entspricht 0-5 Punkten. Nun wird das erste Kriterium mit 90 Punkten bewertet, das zweite mit 16 Punkten und das dritte Kriterium mit der zweitbesten Stufe, also mit 4 Punkten bewertet. Die Gewichte für die drei Kriterien seien 1, 2 und 3. Dann berechnet sich die Gesamtbewertung nach der Formel:

Kommentare

Dieser Beurteilungsbogen ähnelt dem Formular, das bei der akkumulativen Bewertung verwendet wird, nur dass hier keine Punkte, sondern Kommentare eingetragen werden können. Die Gesamtbewertung für die Einreichung wird immer auf 100% gesetzt. Diese Strategie ist sinnvoll, wenn Sie zu eingereichten Arbeiten ein erstes Feedback geben wollen. Die Autor/innen können dann ihre Arbeiten entsprechend verbessern und erneut einreichen. Für die Bewertung der erneuten Einreichung können Sie dann auch die Bewertungsstrategie ändern und die Arbeit mit einem anderen Beurteilungsbogen bewerten.

Aussagen zustimmen oder ablehnen

Der Beurteilungsbogen besteht aus mehreren Aussagen, die bei der Bewertung als "zutreffend" oder "nicht zutreffend" gekennzeichnet werden. Sie können verschiedene Formulierungen wählen, z.B. "Ja/Nein", "Vorhanden/Fehlt", "Gut/Schlecht" usw.

Die Gesamtbewertung wird berechnet als gewichtete Zahl der negativen Antworten ("nicht zutreffend"). "Gewichtete Zahl" bedeutet, dass eine Antwort mit dem Gewicht genau Mal gezählt wird. Als Kursverantwortliche/r definieren Sie eine Umrechnungstabelle, die die Anzahl der nicht zutreffenden Antworten in eine prozentuale Bewertung der eingereichten Arbeit umrechnet. Null nicht zutreffende Antworten bedeuten also 100%.

Diese Strategie kann verwendet werden, um sicherzustellen, dass in einer Arbeit bestimmte Kriterien erfüllt wurden. Beispiele für solche Kriterien sind hat weniger als 3 Rechtschreibfehler gemacht, hat keine Formatierungsfehler gemacht, hat kreative Ideen, erfüllt die Anforderungen an den Umfang der Arbeit usw. Mit dieser Bewertungsstrategie kommen Nutzer/innen in der Regel ohne weitere Erklärungen zurecht. Sie ist besonders geeignet für jüngere oder wenig erfahrene Nutzer/innen und liefert dennoch recht objektive Ergebnisse.

Sie können den ursprünglichen Beurteilungsbogen wie folgt bearbeiten:

Schreiben Sie die Beschreibung für jede Aussage in das Freifeld. Tragen Sie Ihre Wörter für "zutreffend" und "nicht zutreffend" ein und legen Sie das Gewicht für dieses Kriterium fest. Die Umrechnungstabelle für die Bewertungen ist noch leer.
Klicken Sie auf Speichern und schließen unten auf der Seite.
Klicken Sie auf den Link Beurteilungsboden bearbeiten auf der Seite der Vorbereitungsphase, um das Formular erneut zu sehen. Nun sehen Sie, dass die Umrechnungstabelle gefüllt ist.

Beispiel:

Aussage No.	Inhalt	Wörter für "zutreffend / nicht zutreffend"	Gewicht
1	Hat einen passenden Titel	Ja / Nein	1
2	Hat kreative Ideen	Vorhanden / Fehlt	2
3	T Die Zusammenfassung ist gut geschrieben	Ja / Nein	3

Angenommen, in diesem Beispiel wurde eine Arbeit mit Ja / Fehlt / Ja bewertet. Da nur das zweite Kriterium nicht erfüllt ist, ist die Zahl der Fehler gleich 2 (1 Kriterium nicht erfüllt, dessen Gewicht gleich 2 ist, also 1*2). Nach der Umrechnungstabelle entsprechend 2 Fehler 66%, also wird die Arbeit insgesamt mit 66 von 100 Punkten bewertet.

Rubriken

Detaillierte Informationen zu dieser Bewertungsstrategie finden Sie im Artikel Rubriken.

Beispiele

Besuchen Sie die Moodle Demo Website [1]

Hinweis: Sie müssen sich als Trainer/in anmelden:

   User name: teacher 
   Password: demo

Das Beispiel zeigt einen Aktivität Gegenseitige Beurteilung mit Rubriken als Bewertungsstrategie. Sie können dort auch Beurteilungsbögen ansehen, die andere Bewertungsstrategien verwenden:

Gehen Sie auf die Seite [2].
Im Abschnitt Bewertungen wählen Sie die gewünschte Bewertungsmethode aus.
Klicken Sie auf den Button Speichern und Vorschau unten auf der Seite.
Klicken Sie auf den Link Edit assessment form in der Setup-Phase.

Dann sehen Sie den ursprünglichen Beurteilungsbogen der gewählten Bewertungsstrategie.

@@ Zeile 1: / Zeile 1: @@
-{{Workshop}}
+{{Gegenseitige Beurteilung}}
+Die gewählte Bewertungsstrategie legt fest, wie der Beurteilungsbogen aussieht und wie die Bewertung berechnet wird. Bei der Aktivität [[Gegenseitige Beurteilung]] gibt es standardmäßig vier verschiedene Bewertungsstrategien. Weitere Strategien können als zusätzliche Plugins implementiert werden.
-{{Zum Übersetzen}}
-Die gewählte Bewertungsstrategie legt fest, wie das Bewertungsformular aussieht und wie die Bewertung berechnet wird. Bei der Aktivität [[Workshop]] gibt es standardmäßig vier verschiedene Bewertungsstrategien. Weitere Strategien können als zusätzliche Plugins implementiert werden.
+== Beurteilen mit Kommentaren und Punkten ==
+Bei dieser Strategie besteht der Beurteilungsbogen auf einer Menge von Kriterien. Jedes Kriterium wird mit einer Punktzahl (z.B. 0-100) oder einer anderen [[Bewertungsskalen|Bewertungsskala]] bewertet. Jedes Kriterium hat ein Gewicht, mit dem es in die Gesamtbewertung eingeht. Bewerter/innen können zusätzlich zu jedem Kriterium Kommentare abgeben.
-== Akkumulative Bewertung ==
+Bei der Berechnung der Gesamtbewertung werden die Punkte für die einzelnen Kriterien zunächst normalisiert (zwischen 0% und 100%). Die Gesamtbewertung wird dann als gewichtetes Mittel der normalisierten Punktzahlen berechnet. Bewertungsskalen werden auf Punkte von 0 bis M-1 umgerechnet, wobei M die Anzahl der Stufen der Skala ist.
-[[Image:Accumulative assessment form.png|200px|thumb|Assessment form using accumulative grading]]
-In this case, the assessment form consists of a set of criteria. Each criterion is graded separately using either a number grade (eg out of 100) or a scale (using either one of site-wide scale or a scale defined in a course). Each criterion can have its weight set. Reviewers can put comments to all assessed criteria.
-When calculating the total grade for the submission, the grades for particular criteria are firstly normalized to a range from 0% to 100%. Then the total grade by a given assessment is calculated as weighted mean of normalized grades. Scales are considered as grades from 0 to M-1, where M is the number of scale items.
+[[Image:workshop_formel1.jpg]]
-: <math>G_s = \frac{\sum_{i=1}^N \frac{g_i}{max_i} w_i }{\sum_{i=1}^N w_i}</math>
+Dabei ist [[Image:workshop_formel2.jpg]] die beim i-ten Kriterium erzielte Punktzahl, [[Image:workshop_formel3.jpg]] ist die beim i-ten Kriterium maximal erreichbare Punktzahl, [[Image:workshop_formel4.jpg]] ist das Gewicht des i-ten Kriteriums und [[Image:workshop_formel5.jpg]] ist die Anzahl der Kriterien im Beurteilungsbogen.
-: where <math>g_i \in \mathbb{N}</math> is the grade given to the i-th criterion, <math>max_i \in \mathbb{N}</math> is the maximal possible grade of the i-th criterion, <math>w_i \in \mathbb{N} </math> is the weight of the i-th criterion and <math>N \in \mathbb{N} </math> is the number of criteria in the assessment form.
-It is important to realize that the influence of a particular criterion is determined by its weight only, not the grade type or range used. Let us have three criteria in the form, first using 0-100 grade, the second 0-20 grade and the third using a three items scale. If they all have the same weight, then giving grade 50 in the first criteria has the same impact as giving grade 10 for the second criteria.
+Es ist wichtig zu verstehen, dass der Einfluss eines Kriteriums auf die Gesamtbewertung ausschließlich über das Gewicht gesteuert werden kann und nicht durch die Skala oder den Punktebereich.
+'''Beispiel''': Angenommen, dass der Beurteilungsbogen drei Kriterien enthält. Das erste Kriterium wird mit einer Skala von 0-100 Punkten bewertet, das zweite mit 0-20 Punkten und das dritte verwendet eine Skala mit drei Einträgen. Wenn alle Kriterien das gleiche Gewicht haben, dann hat eine Bewertung von 50 Punkten für das erste Kriterium denselben Einfluss auf das Gesamtergebnis wie 10 Punkte beim zweiten Kriterium. Angenommen, das dritte Kriterium verwendet eine Skala mit sechs Stufen, d.h. das entspricht 0-5 Punkten. Nun wird das erste Kriterium mit 90 Punkten bewertet, das zweite mit 16 Punkten und das dritte Kriterium mit der zweitbesten Stufe, also mit 4 Punkten bewertet. Die Gewichte für die drei Kriterien seien 1, 2 und 3. Dann berechnet sich die Gesamtbewertung nach der Formel:
-Take the case above as an example. Suppose that the third criterion uses ''scale: 6 levels''. An assessor gives grade 90 for the first criterion (or aspect 1), grade 16 for the second criterion and grade 9 ''very good'' for the last criterion. And the weights of the three criteria are 1, 2, and 3, respectively. Because for the third criterion, the scale has 6 items and grade 9 ''very good'' is the second one of the grade sequence ordered from highest to lowest, grade 9 will be mapped to 4. That is, in the formula above, g3 = 4 and max3 = 5.Then the final grade given by this assessment will be:
 [[Image: Accumulative formula.png|left]]<br clear="all"/>
 == Kommentare ==
-Dieses Bewertungsformular ähnelt dem Formular, das bei der akkumulativen Bewertung verwendet wird, nur dass hier keine Punkte, sondern Kommentare eingetragen werden können. Die Gesamtbewertung für die Einreichung wird immer auf 100% gesetzt. Diese Strategie ist sinnvoll, wenn Sie zu eingereichten Arbeiten ein erstes Feedback geben wollen. Die Autor/innen können dann ihre Arbeiten entsprechend verbessern und erneut einreichen. Für die Bewertung der erneuten Einreichung können Sie dann auch die Bewertungsstrategie ändern und die Arbeit mit einem anderen Bewertungsformular bewerten.
+Dieser Beurteilungsbogen ähnelt dem Formular, das bei der akkumulativen Bewertung verwendet wird, nur dass hier keine Punkte, sondern Kommentare eingetragen werden können. Die Gesamtbewertung für die Einreichung wird immer auf 100% gesetzt. Diese Strategie ist sinnvoll, wenn Sie zu eingereichten Arbeiten ein erstes Feedback geben wollen. Die Autor/innen können dann ihre Arbeiten entsprechend verbessern und erneut einreichen. Für die Bewertung der erneuten Einreichung können Sie dann auch die Bewertungsstrategie ändern und die Arbeit mit einem anderen Beurteilungsbogen bewerten.
-== Anzahl der Fehler ==
+== Aussagen zustimmen oder ablehnen ==
-Das Bewertungsformular besteht aus mehreren Aussagen, die bei der Bewertung als "zutreffend" oder "nicht zutreffend" gekennzeichnet werden. Sie können verschiedene Formulierungen wählen, z.B. "Ja/Nein", "Vorhanden/Fehlt", "Good/Schlecht" usw.
+Der Beurteilungsbogen besteht aus mehreren Aussagen, die bei der Bewertung als "zutreffend" oder "nicht zutreffend" gekennzeichnet werden. Sie können verschiedene Formulierungen wählen, z.B. "Ja/Nein", "Vorhanden/Fehlt", "Gut/Schlecht" usw.
-Die gesamtbewertung wird berechnet als gewichtete Zahl der negativen Antworten ("nicht zutreffend"). "Gewichtete Zahl" bedeutet, dass eine Antwort mit dem Gewicht <math>w_i</math> genau ed <math>w_i</math> Mal gezählt wird. Als Kursverantwortliche/r definieren Sie eine Umrechnungstabelle, die die Anzahl der nicht zutreffenden Antworten in eine prozentuale Bewertung der eingereichten Arbeit umrechnet. Null nicht zutreffende Antworten bedeuten also 100%.
+Die Gesamtbewertung wird berechnet als gewichtete Zahl der negativen Antworten ("nicht zutreffend"). "Gewichtete Zahl" bedeutet, dass eine Antwort mit dem Gewicht [[Image:workshop_formel6.jpg]] genau [[Image:workshop_formel6.jpg]] Mal gezählt wird. Als Kursverantwortliche/r definieren Sie eine Umrechnungstabelle, die die Anzahl der nicht zutreffenden Antworten in eine prozentuale Bewertung der eingereichten Arbeit umrechnet. Null nicht zutreffende Antworten bedeuten also 100%.
 Diese Strategie kann verwendet werden, um sicherzustellen, dass in einer Arbeit bestimmte Kriterien erfüllt wurden. Beispiele für solche Kriterien sind ''hat weniger als 3 Rechtschreibfehler gemacht'', ''hat keine Formatierungsfehler gemacht'', ''hat kreative Ideen'', ''erfüllt die Anforderungen an den Umfang der Arbeit'' usw. Mit dieser Bewertungsstrategie kommen Nutzer/innen in der Regel ohne weitere Erklärungen zurecht. Sie ist besonders geeignet für jüngere oder wenig erfahrene Nutzer/innen und liefert dennoch recht objektive Ergebnisse.
-Sie können das ursprüngliche Bewertungsformular wie folgt bearbeiten:
+Sie können den ursprünglichen Beurteilungsbogen wie folgt bearbeiten:
-# Schreiben Sie die Beschreibung für jede Aussage Write down the corresponding description for each assertion in the blank. Then fill in the blanks of ''word for the error'' and ''word for the success''. Set the weight for each assertion. As you can see, the grade mapping table is still blank now.
+# Schreiben Sie die Beschreibung für jede Aussage in das Freifeld. Tragen Sie Ihre Wörter für "zutreffend" und "nicht zutreffend" ein und legen Sie das Gewicht für dieses Kriterium fest. Die Umrechnungstabelle für die Bewertungen ist noch leer.
-# Click the ‘save and close’ button at the end of this page.
+# Klicken Sie auf ''Speichern und schließen'' unten auf der Seite.
-# Click the ‘Edit assessment form’ link at the shade area titled ''setup phase'' in the upper part of this page and view the assessment form again. At this time, you can see that the grade mapping table has already been set. (''Note'': Initially all the field are blank. You need to choose the right value from each list to make this grading strategy work properly.)
+# Klicken Sie auf den Link ''Beurteilungsboden bearbeiten'' auf der Seite der Vorbereitungsphase, um das Formular erneut zu sehen. Nun sehen Sie, dass die Umrechnungstabelle gefüllt ist.
-[[Image:Numberoferrors grade mapping table.png|300px|thumb|none|grade mapping table]]
+[[Image:umrechnungstabelle.png]]
-For example, if an assessment form contains three assertions:
+'''Beispiel''':
-{| class="nicetable"
+{| class="wikitable"
 |-
-! Assertion No.
+! Aussage No.
-! Content
+! Inhalt
-! Pass or failure state
+! Wörter für "zutreffend / nicht zutreffend"
-! Weight
+! Gewicht
 |-
 | 1
-| Has the suitable title
+| Hat einen passenden Titel
-| Yes/No
+| Ja / Nein
 | 1
 |-
 | 2
-| Has creative ideas
+| Hat kreative Ideen
-| Present/Miss
+| Vorhanden / Fehlt
 | 2
 |-
 | 3
-| The abstract is well-written
+| T Die Zusammenfassung ist gut geschrieben
-| Yes/No
+|  Ja / Nein
 | 3
 |}
-In the example above, suppose that a reviewer gives one certain work ''Yes/Miss/Yes'' as the assessment. Since the submission only fails to meet the second criterion and the weight of the second criterion is 2, the total number of errors will be 2. Thus the grade for submission given by this assessment is 66%. Suppose that the maximum grade for submission set in ''grade settings'' is 100, therefore the final grade for this submission given by this assessment is grade 66.
+Angenommen, in diesem Beispiel wurde eine Arbeit mit ''Ja / Fehlt / Ja'' bewertet. Da nur das zweite Kriterium nicht erfüllt ist, ist die Zahl der Fehler gleich 2 (1 Kriterium nicht erfüllt, dessen Gewicht gleich 2 ist, also 1*2). Nach der Umrechnungstabelle entsprechend 2 Fehler 66%, also wird die Arbeit insgesamt mit 66 von 100 Punkten bewertet.
 == Rubriken ==
@@ Zeile 74: / Zeile 75: @@
      Password: demo
-Das Beispiel zeigt einen Workshop mit [[Rubriken]] als Bewertungsstrategie. Sie können dort auch Bewertungsformulare ansehen, die andere Bewertungsstrategien verwenden:
+Das Beispiel zeigt einen Aktivität [[Gegenseitige Beurteilung]] mit [[Rubriken]] als Bewertungsstrategie. Sie können dort auch Beurteilungsbögen ansehen, die andere Bewertungsstrategien verwenden:
 #Gehen Sie auf die Seite [http://demo.moodle.net/course/modedit.php?update=1770&return=1].
@@ Zeile 81: / Zeile 82: @@
 #Klicken Sie auf den Link ''Edit assessment form'' in der Setup-Phase.
-Dann sehen Sie das ursprüngliche Bewertungsformular der gewählten Bewertungsstrategie.
+Dann sehen Sie den ursprünglichen Beurteilungsbogen der gewählten Bewertungsstrategie.
 [[en:Workshop grading strategies]]
+[[es:Estrategias de calificación de taller]]

Documentation