Bewertungsstrategien für gegenseitige Beurteilung: Unterschied zwischen den Versionen

Wechseln zu: Navigation, Suche
(Rubriken)
 
(14 dazwischenliegende Versionen von 2 Benutzern werden nicht angezeigt)
Zeile 1: Zeile 1:
{{Workshop}}
+
{{Gegenseitige Beurteilung}}
  
{{Zum Übersetzen}}
+
Die gewählte Bewertungsstrategie legt fest, wie das Bewertungsformular aussieht und wie die Bewertung berechnet wird. Bei der Aktivität [[Gegenseitige Beurteilung]] gibt es standardmäßig vier verschiedene Bewertungsstrategien. Weitere Strategien können als zusätzliche Plugins implementiert werden.
Die gewählte Bewertungsstrategie legt fest, wie das Bewertungsformular aussieht und wie die Bewertung berechnet wird. Bei der Aktivität [[Workshop]] gibt es standardmäßig vier verschiedene Bewertungsstrategien. Weitere Strategien können als zusätzliche Plugins implementiert werden.
 
  
  
 
== Akkumulative Bewertung ==
 
== Akkumulative Bewertung ==
[[Image:Accumulative assessment form.png|200px|thumb|Assessment form using accumulative grading]]
+
Bei dieser Strategie besteht das Bewertungsformular auf einer Menge von Kriterien. Jedes Kriterium wird mit einer Punktzahl (z.B. 0-100) oder einer anderen [[Bewertungsskalen|Bewertungsskala]] bewertet. Jedes Kriterium hat ein Gewicht, mit dem es in die Gesamtbewertung eingeht. Bewerter/innen können zusätzlich zu jedem Kriterium Kommentare abgeben.  
In this case, the assessment form consists of a set of criteria. Each criterion is graded separately using either a number grade (eg out of 100) or a scale (using either one of site-wide scale or a scale defined in a course). Each criterion can have its weight set. Reviewers can put comments to all assessed criteria.
 
  
When calculating the total grade for the submission, the grades for particular criteria are firstly normalized to a range from 0% to 100%. Then the total grade by a given assessment is calculated as weighted mean of normalized grades. Scales are considered as grades from 0 to M-1, where M is the number of scale items.
+
Bei der Berechnung der Gesamtbewertung werden die Punkte für die einzelnen Kriterien zunächst normalisiert (zwischen 0% und 100%). Die Gesamtbewertung wird dann als gewichtetes Mittel der normalisierten Punktzahlen berechnet. Bewertungsskalen werden auf Punkte von 0 bis M-1 umgerechnet, wobei M die Anzahl der Stufen der Skala ist.
  
: <math>G_s = \frac{\sum_{i=1}^N \frac{g_i}{max_i} w_i }{\sum_{i=1}^N w_i}</math>
+
[[Image:workshop_formel1.jpg]]
: where <math>g_i \in \mathbb{N}</math> is the grade given to the i-th criterion, <math>max_i \in \mathbb{N}</math> is the maximal possible grade of the i-th criterion, <math>w_i \in \mathbb{N} </math> is the weight of the i-th criterion and <math>N \in \mathbb{N} </math> is the number of criteria in the assessment form.
 
  
It is important to realize that the influence of a particular criterion is determined by its weight only, not the grade type or range used. Let us have three criteria in the form, first using 0-100 grade, the second 0-20 grade and the third using a three items scale. If they all have the same weight, then giving grade 50 in the first criteria has the same impact as giving grade 10 for the second criteria.
+
Dabei ist [[Image:workshop_formel2.jpg]] die beim i-ten Kriterium erzielte Punktzahl, [[Image:workshop_formel3.jpg]] ist die beim i-ten Kriterium maximal erreichbare Punktzahl, [[Image:workshop_formel4.jpg]] ist das Gewicht des i-ten Kriteriums und [[Image:workshop_formel5.jpg]] ist die Anzahl der Kriterien im Bewertungsformular.
 +
 
 +
Es ist wichtig zu verstehen, dass der Einfluss eines Kriteriums auf die Gesamtbewertung ausschließlich über das Gewicht gesteuert werden kann und nicht durch die Skala oder den Punktebereich.  
 +
 
 +
'''Beispiel''': Angenommen, dass Bewertungsformular enthälz drei Kriterien. Das erste Kriterium wird mit einer Skala von 0-100 Punkten bewertet, das zweite mit 0-20 Punkten und das dritte verwendet eine Skala mit drei Einträgen. Wenn alle Kriterien das gleiche Gewicht haben, dann hat eine Bewertung von 50 Punkten für das erste Kriterium denselben Einfluss auf das Gesamtergebnis wie 10 Punkte beim zweiten Kriterium. Angenommen, das dritte Kriterium verwendet eine Skala mit sechs Stufen, d.h. das entspricht 0-5 Punkten. Nun wird das erste Kriterium mit 90 Punkten bewertet, das zweite mit 16 Punkten und das dritte Kriterium mit der zweitbesten Stufe, also mit 4 Punkten bewertet. Die Gewichte für die drei Kriterien seien 1, 2 und 3. Dann berechnet sich die Gesamtbewertung nach der Formel:
  
Take the case above as an example. Suppose that the third criterion uses ''scale: 6 levels''. An assessor gives grade 90 for the first criterion (or aspect 1), grade 16 for the second criterion and grade 9 ''very good'' for the last criterion. And the weights of the three criteria are 1, 2, and 3, respectively. Because for the third criterion, the scale has 6 items and grade 9 ''very good'' is the second one of the grade sequence ordered from highest to lowest, grade 9 will be mapped to 4. That is, in the formula above, g3 = 4 and max3 = 5.Then the final grade given by this assessment will be:
 
 
[[Image: Accumulative formula.png|left]]<br clear="all"/>
 
[[Image: Accumulative formula.png|left]]<br clear="all"/>
  
 
== Kommentare ==
 
== Kommentare ==
[[Image:Comments assessment form.png|200px|thumb|right|Assessment form using comments]]
+
Dieses Bewertungsformular ähnelt dem Formular, das bei der akkumulativen Bewertung verwendet wird, nur dass hier keine Punkte, sondern Kommentare eingetragen werden können. Die Gesamtbewertung für die Einreichung wird immer auf 100% gesetzt. Diese Strategie ist sinnvoll, wenn Sie zu eingereichten Arbeiten ein erstes Feedback geben wollen. Die Autor/innen können dann ihre Arbeiten entsprechend verbessern und erneut einreichen. Für die Bewertung der erneuten Einreichung können Sie dann auch die Bewertungsstrategie ändern und die Arbeit mit einem anderen Bewertungsformular bewerten.
The assessment form is similar to the one used in accumulative grading strategy but no grades can be given, just comments. The total grade for the assessed submission is always set to 100%. This strategy can be effective in repetitive workflows when the submissions are firstly just commented by reviewers to provide initial feedback to the authors. Then Workshop is switched back to the submission phase and the authors can improve it according the comments. Then the grading strategy can be changed to another one using proper grading and submissions are assessed again using a different assessment form.
 
<br clear="all"/>
 
  
 
== Anzahl der Fehler ==
 
== Anzahl der Fehler ==
[[Image:Numoferror assessment form.png|200px|thumb|right|Assessment form using Number of Errors]]
+
Das Bewertungsformular besteht aus mehreren Aussagen, die bei der Bewertung als "zutreffend" oder "nicht zutreffend" gekennzeichnet werden. Sie können verschiedene Formulierungen wählen, z.B. "Ja/Nein", "Vorhanden/Fehlt", "Gut/Schlecht" usw.
In Moodle 1.x, this was called Error banded strategy. The assessment form consists of several assertions, each of them can be marked as passed or failed by the reviewer. Various words can be set to express the pass or failure state - eg Yes/No, Present/Missing, Good/Poor, etc.
+
 
 +
Die Gesamtbewertung wird berechnet als gewichtete Zahl der negativen Antworten ("nicht zutreffend"). "Gewichtete Zahl" bedeutet, dass eine Antwort mit dem Gewicht [[Image:workshop_formel6.jpg]] genau [[Image:workshop_formel6.jpg]] Mal gezählt wird. Als Kursverantwortliche/r definieren Sie eine Umrechnungstabelle, die die Anzahl der nicht zutreffenden Antworten in eine prozentuale Bewertung der eingereichten Arbeit umrechnet. Null nicht zutreffende Antworten bedeuten also 100%.
 +
 
 +
Diese Strategie kann verwendet werden, um sicherzustellen, dass in einer Arbeit bestimmte Kriterien erfüllt wurden. Beispiele für solche Kriterien sind ''hat weniger als 3 Rechtschreibfehler gemacht'', ''hat keine Formatierungsfehler gemacht'', ''hat kreative Ideen'', ''erfüllt die Anforderungen an den Umfang der Arbeit'' usw. Mit dieser Bewertungsstrategie kommen Nutzer/innen in der Regel ohne weitere Erklärungen zurecht. Sie ist besonders geeignet für jüngere oder wenig erfahrene Nutzer/innen und liefert dennoch recht objektive Ergebnisse.
  
The grade given by a particular assessment is calculated from the weighted count of negative assessment responses (failed assertions). Here, the ''weighted count'' means that a response with weight <math>w_i</math> is counted <math>w_i</math>-times. Course facilitators define a mapping table that converts the number of failed assertions to a percent grade for the given submission. Zero failed assertion is always mapped to 100% grade.
+
Sie können das ursprüngliche Bewertungsformular wie folgt bearbeiten:
 +
# Schreiben Sie die Beschreibung für jede Aussage in das Freifeld. Tragen Sie Ihre Wörter für "zutreffend" und "nicht zutreffend" ein und legen Sie das Gewicht für dieses Kriterium fest. Die Umrechnungstabelle für die Bewertungen ist noch leer.
 +
# Klicken Sie auf ''Speichern und schließen'' unten auf der Seite.
 +
# Klicken Sie auf den Link ''Beurteilungsboden bearbeiten'' auf der Seite der Vorbereitungsphase, um das Formular erneut zu sehen. Nun sehen Sie, dass die Umrechnungstabelle gefüllt ist.
  
This strategy may be used to make sure that certain criteria were addressed in the submission. Examples of such assessment assertions are: ''Has less than 3 spelling errors'', ''Has no formatting issues'', ''Has creative ideas'', ''Meets length requirements'' etc. This assessment method is considered as easier for reviewers to understand and deal with. Therefore it is suitable even for younger participants or those just starting with peer assessment, while still producing quite objective results.
+
[[Image:umrechnungstabelle.png]]
  
You can edit the original assessment form by following the steps below:
 
# Write down the corresponding description for each assertion in the blank. Then fill in the blanks of ''word for the error'' and ''word for the success''. Set the weight for each assertion. As you can see, the grade mapping table is still blank now.
 
# Click the ‘save and close’ button at the end of this page.
 
# Click the ‘Edit assessment form’ link at the shade area titled ''setup phase'' in the upper part of this page and view the assessment form again. At this time, you can see that the grade mapping table has already been set. (''Note'': Initially all the field are blank. You need to choose the right value from each list to make this grading strategy work properly.)
 
[[Image:Numberoferrors grade mapping table.png|300px|thumb|none|grade mapping table]]
 
  
  
For example, if an assessment form contains three assertions:
+
'''Beispiel''':
  
 
{| class="nicetable"
 
{| class="nicetable"
 
|-
 
|-
! Assertion No.
+
! Aussage No.
! Content
+
! Inhalt
! Pass or failure state
+
! Wörter für "zutreffend / nicht zutreffend"
! Weight
+
! Gewicht
 
|-
 
|-
 
| 1
 
| 1
| Has the suitable title
+
| Hat einen passenden Titel
| Yes/No
+
| Ja / Nein
 
| 1
 
| 1
 
|-
 
|-
 
| 2
 
| 2
| Has creative ideas
+
| Hat kreative Ideen
| Present/Miss
+
| Vorhanden / Fehlt
 
| 2
 
| 2
 
|-
 
|-
 
| 3
 
| 3
| The abstract is well-written
+
| T Die Zusammenfassung ist gut geschrieben
| Yes/No
+
| Ja / Nein
 
| 3
 
| 3
 
|}
 
|}
  
  
In the example above, suppose that a reviewer gives one certain work ''Yes/Miss/Yes'' as the assessment. Since the submission only fails to meet the second criterion and the weight of the second criterion is 2, the total number of errors will be 2. Thus the grade for submission given by this assessment is 66%. Suppose that the maximum grade for submission set in ''grade settings'' is 100, therefore the final grade for this submission given by this assessment is grade 66.
+
Angenommen, in diesem Beispiel wurde eine Arbeit mit ''Ja / Fehlt / Ja'' bewertet. Da nur das zweite Kriterium nicht erfüllt ist, ist die Zahl der Fehler gleich 2 (1 Kriterium nicht erfüllt, dessen Gewicht gleich 2 ist, also 1*2). Nach der Umrechnungstabelle entsprechend 2 Fehler 66%, also wird die Arbeit insgesamt mit 66 von 100 Punkten bewertet.
  
 
== Rubriken ==
 
== Rubriken ==
Zeile 77: Zeile 76:
 
     Password: demo
 
     Password: demo
  
Das Beispiel zeigt einen Workshop mit [[Rubriken]] als Bewertungsstrategie. Sie können dort auch Bewertungsformulare ansehen, die andere Bewertungsstrategien verwenden:
+
Das Beispiel zeigt einen Aktivität [[Gegenseitige Beurteilung]] mit [[Rubriken]] als Bewertungsstrategie. Sie können dort auch Bewertungsformulare ansehen, die andere Bewertungsstrategien verwenden:
  
 
#Gehen Sie auf die Seite [http://demo.moodle.net/course/modedit.php?update=1770&return=1].
 
#Gehen Sie auf die Seite [http://demo.moodle.net/course/modedit.php?update=1770&return=1].

Aktuelle Version vom 16. Oktober 2015, 07:32 Uhr


Die gewählte Bewertungsstrategie legt fest, wie das Bewertungsformular aussieht und wie die Bewertung berechnet wird. Bei der Aktivität Gegenseitige Beurteilung gibt es standardmäßig vier verschiedene Bewertungsstrategien. Weitere Strategien können als zusätzliche Plugins implementiert werden.


Akkumulative Bewertung

Bei dieser Strategie besteht das Bewertungsformular auf einer Menge von Kriterien. Jedes Kriterium wird mit einer Punktzahl (z.B. 0-100) oder einer anderen Bewertungsskala bewertet. Jedes Kriterium hat ein Gewicht, mit dem es in die Gesamtbewertung eingeht. Bewerter/innen können zusätzlich zu jedem Kriterium Kommentare abgeben.

Bei der Berechnung der Gesamtbewertung werden die Punkte für die einzelnen Kriterien zunächst normalisiert (zwischen 0% und 100%). Die Gesamtbewertung wird dann als gewichtetes Mittel der normalisierten Punktzahlen berechnet. Bewertungsskalen werden auf Punkte von 0 bis M-1 umgerechnet, wobei M die Anzahl der Stufen der Skala ist.

workshop formel1.jpg

Dabei ist workshop formel2.jpg die beim i-ten Kriterium erzielte Punktzahl, workshop formel3.jpg ist die beim i-ten Kriterium maximal erreichbare Punktzahl, workshop formel4.jpg ist das Gewicht des i-ten Kriteriums und workshop formel5.jpg ist die Anzahl der Kriterien im Bewertungsformular.

Es ist wichtig zu verstehen, dass der Einfluss eines Kriteriums auf die Gesamtbewertung ausschließlich über das Gewicht gesteuert werden kann und nicht durch die Skala oder den Punktebereich.

Beispiel: Angenommen, dass Bewertungsformular enthälz drei Kriterien. Das erste Kriterium wird mit einer Skala von 0-100 Punkten bewertet, das zweite mit 0-20 Punkten und das dritte verwendet eine Skala mit drei Einträgen. Wenn alle Kriterien das gleiche Gewicht haben, dann hat eine Bewertung von 50 Punkten für das erste Kriterium denselben Einfluss auf das Gesamtergebnis wie 10 Punkte beim zweiten Kriterium. Angenommen, das dritte Kriterium verwendet eine Skala mit sechs Stufen, d.h. das entspricht 0-5 Punkten. Nun wird das erste Kriterium mit 90 Punkten bewertet, das zweite mit 16 Punkten und das dritte Kriterium mit der zweitbesten Stufe, also mit 4 Punkten bewertet. Die Gewichte für die drei Kriterien seien 1, 2 und 3. Dann berechnet sich die Gesamtbewertung nach der Formel:

Accumulative formula.png

Kommentare

Dieses Bewertungsformular ähnelt dem Formular, das bei der akkumulativen Bewertung verwendet wird, nur dass hier keine Punkte, sondern Kommentare eingetragen werden können. Die Gesamtbewertung für die Einreichung wird immer auf 100% gesetzt. Diese Strategie ist sinnvoll, wenn Sie zu eingereichten Arbeiten ein erstes Feedback geben wollen. Die Autor/innen können dann ihre Arbeiten entsprechend verbessern und erneut einreichen. Für die Bewertung der erneuten Einreichung können Sie dann auch die Bewertungsstrategie ändern und die Arbeit mit einem anderen Bewertungsformular bewerten.

Anzahl der Fehler

Das Bewertungsformular besteht aus mehreren Aussagen, die bei der Bewertung als "zutreffend" oder "nicht zutreffend" gekennzeichnet werden. Sie können verschiedene Formulierungen wählen, z.B. "Ja/Nein", "Vorhanden/Fehlt", "Gut/Schlecht" usw.

Die Gesamtbewertung wird berechnet als gewichtete Zahl der negativen Antworten ("nicht zutreffend"). "Gewichtete Zahl" bedeutet, dass eine Antwort mit dem Gewicht workshop formel6.jpg genau workshop formel6.jpg Mal gezählt wird. Als Kursverantwortliche/r definieren Sie eine Umrechnungstabelle, die die Anzahl der nicht zutreffenden Antworten in eine prozentuale Bewertung der eingereichten Arbeit umrechnet. Null nicht zutreffende Antworten bedeuten also 100%.

Diese Strategie kann verwendet werden, um sicherzustellen, dass in einer Arbeit bestimmte Kriterien erfüllt wurden. Beispiele für solche Kriterien sind hat weniger als 3 Rechtschreibfehler gemacht, hat keine Formatierungsfehler gemacht, hat kreative Ideen, erfüllt die Anforderungen an den Umfang der Arbeit usw. Mit dieser Bewertungsstrategie kommen Nutzer/innen in der Regel ohne weitere Erklärungen zurecht. Sie ist besonders geeignet für jüngere oder wenig erfahrene Nutzer/innen und liefert dennoch recht objektive Ergebnisse.

Sie können das ursprüngliche Bewertungsformular wie folgt bearbeiten:

  1. Schreiben Sie die Beschreibung für jede Aussage in das Freifeld. Tragen Sie Ihre Wörter für "zutreffend" und "nicht zutreffend" ein und legen Sie das Gewicht für dieses Kriterium fest. Die Umrechnungstabelle für die Bewertungen ist noch leer.
  2. Klicken Sie auf Speichern und schließen unten auf der Seite.
  3. Klicken Sie auf den Link Beurteilungsboden bearbeiten auf der Seite der Vorbereitungsphase, um das Formular erneut zu sehen. Nun sehen Sie, dass die Umrechnungstabelle gefüllt ist.

umrechnungstabelle.png


Beispiel:

Aussage No. Inhalt Wörter für "zutreffend / nicht zutreffend" Gewicht
1 Hat einen passenden Titel Ja / Nein 1
2 Hat kreative Ideen Vorhanden / Fehlt 2
3 T Die Zusammenfassung ist gut geschrieben Ja / Nein 3


Angenommen, in diesem Beispiel wurde eine Arbeit mit Ja / Fehlt / Ja bewertet. Da nur das zweite Kriterium nicht erfüllt ist, ist die Zahl der Fehler gleich 2 (1 Kriterium nicht erfüllt, dessen Gewicht gleich 2 ist, also 1*2). Nach der Umrechnungstabelle entsprechend 2 Fehler 66%, also wird die Arbeit insgesamt mit 66 von 100 Punkten bewertet.

Rubriken

Detaillierte Informationen zu dieser Bewertungsstrategie finden Sie im Artikel Rubriken.

Beispiele

Besuchen Sie die Moodle Demo Website [1]

Hinweis: Sie müssen sich als Trainer/in anmelden:

   User name: teacher 
   Password: demo

Das Beispiel zeigt einen Aktivität Gegenseitige Beurteilung mit Rubriken als Bewertungsstrategie. Sie können dort auch Bewertungsformulare ansehen, die andere Bewertungsstrategien verwenden:

  1. Gehen Sie auf die Seite [2].
  2. Im Abschnitt Bewertungen wählen Sie die gewünschte Bewertungsmethode aus.
  3. Klicken Sie auf den Button Speichern und Vorschau unten auf der Seite.
  4. Klicken Sie auf den Link Edit assessment form in der Setup-Phase.

Dann sehen Sie das ursprüngliche Bewertungsformular der gewählten Bewertungsstrategie.