Hinweis: Sie sind auf den Seiten der Moodle 3.1 Dokumentation. Die Dokumentation der aktuellsten Moodle-Version finden Sie hier: Gegenseitige Beurteilung nutzen.

Gegenseitige Beurteilung nutzen: Unterschied zwischen den Versionen

Aus MoodleDocs
Wechseln zu:Navigation, Suche
Keine Bearbeitungszusammenfassung
(36 dazwischenliegende Versionen von 2 Benutzern werden nicht angezeigt)
Zeile 1: Zeile 1:
{{Workshop}}
{{Gegenseitige Beurteilung}}


{{Zum Übersetzen}}
==Phasen der gegenseitigen Beurteilung==
==Workshop-Phasen==
Der Ablauf in einer Aktivität [[Gegenseitige Beurteilung]] kann als eine Abfolge von fünf verschiedenen Phasen betrachtet werden:
Der Ablauf in einem Workshop kann als eine Abfolge von fünf verschiedenen Phasen betrachtet werden:
*Vorbereitungsphase - Aktivität anlegen und konfigurieren
*Vorbereitungsphase - Workshop anlegen und konfigurieren
*Einreichungsphase - Einreichen der Arbeiten
*Einreichungsphase - Einreichen der Arbeiten
*Beurteilungsphase - Beurteilung durch die Teilnehmer/innen
*Beurteilungsphase - Beurteilung durch die Teilnehmer/innen
*Bewertungsphase - Bewertung durch die Trainer/innen
*Bewertungsphase - Bewertung durch die Trainer/innen
*Geschlossen - Abschluss der Workshop-Aktivität
*Geschlossen - Abschluss der Aktivität
Eine Workshop-Aktivität kann sich über mehrer Tage oder Wochen erstrecken. Als Trainer/in legen Sie fest, wann der Übergang zu einer neuen Phase erfolgt.
Eine Aktivität [[Gegenseitige Beurteilung]] kann sich über mehrere Tage oder Wochen erstrecken. Als Trainer/in legen Sie fest, wann der Übergang zu einer neuen Phase erfolgt.


'''Anmerkung''': Fortgeschrittene können auch mehrfach zwischen den Phasen Einreichen und Beurteilen wechseln (iterativer Prozess).
'''Anmerkung''': Fortgeschrittene können auch mehrfach zwischen den Phasen Einreichen und Beurteilen wechseln (iterativer Prozess).


Der Fortschritt in der Workshop-Aktivität wird im sogenannten Workshop-Planungswerkzeug visualisiert. Dieses Werkzeug zeigt alle Phasen an und hebt die aktuelle Phase optisch hervor. Es listet alle Aufgaben auf, die in der aktuellen Phase anstehen und zeigt an, welche davon bereits erledigt sind (Checkbox abgehakt) und welche noch zu erledigen sind.
Der Fortschritt in der Aktivität wird im sogenannten Planungswerkzeug visualisiert. Dieses Werkzeug zeigt alle Phasen an und hebt die aktuelle Phase optisch hervor. Es listet alle Aufgaben auf, die in der aktuellen Phase anstehen und zeigt an, welche davon bereits erledigt sind (Checkbox abgehakt) und welche noch zu erledigen sind. Zum Wechseln der Phase klicken Sie auf das Symbol [[Image:marker.gif]] der nächsten Phase.


===Vorbereitungsphase===
===Vorbereitungsphase===
In dieser Phase legen Sie als Trainer/in die Aktivität an und nehmen [[Workshop konfigurieren|Konfigurationseinstellungen]] vor. In diese Phase wechseln Sie auch, wenn Sie Änderungen an den Einstellungen vornehmen wollen.
[[Image:Workshop_ansehen.jpg|thumb|right|Planungswerkzeug - Vorbereitungsphase]]
[[Image:beurteilungsform.jpg|thumb|right|Beurteilungsbogen für die Punktestrategie ''Kommentare'']]
 
In dieser Phase legen Sie als Trainer/in die Aktivität an und nehmen [[Gegenseitige Beurteilung konfigurieren|Konfigurationseinstellungen]] vor. In diese Phase wechseln Sie auch, wenn Sie Änderungen an den Einstellungen vornehmen wollen.


Die Kursteilnehmer/innen können in dieser Phase gar nichts tun: weder Arbeiten einreichen, noch Arbeiten beurteilen.
Die Kursteilnehmer/innen können in dieser Phase gar nichts tun: weder Arbeiten einreichen, noch Arbeiten beurteilen.


====Workshop-Einführung verfassen====
Als Trainer/in müssen Sie folgendes erledigen:
Dies tun Sie in den [[Workshop konfigurieren#Grundeinträge|Workshop-Einstellungen]] im Abschnitt ''Grundeinträge'', Textbereich ''Einführung''.
*Einführung verfassen: Dies tun Sie in den [[Gegenseitige Beurteilung konfigurieren#Grundeinträge|Einstellungen]] der Aktivität im Abschnitt ''Grundeinträge'', Textbereich ''Einführung''.
*Auftrag für das Einreichen verfassen: Dies tun Sie in den [[Gegenseitige Beurteilung konfigurieren#Grundeinträge|Einstellungen]] der Aktivität im Abschnitt ''Einstellungen Einreichungen'', Textbereich ''Anweisungen für das Einreichen''.
*[[Gegenseitige Beurteilung nutzen#Beurteilungsbogen bearbeiten|Beurteilungsbogen bearbeiten]]
*[[Gegenseitige Beurteilung nutzen#Beispieleinreichungen erstellen|Beispieleinreichungen erstellen]]: Das ist nur nötig, wenn Sie in den [[Gegenseitige Beurteilung konfigurieren#Funktionen der gegenseitigen Beurteilung|Einstellungen]] der Aktivität die Checkbox ''Beispieleinreichungen benutzen'' markiert haben.  


====Auftrag für das Einreichen verfassen====
Dies tun Sie in den [[Workshop konfigurieren#Grundeinträge|Workshop-Einstellungen]] im Abschnitt ''Einstellungen Einreichungen'', Textbereich
''Anweisungen für das Einreichen''.
====Beurteilungsbogen bearbeiten====
====Beurteilungsbogen bearbeiten====
*Link anklicken
*Im Planungswerkzeug, Bereich ''Vorbereitungsphase'' klicken Sie auf den Link ''Beurteilungsbogen bearbeiten''.
*Je nach ''Punktestrategie'' anderes Formular siehe [[Workshop konfigurieren#Grundeinträge|Workshop-Einstellungen]] im Abschnitt ''Punkteeinstellungen Einreichungen''
*Je nachdem, welche ''Punktestrategie'' Sie in den [[Gegenseitige Beurteilung konfigurieren#Punkteeinstellungen Einreichungen|Einstellungen]] der Aktivität gewählt haben, erscheint ein entsprechendes Formular. In diesem Formular beschreiben Sie die Beurteilungskriterien, die zur Bewertung der eingereichten Arbeiten verwendet werden sollen. Die Kursteilnehmer/innen bekommen diese Kriterien angezeigt, wenn die Aktivität in der Beurteilungsphase ist.  
 
:'''Editing assessment form'''
[[Image:Setup assessment form.png]]
In order to set the criterion for an assignment, teachers need to fill out an assessment form during the setup phase. Students can view this assessment form in the submission phase and focus on what is important about the task when working on their assignment. In the next phase-the assessment phase, students will assess their peers’ work based on this assessment form.
 
:According to the grading strategy chosen in the grading settings, teachers will get corresponding original assessment form to edit by clicking ‘Edit assessment form’ button in the first page of the workshop setup for the assignment. The grading strategy can be one of ''Accumulative grading'', ''Comments'', ''Number of errors'' or ''Rubrics''. Teachers can set each criterion in detail in the assessment form.<br clear="all"/>


====Beispieleinreichungen erstellen====
====Beispieleinreichungen erstellen====
*Wenn Assessmentform Beispieleinreichungen vorsieht, siehe [[Workshop konfigurieren#Workshop-Funktionen|Workshop-Einstellungen]] im Abschnitt ''Workshop-Funktionen''
Wenn Ihre Aktivität Beispieleinreichungen vorsieht, dann erscheint im Planungswerkzeug bei aktivierter Vorbereitungsphase ein Abschnitt ''Musterlösungen''.
*Button ''Beispieleinreichung hinzufügen''
*Klicken Sie dort auf den Button ''Beispieleinreichung hinzufügen''.
*Datei(en) hochladen
*Geben Sie der Musterlösung einen ''Titel''.
*Optional können Sie im Textbereich ''Einreichungsinhalt'' etwas zum Inhalt der Datei sagen.
*Klicken Sie auf den Button ''Datei hinzufügen'' und laden Sie eine oder mehrere [[Datei hochladen|Dateien]] hoch oder wählen Sie eine bereits hochgeladene [[Datei aus Repository auswählen|Datei aus einem Repository]] aus.
*Klicken Sie abschließend auf den Button ''Änderungen speichern''.


Am Ende der Vorbereitungsphase müssen alle Checkboxen abgehakt sein.
Am Ende der Vorbereitungsphase müssen alle Checkboxen abgehakt sein.


[[Image:Vorbereitungsphase.jpg]]
===Einreichungsphase===
[[Image:einreichungsphase.jpg|thumb|right|Planungswerkzeug - Einreichungsphase]]
[[Image:manuellezuordnung.jpg|thumb|right|Manuelle Zuordnung der Einreichungen]]
[[Image:zufälligezuordnung.jpg|thumb|right|Zufällige Zuordnung der Einreichungen]]


===Einreichungsphase===
In dieser Phase reichen die Kursteilnehmer/innen ihre Arbeiten ein. In den [[Gegenseitige Beurteilung konfigurieren|Einstellungen]] der Aktivität können Sie einen begrenzten Zeitraum (Beginn, Ende, beides) festlegen, in dem Arbeiten eingereicht werden können.
In dieser Phase reichen die Kursteilnehmer/innen ihre Arbeiten ein. In den [[Workshop konfigurieren|Workshop-Einstellungen]] können Sie einen begrenzten Zeitraum (Beginn, Ende, beides) festlegen, in dem Arbeiten eingereicht werden können.


====Einreichungen zuordnen====
{{Neu}}Kursteilnehmer/innen können während der Einreichungsphase ihre bereits hochgeladenen Lösungen wieder löschen. Trainer/innen können alle Einreichungen zu jedem Zeitpunkt löschen. Wenn eine Einreichung jedoch bereits bewertet wurde, dann erscheint eine Warnung, dass die Bewertung ebenfalls gelöscht wird und dass sich damit die Beurteilung der bewertenden Person ändern kann.
*Bei Peer-Assessment siehe [[Workshop konfigurieren]]
*Manuelle Zuordnung / Zufällige Zuordnung - erklären
'''Manual Allocation'''


In manual allocation menu once a student has submitted work the teacher can then choose which other students get to access their work. If the student has not submitted any work the teacher cannot assign other students to access the work. However without anything submitted the teacher can choose which students’ work this student will access.  
Als Trainer/in müssen Sie in dieser Phase folgendes tun:
*Auftrag für das Beurteilen verfassen: Dies tun Sie in den [[Gegenseitige Beurteilung konfigurieren#Funktionen der gegenseitigen Beurteilung|Einstellungen]] der Aktivität im Abschnitt ''Funktionen'', in dem Sie eine oder beide der Checkboxen ''Gegenseitiges Beurteilen benutzen'' oder ''Selbstbeurteilung benutzen'' markieren.
*[[Gegenseitige Beurteilung nutzen#Einreichungen zuordnen|Einreichungen zuordnen]]: Hier legen Sie fest, wer wen beurteilt.


Note that if a student has not submitted any work they can only be assigned to review other students who have submitted work and likewise other students cannot be assigned to review any student who hasn’t submitted any work.
====Einreichungen zuordnen====
*Im Planungswerkzeug, Bereich ''Vorbereitungsphase'' klicken Sie auf den Link ''Einreichungen zuordnen''.
*Im Reiter ''Manuelle Zuordnung'' können Sie manuell festlegen, wer wen beurteilt: Sobald jemand eine Arbeit eingereicht hat, können Sie bestimmen wer von den (anderen) Kursteilnehmer/innen Zugriff auf die Einreichung bekommt, um sie zu bewerten. Wenn jemand (noch) nichts eingereicht hat, kann er trotzdem bereits zur Beurteilung anderer eingeteilt werden.
*Im Reiter ''Zufällige Zuordnung'' können Einreichungen zufällig an Beurteiler/innen verteilt werden. Als Trainer/in können Sie folgende Einstellungen vornehmen:
:*''Anzahl von Beurteilungsaufträgen'' - wählen Sie, wie viele Beurteilungsaufträge ''pro Einreichung'' (jede eingereichte Arbeit erhält die gewählte Zahl von Beurteilungen) oder ''pro Beurteiler/in'' (jede/r Kursteilnehmer/in muss die gewählte Zahl von Beurteilungen vornehmen) vergeben werden sollen.
:*''Aktuelle Zuordnung zurücksetzen'' - wenn Sie diese Checkbox markieren, löschen Sie alle Zuordnungen, die im Reiter ''Manuelle Zuordnung'' festgelegt wurden.
:*''Teilnehmer/innen können ohne eigene Einreichung bewerten'' - wenn Sie diese Checkbox markieren, dann können Teilnehmer/innen die Arbeiten anderer beurteilen ohne/bevor sie selbst etwas eingereicht haben.
:*''Selbstbeurteilung hinzufügen'' - wenn Sie diese Checkbox markieren, dann werden den Kursteilnehmer/innen auch ihre eigenen Einreichungen zur Beurteilung zugeordnet (Self-Assessment).
*Klicken Sie abschließend auf den Button ''Änderungen speichern''.


'''Random Allocation'''
<br clear="all">


In random allocation the teacher is given 5 settings that determine how the random allocation will work.
In der Abgabeübersicht für gegenseitige Beurteilungen können Sie die Einreichungen nach verschiedenen Kriterien (Vorname, Nachname, zuletzt geändert, etc.) sortieren.


* '''Number of reviews:''' Here the teacher picks between 0 and 30 reviews for either each submission or per reviewer. That is the teacher may choose to either set the number of reviews each submission must have or the number of reviews each student has to carry out
[[Image:worksop.jpg|400px]]
* '''Prevent Reviews:''' If the teacher wishes for students of the same group to never review each other’s work, as most likely it is their work too in a group submission, then they can check this box and moodle will ensure that they are only allocated other students out of their group’s work to access
* '''Remove current allocations:''' Checking this box means that any manual allocations that have been set in the Manual Allocation menu will be removed
* '''Can access with no submission:''' Having this box checked allows students to assess other students’ work without having already submitted their own work.
* ''' Add self assessments:''' This options when checked make sure that as well as assessing other students’ work they must also assess their own. This is a good option to teach students how to be objective to their own work.


===Beurteilungsphase===
===Beurteilungsphase===
Wenn Sie in den Workshop-Einstellungen das [[Workshop konfigurieren#Workshop-Funktionen|gegenseitige Beurteilen]] (Peer-Assessment) aktiviert haben, dann beurteilen die Kursteilnehmer/innen in dieser Phase die Arbeiten ihrer Kurskolleg/innen, die ihnen zur Bewertung zugewiesen wurden. Auch für diese Phase können Sie als Trainer/in in den [[Workshop konfigurieren|Workshop-Einstellungen]] einen festen Zeitraum (Beginn, Ende, beides) definieren.
[[Image:beurteilungsphase.jpg|thumb|right|Beurteilungsphase]]
Wenn Sie in den Einstellungen das [[Gegenseitige Beurteilung konfigurieren#Funktionen|gegenseitige Beurteilen]] (Peer-Assessment) aktiviert haben, dann beurteilen die Kursteilnehmer/innen in dieser Phase die Arbeiten ihrer Kurskolleg/innen, die ihnen zur Beurteilung zugewiesen wurden.  
Auch für diese Phase können Sie als Trainer/in in den [[Gegenseitige Beurteilung konfigurieren|Einstellungen]] der Aktivität einen festen Zeitraum (Beginn, Ende, beides) definieren.
*Melden Sie sich als Teilnehmer/in im Kurs an.
*Klicken Sie die Aktivität auf der Kursseite an.
*Klicken Sie auf den Button ''Beurteilen''.
*Füllen Sie den Beurteilungsbogen nach den festgelegten Kriterien aus.
*Klicken Sie auf den Button ''Speichern und weiter bearbeiten'', um die nächste Einreichung zu bewerten oder auf den Button ''Speichern und schließen'', um das Beurteilen zu beenden.


===Bewertungsphase===
===Bewertungsphase===
In dieser Phase ermitteln Sie als Trainer/in die Gesamtbewertung für jede/n einzelne/n Kursteilnehmer/in. Diese Gesamtbewertung setzt sich zusammen aus der Bewertung für die eingereichte Arbeit (Teilleistungen "Einreichung") und der Bewertung ihrer Beurteilungen der Arbeiten anderer (Teilleistung "Beurteilung"). Sie bestimmen für jeden die Gesamtbewertung und geben Feedback zu den Arbeiten und den Beurteilungen. Außerdem können Sie ausgewählte Arbeiten veröffentlichen, so dass sie für alle Kursteilnehmer/innen als Beispiele sichtbar sind.
In dieser Phase ermitteln Sie als Trainer/in die Gesamtbewertung für jede/n einzelne/n Kursteilnehmer/in. Diese Gesamtbewertung setzt sich zusammen aus der Bewertung für die eingereichte Arbeit (Teilleistungen "Einreichung") und der Bewertung ihrer Beurteilungen der Arbeiten anderer (Teilleistung "Beurteilung"). Sie bestimmen für jeden die Gesamtbewertung und geben Feedback zu den Arbeiten und den Beurteilungen. Außerdem können Sie ausgewählte Arbeiten veröffentlichen, so dass sie für alle Kursteilnehmer/innen als Beispiele sichtbar sind.


Detaillierte Informartionen finden Sie im Abschnitt [[Workshop nutzen#Workshop-Bewertung|Workshop-Bewertung]] weiter unten.
Detaillierte Informartionen finden Sie im Abschnitt [[Gegenseitige Beurteilung nutzen#Bewertung der gegenseitigen Beurteilung|Bewertung]] weiter unten.


===Geschlossen===
===Geschlossen===
Wenn Sie in diese Phase umschalten, dann werden alle Bewertungen / Noten/ Punkte in die Bewertungsübersicht des Kurses übertragen.  
Wenn Sie in diese Phase umschalten, dann werden alle Bewertungen / Noten/ Punkte in die Bewertungsübersicht des Kurses übertragen.  
Die Bewertung wird den Kursteilnehmer/innen direkt in der Aktivität und in ihrer Bewertungsübersicht angezeigt.


Die Kursteilnehmer/innen können in dieser Phase ihre eigenen Arbeiten, ihre Beurteilungen und veröffentlichte Arbeiten anderer sehen.
Die Kursteilnehmer/innen können in dieser Phase ihre eigenen Arbeiten, ihre Beurteilungen und veröffentlichte Arbeiten anderer sehen.


==Workshop-Bewertung==
==Bewertung der gegenseitigen Beurteilung==
[[Image:bewertungsphase.jpg|thumb|right|Bewertungsphase]]
Das folgende Schema beschreibt, wie die Gesamtbewertung einer Aktivität ermittelt wird.


The grades for a Workshop activity are obtained gradually at several stages and then they are finalized. The following scheme illustrates the process and also provides the information in what database tables the grade values are stored.
[[Image:workshop_grades_calculation.png|400px|thumb|left|The scheme of grades calculation]]
 
[[Image:workshop_grades_calculation.png|400px|thumb|left|The scheme of grades calculation in Workshop]]
<br clear="all"/>
<br clear="all"/>


As you can see, every participant gets two numerical grades into the course Gradebook. During the Grading evaluation phase, course facilitator can let Workshop module to calculate these final grades. Note that they are stored in Workshop module only until the activity is switched to the final (Closed) phase. Therefore it is pretty safe to play with grades unless you are happy with them and then close the Workshop and push the grades into the Gradebook. You can even switch the phase back, recalculate or override the grades and close the Workshop again so the grades are updated in the Gradebook again (should be noted that you can override the grades in the Gradebook, too).
Alle Kursteilnehmer/innen erhalten zwei Teilbewertungen, die in die Bewertungen des Kurses einfließen. Die Übertragung in die Kursbewertungsübersicht erfolgt erst, wenn die Aktivität in die Phase ''Geschlossen'' geschaltet wird. Als Trainer/in können Sie in der Bewertungsphase also beliebig "an den Noten herumbasteln", eine Übertragung erfolgt erst in der Phase ''Geschlossen''. Sie können einen geschlossene Aktivität sogar in die Bewertungsphase zurücksetzen und die Noten neu bestimmen.
 
During the grading evaluation, Workshop grades report provides you with a comprehensive overview of all individual grades. The report uses various symbols and syntax:


Die Bewertungsübersicht einer Aktivität [[Gegenseitige Beurteilung]] ist wie folgt zu lesen:
{| class="nicetable"
{| class="nicetable"
|-
|-
! Value
! Wert
! Meaning
! Bedeutung
|-
|-
| - (-) < Alice
| - (-) < Mister Elearning
| The is an assessment allocated to be done by Alice, but it has been neither assessed nor evaluated yet
| Die Beurteilung erfolgt durch Mister Elearning, das ist aber noch nicht geschehen.
|-
|-
| 68 (-) < Alice
| 68 (-) < Alice
| Alice assessed the submission, giving the grade for submission 68. The grade for assessment (grading grade) has not been evaluated yet.
| Alice hat die Beurteilung vorgenommen und die eingereichte Arbeit mit 68 Punkten bewertet. Die Bewertung dieser Beurteilungsleistung ist noch nicht erfolgt.
|-
|-
| 23 (-) > Bob
| 80 (-) > Iris
| Bob's submission was assessed by a peer, receiving the grade for submission 23. The grade for this assessment has not been evaluated yet.
| Die eingereichte Arbeit von Iris wurde von einem anderen Kursteilnehmer mit 80 Punkten bewertet. Die Beurteilungsleistung wurde noch nicht bewertet.
|-
|-
| 76 (12) < Cindy
| 80 (20) < Gisela
| Cindy assessed the submission, giving the grade 76. The grade for this assessment has been evaluated 12.
| Gisela hat eine eingereichte Arbeit mit 80 Punkten bewertet. Für diese Beurteilungsleistung erhielt Gisela 20 Punkte.
|-
|-
| 67 (8) @ 4 < David
| 67 (8) @ 4 < David
| David assessed the submission, giving the grade for submission 67, receiving the grade for this assessment 8. His assessment has weight 4
| David hat eine Arbeit mit 67 Punkten bewertet und für diese Beurteilungsleistung selbst 8 Punkte erhalten. Das Gewicht seiner Beurteilung ist 4.
|-
|-
| 80 (<del>20</del> / <ins>17</ins>) > Eve
| 80 (<del>20</del> / <ins>17</ins>) > Eva
| Eve's submission was assessed by a peer. Eve's submission received 80 and the grade for this assessment was calculated to 20. Teacher has overridden the grading grade to 17, probably with an explanation for the reviewer.
| Evas eingereichte Arbeit wurde von einem anderen Kursteilnehmer mit 80 Punkten bewertet. Die Beurteilungsleistung wurde mit 20 Punkten bewertet. Der Trainer hat die Beurteilungsleistung mit 17 Punkten neu bewertet (und ggf. einen entsprechenden Kommentar an den Beurteiler geschickt).
|}
|}


=== Grade for submission ===
===Bewertung für die Einreichung===
 
Die Bewertung für eine Einreichung wird als gewichtetes Mittel der Bewertungen aller Beurteiler/innen bestimmt. Dieser Mittelwert wird auf die in den [[Gegenseitige Beurteilung konfigurieren#Punkteeinstellungen|Einstellungen]] festgelegten Dezimalstellen (Stellen nach dem Komma) gerundet.
The final grade for every submission is calculated as weighted mean of particular assessment grades given by all reviewers of this submission. The value is rounded to a number of decimal places set in the Workshop settings form.


Course facilitator can influence the grade for a given submission in two ways:
Als Trainer/in können Sie die Bewertung einer eingereichten Arbeit wie folgt beeinflussen.
*indem Sie eine eigene Bewertung vornehmen und diese höher gewichten als die Bewertungen der anderen Beurteiler/innen;
*indem Sie die berechnete Bewertung manuell überschreiben. Klicken Sie dazu auf die Bewertung in der Bewertungsübersicht, um auf den Beurteilungsbogen zu gelangen und ändern Sie dort die Bewertung.


* by providing their own assessment, possibly with a higher weight than usual peer reviewers have
===Bewertung für die Beurteilung===
* by overriding the grade to a fixed value
Mit dieser Teilnote wird die Beurteilungsleistung der Kursteilnehmer/innen bewertet. Die Bewertung für die Beurteilung ergibt sich als gewichtetes Mittel aller Beurteilungsleistungen eines Kursteilnehmers (ein Kursteilnehmer beurteilt i.d.R. Arbeiten von mehreren anderen Kursteilnehmer/innen).


=== Grade for assessment ===
Die Bewertung einer einzelnen Beurteilungsleistung wird mit Mitteln der künstlichen Intelligenz im Hintergrund vorgenommen. Das geschieht unter Verwendung eines Subplugins. Z.Z. gibt es nur das Subplugin ''Abgleich mit der besten Beurteilung''. Weitere Subplugins können als Codeerweiterung entwickelt werden. Die Teilnote wird in der Bewertungsübersicht in runden Klammern () angegeben.


Grade for assessment tries to estimate the quality of assessments that the participant gave to the peers. This grade (also known as ''grading grade'') is calculated by the artificial intelligence hidden within the Workshop module as it tries to do typical teacher's job.
Das Verfahren ''Abgleich mit der besten Bewertung'' funktioniert wie folgt: Eine der Beurteilungen für eine eingereichte Arbeit wird als "beste" Beurteilung gewählt (und zwar die, die dem Mittelwert aller Beurteilungen am nächsten liegt) und mit 100% angesetzt. Dann wird der "Abstand" aller anderen Beurteilungen zu dieser "besten" Beurteilung bestimmt. Die Bewertung der anderen Beurteilungen ist um so niedriger, je mehr sie von der "besten" Beurteilung abweicht. Diesem Prinzip liegt zu Grunde, dass die "beste" Bewertung als Konsens aller Beurteiler/innen angesehn werden kann und eine starke Abweichung davon als "schlechte" Beurteilungsleistung betrachtet werden kann.  


During the grading evaluation phase, you use a Workshop subplugin to calculate grades for assessment. At the moment, only one subplugin is available called ''Comparison with the best assessment''. The following text describes the method used by this subplugin. Note that more grading evaluation subplugins can be developed as Workshop extensions.
Wenn es z.B. nur zwei Beurteilungen pro Einreichung gibt, dann kann keine der Beurteilungen als "beste" angesetzt werden. In diesem Fall haben Sie zwei Möglichkeiten:
*entweder Sie ordnen jeder Einreichung eine ungerade Anzahl an Beurteiler/innen zu, z.B. können Sie als Trainer/in eine zusätzliche Beurteilung abgeben,
*oder Sie "glauben" einem Beurteiler mehr als dem anderen und gewichten die beiden Beurteilungen unterschiedlich.  


Grades for assessment are displayed in the braces () in the Workshop grades report. The final grade for assessment is calculated as the average of particular grading grades.
'''Achtung''': Das Subplugin ''Abgleich mit der besten Beurteilung'' vergleicht nicht die endgültigen Bewertungen. Unabhängig von der in den [[Gegenseitige Beurteilung konfigurieren#Einstellungen|Einstellungen]] der Aktivität gewählten ''Punktestrategie'' kann ein ausgefüllter Beurteilungsbogen mit n Beurteilungskriterien als n-dimensionaler Vektor von normalisierten Werten betrachtet werden. Der Abstand zur "besten" Beurteilung wird mit Methoden der Varianzanalyse berechnet.


There is not a single formula to describe the calculation. However the process is deterministic. Workshop picks one of the assessments as the ''best'' one - that is closest to the mean of all assessments - and gives it 100% grade. Then it measures a 'distance' of all other assessments from this best one and gives them the lower grade, the more different they are from the best (given that the best one represents a consensus of the majority of assessors). The parameter of the calculation is how strict we should be, that is how quickly the grades fall down if they differ from the best one.
'''Beispiel''': Angenommen, die ''Punktestrategie'' ist ''Anzahl der Fehler''. Bei dieser Strategie gibt es eine bestimmte Anzahl von Beurteilungskriterien, und der Beurteiler prüft bei jedem Kriterium nur, ob es ''erfüllt'' oder ''nicht erfüllt'' ist. Angenommen, es gibt 3 Kriterien. Wenn alle Kriterien erfüllt sind, gibt das 100% der möglichen Punkte, zwei erfüllte Kriterien geben 75%, ein erfülltes Kriterium - 25% und keins - 0%. Kursteilnehmer A erhält folgende Bewertungen:
 
*B1: ja / ja / nein (75%)
If there are just two assessments per submission, Workshop can not decide which of them is 'correct'. Imagine you have two reviewers - Alice and Bob. They both assess Cindy's submission. Alice says it is a rubbish and Bob says it is excellent. There is no way how to decide who is right. So Workshop simply says - ok, you both are right and I will give you both 100% grade for this assessment. To prevent it, you have two options:
*B2: ja / ja / nein (75%)
 
*B3: nein / ja / ja (75%)
* Either you have to provide an additional assessment so the number of assessors (reviewers) is odd and workshop will be able to pick the best one. Typically, the teacher comes and provide their own assessment of the submission to judge it
Alle drei Beurteilungen ergeben 75%, aber B1 und B2 stimmen in den einzelnen Kriterien in ihrer Beurteilung überein. Eine "objektive" Beurteilung (vom Göttervater Zeus ;-)) wäre wohl:
* Or you may decide that you trust one of the reviewers more. For example you know that Alice is much better in assessing than Bob is. In that case, you can increase the weight of Alice's assessment, let us say to "2" (instead of default "1"). For the purposes of calculation, Alice's assessment will be considered as if there were two reviewers having the exactly same opinion and therefore it is likely to be picked as the best one.
*Zeus: 66% ja / 100% ja / 33% ja
 
Damit liegen B1 und B2 mit ihren Beurteilungen "näher" an diesem "objektiven" Urteil als B3, und deshalb erhalten B1 und B2 100% für ihre Beurteilungsleistung, während B3 eine niedrigere Bewertung für seine Beurteilungsleistung erhält.
'''Backward compatibility note:''' In Workshop 1.x this case of exactly two assessors with the same weight is not handled properly and leads to wrong results as only the one of them is lucky to get 100% and the second get lower grade.
 
It is very important to know that the grading evaluation subplugin ''Comparison with the best assessment'' does not compare the final grades. Regardless the grading strategy used, every filled assessment form can be seen as n-dimensional vector or normalized values. So the subplugin compares responses to all assessment form dimensions (criteria, assertions, ...). Then it calculates the distance of two assessments, using the variance statistics.
 
To demonstrate it on example, let us say you use grading strategy Number of errors to peer-assess research essays. This strategy uses a simple list of assertions and the reviewer (assessor) just checks if the given assertion is passed or failed. Let us say you define the assessment form using three criteria:
 
# Does the author state the goal of the research clearly? (yes/no)
# Is the research methodology described? (yes/no)
# Are references properly cited? (yes/no)
 
Let us say the author gets 100% grade if all criteria are passed (that is answered "yes" by the assessor), 75% if only two criteria are passed, 25% if only one criterion is passed and 0% if the reviewer gives 'no' for all three statements.
 
Now imagine the work by Daniel is assessed by three colleagues - Alice, Bob and Cindy. They all give individual responses to the criteria in order:
 
* Alice: yes / yes / no
* Bob: yes / yes / no
* Cindy: no / yes / yes
 
As you can see, they all gave 75% grade to the submission. But Alice and Bob agree in individual responses, too, while the responses in Cindy's assessment are different. The evaluation method ''Comparison with the best assessment'' tries to imagine, how a hypothetical absolutely fair assessment would look like. In the [[Development:Workshop 2.0 specification]], David refers to it as "how would Zeus assess this submission?" and we estimate it would be something like this (we have no other way):
 
* Zeus 66% yes / 100% yes / 33% yes
 
Then we try to find those assessments that are closest to this theoretically objective assessment. We realize that Alice and Bob are the best ones and give 100% grade for assessment to them. Then we calculate how much far Cindy's assessment is from the best one. As you can see, Cindy's response matches the best one in only one criterion of the three so Cindy's grade for assessment will not be much high.
 
The same logic applies to all other grading strategies, adequately. The conclusion is that the grade given by the best assessor does not need to be the one closest to the average as the assessment are compared at the level of individual responses, not the final grades.


==Siehe auch==
==Siehe auch==


* [http://moodle.org/mod/forum/view.php?id=740 Workshop module forum] - Workshop-Forum im Kurs ''Using Moodle'' auf moodle.org
* [http://moodle.org/mod/forum/view.php?id=740 Workshop module forum] - Forum im Kurs ''Using Moodle'' auf moodle.org
* [http://moodle.org/mod/forum/discuss.php?d=153268 where David explains a particular Workshop results ] - Diskussionsbeitrag im Kurs ''Using Moodle'' auf moodle.org
* [http://moodle.org/mod/forum/discuss.php?d=153268 where David explains a particular Workshop results ] - Diskussionsbeitrag im Kurs ''Using Moodle'' auf moodle.org
* [http://www.slideshare.net/mark.drechsler/moodle-workshop-20-a-simplified-explanation Moodle Workshop 2.0 - a (simplified) explanation] Präsentation von Mark Drechsler (englisch)
* [http://www.slideshare.net/mark.drechsler/moodle-workshop-20-a-simplified-explanation Moodle Workshop 2.0 - a (simplified) explanation] Präsentation von Mark Drechsler (englisch)
* [http://moodlefairy.posterous.com/a-brief-journey-into-the-moodle-20-workshop A Brief Journey into the Moodle 2.0 Workshop]
* [http://moodlefairy.posterous.com/a-brief-journey-into-the-moodle-20-workshop A Brief Journey into the Moodle 2.0 Workshop]
[[en:Using Workshop]]

Version vom 21. Juli 2016, 12:47 Uhr


Phasen der gegenseitigen Beurteilung

Der Ablauf in einer Aktivität Gegenseitige Beurteilung kann als eine Abfolge von fünf verschiedenen Phasen betrachtet werden:

  • Vorbereitungsphase - Aktivität anlegen und konfigurieren
  • Einreichungsphase - Einreichen der Arbeiten
  • Beurteilungsphase - Beurteilung durch die Teilnehmer/innen
  • Bewertungsphase - Bewertung durch die Trainer/innen
  • Geschlossen - Abschluss der Aktivität

Eine Aktivität Gegenseitige Beurteilung kann sich über mehrere Tage oder Wochen erstrecken. Als Trainer/in legen Sie fest, wann der Übergang zu einer neuen Phase erfolgt.

Anmerkung: Fortgeschrittene können auch mehrfach zwischen den Phasen Einreichen und Beurteilen wechseln (iterativer Prozess).

Der Fortschritt in der Aktivität wird im sogenannten Planungswerkzeug visualisiert. Dieses Werkzeug zeigt alle Phasen an und hebt die aktuelle Phase optisch hervor. Es listet alle Aufgaben auf, die in der aktuellen Phase anstehen und zeigt an, welche davon bereits erledigt sind (Checkbox abgehakt) und welche noch zu erledigen sind. Zum Wechseln der Phase klicken Sie auf das Symbol marker.gif der nächsten Phase.

Vorbereitungsphase

Planungswerkzeug - Vorbereitungsphase
Beurteilungsbogen für die Punktestrategie Kommentare

In dieser Phase legen Sie als Trainer/in die Aktivität an und nehmen Konfigurationseinstellungen vor. In diese Phase wechseln Sie auch, wenn Sie Änderungen an den Einstellungen vornehmen wollen.

Die Kursteilnehmer/innen können in dieser Phase gar nichts tun: weder Arbeiten einreichen, noch Arbeiten beurteilen.

Als Trainer/in müssen Sie folgendes erledigen:

Beurteilungsbogen bearbeiten

  • Im Planungswerkzeug, Bereich Vorbereitungsphase klicken Sie auf den Link Beurteilungsbogen bearbeiten.
  • Je nachdem, welche Punktestrategie Sie in den Einstellungen der Aktivität gewählt haben, erscheint ein entsprechendes Formular. In diesem Formular beschreiben Sie die Beurteilungskriterien, die zur Bewertung der eingereichten Arbeiten verwendet werden sollen. Die Kursteilnehmer/innen bekommen diese Kriterien angezeigt, wenn die Aktivität in der Beurteilungsphase ist.

Beispieleinreichungen erstellen

Wenn Ihre Aktivität Beispieleinreichungen vorsieht, dann erscheint im Planungswerkzeug bei aktivierter Vorbereitungsphase ein Abschnitt Musterlösungen.

  • Klicken Sie dort auf den Button Beispieleinreichung hinzufügen.
  • Geben Sie der Musterlösung einen Titel.
  • Optional können Sie im Textbereich Einreichungsinhalt etwas zum Inhalt der Datei sagen.
  • Klicken Sie auf den Button Datei hinzufügen und laden Sie eine oder mehrere Dateien hoch oder wählen Sie eine bereits hochgeladene Datei aus einem Repository aus.
  • Klicken Sie abschließend auf den Button Änderungen speichern.

Am Ende der Vorbereitungsphase müssen alle Checkboxen abgehakt sein.

Einreichungsphase

Planungswerkzeug - Einreichungsphase
Manuelle Zuordnung der Einreichungen
Zufällige Zuordnung der Einreichungen

In dieser Phase reichen die Kursteilnehmer/innen ihre Arbeiten ein. In den Einstellungen der Aktivität können Sie einen begrenzten Zeitraum (Beginn, Ende, beides) festlegen, in dem Arbeiten eingereicht werden können.

Neu
in Moodle 3.1!
Kursteilnehmer/innen können während der Einreichungsphase ihre bereits hochgeladenen Lösungen wieder löschen. Trainer/innen können alle Einreichungen zu jedem Zeitpunkt löschen. Wenn eine Einreichung jedoch bereits bewertet wurde, dann erscheint eine Warnung, dass die Bewertung ebenfalls gelöscht wird und dass sich damit die Beurteilung der bewertenden Person ändern kann.

Als Trainer/in müssen Sie in dieser Phase folgendes tun:

  • Auftrag für das Beurteilen verfassen: Dies tun Sie in den Einstellungen der Aktivität im Abschnitt Funktionen, in dem Sie eine oder beide der Checkboxen Gegenseitiges Beurteilen benutzen oder Selbstbeurteilung benutzen markieren.
  • Einreichungen zuordnen: Hier legen Sie fest, wer wen beurteilt.

Einreichungen zuordnen

  • Im Planungswerkzeug, Bereich Vorbereitungsphase klicken Sie auf den Link Einreichungen zuordnen.
  • Im Reiter Manuelle Zuordnung können Sie manuell festlegen, wer wen beurteilt: Sobald jemand eine Arbeit eingereicht hat, können Sie bestimmen wer von den (anderen) Kursteilnehmer/innen Zugriff auf die Einreichung bekommt, um sie zu bewerten. Wenn jemand (noch) nichts eingereicht hat, kann er trotzdem bereits zur Beurteilung anderer eingeteilt werden.
  • Im Reiter Zufällige Zuordnung können Einreichungen zufällig an Beurteiler/innen verteilt werden. Als Trainer/in können Sie folgende Einstellungen vornehmen:
  • Anzahl von Beurteilungsaufträgen - wählen Sie, wie viele Beurteilungsaufträge pro Einreichung (jede eingereichte Arbeit erhält die gewählte Zahl von Beurteilungen) oder pro Beurteiler/in (jede/r Kursteilnehmer/in muss die gewählte Zahl von Beurteilungen vornehmen) vergeben werden sollen.
  • Aktuelle Zuordnung zurücksetzen - wenn Sie diese Checkbox markieren, löschen Sie alle Zuordnungen, die im Reiter Manuelle Zuordnung festgelegt wurden.
  • Teilnehmer/innen können ohne eigene Einreichung bewerten - wenn Sie diese Checkbox markieren, dann können Teilnehmer/innen die Arbeiten anderer beurteilen ohne/bevor sie selbst etwas eingereicht haben.
  • Selbstbeurteilung hinzufügen - wenn Sie diese Checkbox markieren, dann werden den Kursteilnehmer/innen auch ihre eigenen Einreichungen zur Beurteilung zugeordnet (Self-Assessment).
  • Klicken Sie abschließend auf den Button Änderungen speichern.


In der Abgabeübersicht für gegenseitige Beurteilungen können Sie die Einreichungen nach verschiedenen Kriterien (Vorname, Nachname, zuletzt geändert, etc.) sortieren.

worksop.jpg

Beurteilungsphase

Beurteilungsphase

Wenn Sie in den Einstellungen das gegenseitige Beurteilen (Peer-Assessment) aktiviert haben, dann beurteilen die Kursteilnehmer/innen in dieser Phase die Arbeiten ihrer Kurskolleg/innen, die ihnen zur Beurteilung zugewiesen wurden. Auch für diese Phase können Sie als Trainer/in in den Einstellungen der Aktivität einen festen Zeitraum (Beginn, Ende, beides) definieren.

  • Melden Sie sich als Teilnehmer/in im Kurs an.
  • Klicken Sie die Aktivität auf der Kursseite an.
  • Klicken Sie auf den Button Beurteilen.
  • Füllen Sie den Beurteilungsbogen nach den festgelegten Kriterien aus.
  • Klicken Sie auf den Button Speichern und weiter bearbeiten, um die nächste Einreichung zu bewerten oder auf den Button Speichern und schließen, um das Beurteilen zu beenden.

Bewertungsphase

In dieser Phase ermitteln Sie als Trainer/in die Gesamtbewertung für jede/n einzelne/n Kursteilnehmer/in. Diese Gesamtbewertung setzt sich zusammen aus der Bewertung für die eingereichte Arbeit (Teilleistungen "Einreichung") und der Bewertung ihrer Beurteilungen der Arbeiten anderer (Teilleistung "Beurteilung"). Sie bestimmen für jeden die Gesamtbewertung und geben Feedback zu den Arbeiten und den Beurteilungen. Außerdem können Sie ausgewählte Arbeiten veröffentlichen, so dass sie für alle Kursteilnehmer/innen als Beispiele sichtbar sind.

Detaillierte Informartionen finden Sie im Abschnitt Bewertung weiter unten.

Geschlossen

Wenn Sie in diese Phase umschalten, dann werden alle Bewertungen / Noten/ Punkte in die Bewertungsübersicht des Kurses übertragen.

Die Bewertung wird den Kursteilnehmer/innen direkt in der Aktivität und in ihrer Bewertungsübersicht angezeigt.

Die Kursteilnehmer/innen können in dieser Phase ihre eigenen Arbeiten, ihre Beurteilungen und veröffentlichte Arbeiten anderer sehen.

Bewertung der gegenseitigen Beurteilung

Bewertungsphase

Das folgende Schema beschreibt, wie die Gesamtbewertung einer Aktivität ermittelt wird.

The scheme of grades calculation


Alle Kursteilnehmer/innen erhalten zwei Teilbewertungen, die in die Bewertungen des Kurses einfließen. Die Übertragung in die Kursbewertungsübersicht erfolgt erst, wenn die Aktivität in die Phase Geschlossen geschaltet wird. Als Trainer/in können Sie in der Bewertungsphase also beliebig "an den Noten herumbasteln", eine Übertragung erfolgt erst in der Phase Geschlossen. Sie können einen geschlossene Aktivität sogar in die Bewertungsphase zurücksetzen und die Noten neu bestimmen.

Die Bewertungsübersicht einer Aktivität Gegenseitige Beurteilung ist wie folgt zu lesen:

Wert Bedeutung
- (-) < Mister Elearning Die Beurteilung erfolgt durch Mister Elearning, das ist aber noch nicht geschehen.
68 (-) < Alice Alice hat die Beurteilung vorgenommen und die eingereichte Arbeit mit 68 Punkten bewertet. Die Bewertung dieser Beurteilungsleistung ist noch nicht erfolgt.
80 (-) > Iris Die eingereichte Arbeit von Iris wurde von einem anderen Kursteilnehmer mit 80 Punkten bewertet. Die Beurteilungsleistung wurde noch nicht bewertet.
80 (20) < Gisela Gisela hat eine eingereichte Arbeit mit 80 Punkten bewertet. Für diese Beurteilungsleistung erhielt Gisela 20 Punkte.
67 (8) @ 4 < David David hat eine Arbeit mit 67 Punkten bewertet und für diese Beurteilungsleistung selbst 8 Punkte erhalten. Das Gewicht seiner Beurteilung ist 4.
80 (20 / 17) > Eva Evas eingereichte Arbeit wurde von einem anderen Kursteilnehmer mit 80 Punkten bewertet. Die Beurteilungsleistung wurde mit 20 Punkten bewertet. Der Trainer hat die Beurteilungsleistung mit 17 Punkten neu bewertet (und ggf. einen entsprechenden Kommentar an den Beurteiler geschickt).

Bewertung für die Einreichung

Die Bewertung für eine Einreichung wird als gewichtetes Mittel der Bewertungen aller Beurteiler/innen bestimmt. Dieser Mittelwert wird auf die in den Einstellungen festgelegten Dezimalstellen (Stellen nach dem Komma) gerundet.

Als Trainer/in können Sie die Bewertung einer eingereichten Arbeit wie folgt beeinflussen.

  • indem Sie eine eigene Bewertung vornehmen und diese höher gewichten als die Bewertungen der anderen Beurteiler/innen;
  • indem Sie die berechnete Bewertung manuell überschreiben. Klicken Sie dazu auf die Bewertung in der Bewertungsübersicht, um auf den Beurteilungsbogen zu gelangen und ändern Sie dort die Bewertung.

Bewertung für die Beurteilung

Mit dieser Teilnote wird die Beurteilungsleistung der Kursteilnehmer/innen bewertet. Die Bewertung für die Beurteilung ergibt sich als gewichtetes Mittel aller Beurteilungsleistungen eines Kursteilnehmers (ein Kursteilnehmer beurteilt i.d.R. Arbeiten von mehreren anderen Kursteilnehmer/innen).

Die Bewertung einer einzelnen Beurteilungsleistung wird mit Mitteln der künstlichen Intelligenz im Hintergrund vorgenommen. Das geschieht unter Verwendung eines Subplugins. Z.Z. gibt es nur das Subplugin Abgleich mit der besten Beurteilung. Weitere Subplugins können als Codeerweiterung entwickelt werden. Die Teilnote wird in der Bewertungsübersicht in runden Klammern () angegeben.

Das Verfahren Abgleich mit der besten Bewertung funktioniert wie folgt: Eine der Beurteilungen für eine eingereichte Arbeit wird als "beste" Beurteilung gewählt (und zwar die, die dem Mittelwert aller Beurteilungen am nächsten liegt) und mit 100% angesetzt. Dann wird der "Abstand" aller anderen Beurteilungen zu dieser "besten" Beurteilung bestimmt. Die Bewertung der anderen Beurteilungen ist um so niedriger, je mehr sie von der "besten" Beurteilung abweicht. Diesem Prinzip liegt zu Grunde, dass die "beste" Bewertung als Konsens aller Beurteiler/innen angesehn werden kann und eine starke Abweichung davon als "schlechte" Beurteilungsleistung betrachtet werden kann.

Wenn es z.B. nur zwei Beurteilungen pro Einreichung gibt, dann kann keine der Beurteilungen als "beste" angesetzt werden. In diesem Fall haben Sie zwei Möglichkeiten:

  • entweder Sie ordnen jeder Einreichung eine ungerade Anzahl an Beurteiler/innen zu, z.B. können Sie als Trainer/in eine zusätzliche Beurteilung abgeben,
  • oder Sie "glauben" einem Beurteiler mehr als dem anderen und gewichten die beiden Beurteilungen unterschiedlich.

Achtung: Das Subplugin Abgleich mit der besten Beurteilung vergleicht nicht die endgültigen Bewertungen. Unabhängig von der in den Einstellungen der Aktivität gewählten Punktestrategie kann ein ausgefüllter Beurteilungsbogen mit n Beurteilungskriterien als n-dimensionaler Vektor von normalisierten Werten betrachtet werden. Der Abstand zur "besten" Beurteilung wird mit Methoden der Varianzanalyse berechnet.

Beispiel: Angenommen, die Punktestrategie ist Anzahl der Fehler. Bei dieser Strategie gibt es eine bestimmte Anzahl von Beurteilungskriterien, und der Beurteiler prüft bei jedem Kriterium nur, ob es erfüllt oder nicht erfüllt ist. Angenommen, es gibt 3 Kriterien. Wenn alle Kriterien erfüllt sind, gibt das 100% der möglichen Punkte, zwei erfüllte Kriterien geben 75%, ein erfülltes Kriterium - 25% und keins - 0%. Kursteilnehmer A erhält folgende Bewertungen:

  • B1: ja / ja / nein (75%)
  • B2: ja / ja / nein (75%)
  • B3: nein / ja / ja (75%)

Alle drei Beurteilungen ergeben 75%, aber B1 und B2 stimmen in den einzelnen Kriterien in ihrer Beurteilung überein. Eine "objektive" Beurteilung (vom Göttervater Zeus ;-)) wäre wohl:

  • Zeus: 66% ja / 100% ja / 33% ja

Damit liegen B1 und B2 mit ihren Beurteilungen "näher" an diesem "objektiven" Urteil als B3, und deshalb erhalten B1 und B2 100% für ihre Beurteilungsleistung, während B3 eine niedrigere Bewertung für seine Beurteilungsleistung erhält.

Siehe auch