Phasen der gegenseitigen Beurteilung
Der Ablauf in einer Aktivität Gegenseitige Beurteilung kann als eine Abfolge von fünf verschiedenen Phasen betrachtet werden:
- Vorbereitungsphase - Aktivität anlegen und konfigurieren
- Einreichungsphase - Einreichen der Arbeiten
- Beurteilungsphase - Beurteilung durch die Teilnehmer/innen
- Bewertungsphase - Bewertung durch die Trainer/innen
- Geschlossen - Abschluss der Aktivität
Eine Aktivität Gegenseitige Beurteilung kann sich über mehrere Tage oder Wochen erstrecken. Als Trainer/in legen Sie fest, wann der Übergang zu einer neuen Phase erfolgt.
Anmerkung: Fortgeschrittene können auch mehrfach zwischen den Phasen Einreichen und Beurteilen wechseln (iterativer Prozess).
Der Fortschritt in der Aktivität wird im sogenannten Planungswerkzeug visualisiert. Dieses Werkzeug zeigt alle Phasen an und hebt die aktuelle Phase optisch hervor. Es listet alle Aufgaben auf, die in der aktuellen Phase anstehen und zeigt an, welche davon bereits erledigt sind (Checkbox abgehakt) und welche noch zu erledigen sind. Zum Wechseln der Phase klicken Sie auf das Symbol 
der nächsten Phase.
Vorbereitungsphase
In dieser Phase legen Sie als Trainer/in die Aktivität an und nehmen Konfigurationseinstellungen vor. In diese Phase wechseln Sie auch, wenn Sie Änderungen an den Einstellungen vornehmen wollen.
Die Kursteilnehmer/innen können in dieser Phase gar nichts tun: weder Arbeiten einreichen, noch Arbeiten beurteilen.
Als Trainer/in müssen Sie folgendes erledigen:
- Einführung verfassen: Dies tun Sie in den Einstellungen der Aktivität im Abschnitt Grundeinträge, Textbereich Einführung.
- Auftrag für das Einreichen verfassen: Dies tun Sie in den Einstellungen der Aktivität im Abschnitt Einstellungen Einreichungen, Textbereich Anweisungen für das Einreichen.
- Beurteilungsbogen bearbeiten
- Beispieleinreichungen erstellen: Das ist nur nötig, wenn Sie in den Einstellungen der Aktivität die Checkbox Beispieleinreichungen benutzen markiert haben.
Beurteilungsbogen bearbeiten
- Im Planungswerkzeug, Bereich Vorbereitungsphase klicken Sie auf den Link Beurteilungsbogen bearbeiten.
- Je nachdem, welche Punktestrategie Sie in den Einstellungen der Aktivität gewählt haben, erscheint ein entsprechendes Formular. In diesem Formular beschreiben Sie die Beurteilungskriterien, die zur Bewertung der eingereichten Arbeiten verwendet werden sollen. Die Kursteilnehmer/innen bekommen diese Kriterien angezeigt, wenn die Aktivität in der Beurteilungsphase ist.
Beispieleinreichungen erstellen
Wenn Ihre Aktivität Beispieleinreichungen vorsieht, dann erscheint im Planungswerkzeug bei aktivierter Vorbereitungsphase ein Abschnitt Musterlösungen.
- Klicken Sie dort auf den Button Beispieleinreichung hinzufügen.
- Geben Sie der Musterlösung einen Titel.
- Optional können Sie im Textbereich Einreichungsinhalt etwas zum Inhalt der Datei sagen.
- Klicken Sie auf den Button Datei hinzufügen und laden Sie eine oder mehrere Dateien hoch oder wählen Sie eine bereits hochgeladene Datei aus einem Repository aus.
- Klicken Sie abschließend auf den Button Änderungen speichern.
Am Ende der Vorbereitungsphase müssen alle Checkboxen abgehakt sein.
Einreichungsphase
In dieser Phase reichen die Kursteilnehmer/innen ihre Arbeiten ein. In den Einstellungen der Aktivität können Sie einen begrenzten Zeitraum (Beginn, Ende, beides) festlegen, in dem Arbeiten eingereicht werden können.
Kursteilnehmer/innen können während der Einreichungsphase ihre bereits hochgeladenen Lösungen wieder löschen. Trainer/innen können alle Einreichungen zu jedem Zeitpunkt löschen. Wenn eine Einreichung jedoch bereits bewertet wurde, dann erscheint eine Warnung, dass die Bewertung ebenfalls gelöscht wird und dass sich damit die Beurteilung der bewertenden Person ändern kann.
Als Trainer/in müssen Sie in dieser Phase folgendes tun:
- Auftrag für das Beurteilen verfassen: Dies tun Sie in den Einstellungen der Aktivität im Abschnitt Funktionen, in dem Sie eine oder beide der Checkboxen Gegenseitiges Beurteilen benutzen oder Selbstbeurteilung benutzen markieren.
- Einreichungen zuordnen: Hier legen Sie fest, wer wen beurteilt.
Einreichungen zuordnen
- Im Planungswerkzeug, Bereich Vorbereitungsphase klicken Sie auf den Link Einreichungen zuordnen.
- Im Reiter Manuelle Zuordnung können Sie manuell festlegen, wer wen beurteilt: Sobald jemand eine Arbeit eingereicht hat, können Sie bestimmen wer von den (anderen) Kursteilnehmer/innen Zugriff auf die Einreichung bekommt, um sie zu bewerten. Wenn jemand (noch) nichts eingereicht hat, kann er trotzdem bereits zur Beurteilung anderer eingeteilt werden.
- Im Reiter Zufällige Zuordnung können Einreichungen zufällig an Beurteiler/innen verteilt werden. Als Trainer/in können Sie folgende Einstellungen vornehmen:
- Anzahl von Beurteilungsaufträgen - wählen Sie, wie viele Beurteilungsaufträge pro Einreichung (jede eingereichte Arbeit erhält die gewählte Zahl von Beurteilungen) oder pro Beurteiler/in (jede/r Kursteilnehmer/in muss die gewählte Zahl von Beurteilungen vornehmen) vergeben werden sollen.
- Aktuelle Zuordnung zurücksetzen - wenn Sie diese Checkbox markieren, löschen Sie alle Zuordnungen, die im Reiter Manuelle Zuordnung festgelegt wurden.
- Teilnehmer/innen können ohne eigene Einreichung bewerten - wenn Sie diese Checkbox markieren, dann können Teilnehmer/innen die Arbeiten anderer beurteilen ohne/bevor sie selbst etwas eingereicht haben.
- Selbstbeurteilung hinzufügen - wenn Sie diese Checkbox markieren, dann werden den Kursteilnehmer/innen auch ihre eigenen Einreichungen zur Beurteilung zugeordnet (Self-Assessment).
- Klicken Sie abschließend auf den Button Änderungen speichern.
In der Abgabeübersicht für gegenseitige Beurteilungen können Sie die Einreichungen nach verschiedenen Kriterien (Vorname, Nachname, zuletzt geändert, etc.) sortieren.
Beurteilungsphase
Wenn Sie in den Einstellungen das gegenseitige Beurteilen (Peer-Assessment) aktiviert haben, dann beurteilen die Kursteilnehmer/innen in dieser Phase die Arbeiten ihrer Kurskolleg/innen, die ihnen zur Beurteilung zugewiesen wurden. Auch für diese Phase können Sie als Trainer/in in den Einstellungen der Aktivität einen festen Zeitraum (Beginn, Ende, beides) definieren.
- Melden Sie sich als Teilnehmer/in im Kurs an.
- Klicken Sie die Aktivität auf der Kursseite an.
- Klicken Sie auf den Button Beurteilen.
- Füllen Sie den Beurteilungsbogen nach den festgelegten Kriterien aus.
- Klicken Sie auf den Button Speichern und weiter bearbeiten, um die nächste Einreichung zu bewerten oder auf den Button Speichern und schließen, um das Beurteilen zu beenden.
Bewertungsphase
In dieser Phase ermitteln Sie als Trainer/in die Gesamtbewertung für jede/n einzelne/n Kursteilnehmer/in. Diese Gesamtbewertung setzt sich zusammen aus der Bewertung für die eingereichte Arbeit (Teilleistungen "Einreichung") und der Bewertung ihrer Beurteilungen der Arbeiten anderer (Teilleistung "Beurteilung"). Sie bestimmen für jeden die Gesamtbewertung und geben Feedback zu den Arbeiten und den Beurteilungen. Außerdem können Sie ausgewählte Arbeiten veröffentlichen, so dass sie für alle Kursteilnehmer/innen als Beispiele sichtbar sind.
Wenn die Kursteilnehmer/innen sich gegenseitig mittels eines Beurteilungsbogen beurteilt haben, ist es als Trainer/in notwendig, unter Einstellungen für rechnerische Bewertungen den Button Bewertungen neu berechnen zu klicken, damit die gegenseitigen Beurteilungen zusammengezogen und in den Spalten Bewertung für die Einreichung und Bewertung für die Beurteilung dargestellt werden.
Detaillierte Informationen finden Sie im Abschnitt Bewertung weiter unten.
Geschlossen
Wenn Sie in diese Phase umschalten, dann werden alle Bewertungen / Noten/ Punkte in die Bewertungsübersicht des Kurses übertragen.
Die Bewertung wird den Kursteilnehmer/innen direkt in der Aktivität und in ihrer Bewertungsübersicht angezeigt.
Die Kursteilnehmer/innen können in dieser Phase ihre eigenen Arbeiten, ihre Beurteilungen und veröffentlichte Arbeiten anderer sehen.
Bewertung der gegenseitigen Beurteilung
Das folgende Schema beschreibt, wie die Gesamtbewertung einer Aktivität ermittelt wird.
Alle Kursteilnehmer/innen erhalten zwei Teilbewertungen, die in die Bewertungen des Kurses einfließen. Die Übertragung in die Kursbewertungsübersicht erfolgt erst, wenn die Aktivität in die Phase Geschlossen geschaltet wird. Als Trainer/in können Sie in der Bewertungsphase also beliebig "an den Noten herumbasteln", eine Übertragung erfolgt erst in der Phase Geschlossen. Sie können einen geschlossene Aktivität sogar in die Bewertungsphase zurücksetzen und die Noten neu bestimmen.
Die Bewertungsübersicht einer Aktivität Gegenseitige Beurteilung ist wie folgt zu lesen:
| Wert | Bedeutung |
|---|---|
| - (-) < Mister Elearning | Die Beurteilung erfolgt durch Mister Elearning, das ist aber noch nicht geschehen. |
| 68 (-) < Alice | Alice hat die Beurteilung vorgenommen und die eingereichte Arbeit mit 68 Punkten bewertet. Die Bewertung dieser Beurteilungsleistung ist noch nicht erfolgt. |
| 80 (-) > Iris | Die eingereichte Arbeit von Iris wurde von einem anderen Kursteilnehmer mit 80 Punkten bewertet. Die Beurteilungsleistung wurde noch nicht bewertet. |
| 80 (20) < Gisela | Gisela hat eine eingereichte Arbeit mit 80 Punkten bewertet. Für diese Beurteilungsleistung erhielt Gisela 20 Punkte. |
| 67 (8) @ 4 < David | David hat eine Arbeit mit 67 Punkten bewertet und für diese Beurteilungsleistung selbst 8 Punkte erhalten. Das Gewicht seiner Beurteilung ist 4. |
| 80 ( |
Evas eingereichte Arbeit wurde von einem anderen Kursteilnehmer mit 80 Punkten bewertet. Die Beurteilungsleistung wurde mit 20 Punkten bewertet. Der Trainer hat die Beurteilungsleistung mit 17 Punkten neu bewertet (und ggf. einen entsprechenden Kommentar an den Beurteiler geschickt). |
Bewertung für die Einreichung
Die Bewertung für eine Einreichung wird als gewichtetes Mittel der Bewertungen aller Beurteiler/innen bestimmt. Dieser Mittelwert wird auf die in den Einstellungen festgelegten Dezimalstellen (Stellen nach dem Komma) gerundet.
Als Trainer/in können Sie die Bewertung einer eingereichten Arbeit wie folgt beeinflussen.
- indem Sie eine eigene Bewertung vornehmen und diese höher gewichten als die Bewertungen der anderen Beurteiler/innen;
- indem Sie die berechnete Bewertung manuell überschreiben. Klicken Sie dazu auf die Bewertung in der Bewertungsübersicht, um auf den Beurteilungsbogen zu gelangen und ändern Sie dort die Bewertung.
Bewertung für die Beurteilung
Mit dieser Teilnote wird die Beurteilungsleistung der Kursteilnehmer/innen bewertet. Die Bewertung für die Beurteilung ergibt sich durch die künstliche Intelligenz, die in der Aktivität Gegenseitige Beurteilung implementiert ist und die die typische Vorgehensweise von Trainer/innen beim Bewerten nachbildet. Das geschieht unter Verwendung eines Plugins. Z.Z. gibt es nur das Plugin Abgleich mit der besten Beurteilung. Weitere Subplugins finden Sie in der Moodle Plugins Datenbank.
Die Teilnote wird in der Bewertungsübersicht in runden Klammern () angegeben. Die endgültige Bewertung für die Beurteilung ergibt sich als Mittelwert der einzelnen Bewertungen für die Beurteilung (normalerweise wird eine Einreichung von mehreren Beurteiler/innen bewertet).
Das Verfahren Abgleich mit der besten Bewertung funktioniert wie folgt: Eine der Beurteilungen für eine eingereichte Arbeit wird als "beste" Beurteilung gewählt (und zwar die, die dem Mittelwert aller Beurteilungen am nächsten liegt) und mit 100% angesetzt. Dann wird der "Abstand" aller anderen Beurteilungen zu dieser "besten" Beurteilung bestimmt. Die Bewertung der anderen Beurteilungen istum so niedriger, je mehr sie von der "besten" Beurteilung abweicht. Diesem Prinzip liegt zu Grunde, dass die "beste" Bewertung als Konsens aller Beurteiler/innen angesehen werden kann und eine starke Abweichung davon als "schlechte" Beurteilungsleistung betrachtet werden kann.
Wenn es z.B. nur zwei Beurteilungen pro Einreichung gibt, dann kann keine der Beurteilungen als "beste" angesetzt werden. Nehmen wir z.B. an, dass zwei Beurteiler/innen - Alice und Bob - die Einreichung von Cindy bewerten. Alice bewertet die Einreichung mit ungenügend, während Bob sie mit sehr gut bewertet. Es gibt keine Möglichkeit zu entscheiden, wer Recht hat. In diesem Fall sagt das Plugin: OK, beide haben Recht und gibt beiden Beurteiler/innen 100% für die Bewertung der Beurteilung. Um diesen Fall zu vermeiden, haben Sie zwei Möglichkeiten:
- entweder Sie ordnen jeder Einreichung eine ungerade Anzahl an Beurteiler/innen zu, z.B. können Sie als Trainer/in eine zusätzliche Beurteilung abgeben,
- oder Sie "glauben" einem Beurteiler mehr als dem anderen und gewichten die beiden Beurteilungen unterschiedlich.
Achtung: Das Subplugin Abgleich mit der besten Beurteilung vergleicht nicht die endgültigen Bewertungen. Unabhängig von der in den Einstellungen der Aktivität gewählten Punktestrategie kann ein ausgefüllter Beurteilungsbogen mit n Beurteilungskriterien als n-dimensionaler Vektor von normalisierten Werten betrachtet werden. Der Abstand zur "besten" Beurteilung wird mit Methoden der Varianzanalyse berechnet.
Beispiel: Angenommen, die Punktestrategie ist Anzahl der Fehler. Bei dieser Strategie gibt es eine bestimmte Anzahl von Beurteilungskriterien, und der Beurteiler prüft bei jedem Kriterium nur, ob es erfüllt oder nicht erfüllt ist. Angenommen, es gibt 3 Kriterien. Wenn alle Kriterien erfüllt sind, gibt das 100% der möglichen Punkte, zwei erfüllte Kriterien geben 75%, ein erfülltes Kriterium - 25% und keins - 0%. Kursteilnehmer A erhält folgende Bewertungen:
- B1: ja / ja / nein (75%)
- B2: ja / ja / nein (75%)
- B3: nein / ja / ja (75%)
Alle drei Beurteilungen ergeben 75%, aber B1 und B2 stimmen in den einzelnen Kriterien in ihrer Beurteilung überein. Eine "objektive" Beurteilung (vom Göttervater Zeus ;-)) wäre wohl:
- Zeus: 66% ja / 100% ja / 33% ja
Damit liegen B1 und B2 mit ihren Beurteilungen "näher" an diesem "objektiven" Urteil als B3, und deshalb erhalten B1 und B2 100% für ihre Beurteilungsleistung, während B3 eine niedrigere Bewertung für seine Beurteilungsleistung erhält.
Gruppen und gegenseitige Beurteilung
Wenn eine gegenseitige Beurteilung in einem Kurs mit getrennten oder sichtbaren Gruppen genutzt wird, dann können Sie auf den verschiedenen Moodle-Seiten der gegenseitigen Beurteilung die Anzeige nach Gruppen filtern.
Siehe auch
- Workshop module forum - Forum im Kurs Using Moodle auf moodle.org
- where David explains a particular Workshop results - Diskussionsbeitrag im Kurs Using Moodle auf moodle.org
- Moodle Workshop 2.0 - a (simplified) explanation Präsentation von Mark Drechsler (englisch)
- A Brief Journey into the Moodle 2.0 Workshop
