Gegenseitige Beurteilung nutzen

Aus MoodleDocs
Wechseln zu:Navigation, Suche

Vorlage:Workshop

Vorlage:Zum Übersetzen

Workshop-Phasen

Der Ablauf in einem Workshop kann als eine Abfolge von fünf verschiedenen Phasen betrachtet werden:

  • Vorbereitungsphase - Workshop anlegen und konfigurieren
  • Einreichungsphase - Einreichen der Arbeiten
  • Beurteilungsphase - Beurteilung durch die Teilnehmer/innen
  • Bewertungsphase - Bewertung durch die Trainer/innen
  • Geschlossen - Abschluss der Workshop-Aktivität

Eine Workshop-Aktivität kann sich über mehrer Tage oder Wochen erstrecken. Als Trainer/in legen Sie fest, wann der Übergang zu einer neuen Phase erfolgt.

Anmerkung: Fortgeschrittene können auch mehrfach zwischen den Phasen Einreichen und Beurteilen wechseln (iterativer Prozess).

Der Fortschritt in der Workshop-Aktivität wird im sogenannten Workshop-Planungswerkzeug visualisiert. Dieses Werkzeug zeigt alle Phasen an und hebt die aktuelle Phase optisch hervor. Es listet alle Aufgaben auf, die in der aktuellen Phase anstehen und zeigt an, welche davon bereits erledigt sind (Checkbox abgehakt) und welche noch zu erledigen sind. Zum Wechseln der Phase klicken Sie auf das Symbol Datei:marker.gif der nächsten Phase.

Vorbereitungsphase

Workshop-Planungswerkzeug - Vorbereitungsphase
Beurteilungsbogen für die Punktestrategie Kommentare

In dieser Phase legen Sie als Trainer/in die Aktivität an und nehmen Konfigurationseinstellungen vor. In diese Phase wechseln Sie auch, wenn Sie Änderungen an den Einstellungen vornehmen wollen.

Die Kursteilnehmer/innen können in dieser Phase gar nichts tun: weder Arbeiten einreichen, noch Arbeiten beurteilen.

Als Trainer/in müssen Sie folgendes erledigen:

Beurteilungsbogen bearbeiten

  • Im Workshp-Planungswerkzeug, Bereich Vorbereitungsphase klicken Sie auf den Link Beurteilungsbogen bearbeiten.
  • Je nachdem, welche Punktestrategie Sie in den Workshop-Einstellungen gewählt haben, erscheint ein entsprechendes Formular. In diesem Formular beschreiben Sie die Beurteilungskriterien, die zur Bewertung der eingereichten Arbeiten verwendet werden sollen. Die Kursteilnehmer/innen bekommen diese Kriterien angezeigt, wenn der Workshop in der Beurteilungsphase ist.

Beispieleinreichungen erstellen

Wenn Ihre Workshop-Aktivität Beispieleinreichungen vorsieht, dann erscheint im Workshop-Planungswerkzeug bei aktivierter Vorbereitungsphase ein Abschnitt Musterlösungen.

  • Klicken Sie dort auf den Button Beispieleinreichung hinzufügen.
  • Geben Sie der Musterlösung einen Titel.
  • Optional können Sie im Textbereich Einreichungsinhalt etwas zum Inhalt der Datei sagen.
  • Klicken Sie auf den Button Datei hinzufügen und laden Sie eine oder mehrere Dateien hoch oder wählen Sie eine bereits hochgeladene Datei aus einem Repository aus.
  • Klicken Sie abschließend auf den Button Änderungen speichern.

Am Ende der Vorbereitungsphase müssen alle Checkboxen abgehakt sein.

Einreichungsphase

Workshop-Planungswerkzeug - Einreichungsphase
Manuelle Zuordnung der Einreichungen
Zufällige Zuordnung der Einreichungen

In dieser Phase reichen die Kursteilnehmer/innen ihre Arbeiten ein. In den Workshop-Einstellungen können Sie einen begrenzten Zeitraum (Beginn, Ende, beides) festlegen, in dem Arbeiten eingereicht werden können.

Als Trainer/in müssen Sie in dieser Phase folgendes tun:

  • Auftrag für das Beurteilen verfassen: Dies tun Sie in den Workshop-Einstellungen im Abschnitt Workshop-Funktionen, in dem Sie eine oder beide der Checkboxen Gegenseitiges Beurteilen benutzen oder Selbstbeurteilung benutzen markieren.
  • Einreichungen zuordnen: Hier legen Sie fest, wer wen beurteilt.

Einreichungen zuordnen

  • Im Workshp-Planungswerkzeug, Bereich Vorbereitungsphase klicken Sie auf den Link Einreichungen zuordnen.
  • Im Reiter Manuelle Zuordnung können Sie manuell festlegen, wer wen beurteilt: Sobald jemand eine Arbeit eingereicht hat, können Sie bestimmen wer von den (anderen) Kursteilnehmer/innen Zugriff auf die Einreichung bekommt, um sie zu bewerten. Wenn jemand (noch) nichts eingereicht hat, kann er trotzdem bereits zur Beurteilung anderer eingeteilt werden.
  • Im Reiter Zufällige Zuordnung können Einreichungen zufällig an Beurteiler/innen verteilt werden. Als Trainer/in können Sie folgende Einstellungen vornehmen:
  • Anzahl von Beurteilungsaufträgen - wählen Sie, wie viele Beurteilungsaufträge pro Einreichung (jede eingereichte Arbeit erhält die gewählte Zahl von Beurteilungen) oder pro Beurteiler/in (jede/r Kursteilnehmer/in muss die gewählte Zahl von Beurteilungen vornehmen) vergeben werden sollen.
  • Aktuelle Zuordnung zurücksetzen - wenn Sie diese Checkbox markieren, löschen Sie alle Zuordnungen, die im Reiter Manuelle Zuordnung festgelegt wurden.
  • Teilnehmer/innen können ohne eigene Einreichung bewerten - wenn Sie diese Checkbox markieren, dann können Teilnehmer/innen die Arbeiten anderer beurteilen ohne/bevor sie selbst etwas eingereicht haben.
  • Selbstbeurteilung hinzufügen - wenn Sie diese Checkbox markieren, dann werden den Kursteilnehmer/innen auch ihre eigenen Einreichungen zur Beurteilung zugeordnet (Self-Assessment).
  • Klicken Sie abschließend auf den Button Änderungen speichern.


Beurteilungsphase

Beurteilungsphase

Wenn Sie in den Workshop-Einstellungen das gegenseitige Beurteilen (Peer-Assessment) aktiviert haben, dann beurteilen die Kursteilnehmer/innen in dieser Phase die Arbeiten ihrer Kurskolleg/innen, die ihnen zur Bewertung zugewiesen wurden. Auch für diese Phase können Sie als Trainer/in in den Workshop-Einstellungen einen festen Zeitraum (Beginn, Ende, beides) definieren.

  • Melden Sie sich als Teilnehmer/in im Kurs an.
  • Klicken Sie den Workshop auf der Kursseite an.
  • Klicken Sie auf den Button Beurteilen.
  • Füllen Sie den Beurteilungsbogen nach den festgelegten Kriterien aus.
  • Klicken Sie auf den Button Speichern und weiter bearbeiten, um die nächste Einreichung zu bewerten oder auf den Button Speichern und schließen, um das Beurteilen zu beenden.

Bewertungsphase

In dieser Phase ermitteln Sie als Trainer/in die Gesamtbewertung für jede/n einzelne/n Kursteilnehmer/in. Diese Gesamtbewertung setzt sich zusammen aus der Bewertung für die eingereichte Arbeit (Teilleistungen "Einreichung") und der Bewertung ihrer Beurteilungen der Arbeiten anderer (Teilleistung "Beurteilung"). Sie bestimmen für jeden die Gesamtbewertung und geben Feedback zu den Arbeiten und den Beurteilungen. Außerdem können Sie ausgewählte Arbeiten veröffentlichen, so dass sie für alle Kursteilnehmer/innen als Beispiele sichtbar sind.

Detaillierte Informartionen finden Sie im Abschnitt Workshop-Bewertung weiter unten.

Geschlossen

Wenn Sie in diese Phase umschalten, dann werden alle Bewertungen / Noten/ Punkte in die Bewertungsübersicht des Kurses übertragen.

Die Kursteilnehmer/innen können in dieser Phase ihre eigenen Arbeiten, ihre Beurteilungen und veröffentlichte Arbeiten anderer sehen.

Workshop-Bewertung

Bewertungsphase

Das folgende Schema beschreibt, wie die Gesamtbewertung einer Workshop-Aktivität ermittelt wird.

The scheme of grades calculation in Workshop


Alle Kursteilnehmer/innen erhalten zwei Teilbewertungen, die in die Bewertungen des Kurses einfließen. Die Übertragung in die Kursbewertungsübersicht erfolgt erst, wenn der Workshop in die Phase Geschlossen geschaltet wird. Als Trainer/in können Sie in der Bewertungsphase also beliebig "an den Noten herumbasteln", eine Übertragung erfolgt erst in der Phase Geschlossen. Sie können einen geschlossenen Workshop sogar in die Bewertungsphase zurücksetzen und die Noten neu bestimmen.

Die Bewertungsübersicht einer Workshop-Aktivität ist wie folgt zu lesen:

Wert Bedeutung
- (-) < Mister Elearning Die Beurteilung erfolgt durch Mister Elearning, das ist aber noch nicht geschehen.
68 (-) < Alice Alice hat die Beurteilung vorgenommen und die eingereichte Arbeit mit 68 Punkten bewertet. Die Bewertung dieser Beurteilungsleistung ist noch nicht erfolgt.
80 (-) > Iris Die eingereichte Arbeit von Iris wurde von einem anderen Kursteilnehmer mit 80 Punkten bewertet. Die Beurteilungsleistung wurde noch nicht bewertet.
80 (20) < Gisela Gisela hat eine eingereichte Arbeit mit 80 Punkten bewertet. Für diese Beurteilungsleistung erhielt Gisela 20 Punkte.
67 (8) @ 4 < David David hat eine Arbeit mit 67 Punkten bewertet und für diese Beurteilungsleistung selbst 8 Punkte erhalten. Das Gewicht seiner Beurteilung ist 4.
80 (20 / 17) > Eva Evas eingereichte Arbeit wurde von einem anderen Kursteilnehmer mit 80 Punkten bewertet. Die Beurteilungsleistung wurde mit 20 Punkten bewertet. Der Trainer hat die Beurteilungsleistung mit 17 Punkten neu bewertet (und ggf. einen entsprechenden Kommentar an den Beurteiler geschickt).

Grade for submission

The final grade for every submission is calculated as weighted mean of particular assessment grades given by all reviewers of this submission. The value is rounded to a number of decimal places set in the Workshop settings form.

Course facilitator can influence the grade for a given submission in two ways:

  • by providing their own assessment, possibly with a higher weight than usual peer reviewers have
  • by overriding the grade to a fixed value

Grade for assessment

Grade for assessment tries to estimate the quality of assessments that the participant gave to the peers. This grade (also known as grading grade) is calculated by the artificial intelligence hidden within the Workshop module as it tries to do typical teacher's job.

During the grading evaluation phase, you use a Workshop subplugin to calculate grades for assessment. At the moment, only one subplugin is available called Comparison with the best assessment. The following text describes the method used by this subplugin. Note that more grading evaluation subplugins can be developed as Workshop extensions.

Grades for assessment are displayed in the braces () in the Workshop grades report. The final grade for assessment is calculated as the average of particular grading grades.

There is not a single formula to describe the calculation. However the process is deterministic. Workshop picks one of the assessments as the best one - that is closest to the mean of all assessments - and gives it 100% grade. Then it measures a 'distance' of all other assessments from this best one and gives them the lower grade, the more different they are from the best (given that the best one represents a consensus of the majority of assessors). The parameter of the calculation is how strict we should be, that is how quickly the grades fall down if they differ from the best one.

If there are just two assessments per submission, Workshop can not decide which of them is 'correct'. Imagine you have two reviewers - Alice and Bob. They both assess Cindy's submission. Alice says it is a rubbish and Bob says it is excellent. There is no way how to decide who is right. So Workshop simply says - ok, you both are right and I will give you both 100% grade for this assessment. To prevent it, you have two options:

  • Either you have to provide an additional assessment so the number of assessors (reviewers) is odd and workshop will be able to pick the best one. Typically, the teacher comes and provide their own assessment of the submission to judge it
  • Or you may decide that you trust one of the reviewers more. For example you know that Alice is much better in assessing than Bob is. In that case, you can increase the weight of Alice's assessment, let us say to "2" (instead of default "1"). For the purposes of calculation, Alice's assessment will be considered as if there were two reviewers having the exactly same opinion and therefore it is likely to be picked as the best one.

Backward compatibility note: In Workshop 1.x this case of exactly two assessors with the same weight is not handled properly and leads to wrong results as only the one of them is lucky to get 100% and the second get lower grade.

It is very important to know that the grading evaluation subplugin Comparison with the best assessment does not compare the final grades. Regardless the grading strategy used, every filled assessment form can be seen as n-dimensional vector or normalized values. So the subplugin compares responses to all assessment form dimensions (criteria, assertions, ...). Then it calculates the distance of two assessments, using the variance statistics.

To demonstrate it on example, let us say you use grading strategy Number of errors to peer-assess research essays. This strategy uses a simple list of assertions and the reviewer (assessor) just checks if the given assertion is passed or failed. Let us say you define the assessment form using three criteria:

  1. Does the author state the goal of the research clearly? (yes/no)
  2. Is the research methodology described? (yes/no)
  3. Are references properly cited? (yes/no)

Let us say the author gets 100% grade if all criteria are passed (that is answered "yes" by the assessor), 75% if only two criteria are passed, 25% if only one criterion is passed and 0% if the reviewer gives 'no' for all three statements.

Now imagine the work by Daniel is assessed by three colleagues - Alice, Bob and Cindy. They all give individual responses to the criteria in order:

  • Alice: yes / yes / no
  • Bob: yes / yes / no
  • Cindy: no / yes / yes

As you can see, they all gave 75% grade to the submission. But Alice and Bob agree in individual responses, too, while the responses in Cindy's assessment are different. The evaluation method Comparison with the best assessment tries to imagine, how a hypothetical absolutely fair assessment would look like. In the Development:Workshop 2.0 specification, David refers to it as "how would Zeus assess this submission?" and we estimate it would be something like this (we have no other way):

  • Zeus 66% yes / 100% yes / 33% yes

Then we try to find those assessments that are closest to this theoretically objective assessment. We realize that Alice and Bob are the best ones and give 100% grade for assessment to them. Then we calculate how much far Cindy's assessment is from the best one. As you can see, Cindy's response matches the best one in only one criterion of the three so Cindy's grade for assessment will not be much high.

The same logic applies to all other grading strategies, adequately. The conclusion is that the grade given by the best assessor does not need to be the one closest to the average as the assessment are compared at the level of individual responses, not the final grades.

Grade evaluation settings

Datei:Grading evaluation settings.png
Grading evaluation settings

In the grade evaluation phase, teachers can do specific settings for calculation of the grade for assessments.

  • Grade calculation method:

This setting determines how to calculate grade for assessments. Currently there is only one option- comparison with the best assessment. For more detail, please refer to 4.2 Grade for assessment subsection of Workshop module.

First, Comparison with the best assessment method will try to imagine what a hypothetical absolutely fair assessment would look like.

For example, a teacher uses Number of errors as grading strategy to peer-assess one assignment. This strategy uses a couple of assertions and assessors just need to check if the given assertion is passed or failed. That is, they only need to choose ‘yes’ or ‘no’ for each criterion in the assessment form. In this case, there are three assessors, Alice, Bob and Cindy. And the assessment form contains three criteria. The author will get 100% grade if all the criteria are passed, 75% if two criteria are passed, 25% if only one criterion is passed and 0% if the assessor gives ‘no’ for all three assertions. Here are the assessments they give to one certain work:


Alice: yes/yes/no
Bob: yes/yes/no
Cindy: no/yes/yes


Then the best assessment will be:
Yes/yes/no


Second, workshop will give the best assessment 100% grade. Next it will measure the ‘distance’ from other assessments to this best assessment. The farther the distance, the lower grade the assessment will receive. And Comparison of assessments setting, next to the Grade evaluation setting, will determine how quickly the grade falls down if the assessment differs from the best one.

Note: Comparison with the best assessment method will compare responses to each individual criterion instead of comparing the final grades. In the example above, all of the three assessors give 75% to the submission. However, only Alice and Bob will get 100% grade for their assessments, while Cindy will get a lower grade. Because Alice and Bob agree in individual responses too, while the responses in Cindy’s assessment are different.

  • Comparison of assessments:

This setting has 5 options: very lax, lax, fair, strict and very strict. It specifies how strict the comparison of assessment should be. By using comparison with the best assessment method, all assessments will be compared with the best assessment picked up by workshop. The more similar one assessment is with the best assessment, the higher grade this assessment will get, and vice versa. This setting determines how quickly the grades fall down when the assessments differ from the best assessment.

Workshop toolbox

  • Clear all aggregated grades:

Clicking this button will reset aggregated grades for submission and grades for assessment. Teachers can re-calculate these grades from scratch in Grade evaluation phase.

  • Clear assessments:

By clicking this button, grades for assessments along with grades for submission will be reset. The assessment form will remain the same but all the reviewers need to open the assessment form again and re-save it to get the given grades calculated again.

Siehe auch