Hinweis: Sie sind auf den Seiten der Moodle 2.0 Dokumentation. Die Dokumentation der aktuellsten Moodle-Version finden Sie hier: Workshop nutzen.

Workshop nutzen: Unterschied zwischen den Versionen

Aus MoodleDocs
Wechseln zu:Navigation, Suche
Hauptseite ► Moodle-Kurs verwalten ► Aktivitäten ► Workshop ► Workshop nutzen
Workshop
Keine Bearbeitungszusammenfassung
K (Textersetzung - „class="nicetable"“ durch „class="wikitable"“)
 
(29 dazwischenliegende Versionen von 2 Benutzern werden nicht angezeigt)
Zeile 1: Zeile 1:
{{Workshop}}
{{Workshop}}


{{Zum Übersetzen}}
==Workshop-Phasen==
Der Ablauf in einem Workshop kann als eine Abfolge von fünf verschiedenen Phasen betrachtet werden:
*Vorbereitungsphase - Workshop anlegen und konfigurieren
*Einreichungsphase - Einreichen der Arbeiten
*Beurteilungsphase - Beurteilung durch die Teilnehmer/innen
*Bewertungsphase - Bewertung durch die Trainer/innen
*Geschlossen - Abschluss der Workshop-Aktivität
Eine Workshop-Aktivität kann sich über mehrer Tage oder Wochen erstrecken. Als Trainer/in legen Sie fest, wann der Übergang zu einer neuen Phase erfolgt.


* '''Examples:'''<br clear="all"/>
'''Anmerkung''': Fortgeschrittene können auch mehrfach zwischen den Phasen Einreichen und Beurteilen wechseln (iterativer Prozess).
Student can assess example submissions for practice before assessing their peers' work if this feature is enabled. They can compare their assessments with reference assessments made by the teacher. The grade will not be counted in the grade for assessment.


Teachers need to upload one or more example submissions and the corresponding reference assessment to support this function:
Der Fortschritt in der Workshop-Aktivität wird im sogenannten Workshop-Planungswerkzeug visualisiert. Dieses Werkzeug zeigt alle Phasen an und hebt die aktuelle Phase optisch hervor. Es listet alle Aufgaben auf, die in der aktuellen Phase anstehen und zeigt an, welche davon bereits erledigt sind (Checkbox abgehakt) und welche noch zu erledigen sind. Zum Wechseln der Phase klicken Sie auf das Symbol [[Image:marker.gif]] der nächsten Phase.
# Click the ‘Add example submission’ button in the first page of the workshop setup for the assignment.
# Click the ‘continue’ button and provide a corresponding reference assessment based on the assessment form. If you fail to provide corresponding reference assessment, you can assess the example submissions later by clicking ‘assess’ button in the first page of the workshop setup. Also, unassessed example submissions will be highlighted in pink by the Moodle system. [[Image:Example reference assessment.png|350px|none]]
# Teachers can also edit the reference assessment later by clicking the ‘re-assess’ button in the first page.


---
===Vorbereitungsphase===
Once the workshop has been made we can then set more settings relating to submissions. This is done through clicking on the menu highlighted below which is found when you click on the workshop’s link or after clicking “Save and Display” on completion of the workshop. To access the menu simply click on “Allocate Submissions”. It is highlighted in the picture by the red box.
[[Image:Workshop_ansehen.jpg|thumb|right|Workshop-Planungswerkzeug - Vorbereitungsphase]]
[[Image:beurteilungsform.jpg|thumb|right|Beurteilungsbogen für die Punktestrategie ''Kommentare'']]


[[File:submission_advanced.jpg|thumb|none|upright 2.5|alt="Where to locate more settings for submissions" | Submission settings for allocating reviewers to submissions]]
In dieser Phase legen Sie als Trainer/in die Aktivität an und nehmen [[Workshop konfigurieren|Konfigurationseinstellungen]] vor. In diese Phase wechseln Sie auch, wenn Sie Änderungen an den Einstellungen vornehmen wollen.


Die Kursteilnehmer/innen können in dieser Phase gar nichts tun: weder Arbeiten einreichen, noch Arbeiten beurteilen.


----
Als Trainer/in müssen Sie folgendes erledigen:
*Workshop-Einführung verfassen: Dies tun Sie in den [[Workshop konfigurieren#Grundeinträge|Workshop-Einstellungen]] im Abschnitt ''Grundeinträge'', Textbereich ''Einführung''.
*Auftrag für das Einreichen verfassen: Dies tun Sie in den [[Workshop konfigurieren#Grundeinträge|Workshop-Einstellungen]] im Abschnitt ''Einstellungen Einreichungen'', Textbereich ''Anweisungen für das Einreichen''.
*[[Workshop nutzen#Beurteilungsbogen bearbeiten|Beurteilungsbogen bearbeiten]]
*[[Workshop nutzen#Beispieleinreichungen erstellen|Beispieleinreichungen erstellen]]: Das ist nur nötig, wenn Sie in den [[Workshop konfigurieren#Workshop-Funktionen|Workshop-Einstellungen]] die Checkbox ''Beispieleinreichungen benutzen'' markiert haben.


====Beurteilungsbogen bearbeiten====
*Im Workshp-Planungswerkzeug, Bereich ''Vorbereitungsphase'' klicken Sie auf den Link ''Beurteilungsbogen bearbeiten''.
*Je nachdem, welche ''Punktestrategie'' Sie in den [[Workshop konfigurieren#Punkteeinstellungen Einreichungen|Workshop-Einstellungen]] gewählt haben, erscheint ein entsprechendes Formular. In diesem Formular beschreiben Sie die Beurteilungskriterien, die zur Bewertung der eingereichten Arbeiten verwendet werden sollen. Die Kursteilnehmer/innen bekommen diese Kriterien angezeigt, wenn der Workshop in der Beurteilungsphase ist.


[[File:Manual_allocate.jpg|thumb|right|upright 1.0|alt="Manual Allocation menu" | Manual Allocation Menu]]
====Beispieleinreichungen erstellen====
'''Manual Allocation'''
Wenn Ihre Workshop-Aktivität Beispieleinreichungen vorsieht, dann erscheint im Workshop-Planungswerkzeug bei aktivierter Vorbereitungsphase ein Abschnitt ''Musterlösungen''.
*Klicken Sie dort auf den Button ''Beispieleinreichung hinzufügen''.
*Geben Sie der Musterlösung einen ''Titel''.
*Optional können Sie im Textbereich ''Einreichungsinhalt'' etwas zum Inhalt der Datei sagen.
*Klicken Sie auf den Button ''Datei hinzufügen'' und laden Sie eine oder mehrere [[Datei hochladen|Dateien]] hoch oder wählen Sie eine bereits hochgeladene [[Datei aus Repository auswählen|Datei aus einem Repository]] aus.
*Klicken Sie abschließend auf den Button ''Änderungen speichern''.


In manual allocation menu once a student has submitted work the teacher can then choose which other students get to access their work. If the student has not submitted any work the teacher cannot assign other students to access the work. However without anything submitted the teacher can choose which students’ work this student will access.  
Am Ende der Vorbereitungsphase müssen alle Checkboxen abgehakt sein.


Note that if a student has not submitted any work they can only be assigned to review other students who have submitted work and likewise other students cannot be assigned to review any student who hasn’t submitted any work.
===Einreichungsphase===
[[Image:einreichungsphase.jpg|thumb|right|Workshop-Planungswerkzeug - Einreichungsphase]]
[[Image:manuellezuordnung.jpg|thumb|right|Manuelle Zuordnung der Einreichungen]]
[[Image:zufälligezuordnung.jpg|thumb|right|Zufällige Zuordnung der Einreichungen]]
In dieser Phase reichen die Kursteilnehmer/innen ihre Arbeiten ein. In den [[Workshop konfigurieren|Workshop-Einstellungen]] können Sie einen begrenzten Zeitraum (Beginn, Ende, beides) festlegen, in dem Arbeiten eingereicht werden können.


Als Trainer/in müssen Sie in dieser Phase folgendes tun:
*Auftrag für das Beurteilen verfassen: Dies tun Sie in den [[Workshop konfigurieren#Workshop-Funktionen|Workshop-Einstellungen]] im Abschnitt ''Workshop-Funktionen'', in dem Sie eine oder beide der Checkboxen ''Gegenseitiges Beurteilen benutzen'' oder ''Selbstbeurteilung benutzen'' markieren.
*[[Workshop nutzen#Einreichungen zuordnen|Einreichungen zuordnen]]: Hier legen Sie fest, wer wen beurteilt.


====Einreichungen zuordnen====
*Im Workshp-Planungswerkzeug, Bereich ''Vorbereitungsphase'' klicken Sie auf den Link ''Einreichungen zuordnen''.
*Im Reiter ''Manuelle Zuordnung'' können Sie manuell festlegen, wer wen beurteilt: Sobald jemand eine Arbeit eingereicht hat, können Sie bestimmen wer von den (anderen) Kursteilnehmer/innen Zugriff auf die Einreichung bekommt, um sie zu bewerten. Wenn jemand (noch) nichts eingereicht hat, kann er trotzdem bereits zur Beurteilung anderer eingeteilt werden.
*Im Reiter ''Zufällige Zuordnung'' können Einreichungen zufällig an Beurteiler/innen verteilt werden. Als Trainer/in können Sie folgende Einstellungen vornehmen:
:*''Anzahl von Beurteilungsaufträgen'' - wählen Sie, wie viele Beurteilungsaufträge ''pro Einreichung'' (jede eingereichte Arbeit erhält die gewählte Zahl von Beurteilungen) oder ''pro Beurteiler/in'' (jede/r Kursteilnehmer/in muss die gewählte Zahl von Beurteilungen vornehmen) vergeben werden sollen.
:*''Aktuelle Zuordnung zurücksetzen'' - wenn Sie diese Checkbox markieren, löschen Sie alle Zuordnungen, die im Reiter ''Manuelle Zuordnung'' festgelegt wurden.
:*''Teilnehmer/innen können ohne eigene Einreichung bewerten'' - wenn Sie diese Checkbox markieren, dann können Teilnehmer/innen die Arbeiten anderer beurteilen ohne/bevor sie selbst etwas eingereicht haben.
:*''Selbstbeurteilung hinzufügen'' - wenn Sie diese Checkbox markieren, dann werden den Kursteilnehmer/innen auch ihre eigenen Einreichungen zur Beurteilung zugeordnet (Self-Assessment).
*Klicken Sie abschließend auf den Button ''Änderungen speichern''.


<br clear="all">


===Beurteilungsphase===
[[Image:beurteilungsphase.jpg|thumb|right|Beurteilungsphase]]
Wenn Sie in den Workshop-Einstellungen das [[Workshop konfigurieren#Workshop-Funktionen|gegenseitige Beurteilen]] (Peer-Assessment) aktiviert haben, dann beurteilen die Kursteilnehmer/innen in dieser Phase die Arbeiten ihrer Kurskolleg/innen, die ihnen zur Bewertung zugewiesen wurden.
Auch für diese Phase können Sie als Trainer/in in den [[Workshop konfigurieren|Workshop-Einstellungen]] einen festen Zeitraum (Beginn, Ende, beides) definieren.
*Melden Sie sich als Teilnehmer/in im Kurs an.
*Klicken Sie den Workshop auf der Kursseite an.
*Klicken Sie auf den Button ''Beurteilen''.
*Füllen Sie den Beurteilungsbogen nach den festgelegten Kriterien aus.
*Klicken Sie auf den Button ''Speichern und weiter bearbeiten'', um die nächste Einreichung zu bewerten oder auf den Button ''Speichern und schließen'', um das Beurteilen zu beenden.


===Bewertungsphase===
In dieser Phase ermitteln Sie als Trainer/in die Gesamtbewertung für jede/n einzelne/n Kursteilnehmer/in. Diese Gesamtbewertung setzt sich zusammen aus der Bewertung für die eingereichte Arbeit (Teilleistungen "Einreichung") und der Bewertung ihrer Beurteilungen der Arbeiten anderer (Teilleistung "Beurteilung"). Sie bestimmen für jeden die Gesamtbewertung und geben Feedback zu den Arbeiten und den Beurteilungen. Außerdem können Sie ausgewählte Arbeiten veröffentlichen, so dass sie für alle Kursteilnehmer/innen als Beispiele sichtbar sind.


Detaillierte Informartionen finden Sie im Abschnitt [[Workshop nutzen#Workshop-Bewertung|Workshop-Bewertung]] weiter unten.


===Geschlossen===
Wenn Sie in diese Phase umschalten, dann werden alle Bewertungen / Noten/ Punkte in die Bewertungsübersicht des Kurses übertragen.


Die Kursteilnehmer/innen können in dieser Phase ihre eigenen Arbeiten, ihre Beurteilungen und veröffentlichte Arbeiten anderer sehen.


==Workshop-Bewertung==
[[Image:bewertungsphase.jpg|thumb|right|Bewertungsphase]]
Das folgende Schema beschreibt, wie die Gesamtbewertung einer Workshop-Aktivität ermittelt wird.


[[Image:workshop_grades_calculation.png|400px|thumb|left|The scheme of grades calculation in Workshop]]
<br clear="all"/>


Alle Kursteilnehmer/innen erhalten zwei Teilbewertungen, die in die Bewertungen des Kurses einfließen. Die Übertragung in die Kursbewertungsübersicht erfolgt erst, wenn der Workshop in die Phase ''Geschlossen'' geschaltet wird. Als Trainer/in können Sie in der Bewertungsphase also beliebig "an den Noten herumbasteln", eine Übertragung erfolgt erst in der Phase ''Geschlossen''. Sie können einen geschlossenen Workshop sogar in die Bewertungsphase zurücksetzen und die Noten neu bestimmen.


Die Bewertungsübersicht einer Workshop-Aktivität ist wie folgt zu lesen:
{| class="wikitable"
|-
! Wert
! Bedeutung
|-
| - (-) < Mister Elearning
| Die Beurteilung erfolgt durch Mister Elearning, das ist aber noch nicht geschehen.
|-
| 68 (-) < Alice
| Alice hat die Beurteilung vorgenommen und die eingereichte Arbeit mit 68 Punkten bewertet. Die Bewertung dieser Beurteilungsleistung ist noch nicht erfolgt.
|-
| 80 (-) > Iris
| Die eingereichte Arbeit von Iris wurde von einem anderen Kursteilnehmer mit 80 Punkten bewertet. Die Beurteilungsleistung wurde noch nicht bewertet.
|-
| 80 (20) < Gisela
| Gisela hat eine eingereichte Arbeit mit 80 Punkten bewertet. Für diese Beurteilungsleistung erhielt Gisela 20 Punkte.
|-
| 67 (8) @ 4 < David
| David hat eine Arbeit mit 67 Punkten bewertet und für diese Beurteilungsleistung selbst 8 Punkte erhalten. Das Gewicht seiner Beurteilung ist 4.
|-
| 80 (<del>20</del> / <ins>17</ins>) > Eva
| Evas eingereichte Arbeit wurde von einem anderen Kursteilnehmer mit 80 Punkten bewertet. Die Beurteilungsleistung wurde mit 20 Punkten bewertet. Der Trainer hat die Beurteilungsleistung mit 17 Punkten neu bewertet (und ggf. einen entsprechenden Kommentar an den Beurteiler geschickt).
|}


[[File:Random_allocate.jpg|thumb|right|upright 1.0|alt="Random Allocation menu" | Random Allocation Menu]]
===Bewertung für die Einreichung===
'''Random Allocation'''
Die Bewertung für eine Einreichung wird als gewichtetes Mittel der Bewertungen aller Beurteiler/innen bestimmt. Dieser Mittelwert wird auf die in den [[Workshop konfigurieren#Punkteeinstellungen|Workshop-Einstellungen]] festgelegten Dezaimalstellen (Stellen nach dem Komma) gerundet.


In random allocation the teacher is given 5 settings that determine how the random allocation will work.
Als Trainer/in können Sie die Bewertung einer eingereichten Arbeit wie folgt beeinflussen.
*indem Sie eine eigene Bewertung vornehmen und diese höher gewichten als die Bewertungen der anderen Beurteiler/innen;
*indem Sie die berechnete Bewertung manuell überschreiben. Klicken Sie dazu auf die Bewertung in der Bewertungsübersicht, um auf den Beurteilungsbogen zu gelangen und ändern Sie dort die Bewertung.


* '''Number of reviews:''' Here the teacher picks between 0 and 30 reviews for either each submission or per reviewer. That is the teacher may choose to either set the number of reviews each submission must have or the number of reviews each student has to carry out
===Bewertung für die Beurteilung===
* '''Prevent Reviews:''' If the teacher wishes for students of the same group to never review each other’s work, as most likely it is their work too in a group submission, then they can check this box and moodle will ensure that they are only allocated other students out of their group’s work to access
Mit dieser Teilnote wird die Beurteilungsleistung der Kursteilnehmer/innen bewertet. Die Bewertung für die Beurteilung ergibt sich als gewichtetes Mittel aller Beurteilungsleistungen eines Kursteilnehmers (ein Kursteilnehmer beurteilt i.d.R. Arbeiten von mehreren anderen Kursteilnehmer/innen).
* '''Remove current allocations:''' Checking this box means that any manual allocations that have been set in the Manual Allocation menu will be removed
* '''Can access with no submission:''' Having this box checked allows students to assess other students’ work without having already submitted their own work.  
* ''' Add self assessments:''' This options when checked make sure that as well as assessing other students’ work they must also assess their own. This is a good option to teach students how to be objective to their own work.
[[en:Using Workshop]]


---After the workshop has been made, teachers can set more settings related to assessments-''Edit assessment form'', ''Grading evaluation settings'' and ''Workshop toolbox''.
Die Bewertung einer einzelnen Beurteilungsleistung wird mit Mitteln der künstlichen Intelligenz im Hintergrund der Workshop-Funktionalität vorgenommen. Das geschieht unter Verwendung eines Subplugins. Z.Z. gibt es nur das Subplugin ''Abgleich mit der besten Beurteilung''. Weitere Subplugins können als Workshop-Codeerweiterung entwickelt werden. Die Teilnote wird in der Bewertungsübersicht in runden Klammern () angegeben.


Das Verfahren ''Abgleich mit der besten Bewertung'' funktioniert wie folgt: Eine der Beurteilungen für eine eingereichte Arbeit wird als "beste" Beurteilung gewählt (und zwar die, die dem Mittelwert aller Beurteilungen am nächsten liegt) und mit 100% angesetzt. Dann wird der "Abstand" aller anderen Beurteilungen zu dieser "besten" Beurteilung bestimmt. Die Bewertung der anderen Beurteilungen ist um so niedriger, je mehr sie von der "besten" Beurteilung abweicht. Diesem Prinzip liegt zu Grunde, dass die "beste" Bewertung als Konsens aller Beurteiler/innen angesehn werden kann und eine starke Abweichung davon als "schlechte" Beurteilungsleistung betrachtet werden kann.


====Editing assessment form====
Wenn es z.B. nur zwei Beurteilungen pro Einreichung gibt, dann kann keine der Beurteilungen als "beste" angesetzt werden. In diesem Fall haben Sie zwei Möglichkeiten:
[[Image:Setup assessment form.png|100px|right]]
*entweder Sie ordnen jeder Einreichung eine ungerade Anzahl an Beurteiler/innen zu, z.B. können Sie als Trainer/in eine zusätzliche Beurteilung abgeben,
In order to set the criterion for an assignment, teachers need to fill out an assessment form during the setup phase. Students can view this assessment form in the submission phase and focus on what is important about the task when working on their assignment. In the next phase-the assessment phase, students will assess their peers’ work based on this assessment form.
*oder Sie "glauben" einem Beurteiler mehr als dem anderen und gewichten die beiden Beurteilungen unterschiedlich.  


According to the grading strategy chosen in the grading settings, teachers will get corresponding original assessment form to edit by clicking ‘Edit assessment form’ button in the first page of the workshop setup for the assignment. The grading strategy can be one of ''Accumulative grading'', ''Comments'', ''Number of errors'' or ''Rubrics''. Teachers can set each criterion in detail in the assessment form.<br clear="all"/>
'''Achtung''': Das Subplugin ''Abgleich mit der besten Beurteilung'' vergleicht nicht die endgültigen Bewertungen. Unabhängig von der in den [[Workshop konfigurieren#Workshop-Einstellungen|]] gewählten ''Punktestrategie'' kann ein ausgefüllter Beurteilungsbogen mit n Beurteilungskriterien als n-dimensionaler Vektor von normalisierten Werten betrachtet werden. Der Abstand zur "besten" Beurteilung wird mit Methoden der Varianzanalyse berechnet.


====Grade evaluation settings====
'''Beispiel''': Angenommen, die ''Punktestrategie'' ist ''Anzahl der Fehler''. Bei dieser Strategie gibt es eine bestimmte Anzahl von Beurteilungskriterien, und der Beurteiler prüft bei jedem Kriterium nur, ob es ''erfüllt'' oder ''nicht erfüllt'' ist. Angenommen, es gibt 3 Kriterien. Wenn alle Kriterien erfüllt sind, gibt das 100% der möglichen Punkte, zwei erfüllte Kriterien geben 75%, ein erfülltes Kriterium - 25% und keins - 0%. Kursteilnehmer A erhält folgende Bewertungen:
[[Image:Grading evaluation settings.png|200px|thumb|right|Grading evaluation settings]]
*B1: ja / ja / nein (75%)
In the grade evaluation phase, teachers can do specific settings for calculation of the grade for assessments.  
*B2: ja / ja / nein (75%)
*B3: nein / ja / ja (75%)
Alle drei Beurteilungen ergeben 75%, aber B1 und B2 stimmen in den einzelnen Kriterien in ihrer Beurteilung überein. Eine "objektive" Beurteilung (vom Göttervater Zeus ;-)) wäre wohl:
*Zeus: 66% ja / 100% ja / 33% ja
Damit liegen B1 und B2 mit ihren Beurteilungen "näher" an diesem "objektiven" Urteil als B3, und deshalb erhalten B1 und B2 100% für ihre Beurteilungsleistung, während B3 eine niedrigere Bewertung für seine Beurteilungsleistung erhält.


* '''Grade calculation method:'''
==Siehe auch==
This setting determines how to calculate grade for assessments. Currently there is only one option- ''comparison with the best assessment''. For more detail, please refer to ''4.2 Grade for assessment'' subsection of [[Workshop module]].


First, ''Comparison with the best assessment'' method will try to imagine what a hypothetical absolutely fair assessment would look like.  
* [http://moodle.org/mod/forum/view.php?id=740 Workshop module forum] - Workshop-Forum im Kurs ''Using Moodle'' auf moodle.org
* [http://moodle.org/mod/forum/discuss.php?d=153268 where David explains a particular Workshop results ] - Diskussionsbeitrag im Kurs ''Using Moodle'' auf moodle.org
* [http://www.slideshare.net/mark.drechsler/moodle-workshop-20-a-simplified-explanation Moodle Workshop 2.0 - a (simplified) explanation] Präsentation von Mark Drechsler (englisch)
* [http://moodlefairy.posterous.com/a-brief-journey-into-the-moodle-20-workshop A Brief Journey into the Moodle 2.0 Workshop]


For example, a teacher uses ''Number of errors'' as grading strategy to peer-assess one assignment. This strategy uses a couple of assertions and assessors just need to check if the given assertion is passed or failed. That is, they only need to choose ‘yes’ or ‘no’ for each criterion in the assessment form. In this case, there are three assessors, Alice, Bob and Cindy. And the assessment form contains three criteria. The author will get 100% grade if all the criteria are passed, 75% if two criteria are passed, 25% if only one criterion is passed and 0% if the assessor gives ‘no’ for all three assertions. Here are the assessments they give to one certain work:
[[en:Using Workshop]]
 
 
Alice: yes/yes/no <br clear="all"/>
Bob: yes/yes/no <br clear="all"/>
Cindy: no/yes/yes <br clear="all"/>
 
 
Then the best assessment will be:<br clear="all"/>
Yes/yes/no <br clear="all"/>
 
 
Second, workshop will give the best assessment 100% grade. Next it will measure the ‘distance’ from other assessments to this best assessment. The farther the distance, the lower grade the assessment will receive. And ''Comparison of assessments'' setting, next to the ''Grade evaluation setting'', will determine how quickly the grade falls down if the assessment differs from the best one.
 
''Note'': ''Comparison with the best assessment'' method will compare responses to each individual criterion instead of comparing the final grades. In the example above, all of the three assessors give 75% to the submission. However, only Alice and Bob will get 100% grade for their assessments, while Cindy will get a lower grade. Because Alice and Bob agree in individual responses too, while the responses in Cindy’s assessment are different.
*'''Comparison of assessments:'''
This setting has 5 options: ''very lax'', ''lax'', ''fair'', ''strict'' and ''very strict''. It specifies how strict the comparison of assessment should be. By using ''comparison with the best assessment'' method, all assessments will be compared with the best assessment picked up by workshop. The more similar one assessment is with the best assessment, the higher grade this assessment will get, and vice versa. This setting determines how quickly the grades fall down when the assessments differ from the best assessment.
 
====Workshop toolbox====
[[Image:Workshop toolbox.png|thumb|right|Workshop toolbox]]
*'''Clear all aggregated grades:'''
Clicking this button will reset aggregated grades for submission and grades for assessment. Teachers can re-calculate these grades from scratch in Grade evaluation phase.
*'''Clear assessments:'''
By clicking this button, grades for assessments along with grades for submission will be reset. The assessment form will remain the same but all the reviewers need to open the assessment form again and re-save it to get the given grades calculated again.

Aktuelle Version vom 10. August 2021, 15:22 Uhr


Workshop-Phasen

Der Ablauf in einem Workshop kann als eine Abfolge von fünf verschiedenen Phasen betrachtet werden:

  • Vorbereitungsphase - Workshop anlegen und konfigurieren
  • Einreichungsphase - Einreichen der Arbeiten
  • Beurteilungsphase - Beurteilung durch die Teilnehmer/innen
  • Bewertungsphase - Bewertung durch die Trainer/innen
  • Geschlossen - Abschluss der Workshop-Aktivität

Eine Workshop-Aktivität kann sich über mehrer Tage oder Wochen erstrecken. Als Trainer/in legen Sie fest, wann der Übergang zu einer neuen Phase erfolgt.

Anmerkung: Fortgeschrittene können auch mehrfach zwischen den Phasen Einreichen und Beurteilen wechseln (iterativer Prozess).

Der Fortschritt in der Workshop-Aktivität wird im sogenannten Workshop-Planungswerkzeug visualisiert. Dieses Werkzeug zeigt alle Phasen an und hebt die aktuelle Phase optisch hervor. Es listet alle Aufgaben auf, die in der aktuellen Phase anstehen und zeigt an, welche davon bereits erledigt sind (Checkbox abgehakt) und welche noch zu erledigen sind. Zum Wechseln der Phase klicken Sie auf das Symbol marker.gif der nächsten Phase.

Vorbereitungsphase

Workshop-Planungswerkzeug - Vorbereitungsphase
Beurteilungsbogen für die Punktestrategie Kommentare

In dieser Phase legen Sie als Trainer/in die Aktivität an und nehmen Konfigurationseinstellungen vor. In diese Phase wechseln Sie auch, wenn Sie Änderungen an den Einstellungen vornehmen wollen.

Die Kursteilnehmer/innen können in dieser Phase gar nichts tun: weder Arbeiten einreichen, noch Arbeiten beurteilen.

Als Trainer/in müssen Sie folgendes erledigen:

Beurteilungsbogen bearbeiten

  • Im Workshp-Planungswerkzeug, Bereich Vorbereitungsphase klicken Sie auf den Link Beurteilungsbogen bearbeiten.
  • Je nachdem, welche Punktestrategie Sie in den Workshop-Einstellungen gewählt haben, erscheint ein entsprechendes Formular. In diesem Formular beschreiben Sie die Beurteilungskriterien, die zur Bewertung der eingereichten Arbeiten verwendet werden sollen. Die Kursteilnehmer/innen bekommen diese Kriterien angezeigt, wenn der Workshop in der Beurteilungsphase ist.

Beispieleinreichungen erstellen

Wenn Ihre Workshop-Aktivität Beispieleinreichungen vorsieht, dann erscheint im Workshop-Planungswerkzeug bei aktivierter Vorbereitungsphase ein Abschnitt Musterlösungen.

  • Klicken Sie dort auf den Button Beispieleinreichung hinzufügen.
  • Geben Sie der Musterlösung einen Titel.
  • Optional können Sie im Textbereich Einreichungsinhalt etwas zum Inhalt der Datei sagen.
  • Klicken Sie auf den Button Datei hinzufügen und laden Sie eine oder mehrere Dateien hoch oder wählen Sie eine bereits hochgeladene Datei aus einem Repository aus.
  • Klicken Sie abschließend auf den Button Änderungen speichern.

Am Ende der Vorbereitungsphase müssen alle Checkboxen abgehakt sein.

Einreichungsphase

Workshop-Planungswerkzeug - Einreichungsphase
Manuelle Zuordnung der Einreichungen
Zufällige Zuordnung der Einreichungen

In dieser Phase reichen die Kursteilnehmer/innen ihre Arbeiten ein. In den Workshop-Einstellungen können Sie einen begrenzten Zeitraum (Beginn, Ende, beides) festlegen, in dem Arbeiten eingereicht werden können.

Als Trainer/in müssen Sie in dieser Phase folgendes tun:

  • Auftrag für das Beurteilen verfassen: Dies tun Sie in den Workshop-Einstellungen im Abschnitt Workshop-Funktionen, in dem Sie eine oder beide der Checkboxen Gegenseitiges Beurteilen benutzen oder Selbstbeurteilung benutzen markieren.
  • Einreichungen zuordnen: Hier legen Sie fest, wer wen beurteilt.

Einreichungen zuordnen

  • Im Workshp-Planungswerkzeug, Bereich Vorbereitungsphase klicken Sie auf den Link Einreichungen zuordnen.
  • Im Reiter Manuelle Zuordnung können Sie manuell festlegen, wer wen beurteilt: Sobald jemand eine Arbeit eingereicht hat, können Sie bestimmen wer von den (anderen) Kursteilnehmer/innen Zugriff auf die Einreichung bekommt, um sie zu bewerten. Wenn jemand (noch) nichts eingereicht hat, kann er trotzdem bereits zur Beurteilung anderer eingeteilt werden.
  • Im Reiter Zufällige Zuordnung können Einreichungen zufällig an Beurteiler/innen verteilt werden. Als Trainer/in können Sie folgende Einstellungen vornehmen:
  • Anzahl von Beurteilungsaufträgen - wählen Sie, wie viele Beurteilungsaufträge pro Einreichung (jede eingereichte Arbeit erhält die gewählte Zahl von Beurteilungen) oder pro Beurteiler/in (jede/r Kursteilnehmer/in muss die gewählte Zahl von Beurteilungen vornehmen) vergeben werden sollen.
  • Aktuelle Zuordnung zurücksetzen - wenn Sie diese Checkbox markieren, löschen Sie alle Zuordnungen, die im Reiter Manuelle Zuordnung festgelegt wurden.
  • Teilnehmer/innen können ohne eigene Einreichung bewerten - wenn Sie diese Checkbox markieren, dann können Teilnehmer/innen die Arbeiten anderer beurteilen ohne/bevor sie selbst etwas eingereicht haben.
  • Selbstbeurteilung hinzufügen - wenn Sie diese Checkbox markieren, dann werden den Kursteilnehmer/innen auch ihre eigenen Einreichungen zur Beurteilung zugeordnet (Self-Assessment).
  • Klicken Sie abschließend auf den Button Änderungen speichern.


Beurteilungsphase

Beurteilungsphase

Wenn Sie in den Workshop-Einstellungen das gegenseitige Beurteilen (Peer-Assessment) aktiviert haben, dann beurteilen die Kursteilnehmer/innen in dieser Phase die Arbeiten ihrer Kurskolleg/innen, die ihnen zur Bewertung zugewiesen wurden. Auch für diese Phase können Sie als Trainer/in in den Workshop-Einstellungen einen festen Zeitraum (Beginn, Ende, beides) definieren.

  • Melden Sie sich als Teilnehmer/in im Kurs an.
  • Klicken Sie den Workshop auf der Kursseite an.
  • Klicken Sie auf den Button Beurteilen.
  • Füllen Sie den Beurteilungsbogen nach den festgelegten Kriterien aus.
  • Klicken Sie auf den Button Speichern und weiter bearbeiten, um die nächste Einreichung zu bewerten oder auf den Button Speichern und schließen, um das Beurteilen zu beenden.

Bewertungsphase

In dieser Phase ermitteln Sie als Trainer/in die Gesamtbewertung für jede/n einzelne/n Kursteilnehmer/in. Diese Gesamtbewertung setzt sich zusammen aus der Bewertung für die eingereichte Arbeit (Teilleistungen "Einreichung") und der Bewertung ihrer Beurteilungen der Arbeiten anderer (Teilleistung "Beurteilung"). Sie bestimmen für jeden die Gesamtbewertung und geben Feedback zu den Arbeiten und den Beurteilungen. Außerdem können Sie ausgewählte Arbeiten veröffentlichen, so dass sie für alle Kursteilnehmer/innen als Beispiele sichtbar sind.

Detaillierte Informartionen finden Sie im Abschnitt Workshop-Bewertung weiter unten.

Geschlossen

Wenn Sie in diese Phase umschalten, dann werden alle Bewertungen / Noten/ Punkte in die Bewertungsübersicht des Kurses übertragen.

Die Kursteilnehmer/innen können in dieser Phase ihre eigenen Arbeiten, ihre Beurteilungen und veröffentlichte Arbeiten anderer sehen.

Workshop-Bewertung

Bewertungsphase

Das folgende Schema beschreibt, wie die Gesamtbewertung einer Workshop-Aktivität ermittelt wird.

The scheme of grades calculation in Workshop


Alle Kursteilnehmer/innen erhalten zwei Teilbewertungen, die in die Bewertungen des Kurses einfließen. Die Übertragung in die Kursbewertungsübersicht erfolgt erst, wenn der Workshop in die Phase Geschlossen geschaltet wird. Als Trainer/in können Sie in der Bewertungsphase also beliebig "an den Noten herumbasteln", eine Übertragung erfolgt erst in der Phase Geschlossen. Sie können einen geschlossenen Workshop sogar in die Bewertungsphase zurücksetzen und die Noten neu bestimmen.

Die Bewertungsübersicht einer Workshop-Aktivität ist wie folgt zu lesen:

Wert Bedeutung
- (-) < Mister Elearning Die Beurteilung erfolgt durch Mister Elearning, das ist aber noch nicht geschehen.
68 (-) < Alice Alice hat die Beurteilung vorgenommen und die eingereichte Arbeit mit 68 Punkten bewertet. Die Bewertung dieser Beurteilungsleistung ist noch nicht erfolgt.
80 (-) > Iris Die eingereichte Arbeit von Iris wurde von einem anderen Kursteilnehmer mit 80 Punkten bewertet. Die Beurteilungsleistung wurde noch nicht bewertet.
80 (20) < Gisela Gisela hat eine eingereichte Arbeit mit 80 Punkten bewertet. Für diese Beurteilungsleistung erhielt Gisela 20 Punkte.
67 (8) @ 4 < David David hat eine Arbeit mit 67 Punkten bewertet und für diese Beurteilungsleistung selbst 8 Punkte erhalten. Das Gewicht seiner Beurteilung ist 4.
80 (20 / 17) > Eva Evas eingereichte Arbeit wurde von einem anderen Kursteilnehmer mit 80 Punkten bewertet. Die Beurteilungsleistung wurde mit 20 Punkten bewertet. Der Trainer hat die Beurteilungsleistung mit 17 Punkten neu bewertet (und ggf. einen entsprechenden Kommentar an den Beurteiler geschickt).

Bewertung für die Einreichung

Die Bewertung für eine Einreichung wird als gewichtetes Mittel der Bewertungen aller Beurteiler/innen bestimmt. Dieser Mittelwert wird auf die in den Workshop-Einstellungen festgelegten Dezaimalstellen (Stellen nach dem Komma) gerundet.

Als Trainer/in können Sie die Bewertung einer eingereichten Arbeit wie folgt beeinflussen.

  • indem Sie eine eigene Bewertung vornehmen und diese höher gewichten als die Bewertungen der anderen Beurteiler/innen;
  • indem Sie die berechnete Bewertung manuell überschreiben. Klicken Sie dazu auf die Bewertung in der Bewertungsübersicht, um auf den Beurteilungsbogen zu gelangen und ändern Sie dort die Bewertung.

Bewertung für die Beurteilung

Mit dieser Teilnote wird die Beurteilungsleistung der Kursteilnehmer/innen bewertet. Die Bewertung für die Beurteilung ergibt sich als gewichtetes Mittel aller Beurteilungsleistungen eines Kursteilnehmers (ein Kursteilnehmer beurteilt i.d.R. Arbeiten von mehreren anderen Kursteilnehmer/innen).

Die Bewertung einer einzelnen Beurteilungsleistung wird mit Mitteln der künstlichen Intelligenz im Hintergrund der Workshop-Funktionalität vorgenommen. Das geschieht unter Verwendung eines Subplugins. Z.Z. gibt es nur das Subplugin Abgleich mit der besten Beurteilung. Weitere Subplugins können als Workshop-Codeerweiterung entwickelt werden. Die Teilnote wird in der Bewertungsübersicht in runden Klammern () angegeben.

Das Verfahren Abgleich mit der besten Bewertung funktioniert wie folgt: Eine der Beurteilungen für eine eingereichte Arbeit wird als "beste" Beurteilung gewählt (und zwar die, die dem Mittelwert aller Beurteilungen am nächsten liegt) und mit 100% angesetzt. Dann wird der "Abstand" aller anderen Beurteilungen zu dieser "besten" Beurteilung bestimmt. Die Bewertung der anderen Beurteilungen ist um so niedriger, je mehr sie von der "besten" Beurteilung abweicht. Diesem Prinzip liegt zu Grunde, dass die "beste" Bewertung als Konsens aller Beurteiler/innen angesehn werden kann und eine starke Abweichung davon als "schlechte" Beurteilungsleistung betrachtet werden kann.

Wenn es z.B. nur zwei Beurteilungen pro Einreichung gibt, dann kann keine der Beurteilungen als "beste" angesetzt werden. In diesem Fall haben Sie zwei Möglichkeiten:

  • entweder Sie ordnen jeder Einreichung eine ungerade Anzahl an Beurteiler/innen zu, z.B. können Sie als Trainer/in eine zusätzliche Beurteilung abgeben,
  • oder Sie "glauben" einem Beurteiler mehr als dem anderen und gewichten die beiden Beurteilungen unterschiedlich.

Achtung: Das Subplugin Abgleich mit der besten Beurteilung vergleicht nicht die endgültigen Bewertungen. Unabhängig von der in den [[Workshop konfigurieren#Workshop-Einstellungen|]] gewählten Punktestrategie kann ein ausgefüllter Beurteilungsbogen mit n Beurteilungskriterien als n-dimensionaler Vektor von normalisierten Werten betrachtet werden. Der Abstand zur "besten" Beurteilung wird mit Methoden der Varianzanalyse berechnet.

Beispiel: Angenommen, die Punktestrategie ist Anzahl der Fehler. Bei dieser Strategie gibt es eine bestimmte Anzahl von Beurteilungskriterien, und der Beurteiler prüft bei jedem Kriterium nur, ob es erfüllt oder nicht erfüllt ist. Angenommen, es gibt 3 Kriterien. Wenn alle Kriterien erfüllt sind, gibt das 100% der möglichen Punkte, zwei erfüllte Kriterien geben 75%, ein erfülltes Kriterium - 25% und keins - 0%. Kursteilnehmer A erhält folgende Bewertungen:

  • B1: ja / ja / nein (75%)
  • B2: ja / ja / nein (75%)
  • B3: nein / ja / ja (75%)

Alle drei Beurteilungen ergeben 75%, aber B1 und B2 stimmen in den einzelnen Kriterien in ihrer Beurteilung überein. Eine "objektive" Beurteilung (vom Göttervater Zeus ;-)) wäre wohl:

  • Zeus: 66% ja / 100% ja / 33% ja

Damit liegen B1 und B2 mit ihren Beurteilungen "näher" an diesem "objektiven" Urteil als B3, und deshalb erhalten B1 und B2 100% für ihre Beurteilungsleistung, während B3 eine niedrigere Bewertung für seine Beurteilungsleistung erhält.

Siehe auch

Abgerufen von „https://docs.moodle.org/20/de/index.php?title=Workshop_nutzen&oldid=7938“
Powered by MediaWiki