このページでは、学生と教師がワークショップ活動をどのように使用できるかを説明し、Moodleコースでワークショップを最大限に活用する方法を紹介します。
ワークショップのフェーズ
ワークショップモジュールのワークフローは、5つのフェーズで構成されていると見ることができます。一般的なワークショップ活動は、数日から数週間にわたることもあります。教師が活動をあるフェーズから別のフェーズへと切り替えます。
一般的なワークショップは、「セットアップ」から「提出」、「評価」、「成績評価」へと一直線に進み、「終了」フェーズで終わります。ただし、高度な使い方として、フェーズを行き来する再帰的な進め方も可能です。
活動の進捗は、いわゆる「ワークショッププランナ」ツールで視覚的に表示されます。このツールには、ワークショップのすべてのフェーズが表示され、現在のフェーズがハイライト表示されます。また、現在のフェーズでユーザが行うすべてのタスクが、完了したか、まだ完了していないか、あるいは失敗したかの情報とともに一覧表示されます。
セットアップフェーズ
この最初のフェーズでは、ワークショップの参加者は何もできません（提出物も評価も変更できません）。コースのファシリテータは、このフェーズでワークショップの設定を変更したり、評定方法を変更したり評価フォームを調整したりします。ワークショップの設定を変更し、ユーザが自分の作品を変更できないようにする必要があるときは、いつでもこのフェーズに切り替えることができます。
提出フェーズ
提出フェーズでは、ワークショップの参加者が作品を提出します。アクセス制御の日付を設定すると、ワークショップがこのフェーズにある場合でも、指定した期間内でしか提出できないように制限できます。提出の開始日（および時刻）、提出の終了日（および時刻）、またはその両方を指定できます。
「ワークショップ提出レポート」では、教師は誰が提出して誰が提出していないかを確認でき、提出状況と最終更新日時でフィルタリングできます：
学生は、自分の提出物をまだ編集でき、かつまだ評価されていない間は、その提出物を削除できます。教師はいつでもどの提出物でも削除できますが、評価済みの場合は、評価も削除され、評価者の評点に影響する可能性がある旨の警告が表示されます。
評価フェーズ
ワークショップで相互評価機能を使用する場合、このフェーズでは、ワークショップの参加者がレビュー用に自分に割り当てられた提出物を評価します。提出フェーズと同様に、評価を許可する開始日時と終了日時の一方または両方を指定して、アクセスを制御できます。
成績評価フェーズ
このフェーズの主なタスクは、提出と評価に対する最終評点を計算し、作成者と評価者にフィードバックを提供することです。このフェーズでは、ワークショップの参加者は自分の提出物や評価をもう変更できません。コースのファシリテータは、計算された評点を手動でオーバーライドできます。また、選択した提出物を公開に設定して、次のフェーズでワークショップのすべての参加者が閲覧できるようにすることもできます。提出物を公開する方法については、ワークショップFAQをご覧ください。
終了
ワークショップがこのフェーズに切り替えられると、前のフェーズで計算された最終評点がコースの評定表に送られます。これにより、ワークショップの評点が評定表とワークショップに表示されます。このフェーズでは、参加者は自分の提出物、自分の提出物に対する評価、および場合によっては公開されたほかの提出物を閲覧できます。
ワークショップの評定
ワークショップ活動の評点は、いくつかの段階を経て徐々に得られ、その後確定されます。次の図は、そのプロセスを示しています（データベースに保存される評点の値に関する情報も含まれています）。
参加者は、成績評価フェーズで計算される2つの評点を受け取ります。教師は、まだこのフェーズにある間にこれらの評点を編集できます。評点は、最後のフェーズでワークショップが終了するまで評定表には送られません。フェーズ間は移動でき、ワークショップが終了した後でも、必要であれば評定表で評点を直接変更できることに注意してください。
次の表は、評点の表示方法を説明しています：
| 値 | 意味 |
|---|---|
| - (-) < Alice | Aliceが行う評価が割り当てられていますが、まだ評価も成績評価も行われていません |
| 68 (-) < Alice | Aliceが提出物を評価し、提出に対する評点68を付けました。評価に対する評点（grading grade）はまだ成績評価されていません。 |
| 23 (-) > Bob | Bobの提出物が他の参加者に評価され、提出に対する評点23を受け取りました。この評価に対する評点はまだ成績評価されていません。 |
| 76 (12) < Cindy | Cindyが提出物を評価し、評点76を付けました。この評価に対する評点は12と成績評価されました。 |
| 67 (8) @ 4 < David | Davidが提出物を評価し、提出に対する評点67を付け、この評価に対する評点8を受け取りました。Davidの評価の加重は4です |
| 80 ( |
Eveの提出物が他の参加者に評価されました。Eveの提出物は80を受け取り、この評価に対する評点は20と計算されました。教師は評価に対する評点を17にオーバーライドしました。おそらく評価者への説明を添えています。 |
提出に対する評点
各提出物の最終評点は、その提出物のすべての評価者が付けた個々の評価の評点の加重平均として計算されます。値は、ワークショップの設定フォームで設定した小数点以下の桁数に丸められます。教師は、次の2つの方法で評点に影響を与えることができます：
- 教師自身の評価を行う。通常の相互評価の評価者よりも高い加重を付けることもできます
- 評点を固定値にオーバーライドする
評価に対する評点
評価に対する評点は、参加者が他の参加者に対して行った評価の質を推定しようとするものです。この評点（grading gradeとも呼ばれます）は、ワークショップモジュールの内部に隠された人工知能によって計算されます。この人工知能は、典型的な教師の仕事を代わりに行おうとします。
成績評価フェーズでは、ワークショップのサブプラグインを使用して評価に対する評点を計算します。現在、標準で利用できるサブプラグインは「最高評価比較」の1つだけです（その他の成績評価プラグインはMoodleプラグインディレクトリにあります）。以下では、このサブプラグインで使用される方法を説明します。
評価に対する評点は、ワークショップ評定レポートで括弧 () 内に表示されます。評価に対する最終評点は、個々の評価に対する評点の平均として計算されます。
この計算を1つの式で表すことはできません。ただし、プロセスは決定論的です。ワークショップは、評価の中から最高の評価（すべての評価の平均に最も近いもの）を1つ選び、その評価に100%の評点を付けます。次に、他のすべての評価についてこの最高の評価からの「距離」を測定し、最高の評価とどれだけ異なるかに応じて低い評点を付けます（最高の評価が評価者の多数派の合意を表しているとみなします）。計算のパラメータは、どの程度厳しくするか、つまり最高の評価と異なる場合に評点がどれだけ急速に下がるかです。
提出物1つにつき評価が2つしかない場合、ワークショップはどちらが「正しい」かを判断できません。AliceとBobの2人の評価者がいるとします。2人ともCindyの提出物を評価します。Aliceはひどい出来だと言い、Bobは素晴らしい出来だと言います。どちらが正しいかを判断する方法はありません。そのため、ワークショップは単に「わかりました、2人とも正しいので、2人ともこの評価に対して100%の評点を付けます」と言います。これを防ぐには、2つの方法があります：
- 1つは、評価を追加して評価者（レビュア）の人数を奇数にし、ワークショップが最高の評価を選べるようにする方法です。通常は、教師が加わり、提出物に対する教師自身の評価を行って判断します
- もう1つは、評価者のうちの1人をより信頼すると決める方法です。たとえば、AliceのほうがBobよりもはるかに評価が上手であることがわかっているとします。その場合は、Aliceの評価の加重を（デフォルトの「1」ではなく）たとえば「2」に上げることができます。計算上、Aliceの評価はまったく同じ意見を持つ2人の評価者がいるかのようにみなされるため、最高の評価として選ばれる可能性が高くなります。
比較されるのは最終評点ではありません
成績評価サブプラグイン「最高評価比較」は最終評点を比較しないということを知っておくことが非常に重要です。使用する評定方法にかかわらず、記入済みの評価フォームはそれぞれ、正規化された値のn次元ベクトルとみなすことができます。そのため、サブプラグインは評価フォームのすべての次元（基準、主張など）に対する回答を比較します。次に、分散の統計を使用して2つの評価の距離を計算します。
これを例で示すために、研究論文を相互評価するために「エラー数」評定方法を使用するとします。この評定方法では、主張の単純なリストを使用し、評価者（レビュア）は与えられた主張が満たされているかどうかをチェックするだけです。評価フォームを次の3つの基準で定義するとします：
- 作成者は研究の目的を明確に述べているか？（yes/no）
- 研究方法が説明されているか？（yes/no）
- 参考文献が適切に引用されているか？（yes/no）
すべての基準が満たされている（つまり、評価者が「yes」と回答した）場合、作成者は100%の評点を得て、2つの基準だけが満たされている場合は75%、1つの基準だけが満たされている場合は25%、評価者が3つの記述すべてに「no」と回答した場合は0%を得るとします。
ここで、Danielの作品が3人の仲間（Alice、BobおよびCindy）によって評価されるとします。3人は、基準に対して順に次のような個別の回答をします：
- Alice：yes / yes / no
- Bob：yes / yes / no
- Cindy：no / yes / yes
ご覧のとおり、3人とも提出物に75%の評点を付けました。しかし、AliceとBobは個々の回答でも一致しているのに対し、Cindyの評価の回答は異なっています。成績評価方法「最高評価比較」は、仮想の完全に公平な評価がどのようなものになるかを想定しようとします。ワークショップ2.0仕様では、Davidはこれを「ゼウスならこの提出物をどう評価するか？」と表現しています。その評価は次のようなものになると推定されます（ほかに方法はありません）：
- ゼウス 66% yes / 100% yes / 33% yes
次に、この理論上の客観的な評価に最も近い評価を探します。AliceとBobの評価が最高のものであることがわかるので、2人に評価に対する評点として100%を付けます。次に、Cindyの評価が最高の評価からどれだけ離れているかを計算します。ご覧のとおり、Cindyの回答は3つの基準のうち1つしか最高の評価と一致していないため、Cindyの評価に対する評点はそれほど高くなりません。
同じ考え方は、他のすべての評定方法にもそれぞれ適切な形で当てはまります。結論として、評価は最終評点ではなく個々の回答のレベルで比較されるため、最高の評価者が付けた評点が平均に最も近いものであるとは限りません。
グループとワークショップ
分離グループまたは可視グループとグルーピングを使用するコースでワークショップを使用すると、評価フェーズ、手動割り当てページ、評定レポートなどで、ドロップダウンメニューからグループでフィルタリングできます。
関連項目
- データを含むワークショップの例 MoodleのMount Orangeデモサイトにユーザ名teacherでログインし、完了したワークショップの評定とフェーズを確認してください。
- 研究論文 Julian M Cox、John Paul PosadaおよびRussell WaldronによるMoodle Workshop activities support peer review in Year 1 Science: present and future
- Using Moodleのワークショップモジュールフォーラム
- Davidが特定のワークショップの結果について説明しているUsing Moodleフォーラムのディスカッション[1]
