ワークショップの使用

ワークショップフェーズ

ワークショップモジュールのワークフローは、5つのフェーズがあると見なすことができます。典型的なワークショップ活動は、数日または数週間をカバーすることができます。教師は活動をあるフェーズから別のフェーズに切り替えます。

典型的なワークショップは、セットアップから提出、評価、成績/評価までの直線的なパスをたどり、終了フェーズで終了します。ただし、高度な再帰パスも可能です。

活動の進行状況は、いわゆるワークショッププランナーツールで視覚化されます。すべてのワークショップフェーズが表示され、現在のフェーズが強調表示されます。また、ユーザが現在のフェーズで実行しているすべてのタスクと、タスクが終了したか、まだ終了していないか、または失敗したかどうかの情報も一覧表示されます。

セットアップフェーズ

この初期段階では、ワークショップの参加者は何もできません（提出物も評価も変更しません）。コースファシリテーターは、このフェーズを使用して、ワークショップの設定を変更し、評価フォームを微調整するための評価戦略を変更します。ワークショップの設定を変更し、ユーザが作業を変更できないようにする必要があるときはいつでも、このフェーズに切り替えることができます。

提出フェーズ

提出フェーズでは、ワークショップ参加者が作業を提出します。ワークショップがこのフェーズにある場合でも、提出が指定された時間枠のみに制限されるように、アクセス制御の日付を設定できます。提出開始日（および時刻）、提出終了日（および時刻）、またはその両方を指定できます。

ワークショップ提出レポートを使用すると、教師は誰が提出したか、誰が提出していないかを確認し、提出と最終変更でフィルタリングできます。

学生は、自分の提出物を編集でき、評価されていない限り、自分の提出物を削除することができます。教師はいつでも提出物を削除できますが、評価されている場合は、評価も削除され、レビュー担当者の成績に影響が及ぶ可能性があることを警告されます。

評価フェーズ

ワークショップが相互評価機能を使用する場合、これは、ワークショップ参加者がレビューのために割り当てられた提出物を評価するフェーズです。提出フェーズと同様に、アクセスは、評価が許可されたときから、および/または許可されるまで、指定された日時によって制御できます。

成績評価フェーズ

このフェーズでの主なタスクは、提出物と評価の最終評点を計算し、作成者とレビュー担当者にフィードバックを提供することです。ワークショップの参加者は、このフェーズで提出物や評価を変更することはできなくなります。コースファシリテーターは、計算された成績を手動で上書きできます。また、選択した提出物を公開済みとして設定して、次のフェーズですべてのワークショップ参加者が利用できるようにすることもできます。提出物を公開する方法については、ワークショップFAQを参照してください。

終了

終了されたワークショップ

ワークショップがこのフェーズに切り替わるたびに、前のフェーズで計算された最終成績がコース評定表にプッシュされます。これにより、ワークショップの成績が評定表とワークショップに表示されます。参加者は、このフェーズで自分の提出物、提出物の評価、および最終的には他の公開された提出物を表示できます。

ワークショップの成績

ワークショップ活動の成績は、いくつかの段階で徐々に取得され、最終的に決定されます。次のスキームは、プロセスを示しています（データベースに保存されているグレード値に関する情報を使用）。

ワークショップでの成績計算のスキーム

参加者は、成績評価フェーズで計算される2つの評価を取得します。教師は、このフェーズにいる間にこれらの成績を編集できます。ワークショップが最終段階で終了するまで、彼らは評定表に移動しません。フェーズ間を移動することは可能であり、ワークショップが終了している場合でも、必要に応じて評定表で直接成績を変更できることに注意してください。

次の表は、成績がどのように表示されるかを説明しています。

Value	Meaning
- (-) < Alice	Aliceによって行われるように割り当てられた評価がありますが、それはまだ評価も評価もされていません
68 (-) < Alice	Aliceは提出物を評価し、提出物の評点68を与えました。評価の評点（評定評点）はまだ評価されていません。
23 (-) > Bob	Bobの提出物はピアによって評価され、提出物23の評点を受け取りました。この評価の評点はまだ評価されていません。
76 (12) < Cindy	Cindyは提出物を評価し、評点76を与えました。この評価の評点は12と評価されました。
67 (8) @ 4 < David	Davidは提出物を評価し、提出物67の評点を与え、この評価8の評点を受け取りました。彼の評価の重みは4です。
80 (20 / 17) > Eve	Eveの提出は仲間によって評価されました。 Eveの提出物は80を受け取り、この評価の評点は20と計算されました。教師は、おそらくレビュー担当者への説明とともに、評定の評点を17に上書きしました。

提出のグレード

すべての提出物の最終評点は、この提出物のすべてのレビューアによって与えられた特定の評価評点の加重平均として計算されます。値は、ワークショップ設定フォームで設定された小数点以下の桁数に丸められます。教師は2つの方法で成績に影響を与えることができます。

独自の評価を提供することにより、おそらく通常の査読者よりも高い重みで
グレードを固定値にオーバーライドする

評価のグレード

評価の成績は、参加者が仲間に与えた評価の質を推定しようとします。このグレード（ ===評定===グレードも呼ばれます）は、典型的な教師の仕事をしようとするときに、ワークショップモジュール内に隠された人工知能によって計算されます。

採点評価フェーズでは、Workshopサブプラグインを使用して評価用の評点を計算します。現在、利用可能な標準サブプラグインは最良の評価と比較と呼ばれるものだけです（他の評価評価プラグインは[1]）。次のテキストは、このサブプラグインで使用される方法について説明しています。

評価の成績は、ワークショップ成績レポートの括弧（）内に表示されます。評価の最終評点は、特定の評定評点の平均として計算されます。

計算を説明する単一の式はありません。ただし、プロセスは決定論的です。ワークショップでは、評価の1つを最良評価として選択します。これはすべての評価の平均に最も近いものであり、100％の評価を与えます。次に、この最良の評価からの他のすべての評価の「距離」を測定し、最良の評価との違いに応じて低い評点を与えます（最良の評価が大多数の評価者のコンセンサスを表す場合）。計算のパラメータは、私たちがどれだけ厳格であるべきか、つまり、最高の成績と異なる場合に成績がどれだけ早く落ちるかです。

提出ごとに2つの評価しかない場合、ワークショップはどちらが「正しい」かを判断できません。アリスとボブの2人のレビューアがいると想像してください。彼らは両方ともシンディの提出を評価します。アリスはそれがゴミだと言い、ボブはそれが素晴らしいと言います。誰が正しいかを判断する方法はありません。したがって、ワークショップでは、「OK、あなたは両方とも正しいです。この評価では、両方に100％の評点を与えます。これを防ぐには、次の2つのオプションがあります。

評価者（レビューア）の数が奇数であり、ワークショップが最適なものを選択できるように、追加の評価を提供する必要があります。通常、教師が来て、提出物を判断するために提出物の独自の評価を提供します
または、レビュー担当者の1人をより信頼することを決定する場合もあります。たとえば、アリスはボブよりも評価がはるかに優れていることを知っています。その場合、アリスの評価の重みを増やすことができます。デフォルトの「1」ではなく「2」としましょう。計算の目的上、アリスの評価は、まったく同じ意見を持つ2人のレビューアがいるかのように見なされるため、最良のレビューアとして選択される可能性があります。

比較されるのは最終成績ではありません

採点評価サブプラグイン最良の評価と比較は最終評点を比較しないことを知っておくことが非常に重要です。使用される評価戦略に関係なく、記入されたすべての評価フォームは、正規化された値のn次元ベクトルと見なすことができます。したがって、サブプラグインは、すべての評価フォームのディメンション（基準、アサーションなど）に対する応答を比較します。次に、分散統計を使用して、2つの評価の距離を計算します。

これを例で示すために、評価戦略のエラー数を使用して研究エッセイをピアアセスメントするとします。この戦略では、アサーションの単純なリストを使用し、レビュー担当者（評価者）は、指定されたアサーションが成功したか失敗したかをチェックするだけです。次の3つの基準を使用して評価フォームを定義するとします。

著者は研究の目的を明確に述べていますか? （はい・いいえ）
調査方法は説明されていますか? （はい・いいえ）
参考文献は適切に引用されていますか? （はい・いいえ）

すべての基準に合格した場合（評価者が「はい」と回答した場合）、作成者が100％の成績を取得し、2つの基準のみに合格した場合は75％、1つの基準のみに合格した場合は25％、レビューアが3つのステートメントすべてに対して「いいえ」。

ここで、ダニエルの作品が3人の同僚、アリス、ボブ、シンディによって評価されていると想像してみてください。それらはすべて、次の順序で基準に個別に応答します。

アリス:はい/はい/いいえ
ボブ:はい/はい/いいえ
シンディ:いいえ/はい/はい

ご覧のとおり、すべての提出物に75％の評価が付けられました。しかし、アリスとボブは個々の回答にも同意しますが、シンディの評価の回答は異なります。評価方法最良の評価と比較は、仮想の絶対的に公正な評価がどのように見えるかを想像しようとします。 Development:Workshop 2.0仕様では、Davidはそれを「Zeusはこの提出物をどのように評価しますか?」と呼んでいます。そして、それは次のようになると見積もっています（他に方法はありません）:

ゼウス66％はい/ 100％はい/ 33％はい

次に、この理論的に客観的な評価に最も近い評価を見つけようとします。私たちは、アリスとボブが最高のものであることを認識し、それらに評価のための100％の評点を与えます。次に、シンディの評価が最良の評価からどれだけ離れているかを計算します。ご覧のとおり、シンディの回答は3つの基準のうち1つだけで最良のものと一致するため、シンディの評価の成績はそれほど高くありません。

同じ論理が他のすべての===評定===戦略にも適切に当てはまります。結論として、評価は最終評点ではなく個々の回答のレベルで比較されるため、最高の評価者によって与えられた評点は平均に最も近い評定である必要はありません。

グループとワークショップ

個別のまたは表示可能なグループとグループを使用するコースでワークショップを使用する場合、評価フェーズのドロップダウンメニュー、手動割り当てページ、成績レポートなどでグループでフィルタリングできます。

グループフィルタリングドロップダウン

Documentation