確実性に基づくマーキングの使用

注： Moodle CBMは、UCL（ロンドン、英国）のGardner-Medwin教授によって開発された戦略に基づいています。こちらより多くのドキュメントを入手できます。

確実性ベースのマーキング（CBM）とは何ですか？

• 各回答の後に、あなたはあなたの回答が正しいことをどれだけ確信しているかを言います。
• これは3段階評価です:C=1（低）、C=2（中）、またはC=3（高）
• 'sure' や 'verysure' などの単語は、人によって意味が異なるため、依存していません。
• マークスキームとペナルティのリスクによって、各Cレベルをいつ使用するかが決まります。

確実性レベル	C=1	C=2	C=3	解答なし or 'アイデアなし'
正しい場合はマーク	1	2	3	( 0 )
間違っている場合はマーク	0	-2	-6	( 0 )
正しい確率	< 67%	67–80%	>80%	-
説明	自信なし	中間	自信あり	-

• 確実性レベル1、2、3は、正しい場合は常に1、2、または3のマークを付けます
• 間違っている場合は、C=1を選択しない限り、マークが失われます:C=2で-2、C=3で-6

なぜCBMを使用するのですか？

• 学生に自分の答えがどれほど信頼できるかを考えさせるため。
• 問題にすぐに反応するだけでなく、問題を理解しようとするよう学生に促すため。
• 挑戦する：学生が間違っていても点数を失うリスクがない場合、彼らは本当に答えを知りません。
• 学生が慎重な思想家であるが、あまり自信がない場合。彼らは自信を得るでしょう。
• それはより公平です-思慮深く自信のある正解は幸運な予感よりも多くの点数に値します。
• 学生が自信を持って間違った答えをした場合は注意を払う必要があります：考え、考え、学びましょう！
• 効率的な研究には、私たちのアイデアがどのように生まれ、どれほど信頼できるかを常に疑問視する必要があります。

最高の確実性レベルを決定する方法

• 確かに、C=3で最善を尽くします。しかし、実際に間違っていると、2倍（-6）負けます!
• 不明な場合は、C=1を選択してペナルティのリスクを回避する必要があります
• その間に、C=2を使用するのが最善です。正しいかどうかに応じて2を得るか2を失います。

• グラフは、各経営幹部レベルの平均点が、あなたの答えが正しい確率にどのように依存するかを示しています。
  • 正しい確率が50％しかない場合：一番下のスケールの50％の最も高いグラフは黒です（C=1の場合）。したがって、確実性が低いことを認めることで、平均して最もマークを上げることが期待されます（C=1）。
  • 正解の可能性が80％を超えて、答えを正当化できると思われる場合は、C=3の場合に赤いグラフが最も高くなります。これを選ぶ。
• 確実性を不当表示することによって利益を期待することはできないことに注意してください。よくわからないときにC=3（赤い線）をクリックすると、うまくいかないことが予想されます。おそらくマイナスのマークが付いています。あなたは幸運かもしれません。しかし、平均してあなたは負けるでしょう！トピックをよく理解していて、答えが信頼できると思う場合は、C=3ではなくC=1またはC=2を選択すると負けます。どの答えが信頼でき、どの答えが不確かであるかを区別できれば、最善を尽くします。

CBMのパフォーマンスに関するフィードバック

• 各回答の後にフィードバックが与えられたCBMを使用している場合、マークは多くのことを示します。-6は、間違った回答に対する自信をどのように正当化したかを尋ねさせます。 （利用可能な説明や本やメモとともに）知識のさまざまな部分を結び付ける方法を考えてください。
• C=1で繰り返し正解が得られる場合は、考えているよりも主題をよく知っているかどうかを自問してください。あなたが間違いなく知っていて、より自信を持っていることにあなたの答えをどのように関連付けることができるか尋ねてください。
• 最終的に送信すると、使用した各経営幹部レベルに対して正しいパーセンテージが表示されます。理想的には、主題をよく知っているか（C=3で多くの回答）、不十分であるか（C=1で多く）にかかわらず、C=1,2,3の場合は約50％、70％、90％になる可能性があります。回答の信頼性を過大評価または過小評価する傾向がある場合、フィードバックは警告を発します。自信過剰の場合は、その理由を考えてください。おそらくあなたは不注意でした。おそらくあなたは誤解を持っているか、あなたが本当に理解していないか、曖昧に表現されている問題に自信を持って答えています。これを使用して、学習をガイドし、教師とのやり取りを改善します。
• 小テストの一部の問題は他の問題よりも重みが大きい場合があるため、たとえば、問題の重みが2倍になり、自信を持ってエラーが発生した場合は-12になる可能性があることに注意してください。これによりフィードバックの解釈が難しくなるため、CBMを使用するときに、小テストセッターがこのように重みを変更することはおそらくお勧めできません。
• いくつかの問題に答えただけの場合、CBMフィードバックはあまり意味がない場合があります。2つまたは3つの自信のない正解は幸運かもしれません。重要なのは、なぜ自信があるのか、自信がないのかを考え、そこから学ぶことです。

CBMの評定とスコア

CBMの平均マークと精度

• CBM平均は3から-6の範囲です。小テストのすべての質問の重みが同じである場合、上記のCBM表に示されているように、それは単に平均CBMマークです。重み（w）が異なる場合、各質問で付与されるCBMマーク（m）の場合、CBM平均 = Σ(wm)/Σ(w)。
• 精度は、CBMの評価を無視して、小テストでどれだけ正解したかを示す従来の尺度です。すべての質問の重みが等しい場合、それは正解のパーセンテージです（おそらく一部の回答は部分的に正解としてカウントされます）。質問の重みwが異なり、回答の正しさの割合がf（0から1の間）の場合、精度 = Σ(wf)/Σ(w)です。
• 部分的に正解。 Moodleの回答が部分的に正しい場合（ゼロより大きい分数fが割り当てられている場合）、C=1、2、または3の場合、付与されるマークはf、2f、または3fになります。 fが負の場合（応答の正しい部分がエラーよりも重要であることを意味します）、与えられるマークは間違った答えの場合と同じになります（0、-2、または-6）。

平均CBMマークと精度は何を教えてくれますか?

グラフ^*は、主に大学生を対象とした、学習と改訂のためのさまざまな自主的なCBMセルフテストに関する数千のオンライン提出のスコア（精度とCBM平均）を示しています。グラフのさまざまなゾーンでの学生の知識の解釈が注釈として付けられています。

^*このグラフィックフォームは、CBM Self-Tests（現在Moodleにはありません）で使用され、提出後に学生のスコアを提示します。

• CBMの平均は、最大のパーセンテージとして、常に精度よりも低いことに注意してください。黄色で示されたスコアの場合、CBM平均（1.5）は最大値の50％でしたが、精度（C評価を無視）は80％でした。このように表現されたCBMの平均が、従来のスコアよりも少ないことを心配する必要はありません。いつもです！
• 信頼できる回答と不確実な回答をまったく区別しなかった場合（平均してトピックをどれだけよく知っているかだけに適切な、すべて同じCレーティングを与える）、スコアはグラフの緑色の線のどこかにあります。
• スコアが緑色の線より上にある場合は、信頼できる回答と不確実な回答をうまく区別できています。スコアが下にある場合は、トピックをどれだけよく知っていて理解しているかを誤解しているか、深刻な誤解を持っている可能性があります（自信を持って信じていることですが、そうではありません！）。

CBMボーナス、CB精度、およびCB評定

従来の精度に加算（または減算）できる CBMボーナス 観点から、信頼できる知識と不確実な知識を区別することで学生の成功を表現し、正解率を表現すると便利です。 CBMボーナスは、CBM平均が上のグラフの緑色の線の上または下にどれだけあるかによって決まります。負のボーナス^**は、学生が回答の信頼性をひどく差別したか、誤って判断したことを意味します。黄色で示されているスコアの例では、CBM平均は線より0.3マーク上にあり、これに標準係数β（= 10％）^*を掛けて、 CBボーナス= +3％を与えます。精度（= 80％）に追加すると、 CB精度= 83％になります。 CB評定は、単にCB精度に小テストに割り当てられた評定値を掛けたものです。 CB精度を使用すると、学生と試験官は従来の評定とCBの評定を簡単に比較できます。一方、違い（CBボーナス）は、知識のどの部分が信頼できるか、信頼できないかについての学生の批判的な認識を示します。

^* CBボーナスの計算に使用される係数β= 10％は、結果の合計スコア（精度+ボーナス）の統計的信頼性を最大化するために最適に選択されます:関連するテストのパフォーマンスを正確に予測する能力。参照:Gardner-Medwin、2013

^**マイナスのボーナスがおかしいと思うなら、銀行家のボーナスがマイナスになるとしたら、世界はどれだけ良くなるか考えてください。負のCBMボーナスは通常、孔子が 知らないときは、それを知らないことを許可する ことができないと説明し、ドナルド・ラムズフェルドがより簡潔に 未知の未知数 と説明したことを示します。それらは両方とも本質的に否定的な知識であり、認められた無知よりも悪いです。

試験のCBMデータ

学生が試験を受けるまでに、彼らの誤解（自信のある誤り、否定的な点数につながる）の多くはなくなり、学生は習熟と不確実性の領域をよりよく判断する必要があります。これは、CBボーナスがより均一にプラスになる傾向があることを意味します。 CB精度により、審査官はCB標準基準を従来の標準と直接比較することができます。

○/×問題を使用したUCL健康診断のCBMデータの例。

小テストの一部に関連するスコア

CBMは、学生が学習の一環として自分自身に挑戦するセルフテストに特に役立ちます。回答は、現在関心のあるトピックではない、簡単すぎる、またはおそらくまだ研究されていないため、省略される場合があります。次に、CBMスコアは、学生が回答することを選択した一連の質問に関連して提示できます。小テストの半分だけですべて正しいと、100％正確であると表示されます。そのようなスコアを解釈するのは学生次第です。明らかに、質問が難しいために省略された場合、相対スコアは主題の能力を過大評価する可能性があります。 Moodleの「評定」は常に小テスト全体に関連しており、これは他のスコアのデフォルトのプレゼンテーションでもあります。

CBMを使用したMoodle評定

Moodle評定は、小テスト全体の名目値に対してスケーリングされた、付与されたマークの合計です。評定はこの値から '外れて' 表示されることがありますが、CBMを使用すると、評定は最大3倍になる可能性があります（すべての回答がC=3で正しければ）。この単純な形式の評定は、従来の評定と簡単に比較することはできません。CB評定（上記を参照）が推奨されますが、CBMの使用時にMoodle評定がこのように計算されるまで、スタッフは小テスト - 結果 - CBM評定または受験 - レビューの下の表に示されているデータを使用する必要があります。学生の評定の最も明確な評価。'無制限の評定' が設定されていない限り（以下を参照）、Moodleの評定が評定表の表示でかなり誤って表示されることがよくあることに注意してください。

CBMの必須のADMINアクション

Moodle2.6でCBMデータをスタッフが表示するための必須のプラグイン +

Moodle 2.6以降のバージョンでは、CBMデータをCBM評定レポートに表示するために、 小テストレポートプラグイン をインストールする必要があります。以前のMoodleバージョン（<2.6）では、代わりに ダウンロード可能なコード変更 を使用できます。これにより、通常のレポートにCBMデータが表示されます。

必須 '無制限の評定' 設定

'無制限の評定' は、サイト管理 -> 評定 -> 一般設定で、評定が100％に制限されないように、'オン' に設定する必要があります。 Moodleは現在、これらの評定表エントリを生のマーク（CBMなしで取得可能なマークの最大300％）に基づいて計算しています。この設定がないと、制限が課せられるため、ほとんどの学生の評定が '100％' と表示される場合があります。コアコードが変更されて、評定が CB評定（従来の評定と適切に比較できるように設計されている）として表示される場合、この管理者設定は重要ではなくなります。

ARGM 2016年1月
詳細情報:確実性ベースのマーキング。