パターンマッチ問題タイプの詳細説明

提供：MoodleDocs
移動先:案内、検索
注意: このプラグインの最新の英語版ドキュメントは、Open Universityのウェブサイトで見ることができます。このページは、'Moodle Docs for this page' リンクをクリックしたユーザおよび英語以外の言語を使用するMoodleユーザを対象としています (このページの下部にあるIN OTHER LANGUAGESを参照してください)。

最新の英語版ドキュメントはO.U. サイトでご覧ください。

概要

パターンマッチ問題タイプは学生の短い自由記述の解答が指定された解答パターンにマッチするかどうかをテストするために使用されます。

パターンマッチは記述問題タイプのより洗練された選択肢であり、以下のような特徴があります:

  • 英語の辞書があってもなくても、スペルミスに対応できること。
  • 同義語や代替フレーズの指定。
  • 柔軟な語順。
  • 単語の近接性のチェック。

特定のタイプの解答については、人間の採点者と同等かそれ以上の精度で採点できることがわかっています。

パターンマッチは、学生の解答を任意の数の解答マッチパターンと照合したい場合に使用します。各パターンは、一致するものが見つかるまで順番に比較され、フィードバックと採点が割り当てられます。

パターンマッチ を使用する鍵は、正確に採点できる見込みのある問題を出題することです。したがって、問題文を書くことは、これらの問題を書く上で最も重要な部分です。

The Question text, Grade and General feedback for a Pattern match question.png

問題の構成要素

問題名: 説明的な名前が良いでしょう。この名前は学生には表示されません。

問題文: エディタの全機能を使って問題を記載することができます。

pmatch question text.png

返答ボックスの配置

返答ボックスは、_____ のように、一連のアンダースコアを含めることで、問題ルーブリック内に配置することができます。実行時には、返答ボックスがアンダースコアに置き換わります。入力ボックスのサイズは、__XxY__で指定することもできます。例えば、__20x1__は、幅20列、高さ1行のボックスになります。アンダースコアがない場合、返答ボックスは問題の後に配置されます。

デフォルト採点: 問題の採点方法を決めて、一貫性を持たせる。

一般的なフィードバック: 私たちはすべての問題に、このボックスに正解と完全な説明を記入することを推奨します。このボックスの内容は学生の解答が正しいか正しくないかに関わらず、すべての学生に表示されます。パターンマッチの問題タイプではマシンが生成した '正解'（iCMA定義フォームから）を使用することはできません。

通常、一般的なフィードバックエリアには正解が表示され、検討すべき最初のパターンマッチが表示されます。

General feedback with first pattern match.png

注: 2つの$$文字で囲まれたテキストは TeX で、数学のフィルタでレンダリングされます。(以前に有効化/インストールしたもの)によってレンダリングされます。

解答を入力するためのオプション

Options for entering answers.png

ケースの感度: No または Yes。

下付き/上付きの使用を許可する: No または Yes。学生が入力した添え字は、とまたはとの標準タグの間に含まれます。例えば、以下のようになります:

  • 水の公式H<sub>2</sub>Oは
    • 水の式、H2Oを生成します
  • 光の速さは約3x10<sup>8</sup> m s<sup>-1</sup>
    • 光の速さは約3x108 m s-1となります

実行時にキーボードユーザは、上矢印キーと下矢印キーを使用して、通常、下付き、上付きの間で移動できます。この情報を問題に含めることができます。その場合、HTMLエディタの 'カスタム文字の挿入' リストにある上矢印と下矢印はスクリーンリーダーでは読み上げられないことに注意し、'上矢印' と '下矢印' という言葉も含める必要があります。

20語以上の解答の場合: 解答は20語以内にすることを強くお勧めします。制約のない解答を認めると、正しい解答と間違った解答の両方が出てくることが多く、どちらかに一貫して採点することは困難です。

学生のスペルチェック: あなたは 'temperature' のスペルを何通り知っていますか？私たちは14通りのスペルを見ました。あなたは、Moodleシステムの辞書に載っている単語にこだわることで、採点の精度を上げることができます。

これらの単語を辞書に追加する: 標準的な辞書に載っていない専門的な科学技術用語や医学用語を扱う場合は、このフィールドを使って追加する必要がある場合がほとんどです。単語と単語の間にスペースを空けて入力してください。

以下の文字をスペースに変換する: パターンマッチ では、単語はスペースを挟んだ文字の並びとして定義されます。エクスクラメーションマークとクエスチョンマークも単語の終わりを示すものとみなされます。ピリオドは特殊なケースで、フルストップとしては単語の区切りになりますが、小数点としてはなりません。その他の句読点は返答の一部とみなされますが、このオプションでは句読点を削除することができます。

Fields for entering synonyms (not associated with the SI units question).png

単語と同義語: すべての単語と同義語は、返答マッチングで適用されるように指定されます。これらは完全な単語である必要はなく、ワイルドカードを使ったステムも可能です。

同義語は単一の単語のみとし、同義語リストに別のフレーズを指定することはできません。

上記の例では、返答マッチで oil という単語が出現すると、マッチが実行される前に oil|glycer*|paraf* に置き換えられます。

A response match top.png

A response match bottom.png

水の上の油という別の例から:

Response match specific gravity.png

この例では、パターンマッチが複雑な返答マッチングをサポートすることを示しています。ここでは、4つの受け入れ可能なフレーズがあり、それぞれにさまざまな代替語があります。

最初のフレーズを取る match_mw(less*|smaller|low*|light* dens*|[specific gravity]|sg than water*) これは "水よりも密度が低い" や "水よりも比重が小さい" にマッチします。詳しい説明は、パターンマッチの構文の項を参照してください。

解答: この例では、パターンマッチが複雑な返答のマッチングをサポートすることを示しています。

最初の回答フィールド match_o(ampere candela kelvin mole) は、4つの単語が完全に一致しており、さらにマッチングオプション 'o' は単語を任意の順番で与えることができるという特徴があります。

解答フィールド match_ow(ampere candela kelvin mole) では、同じ4つの単語を任意の順序で入力しますが、他の単語も入力できます。

3番目の解答フィールド match_mow(ampere candela kelvin mole) では、moleではなくmuleのように、辞書に残っているスペルミスを許容します。

詳しい説明は、パターンマッチの構文 のセクションをご覧ください。

評定: 'なし' から「100％」の間。少なくとも1つの回答が100％の採点を持つ必要があります。

フィードバック: 解答の返答マッチングルールにマッチした人に提供される具体的なフィードバック。

Feedback to all non-matched responses.png

一致しない解答に対するフィードバックは、'その他の解答' 欄に記入してください。

The multiple tries section.png

返答がどのように処理されるか

パターンマッチが動作する学生のレスポンスの基本単位は「単語」であり、単語はスペースの間にある一連の文字として定義されます。フルストップ (ただし、小数点は含まない)、エクスクラメーションマーク、クエスチョンマークも単語の終わりとして扱われます。

数字は単語の特別なインスタンスであり、与えられた形式ではなく値によって照合されます。match_w(25 ms-1) は、次の正しい解答にマッチします; 25 ms-1, 2.5e1 ms-1, 2.5x10-1 ms-1

数字と単語の終端（<space><full stop>? と ! ）を除いて、パターンマッチ は与えられたものにマッチします。大文字小文字を区別するかしないかは、,;: などの句読点の意味と同様に作者の判断に委ねられています。

解答は全体として扱われますが、近接していることが要求される単語は同じ文中になければならないという例外があります。

パターンマッチの構文

マッチの構文は3つの部分に分けて考えることができます。

  1. マッチングオプション 例: mow など。
  2. マッチする単語 例: tom dick harryと単語内の特殊文字。
  3. マッチの組み合わせではない例: match_any()。

マッチングのオプション

the matching options top.png

the matching options bottom.png

一致するオプションは、アンダースコアを挟んで match という単語に付加され、組み合わせることもできます。典型的なマッチでは、オプション 'mow' を組み合わせて以下のことが可能になります。

  1. 誤字脱字
  2. 任意の語順
  3. 任意の余分な単語

そして、match_mow(マッチさせる単語)と書かれています。

特殊文字

Special characters.png

いくつかの特殊文字は、'\' という文字で 'エスケープ' することでマッチさせることができます。つまり、match(\|) は '|' にマッチします。同様に _、[、]、* にもマッチします。また、丸括弧にマッチさせたい場合は、match(\(\)) で正確に '()' にマッチします。

組み合わせ

Combining matches.png

match_all()、match_any()、not()はすべて入れ子にすることができます。

例

Patternmatch examples top.png

Patternmatch examples bottom.png

マッチングルール作成のアドバイス

様々な学生が問題に答える際に使用する多様なフレーズを推測することはできないでしょう。もちろんできません。しかし、すべてを記録し、時間をかけて学生の解答のバンクを構築し、それを基に返答マッチングを行うことができます。そして徐々に、自分の返答マッチングがどれだけうまく対応できるかに驚くかもしれません。

返答マッチングを説明する前に、強調しておきたいことがあります。

  1. まずは、自分が正確にマークできると思う問題をすることが出発点です。
  2. 問題をどのように表現するかによって、大きな影響を与えることができます。
  3. パターンマッチは、単純に正しいか間違っているかをマークする単一の説明を求めている場合に最適です。問題の中の複数の部分を扱ったり、部分的に点数を配分したりするのは、はるかに難しい作業であり、すぐに研究プロジェクトになってしまうことに気づくでしょう。
  4. 実際の学生からのマークされた解答のバンクは、マッチングパターンを開発するための重要な出発点です。最初の学生の解答バンクを得るために、この問題を人間が採点する作文で使用することを検討してください。あるいは、すべての解答を受け取ってから採点を割り当てる遅延フィードバックテストでこの問題を使用することもできます。
  5. この問題タイプでは、おそらく他のすべての問題よりも、学生の解答を監視し、必要に応じて解答のマッチングを修正する必要があります。解答のマッチングが '十分に良い' と思っていても、'いくつの回答をチェックする必要があるだろうか' と考えることもあるでしょう。残念ながら、この問題に対する簡単な答えはありませんが、200件の解答があれば十分な場合もあります。しかし、場合によっては、これよりもはるかに多くの解答をチェックする必要があるかもしれません。その場合は、以下のことを念頭に置いてください。
    1. リストから解答を選ぶのではなく、解答を組み立てるように学生に求めることで、より多くのことを学生に要求することができます。
    2. マークスキームに従う人間の採点にも誤りがあります。同上。
  6. 例えば、mov* は 'moved'、'moves'、'moving' などに対応します。
  7. 学生は意図的に間違った解答を入力することはありません。なぜそうしなければならないのでしょうか？これは、システムを破ろうとする学者とは対照的です。したがって、学生が正しい解答を入力しても、その前に '～ではありません' と入力することはありません。そのため、意図的な間違いに合わせる必要はありません。
  8. 近接コントロールでは、ある単語を別の単語にリンクさせることができます。
  9. 明らかな誤答は、マッチングスキームの早い段階で採点することで、全体の精度が向上することがよくあります。
  10. 正解と不正解の両方を含む解答に対処するには、見解を示す必要があります。あなたは、そのような解答すべてに正解か不正解かをマークします。例えば、人間の採点者グループにマークスキームを一貫して適用するように依頼することで、コンピュータはあなたの指示を一貫して実行します。
  11. 95％以上の精度を目指すべきです（我々の試験では、人間の採点者は92〜96％の範囲でした）。しかし、もちろん、継続的な努力に対する通常の収穫逓減を考慮して、合理的な範囲で高い目標を設定してください。

歴史

ここで紹介する返答マッチングの基本構造は、1970年代にリーズ大学のComputer Based Learning Unitで開発され、Leeds Author Languageに組み込まれました。単語という基本単位、allowAnyChars、allowAnyWords、allowAnyOrderというマッチングオプション、単語のOR機能は、すべてLeeds Author Languageに遡ります。

1976年、リーズ大学化学部のComputer Based Learning UnitとSheffield Polytechnic（現Sheffield Hallam University）のComputer Centreが主催したCALCHEMプロジェクトでは、Leeds Author Languageのポータブル版が作成されました。

1982年には、Open University、Midland Bank（当時、MidlandはHSBCの一部）、Imperial Collegeによって、マイクロコンピュータ用のポータブルバージョンが開発されました。1文字および複数文字のワイルドカードはこの時に追加されました。

2006年から2009年にかけて行われたオープンユニバーシティのCOLMSCTプロジェクトの一環として、ミススペル、プロキシミティ、'or' リストのワードグループが追加されました。

参考文献

Philip G. Butcher and Sally E. Jordan, A comparison of human and computer marking of short free-text student responses, Computers & Education 55 (2010) 489-499

この情報は、2014年9月17日にhttp://www.open.edu/openlearnworks/mod/oucontent/view.php?id=52747&section=2.2.1からコピーしたものです。

関連項目

「https://docs.moodle.org/4x/ja/index.php?title=パターンマッチ問題タイプの詳細説明&oldid=30273」から取得
Powered by MediaWiki