Detaillierte Dokumentation zum Fragetyp Musterabgleich: Unterschied zwischen den Versionen

Aus MoodleDocs
Wechseln zu:Navigation, Suche
Zeile 54: Zeile 54:
'''Groß- und Kleinschreibung''': Nein oder Ja.
'''Groß- und Kleinschreibung''': Nein oder Ja.


'''Benutzung von tiefgestellten Buchstaben erlauben''': Nein oder Ja. Any subscripts entered by the student are contained in their response between the standard tags of <sub> and </sub> or <sup> and </sup>. For example:
'''Benutzung von tiefgestellten Buchstaben erlauben''': Nein oder Ja. Alle Indizes, die von Teilnehmer/innen eingeben werden, sind in den Antworteingaben zwischen den Standard-Tags <nowiki><sub></nowiki> und <nowiki></sub></nowiki> oder <nowiki><sup></nowiki> und <nowiki></sup></nowiki> zu finden. Beispiele:


* The formula for water is <nowiki>H<sub>2</sub>O</nowiki> will produce
* Die Eingabe: ''Die chemische Formel für Wasser ist <nowiki>H<sub>2</sub>O</nowiki>'' resultiert in:
** The formula for water is  H<sub>2</sub>O
** ''Die chemische Formel für Wasser ist H<sub>2</sub>O''
* The speed of light is approximately <nowiki>3x10<sup>8</sup> m s<sup>-1</sup></nowiki> will produce
* Die Eingabe: ''Die Lichtgeschwindigkeit beträgt ungefähr <nowiki>3x10<sup>8</sup> m s<sup>-1</sup></nowiki> resultiert in:
** The speed of light is approximately  3x10<sup>8</sup> m s<sup>-1</sup>
** ''Die Lichtgeschwindigkeit beträgt ungefähr 3x10<sup>8</sup> m s<sup>-1</sup>''


At run time keyboard users may move between normal, subscript and superscript by using the up-arrow and down-arrow keys. You may wish to include this information within your question. If you do please note that the up-arrow and down-arrow provided in the HTML editor’s ‘insert custom characters’ list are not spoken by a screen reader and you should also include the words ‘up-arrow’ and ‘down-arrow’.
At run time keyboard users may move between normal, subscript and superscript by using the up-arrow and down-arrow keys. You may wish to include this information within your question. If you do please note that the up-arrow and down-arrow provided in the HTML editor’s ‘insert custom characters’ list are not spoken by a screen reader and you should also include the words ‘up-arrow’ and ‘down-arrow’.

Version vom 26. Februar 2019, 14:28 Uhr

Baustelle.png Diese Seite muss übersetzt werden.
Es kümmert sich jemand darum, aber du darfst auch gern selbst mithelfen! Wenn du mit deiner Arbeit fertig bist, dann entferne die Vorlage {{ÜbersetzenVergeben}} aus dem Artikel.
Danke für deine Mitarbeit!




Einführung

Mit dem Fragetyp Musterabgleich kann man prüfen, ob eine kurze Freitext-Antwort einem vorgegebenen Antwortmuster entspricht.

Dieser Fragetyp ist eine technisch ausgefeilte Alternative zum Fragetyp Freitext, die Folgendes bietet:

  • die Möglichkeit, Rechtschreibfehler abzufangen (mit und ohne Englisch-Wörterbuch)
  • die Angabe von Synonymen und alternativen Wortgruppen
  • eine flexible Reihenfolge der Wörter
  • die Prüfung der Wortverwandschaft

Für bestimmte Typen von Antworteingaben konnte nachgewiesen werden, dass der automatisierte Musterabgleich ähnlich genau ist, wie eine Korrektur durch Menschen.

Der Musterabgleich basiert darauf, dass Sie eine Antworteingabe mit einer Anzahl von vorgegebenen Antwortmustern abgleichen. Die einzelnen Antwortmuster werden der Reihe nach mit der Antworteingabe verglichen, bis eine Übereinstimmung gefunden. Danach erfolgt die Zuweisung einer Bewertung und eines Feedbacks. ist

Der "Knackpunkt" beim Musterabgleich besteht darin, dass Sie zu einer Frage von diesem Typ passende Antworten formulieren können, die zu einer korrekten Bewertung führen. Entsprechend muss der Kern der Frage formuliert werden.

The Question text, Grade and General feedback for a Pattern match question.png

Konfiguration einer Frage

Fragetitel: Geben Sie der Frage einen geeigneten Namen. Teilnehmer/innen sehen diesen Fragetitel nicht.

Fragetext: Geben Sie hier Ihre Frage ein. Sie können bei der Eingabe alle Funktionalitäten des Texteditors verwenden.

pmatch question text.png

Antwort

Sie können den Antworteingabe-Bereich als "Lücke" innerhalb der Frage plazieren, indem Sie eine Folge von mindestens fünf Unterstrichen in den Fragetext einfügen. Zur Laufzeit (also bei der Anzeige der Frage) werden die Unterstriche durch einen Antworteingabe-Bereich ersetzt. Sie können die Größe des Antworteingabe-Bereichs näher spezifizieren, indem Sie __XxY__ angeben. Zum Beispiel erzeugt die Angabe __20x1__ einen Antworteingabe-Bereich von 20 Zeichen Breite und 1 Zeichen Höhe. Wenn Sie keine Unterstriche in Ihren Fragetext einbauen, dann wird der Antworteingabe-Bereich zur Laufzeit automatisch unterhalb des Fragetextes erzeugt.

Erreichbare Punkte: Geben Sie an, wie viele Punkte es für die richtige Beantwortung der Frage gibt.

Allgemeines Feedback: Wir empfehlen, als Feedback die richtige Antwort mit einer angemessenen Erklärung zu geben. Dieses Feedback wird allen Teilnehmer/innen angezeigt, unabhängig davon, ob ihre individuelle Antwort richtig oder falsch war. Beim Fragetyp Musterabgleich können Sie sich nicht auf eine maschinell generierte "richtige Antwort" (gemäß der iCMA Definition) verlassen.

Die richtige Antwort im Feedback dient gleichzeitig als erstes Muster, mit dem die Antworteingabe der Teilnehmer/innen verglichen wird.

General feedback with first pattern match.png

Hinweis: Die $$-Zeichen sind eine TeX-Notation. Der Ausdruck zwischen den $$-Zeichen wird mit Hilfe eines mathematischen Filters dargestellt (der installiert und aktiviert sein muss).

Antwortmöglichkeiten

Options for entering answers.png

Groß- und Kleinschreibung: Nein oder Ja.

Benutzung von tiefgestellten Buchstaben erlauben: Nein oder Ja. Alle Indizes, die von Teilnehmer/innen eingeben werden, sind in den Antworteingaben zwischen den Standard-Tags <sub> und </sub> oder <sup> und </sup> zu finden. Beispiele:

  • Die Eingabe: Die chemische Formel für Wasser ist H<sub>2</sub>O resultiert in:
    • Die chemische Formel für Wasser ist H2O
  • Die Eingabe: Die Lichtgeschwindigkeit beträgt ungefähr 3x10<sup>8</sup> m s<sup>-1</sup> resultiert in:
    • Die Lichtgeschwindigkeit beträgt ungefähr 3x108 m s-1

At run time keyboard users may move between normal, subscript and superscript by using the up-arrow and down-arrow keys. You may wish to include this information within your question. If you do please note that the up-arrow and down-arrow provided in the HTML editor’s ‘insert custom characters’ list are not spoken by a screen reader and you should also include the words ‘up-arrow’ and ‘down-arrow’.

Wenn die Antwort länger als 20 Wörter ist: We strongly recommend that you limit responses to 20 words. Allowing unconstrained responses often results in responses that are both right and wrong – which are difficult to mark consistently one way or the other.

Rechtschreibung des Teilnhemers prüfen: How many ways do you know of to spell ‘temperature’? We’ve seen 14! You will improve the marking accuracy by insisting on words that are in Moodle system dictionary.

Diese Wörter zum Wörterbuch hinzufügen: When dealing with specialised scientific, technical and medical terms that are not in a standard dictionary it is most likely that you will have to add them by using this field. Enter your words leaving a space between them.

Folgende Zeichen in Leerzeichen umwandeln: In Pattern match words are defined as sequences of characters between spaces. The exclamation mark and question mark are also taken to mark the end of a word. The period is a special case; as a full stop it is also a word delimiter but as the decimal point it is not. All other punctuation is considered to be part of the response but this option lets you remove it.

Fields for entering synonyms (not associated with the SI units question).png

Wort und Synonyme: All words and synonyms are specified as they are to be applied by the response matching. They do not have to be full words but can be stems with a wildcard.

Synonyms may only be single words i.e. the ability to specify alternate phrases in synonym lists is not allowed.

From the example above any occurrence of the word oil in the response match will be replaced by oil|glycer*|paraf* before the match is carried out.

A response match top.png

A response match bottom.png

From the other example of oil above water:

Response match specific gravity.png

This example shows that Pattern match will support complex response matching. Here there are four acceptable phrases and in each there are various alternative words.

Take the first phrase match_mw(less*|smaller|low*|light* dens*|[specific gravity]|sg than water*) This would match “less dense than water” or “has a lower specific gravity than water”. Please see the section on Pattern match syntax for a full description.

Antwort: This example shows that Pattern match will support complex response matching.

Take the first answer field match_o(ampere candela kelvin mole) is the exact match for the four words with the additional feature that the matching option 'o' allows the words to be given in any order.

The answer field match_ow(ampere candela kelvin mole) requires the same four words, again in any order, but also allows other words.

The third answer field match_mow(ampere candela kelvin mole) allows for misspellings which are still in the dictionary e.g. mule instead of mole.

Please see the section on Pattern match syntax for a full description.

Bewertung: Between ‘none’ and 100%. At least one response must have a mark of 100%.

Feedback: Specific feedback that is provided to anyone whose response is matched by the response matching rule in Answer.

Feedback to all non-matched responses.png

The feedback for all non-matched responses should go into the ‘Any other answer’ field.

The multiple tries section.png

Wie die Antworteingabe verarbeitet wird

Die kleinste Einheit einer Teilnehmerantwort, auf der der Musterabgleich arbeitet, ist ein Wort. Ein Wort ist dabei definiert als eine Folge von Zeichen zwischen zwei Leerzeichen. Ein Punkt (aber nicht der Dezimalpunkt in Kommazahlen), ein Fragezeichen und ein Ausrufezeichen werden ebenfalls als Ende eines Wortes behandelt.

Zahlen sind in diesem Sinne besondere Formen von Wörtern. Der Abgleich erfolgt über den Wert der Zahl und nicht über die Zeichnefolge. Zum Beispiel fängt das Muster match_w(25 ms-1) folgende richtige Antworten ab: 25 ms-1, 2.5e1 ms-1, 2.5x10-1 ms-1

Mit Ausnahme von Zahlen und Wortendezeichen (Leerzeichen, Punkt, Fragezeichen, Ausrufezeichen) basiert der Musterabgleich auf dem 1-1-Abgleich der gegebenen Zeichenfolge. Darüber hinaus können Sie entscheiden, ob Groß-/Kleinschreibung berücksichtigt wird und wie Satzzeichen (, ; :) behandelt werden.

Die Antworteingabe wird insgesamt behandelt. Wörter, die als verwandt hinterlegt sind, müssen jedoch im selben Satz vorkommen, damit die Antworteingabe als "richtig" bewertet wird.

PMatch-Syntax

Eine Regel umfasst drei Bestandteile.

  1. Musterabgleich-Optionen, z.B. mow
  2. Wörter, mit denen die Antworteingabe der Teilnehmer/innen abgeglichen wird, z.B. tom dick harry
  3. AND (UND)-, OR (ODER) und NOT (NICHT)-Kombinationen von Wörtern zum Musterabgleich; z.B. bedeutet match_any(), dass ein beliebiges der angegebenen Wörter in der Antworteingabe vorkommen muss (was einer ODER-Kombination der angegebenen Wörter entspricht).

Optionen für den Musterabgleich

the matching options top.png

the matching options bottom.png

Die Optionen für den Musterabgleich werden mit einem Unterstrich an das Regelwort match angehängt. Sie können mehrere Optionen kombinieren. Eine typische Kombination ist mow, d.h. die Regel lautet dann match_mow(<Wörter zum Abgleich>). Diese Regel

  1. fängt Rechtschreibfehler ab,
  2. erlaubt eine beliebige Reihenfolge der angegebenen Wörter und
  3. erlaubt zusätzliche Wörter.

Sonderzeichen

Special characters.png

Wenn Sie Sonderzeichen abgleichen wollen, dann müssen Sie diesen Zeichen ein '\' voranstellen. Die Regel match(\|) prüft, ob in der Antworteingabe ein '|'-Zeichen vorkommt. Wenn Sie prüfen wollen, ob in der Antworteingabe runde Klammern '()' vorkommen, dann muss die Regel match(\(\)) lauten.

Kombinationen

Combining matches.png

Die Regeln match_all(), match_any() und not() können verschachtelt sein.

Beispiele

Patternmatch examples top.png

Patternmatch examples bottom.png

Hinweise zum Erstellen von Musterabgleich-Regeln

Wie können Sie mögliche Antworten der Kursteilnehmer/innen vorhersehen? Bei der großen Vielfalt von Antwortmöglichkeiten ist das natürlich schwierig, aber Sie können die verschiedenen Antwort sammeln und so über die Zeit eine "Antwort-Datenbank" aufbauen und darauf basierend Ihre Antwortvorgaben und Musterantworten formulieren.

Bevor wir den Musterabgleich beschreiben, möchten wir folgende wichtige Punkte hervorheben:

  1. Der Ausgangspunkt ist eine Frage, bei der Sie sicher sind, eine richtige Bewertung geben zu können.
  2. Die Formulierung der Frage hat eine große Bedeutung.
  3. Musterabgleich funktioniert am besten, wenn Sie eine einzelne Erklärung abfragen, die Sie einfach mit "richtig" oder "falsch" bewerten können. Es ist ungleich schwerer und komplexer, in einer Frage mehrere Teilaspekte zu formulieren und diese mit Teilpunkten zu bewerten. Besser ist es, jeden Teilaspekt in einer eigenen Frage zu formulieren.
  4. Eine Sammlung von Antworten von realen Teilnehmer/innen und deren Bewertung ist ein bedeutender Ausgangspunkt für einen Musterabgleich. Um eine solche Sammlung von möglichen Antworten aufzubauen, können Sie vorab dieselbe Frage als Freitextfrage oder Aufgabenabgabe stellen und manuell bewerten.
  5. Der Fragetyp Musterabgleich erfordert (mehr als alle anderen Fragetypen), dass Sie die Antworten Ihrer Teilnehmer/innnen kontinuierlich überwachen und Ihre Antwortvorgaben und Musterantworten regelmäßig überprüfen und bei Bedarf anpassen. Es wird ein Zeitpunkt kommen, an dem Sie glauben, dass Ihre Musterantwort "hinreichend gut" ist. Oder Sie fragen sich, wie viele Antworten von Teilnehmer/innen nötig sind, um zu diesem Punkt zu gelangen. Leider gibt es darauf keine allgemein gültige Antwort. Manchmal reichen 200 Antworten, manchmal sind wesentlich mehr Antworten nötig. Auf jeden Fall sollten Sie folgende Punkte bedenken:
    1. Es verlangt mehr von den Teilnehmer/innen, wenn sie eine Antwort selbst formulieren müssen, als wenn sie nur aus einer Liste von vorgegebenen Antwortoptionen auswählen müssen.
    2. Bewerter/innen, die mit einem Bewertungsschema arbeiten, können dennoch Fehler machen.
  6. Eine akzeptierte Methodebeim Musterabgleich ist die Verwendung von Platzhaltern für Endungen, z.B. beweg* für bewegen, bewegung, bewegte usw.
  7. Teilnehmer/innen geben normalerweise keine vorsätzlich falschen Antworten. Warum sollten sie? (Im Gegensatz zu Wissenschaftler/innen, die möglicherweise versuchen, dass System zu überlisten.) Teilnehmer/innen werden kaum eine richtige Antwort eingeben, der ein "Die Antwort ist nicht:" vorangestellt ist. Solche Antwortmuster müssen Sie also nicht "abfangen".
  8. Achten Sie auf Wortverwandschaften, um ähnliche Wörter und Synonyme zu berücksichtigen.
  9. Wenn Sie offensichtlich falsche Antworten frühzeitig in Ihrem Musterabgleich abfangen und bewerten, führt das meistens zu einer insgesamt besseren Korrektheit der Bewertung.
  10. Antworten, die sowohl richtige als auch falsche Aspekte beinhalten, erfordern ein genaueres Hinsehen. Sie sollten solche Antworten einheitlich als "richtig" oder "falsch" bewerten. Der Computer wird Ihr Bewertungsschema konsistent abarbeiten.
  11. Sie sollten eine Korrektheit der Bewertung von >95% anstreben (in unseren Testversuchen lag die Korrektheit der Bewertung durch natürlcihe Personen bei 92%-96%).

Geschichte

Das hier beschriebene Verfahren zum Musterabgleich wurde in den 1970er Jahren im Fachbereich "Computer Based Learning" der Leeds University entwickelt und in die Sprache "Leeds Author Language" integriert. Die Basiseinheit eines Worts, die Abgleichoptionen "allowAnyChars", "allowAnyWords", "allowAnyOrder" und die "Wort-OR-Funktionalität" gehen auf die "Leeds Author Language" zurück.

Im Jahr 1976 veröffentlichte das CALCHEM Projekt, an dem die Computer Based Learning Unit, die Fakultät Chemie der Leeds University und das Computer Centre of Sheffield Polytechnic (heute Sheffield Hallam University) beteiligt waren, eine portable Version der Sprache "Leeds Author Language".

Eine portable Version für Kleincomputers wurde im Jahr 1982 von der Open University, der Midland Bank (heute ist Midland Teil der HSBC) und dem Imperial College entwickelt. Zu diesem Zeitpunkt wurden die Wildcards für einzelne und mehrfache Zeichen hinzugefügt.

Die Berücksichtigung von Rechtschreibfehlern, die Wortverwandschaft und Wortgruppen in OR-Listen wurden im Rahmen des COLMST Projektes der Open University in den Jahren 2006 - 2009 ergänzt.

Literaturhinweise

Philip G. Butcher and Sally E. Jordan, A comparison of human and computer marking of short free-text student responses, Computers & Education 55 (2010) 489-499

Diese Informationen entstammen der Seite http://www.open.edu/openlearnworks/mod/oucontent/view.php?id=52747&section=2.2.1 vom 17.09.2014.

Siehe auch