Detaillierte Dokumentation zum Fragetyp Musterabgleich

Aus MoodleDocs
Wechseln zu:Navigation, Suche

Baustelle.png Diese Seite muss übersetzt werden.
Es kümmert sich jemand darum, aber du darfst auch gern selbst mithelfen! Wenn du mit deiner Arbeit fertig bist, dann entferne die Vorlage {{ÜbersetzenVergeben}} aus dem Artikel.
Danke für deine Mitarbeit!




Einführung

Mit dem Fragetyp Musterabgleich kann man prüfen, ob eine kurze Freitext-Antwort einem vorgegebenen Antwortmuster entspricht.

Dieser Fragetyp ist eine technisch ausgefeilte Alternative zum Fragetyp Freitext, die Folgendes bietet:

  • die Möglichkeit, Rechtschreibfehler abzufangen (mit und ohne Englisch-Wörterbuch)
  • die Angabe von Synonymen und alternativen Wortgruppen
  • eine flexible Reihenfolge der Wörter
  • die Prüfung der Wortverwandschaft

Für bestimmte Typen von Antworteingaben konnte nachgewiesen werden, dass der automatisierte Musterabgleich ähnlich genau ist, wie eine Korrektur durch Menschen.

Der Musterabgleich basiert darauf, dass Sie eine Antworteingabe mit einer Anzahl von vorgegebenen Antwortmustern abgleichen. Die einzelnen Antwortmuster werden der Reihe nach mit der Antworteingabe verglichen, bis eine Übereinstimmung gefunden. Danach erfolgt die Zuweisung einer Bewertung und eines Feedbacks. ist

Der "Knackpunkt" beim Musterabgleich besteht darin, dass Sie zu einer Frage von diesem Typ passende Antworten formulieren können, die zu einer korrekten Bewertung führen. Entsprechend muss der Kern der Frage formuliert werden.

The Question text, Grade and General feedback for a Pattern match question.png

Konfiguration einer Frage

Fragetitel: Geben Sie der Frage einen geeigneten Namen. Teilnehmer/innen sehen diesen Fragetitel nicht.

Fragetext: Geben Sie hier Ihre Frage ein. Sie können bei der Eingabe alle Funktionalitäten des Texteditors verwenden.

pmatch question text.png

Antwort

Sie können den Antworteingabe-Bereich als "Lücke" innerhalb der Frage plazieren, indem Sie eine Folge von mindestens fünf Unterstrichen in den Fragetext einfügen. Zur Laufzeit (also bei der Anzeige der Frage) werden die Unterstriche durch einen Antworteingabe-Bereich ersetzt. Sie können die Größe des Antworteingabe-Bereichs näher spezifizieren, indem Sie __XxY__ angeben. Zum Beispiel erzeugt die Angabe __20x1__ einen Antworteingabe-Bereich von 20 Zeichen Breite und 1 Zeichen Höhe. Wenn Sie keine Unterstriche in Ihren Fragetext einbauen, dann wird der Antworteingabe-Bereich zur Laufzeit automatisch unterhalb des Fragetextes erzeugt.

Erreichbare Punkte: Geben Sie an, wie viele Punkte es für die richtige Beantwortung der Frage gibt.

Allgemeines Feedback: Wir empfehlen, als Feedback die richtige Antwort mit einer angemessenen Erklärung zu geben. Dieses Feedback wird allen Teilnehmer/innen angezeigt, unabhängig davon, ob ihre individuelle Antwort richtig oder falsch war. Beim Fragetyp Musterabgleich können Sie sich nicht auf eine maschinell generierte "richtige Antwort" (gemäß der iCMA Definition) verlassen.

Die richtige Antwort im Feedback dient gleichzeitig als erstes Muster, mit dem die Antworteingabe der Teilnehmer/innen verglichen wird.

General feedback with first pattern match.png

Hinweis: Die $$-Zeichen sind eine TeX-Notation. Der Ausdruck zwischen den $$-Zeichen wird mit Hilfe eines mathematischen Filters dargestellt (der installiert und aktiviert sein muss).

Antwortmöglichkeiten

antwortmöglichkeiten.png

Groß- und Kleinschreibung: Nein oder Ja.

Benutzung von tiefgestellten Buchstaben erlauben: Nein oder Ja. Alle Indizes, die von Teilnehmer/innen eingeben werden, sind in den Antworteingaben zwischen den Standard-Tags <sub> und </sub> oder <sup> und </sup> zu finden. Beispiele:

  • Die Eingabe: Die chemische Formel für Wasser ist H<sub>2</sub>O resultiert in:
    • Die chemische Formel für Wasser ist H2O
  • Die Eingabe: Die Lichtgeschwindigkeit beträgt ungefähr 3x10<sup>8</sup> m s<sup>-1</sup> resultiert in:
    • Die Lichtgeschwindigkeit beträgt ungefähr 3x108 m s-1

Zur Laufzeit können Tastaturnutzer/innen mit Hilfe der Pfeil-hoch / Pfeil-runter-Tasten zwischen normal, tiefgestellt und hochgestellt hin und her wechseln. Vielleicht möchten Sie diese Information in Ihrer Frage hinzufügen.

Wenn die Antwort länger als 20 Wörter ist: Wir empfehlen dringend, die Antworteingabe auf 20 Wörter zu begrenzen. Wenn Sie beliebig lange Antworten zulassen, dann führt das häufig zu Eingaben, die zum Teil richtig und zum Teil falsch sind. Es ist schwierig, solche Eingabe konsistent zu bewerten.

Rechtschreibung des Teilnehmers prüfen: Wie viele Schreibweisen gibt es für das Wort "Temperatur"? Wir haben in unseren Testversuchen 14 verschiedene gesehen! Sie verbessern die Korrektheit der Bewertung, wenn Sie darauf bestehen, dass die verwendeten Wörtern im Moodle System Wörterbuch stehen müssen.

Diese Wörter zum Wörterbuch hinzufügen: Wenn es bei einer Frage um Spezialwissen oder technische oder medizinische Fachbegriffe geht, die in einem Standard-Wörterbuch nicht vorkommen, dann können Sie diese Wörter hier ergänzen. Tragen Sie die Wörter mit Leerzeichen getrennt ein.

Folgende Zeichen in Leerzeichen umwandeln: Beim Musterabgleich sind Wörter als Zeichenfolgen definiert, die durch Leerzeichen begrenzt werden. Fragezeichen und Ausrufezeichen können ebenfalls verwendet werden, um das Ende eines Wortes zu markieren. Das Zeichen . (Punkt) ist ein Sonderfall. Als Satzendezeichen markiert er ebenfalls das Ende eines Wortes, als Dezimalpunkt in Kommazahlen jedoch nicht. Alle anderen Satzzeichen werden als Teil der Antworteingabe betrachtet. Sie können sie jedoch hier eintragen, dann werden Sie durch Leerzeichen ersetzen.

synonyme.png

Wort und Synonyme: Hier können Sie Synonyme für einzelne Wörter angeben. Sie müssen keine vollständigen Wörter als Synonyme angeben, sondern können Wildcards verwenden.

Sie können nur einzelne Wörter als Synonyme angeben; ganze Wortgruppen sind nicht erlaubt.

Im obigen Beispiel wird zuerst das Wort Öl überall in der Antworteingabe durch Öl|Glyzer*|Paraf* ersetzt. Erst danach erfolgt der Musterabgleich.

A response match top.png

A response match bottom.png

From the other example of oil above water:

Response match specific gravity.png

This example shows that Pattern match will support complex response matching. Here there are four acceptable phrases and in each there are various alternative words.

Take the first phrase match_mw(less*|smaller|low*|light* dens*|[specific gravity]|sg than water*) This would match “less dense than water” or “has a lower specific gravity than water”. Please see the section on Pattern match syntax for a full description.

Antwort: This example shows that Pattern match will support complex response matching.

Take the first answer field match_o(ampere candela kelvin mole) is the exact match for the four words with the additional feature that the matching option 'o' allows the words to be given in any order.

The answer field match_ow(ampere candela kelvin mole) requires the same four words, again in any order, but also allows other words.

The third answer field match_mow(ampere candela kelvin mole) allows for misspellings which are still in the dictionary e.g. mule instead of mole.

Please see the section on Pattern match syntax for a full description.

Bewertung: Between ‘none’ and 100%. At least one response must have a mark of 100%.

Feedback: Specific feedback that is provided to anyone whose response is matched by the response matching rule in Answer.

Feedback to all non-matched responses.png

The feedback for all non-matched responses should go into the ‘Any other answer’ field.

The multiple tries section.png

Wie die Antworteingabe verarbeitet wird

Die kleinste Einheit einer Teilnehmerantwort, auf der der Musterabgleich arbeitet, ist ein Wort. Ein Wort ist dabei definiert als eine Folge von Zeichen zwischen zwei Leerzeichen. Ein Punkt (aber nicht der Dezimalpunkt in Kommazahlen), ein Fragezeichen und ein Ausrufezeichen werden ebenfalls als Ende eines Wortes behandelt.

Zahlen sind in diesem Sinne besondere Formen von Wörtern. Der Abgleich erfolgt über den Wert der Zahl und nicht über die Zeichnefolge. Zum Beispiel fängt das Muster match_w(25 ms-1) folgende richtige Antworten ab: 25 ms-1, 2.5e1 ms-1, 2.5x10-1 ms-1

Mit Ausnahme von Zahlen und Wortendezeichen (Leerzeichen, Punkt, Fragezeichen, Ausrufezeichen) basiert der Musterabgleich auf dem 1-1-Abgleich der gegebenen Zeichenfolge. Darüber hinaus können Sie entscheiden, ob Groß-/Kleinschreibung berücksichtigt wird und wie Satzzeichen (, ; :) behandelt werden.

Die Antworteingabe wird insgesamt behandelt. Wörter, die als verwandt hinterlegt sind, müssen jedoch im selben Satz vorkommen, damit die Antworteingabe als "richtig" bewertet wird.

PMatch-Syntax

Eine Regel umfasst drei Bestandteile.

  1. Musterabgleich-Optionen, z.B. mow
  2. Wörter, mit denen die Antworteingabe der Teilnehmer/innen abgeglichen wird, z.B. tom dick harry
  3. AND (UND)-, OR (ODER) und NOT (NICHT)-Kombinationen von Wörtern zum Musterabgleich; z.B. bedeutet match_any(), dass ein beliebiges der angegebenen Wörter in der Antworteingabe vorkommen muss (was einer ODER-Kombination der angegebenen Wörter entspricht).

Optionen für den Musterabgleich

the matching options top.png

the matching options bottom.png

Die Optionen für den Musterabgleich werden mit einem Unterstrich an das Regelwort match angehängt. Sie können mehrere Optionen kombinieren. Eine typische Kombination ist mow, d.h. die Regel lautet dann match_mow(<Wörter zum Abgleich>). Diese Regel

  1. fängt Rechtschreibfehler ab,
  2. erlaubt eine beliebige Reihenfolge der angegebenen Wörter und
  3. erlaubt zusätzliche Wörter.

Sonderzeichen

Special characters.png

Wenn Sie Sonderzeichen abgleichen wollen, dann müssen Sie diesen Zeichen ein '\' voranstellen. Die Regel match(\|) prüft, ob in der Antworteingabe ein '|'-Zeichen vorkommt. Wenn Sie prüfen wollen, ob in der Antworteingabe runde Klammern '()' vorkommen, dann muss die Regel match(\(\)) lauten.

Kombinationen

Combining matches.png

Die Regeln match_all(), match_any() und not() können verschachtelt sein.

Beispiele

Patternmatch examples top.png

Patternmatch examples bottom.png

Hinweise zum Erstellen von Musterabgleich-Regeln

Wie können Sie mögliche Antworten der Kursteilnehmer/innen vorhersehen? Bei der großen Vielfalt von Antwortmöglichkeiten ist das natürlich schwierig, aber Sie können die verschiedenen Antwort sammeln und so über die Zeit eine "Antwort-Datenbank" aufbauen und darauf basierend Ihre Antwortvorgaben und Musterantworten formulieren.

Bevor wir den Musterabgleich beschreiben, möchten wir folgende wichtige Punkte hervorheben:

  1. Der Ausgangspunkt ist eine Frage, bei der Sie sicher sind, eine richtige Bewertung geben zu können.
  2. Die Formulierung der Frage hat eine große Bedeutung.
  3. Musterabgleich funktioniert am besten, wenn Sie eine einzelne Erklärung abfragen, die Sie einfach mit "richtig" oder "falsch" bewerten können. Es ist ungleich schwerer und komplexer, in einer Frage mehrere Teilaspekte zu formulieren und diese mit Teilpunkten zu bewerten. Besser ist es, jeden Teilaspekt in einer eigenen Frage zu formulieren.
  4. Eine Sammlung von Antworten von realen Teilnehmer/innen und deren Bewertung ist ein bedeutender Ausgangspunkt für einen Musterabgleich. Um eine solche Sammlung von möglichen Antworten aufzubauen, können Sie vorab dieselbe Frage als Freitextfrage oder Aufgabenabgabe stellen und manuell bewerten.
  5. Der Fragetyp Musterabgleich erfordert (mehr als alle anderen Fragetypen), dass Sie die Antworten Ihrer Teilnehmer/innnen kontinuierlich überwachen und Ihre Antwortvorgaben und Musterantworten regelmäßig überprüfen und bei Bedarf anpassen. Es wird ein Zeitpunkt kommen, an dem Sie glauben, dass Ihre Musterantwort "hinreichend gut" ist. Oder Sie fragen sich, wie viele Antworten von Teilnehmer/innen nötig sind, um zu diesem Punkt zu gelangen. Leider gibt es darauf keine allgemein gültige Antwort. Manchmal reichen 200 Antworten, manchmal sind wesentlich mehr Antworten nötig. Auf jeden Fall sollten Sie folgende Punkte bedenken:
    1. Es verlangt mehr von den Teilnehmer/innen, wenn sie eine Antwort selbst formulieren müssen, als wenn sie nur aus einer Liste von vorgegebenen Antwortoptionen auswählen müssen.
    2. Bewerter/innen, die mit einem Bewertungsschema arbeiten, können dennoch Fehler machen.
  6. Eine akzeptierte Methodebeim Musterabgleich ist die Verwendung von Platzhaltern für Endungen, z.B. beweg* für bewegen, bewegung, bewegte usw.
  7. Teilnehmer/innen geben normalerweise keine vorsätzlich falschen Antworten. Warum sollten sie? (Im Gegensatz zu Wissenschaftler/innen, die möglicherweise versuchen, dass System zu überlisten.) Teilnehmer/innen werden kaum eine richtige Antwort eingeben, der ein "Die Antwort ist nicht:" vorangestellt ist. Solche Antwortmuster müssen Sie also nicht "abfangen".
  8. Achten Sie auf Wortverwandschaften, um ähnliche Wörter und Synonyme zu berücksichtigen.
  9. Wenn Sie offensichtlich falsche Antworten frühzeitig in Ihrem Musterabgleich abfangen und bewerten, führt das meistens zu einer insgesamt besseren Korrektheit der Bewertung.
  10. Antworten, die sowohl richtige als auch falsche Aspekte beinhalten, erfordern ein genaueres Hinsehen. Sie sollten solche Antworten einheitlich als "richtig" oder "falsch" bewerten. Der Computer wird Ihr Bewertungsschema konsistent abarbeiten.
  11. Sie sollten eine Korrektheit der Bewertung von >95% anstreben (in unseren Testversuchen lag die Korrektheit der Bewertung durch natürlcihe Personen bei 92%-96%).

Geschichte

Das hier beschriebene Verfahren zum Musterabgleich wurde in den 1970er Jahren im Fachbereich "Computer Based Learning" der Leeds University entwickelt und in die Sprache "Leeds Author Language" integriert. Die Basiseinheit eines Worts, die Abgleichoptionen "allowAnyChars", "allowAnyWords", "allowAnyOrder" und die "Wort-OR-Funktionalität" gehen auf die "Leeds Author Language" zurück.

Im Jahr 1976 veröffentlichte das CALCHEM Projekt, an dem die Computer Based Learning Unit, die Fakultät Chemie der Leeds University und das Computer Centre of Sheffield Polytechnic (heute Sheffield Hallam University) beteiligt waren, eine portable Version der Sprache "Leeds Author Language".

Eine portable Version für Kleincomputers wurde im Jahr 1982 von der Open University, der Midland Bank (heute ist Midland Teil der HSBC) und dem Imperial College entwickelt. Zu diesem Zeitpunkt wurden die Wildcards für einzelne und mehrfache Zeichen hinzugefügt.

Die Berücksichtigung von Rechtschreibfehlern, die Wortverwandschaft und Wortgruppen in OR-Listen wurden im Rahmen des COLMST Projektes der Open University in den Jahren 2006 - 2009 ergänzt.

Literaturhinweise

Philip G. Butcher and Sally E. Jordan, A comparison of human and computer marking of short free-text student responses, Computers & Education 55 (2010) 489-499

Diese Informationen entstammen der Seite http://www.open.edu/openlearnworks/mod/oucontent/view.php?id=52747&section=2.2.1 vom 17.09.2014.

Siehe auch