Detaillierte Dokumentation zum Fragetyp Musterabgleich: Unterschied zwischen den Versionen

Aus MoodleDocs
Wechseln zu:Navigation, Suche
Hauptseite ► Moodle-Kurs verwalten ► Fragen ► Detaillierte Dokumentation zum Fragetyp Musterabgleich
Detaillierte Dokumentation zum Fragetyp Musterabgleich
Typ Fragetyp
Set N/A
Downloads https://moodle.org/plugins/qtype_pmatch
Issues https://github.com/moodleou/moodle-qtype_pmatch
Diskussion https://moodle.org/mod/forum/view.php?id=737
Maintainer Tim Hunt
Keine Bearbeitungszusammenfassung
Keine Bearbeitungszusammenfassung
 
(31 dazwischenliegende Versionen von 2 Benutzern werden nicht angezeigt)
Zeile 1: Zeile 1:
{{ÜbersetzenVergeben}}
{{Infobox Plugin
|type = Fragetyp
|entry = https://moodle.org/plugins/qtype_pmatch
|tracker = https://github.com/moodleou/moodle-qtype_pmatch
|discussion = https://moodle.org/mod/forum/view.php?id=737
|maintainer = [http://moodle.org/user/view.php?id=93821&course=5 Tim Hunt]
|float = right
}}


==Overview==
{{Fragen}}
The [[Pattern-match question type]] is used to test if a short free-text student response matches a specified response pattern.


Pattern match is a more sophisticated alternative to the [[Short-Answer question type]] and offers:
==Einführung==
Mit dem [[Fragetyp Musterabgleich]] kann man prüfen, ob eine kurze Freitext-Antwort einem vorgegebenen Antwortmuster entspricht.


* the ability to cater for misspellings, with and without an English dictionary
Dieser Fragetyp ist eine technisch ausgefeilte Alternative zum [[Fragetyp Freitext]], die Folgendes bietet:
* specification of synonyms and alternative phrases
*die Möglichkeit, Rechtschreibfehler abzufangen (mit und ohne Englisch-Wörterbuch)
* flexible word order
* die Angabe von Synonymen und alternativen Wortgruppen
* checks on the proximity of words.
* eine flexible Reihenfolge der Wörter
* die Prüfung der Wortverwandschaft


For certain types of response it has been shown to provide an accuracy of marking that is on a par with, or better than, that provided by a cohort of human markers.
Für bestimmte Typen von Antworteingaben konnte nachgewiesen werden, dass der automatisierte Musterabgleich ähnlich genau ist, wie eine Korrektur durch Menschen.


Pattern match works on the basis that you have a student response which you wish to match against any number of response matching patterns. Each pattern is compared in turn until a match is found and feedback and marks are assigned.
Der Musterabgleich basiert darauf, dass Sie eine Antworteingabe mit einer Anzahl von vorgegebenen Antwortmustern abgleichen. Die einzelnen Antwortmuster werden der Reihe nach mit der Antworteingabe verglichen, bis eine Übereinstimmung gefunden. Danach erfolgt die Zuweisung einer Bewertung und eines Feedbacks. ist


The key to using ''Pattern match'' is in asking questions that you have a reasonable hope of marking accurately. Hence writing the question stem is the most important part of writing these questions.
Der "Knackpunkt" beim Musterabgleich besteht darin, dass Sie zu einer Frage von diesem Typ passende Antworten formulieren können, die zu einer korrekten Bewertung führen. Entsprechend  muss der Kern der Frage formuliert werden.


[[File:The Question text, Grade and General feedback for a Pattern match question.png|600px]]
[[File:basiseinheiten.png|700px]]


==Components of the question==
==Konfiguration einer Frage==
'''Question name''': A descriptive name is sensible. This name will not be shown to students.
===Allgemeines===
'''Fragetitel''': Geben Sie der Frage einen geeigneten Namen. Teilnehmer/innen sehen diesen Fragetitel nicht.


'''Question text''': You may use the full functionality of the editor to state the question.
'''Fragetext''': Geben Sie hier Ihre Frage ein. Sie können bei der Eingabe alle Funktionalitäten des Texteditors verwenden.  


[[File:pmatch question text.png|600px]]
[[File:fragetext.png|700px]]


===Placing the response box===
Sie können den Antworteingabe-Bereich als "Lücke" innerhalb der Frage plazieren, indem Sie eine Folge von mindestens fünf Unterstrichen in den Fragetext einfügen. Zur Laufzeit (also bei der Anzeige der Frage) werden die Unterstriche durch einen Antworteingabe-Bereich ersetzt. Sie können die Größe des Antworteingabe-Bereichs näher spezifizieren, indem Sie __XxY__ angeben. Zum Beispiel erzeugt die Angabe __20x1__ einen Antworteingabe-Bereich von 20 Zeichen Breite und 1 Zeichen Höhe. Wenn Sie keine Unterstriche in Ihren Fragetext einbauen, dann wird der Antworteingabe-Bereich zur Laufzeit automatisch unterhalb des Fragetextes erzeugt.  
The response box may be placed within the question rubric by including a sequence of underscores e.g. _____. At runtime the response box will replace the underscores. The minimum number of underscores required to trigger this action is 5. The size of the input box may also be specified by __XxY__ e.g. __20x1__ will produce a box 20 columns wide and 1 row high. If no underscores are present the response box will be placed after the question.


'''Default mark''': Decide on how to score your questions and be consistent.
'''Erreichbare Punkte''': Geben Sie an, wie viele Punkte es für die richtige Beantwortung der Frage gibt.


'''General feedback''': We recommend that all questions should have this box completed with the correct answer and a fully worked explanation. The contents of this box will be shown to all students irrespective of whether their response was correct or incorrect. For the Pattern match question type you cannot rely on using the machine generated 'Right answer' (from the iCMA definition form).
'''Allgemeines Feedback''': Wir empfehlen, als Feedback die richtige Antwort mit einer angemessenen Erklärung zu geben. Dieses Feedback wird allen Teilnehmer/innen angezeigt, unabhängig davon, ob ihre individuelle Antwort richtig oder falsch war. Beim Fragetyp Musterabgleich können Sie sich nicht auf eine maschinell generierte "richtige Antwort" (gemäß der iCMA Definition) verlassen.


As usual the General feedback area will contain the correct answer and gives a first pattern match that you should consider
Die richtige Antwort im Feedback dient gleichzeitig als erstes Muster, mit dem die Antworteingabe der Teilnehmer/innen verglichen wird.


[[File:General feedback with first pattern match.png|600px]]
[[File:allgemeinesfeedback.png|700px]]


Note:The text enclosed between two $$ characters is '''[[TeX_notation_filter|TeX]]''' and it will be rendered by your [[Maths]] [[Filters|filter]] (that you have enabled/installed previously).
'''Hinweis''': Die $$-Zeichen sind eine  [[TeX-Notation]]. Der Ausdruck zwischen den $$-Zeichen wird mit Hilfe eines [[:Kategorie:Mathematik|mathematischen]] [[Filter]]s dargestellt (der installiert und aktiviert sein muss).


===Options for entering answers===
===Antwortmöglichkeiten===


[[File:Options for entering answers.png|600px]]
[[File:antwortmöglichkeiten.png|700px]]


'''Case sensitivity''': No or yes.
'''Groß- und Kleinschreibung''': Nein oder Ja.


'''Allow use of subscript/superscript''': No or Yes. Any subscripts entered by the student are contained in their response between the standard tags of <sub> and </sub> or <sup> and </sup>. For example:
'''Benutzung von tiefgestellten Buchstaben erlauben''': Nein oder Ja. Alle Indizes, die von Teilnehmer/innen eingeben werden, sind in den Antworteingaben zwischen den Standard-Tags <nowiki><sub></nowiki> und <nowiki></sub></nowiki> oder <nowiki><sup></nowiki> und <nowiki></sup></nowiki> zu finden. Beispiele:


* The formula for water is <nowiki>H<sub>2</sub>O</nowiki> will produce
* Die Eingabe: ''Die chemische Formel für Wasser ist <nowiki>H<sub>2</sub>O</nowiki>'' resultiert in:
** The formula for water is  H<sub>2</sub>O
** ''Die chemische Formel für Wasser ist H<sub>2</sub>O''
* The speed of light is approximately <nowiki>3x10<sup>8</sup> m s<sup>-1</sup></nowiki> will produce
* Die Eingabe: ''Die Lichtgeschwindigkeit beträgt ungefähr <nowiki>3x10<sup>8</sup> m s<sup>-1</sup></nowiki>'' resultiert in:
** The speed of light is approximately  3x10<sup>8</sup> m s<sup>-1</sup>
** ''Die Lichtgeschwindigkeit beträgt ungefähr 3x10<sup>8</sup> m s<sup>-1</sup>''


At run time keyboard users may move between normal, subscript and superscript by using the up-arrow and down-arrow keys. You may wish to include this information within your question. If you do please note that the up-arrow and down-arrow provided in the HTML editor’s ‘insert custom characters’ list are not spoken by a screen reader and you should also include the words ‘up-arrow’ and ‘down-arrow’.
Zur Laufzeit können Tastaturnutzer/innen mit Hilfe der Pfeil-hoch / Pfeil-runter-Tasten zwischen normal, tiefgestellt und hochgestellt hin und her wechseln. Vielleicht möchten Sie diese Information in Ihrer Frage hinzufügen.  


'''If answer is more than 20 words''': We strongly recommend that you limit responses to 20 words. Allowing unconstrained responses often results in responses that are both right and wrong – which are difficult to mark consistently one way or the other.
'''Wenn die Antwort länger als 20 Wörter ist''': Wir empfehlen dringend, die Antworteingabe auf 20 Wörter zu begrenzen. Wenn Sie beliebig lange Antworten zulassen, dann führt das häufig zu Eingaben, die zum Teil richtig und zum Teil falsch sind. Es ist schwierig, solche Eingabe konsistent zu bewerten.


'''Check spelling of student''': How many ways do you know of to spell ‘temperature’? We’ve seen 14! You will improve the marking accuracy by insisting on words that are in Moodle system dictionary.
'''Rechtschreibung des Teilnehmers prüfen''': Wie viele Schreibweisen gibt es für das Wort "Temperatur"? Wir haben in unseren Testversuchen 14 verschiedene gesehen! Sie verbessern die Korrektheit der Bewertung, wenn Sie darauf bestehen, dass die verwendeten Wörtern im Moodle System Wörterbuch stehen müssen.


'''Add these words to dictionary''': When dealing with specialised scientific, technical and medical terms that are not in a standard dictionary it is most likely that you will have to add them by using this field. Enter your words leaving a space between them.
'''Diese Wörter zum Wörterbuch hinzufügen''': Wenn es bei einer Frage um Spezialwissen oder technische oder medizinische Fachbegriffe geht, die in einem Standard-Wörterbuch nicht vorkommen, dann können Sie diese Wörter hier ergänzen. Tragen Sie die Wörter mit Leerzeichen getrennt ein.


'''Convert the following characters to space''': In ''Pattern match'' words are defined as sequences of characters between spaces. The exclamation mark and question mark are also taken to mark the end of a word. The period is a special case; as a full stop it is also a word delimiter but as the decimal point it is not. All other punctuation is considered to be part of the response but this option lets you remove it.
'''Folgende Zeichen in Leerzeichen umwandeln''': Beim Musterabgleich sind Wörter als Zeichenfolgen definiert, die durch Leerzeichen begrenzt werden. Fragezeichen und Ausrufezeichen können ebenfalls verwendet werden, um das Ende eines Wortes zu markieren. Das Zeichen . (Punkt) ist ein Sonderfall. Als Satzendezeichen markiert er ebenfalls das Ende eines Wortes, als Dezimalpunkt in Kommazahlen jedoch nicht. Alle anderen Satzzeichen werden als Teil der Antworteingabe betrachtet. Sie können sie jedoch hier eintragen, dann werden Sie durch Leerzeichen ersetzen.


[[File:Fields for entering synonyms (not associated with the SI units question).png|600px]]
===Synonyme===
Die folgenden Synonyme gehören zur Öl-Wasser-Gemisch-Frage oben.


'''Words and synonyms''': All words and synonyms are specified as they are to be applied by the response matching. They do not have to be full words but can be stems with a wildcard.
[[File:synonyme.png|700px]]


Synonyms may only be single words i.e. the ability to specify alternate phrases in synonym lists is not allowed.
'''Wort und Synonyme''': Hier können Sie Synonyme für einzelne Wörter angeben. Sie müssen keine vollständigen Wörter als Synonyme angeben, sondern können Wildcards verwenden.


From the example above any occurrence of the word '''oil''' in the response match will be replaced by '''oil|glycer*|paraf*''' before the match is carried out.
Sie können nur einzelne Wörter als Synonyme angeben; ganze Wortgruppen sind nicht erlaubt.


[[File:A response match top.png|600px]]
Im obigen Beispiel wird zuerst das Wort '''Öl''' überall in der Antworteingabe durch '''Öl|Glyzer*|Paraf*''' ersetzt. Erst danach erfolgt der Musterabgleich.


[[File:A response match bottom.png|600px]]
===Antworten===
Die folgenden Antwortvorgaben für den Musterabgleich gehören zur SI-Basiseinheiten-Frage oben.


From the other example of oil above water:
[[File:antwort1.png|700px]]


[[File:Response match specific gravity.png]]


This example shows that Pattern match will support complex response matching. Here there are four acceptable phrases and in each there are various alternative words.
[[File:antwort2.png|700px]]


Take the first phrase match_mw(less*|smaller|low*|light* dens*|[specific gravity]|sg than water*) This would match “less dense than water” or “has a lower specific gravity than water”. Please see the section on Pattern match syntax for a full description.


'''Answer''': This example shows that Pattern match will support complex response matching.
[[File:antwort3.png|700px]]


Take the first answer field '''match_o(ampere candela kelvin mole)''' is the exact match for the four words with the additional feature that the matching option 'o' allows the words to be given in any order.
Im ersten Antwortfeld '''Antwort 1''' steht das Muster '''match_o (Ampere Candela Kelvin Mol )''', das die vier Wörter der richtigen Lösung exakt angibt. Die Option '''_o''' bedeutet, dass die Reihenfolge dieser Wörter in der Antworteingabe der Teilnehmer/innen beliebig sein darf.  Das zweite Antwortfeld '''Antwort 2''' enthält ein Muster, das dieselben vier Wörter als Antworteingabe verlangt. Die Option '''_ow''' bedeutet, dass (wie bei Antwort 1) die Reihenfolge der Wörter beliebig ist und zusätzlich weitere Wörter in der Antworteingabe erlaubt sind. Das dritte Antwortfeld '''Antwort 3''' erlaubt mit der Option '''_mow''' neben der beliebigen Reihenfolge und zusätzlichen Wörtern auch Rechtschreibfehler, solange das falsch geschriebene Wort im Wörterbuch vorkommt (z.B. Kevin statt Kelvin). Zur Erklärung der Antwortfelder 4-6 finden Sie weiter unten ausführliche Beschreibungen.


The answer field '''match_ow(ampere candela kelvin mole)''' requires the same four words, again in any order, but also allows other words.


The third answer field match_mow(ampere candela kelvin mole) allows for misspellings which are still in the dictionary e.g. mule instead of mole.
Die Antwortvorgaben für den Musterabgleich zur Öl-Wasser-Gemisch-Aufgabe könnten so aussehen:


Please see the section on ''Pattern match syntax'' for a full description.
[[File:antwortwasseröl.png|700px]]


'''Grade''': Between ‘none’ and 100%. At least one response must have a mark of 100%.
Im ersten Antwortfeld '''Antwort 1''' werden drei Muster verwendet, die jeweils mehrere Wörter als Alternativen angeben. Das erste Muster '''match_mw (klein*|gering*|niedrig*|leicht* Dicht*|als Wasser) akzeptiert als Antworteingabe ''Öl ist leichter als Wasser'' oder ''Öl hat eine geringere Dichte''.  


'''Feedback''': Specific feedback that is provided to anyone whose response is matched by the response matching rule in Answer.
'''Antwort''': Beide Beispiele zeigen, dass der Fragetyp Musterabgleich komplexe Muster als Antwortvorgaben unterstützt. Detaillierte Informationen zu den Mustern finden Sie weiter unten in diesem Artikel.


[[File:Feedback to all non-matched responses.png|600px]]
'''Bewertung''': Geben Sie hier eine Bewertung zwischen 0 und 100%. Mindestens eine Antwortvorgabe muss mit 100% bewertet werden.


The feedback for all non-matched responses should go into the ‘Any other answer’ field.
'''Feedback''': Dieses spezifische Feedback wird den Teilnehmer/innen angezeigt, wenn ihre Antworteingabe dem angegebenen Muster entspricht. Das Feed feedback für alle Antworteingaben, die keinem der angegebenen Muster entsprechen und damit falsche Antworteingaben sind, wird im Antwortfeld '''Jede andere Antwort''' eingetragen.


[[File:The multiple tries section.png|600px]]
[[File:falscheantwort.png|700px]]


==How the response is handled==
===Mehrfachversuche===
The basic unit of the student response that Pattern match operates on is the word, where a word is defined as a sequence of characters between spaces. The full stop (but not the decimal point), exclamation mark and question mark are also treated as ending a word.
[[File:mehrfachversuche.png|700px]]


Numbers are special instances of words and are matched by value and not by the form in which they are given. '''match_w(25 ms<sup>-1</sup>)''' will match the following correct responses; 25 ms-1, 2.5e1 ms-1, 2.5x10-1 ms-1
==Wie die Antworteingabe verarbeitet wird==
Die kleinste Einheit einer Teilnehmerantwort, auf der der Musterabgleich arbeitet, ist ein Wort. Ein Wort ist dabei definiert als eine Folge von Zeichen zwischen zwei Leerzeichen. Ein Punkt (aber nicht der Dezimalpunkt in Kommazahlen), ein Fragezeichen und ein Ausrufezeichen werden ebenfalls als Ende eines Wortes behandelt.


With the exception of numbers and the word terminators (<space><full stop>? and !) ''Pattern match'' matches what it is given. Whether case does or does not matter is left to the author to decide as is the significance of punctuation such as ,;: and others.
Zahlen sind in diesem Sinne besondere Formen von Wörtern. Der Abgleich erfolgt über den Wert der Zahl und nicht über die Zeichnefolge. Zum Beispiel fängt das Muster '''match_w(25 ms<sup>-1</sup>)''' folgende richtige Antworten ab: 25 ms-1, 2.5e1 ms-1, 2.5x10-1 ms-1


The response is treated as a whole with the exception that words that are required to be in proximity must also be in the same sentence.
Mit Ausnahme von Zahlen und Wortendezeichen (Leerzeichen, Punkt, Fragezeichen, Ausrufezeichen) basiert der Musterabgleich auf dem 1-1-Abgleich der gegebenen Zeichenfolge. Darüber hinaus können Sie entscheiden, ob Groß-/Kleinschreibung berücksichtigt wird und wie Satzzeichen (, ; :) behandelt werden.


==Pattern match syntax==
Die Antworteingabe wird insgesamt behandelt. Wörter, die als verwandt hinterlegt sind, müssen jedoch im selben Satz vorkommen, damit die Antworteingabe als "richtig" bewertet wird.
The match syntax can be considered in three parts.


# the matching options e.g. '''mow'''
==PMatch-Syntax==
#  the words to be matched e.g.'''tom dick harry''' together with the in-word special characters.
Eine Regel umfasst drei Bestandteile.
#  and, or and not combinations of matches e.g. '''match_any()'''


==Matching options==
# Musterabgleich-Optionen, z.B. '''mow'''
[[File:the matching options top.png|600px]]
# Wörter, mit denen die Antworteingabe der Teilnehmer/innen abgeglichen wird, z.B. '''tom dick harry'''
# AND (UND)-, OR (ODER) und NOT (NICHT)-Kombinationen von Wörtern zum Musterabgleich; z.B. bedeutet '''match_any()''', dass ein beliebiges der angegebenen Wörter in der Antworteingabe vorkommen muss (was einer ODER-Kombination der angegebenen Wörter entspricht).


[[File:the matching options bottom.png|600px]]
==Optionen für den Musterabgleich==
[[File:the matching options top.png|700px]]


[[File:the matching options bottom.png|700px]]


The matching options are appended to the word match with an intervening underscore and may be combined. A typical match combines the options ‘mow’ to allow for
Die Optionen für den Musterabgleich werden mit einem Unterstrich an das Regelwort '''match''' angehängt. Sie können mehrere Optionen kombinieren. Eine typische Kombination ist '''mow''', d.h. die Regel lautet dann '''match_mow(<''Wörter zum Abgleich''>)'''. Diese Regel
#  fängt Rechtschreibfehler ab,
# erlaubt eine beliebige Reihenfolge der angegebenen Wörter und
#  erlaubt zusätzliche Wörter.


#  misspellings
==Sonderzeichen==
# any word order
[[File:Special characters.png|700px]]
#  any extra words


and is written match_mow(words to be matched).
Wenn Sie Sonderzeichen abgleichen wollen, dann müssen Sie diesen Zeichen ein '\' voranstellen. Die Regel '''match(\|)''' prüft, ob in der Antworteingabe ein '|'-Zeichen vorkommt. Wenn Sie prüfen wollen, ob in der Antworteingabe runde Klammern '()' vorkommen, dann muss die Regel '''match(\(\))''' lauten.


==Special characters==
==Kombinationen==
[[File:Special characters.png|600px]]
[[File:Combining matches.png|700px]]


It is possible to match some of the special characters by ‘escaping’ them with the ‘\’ character. So match(\|) will match ‘|’. Ditto for _, [, ], and *. And if you wish to match round brackets then match(\(\)) will match exactly ‘()’
Die Regeln '''match_all()''', '''match_any()''' und '''not()''' können verschachtelt sein.


==Combinations==
==Beispiele==
[[File:Combining matches.png|600px]]
[[File:Patternmatch examples top.png|700px]]


[[File:Patternmatch examples bottom.png|700px]]


match_all(), match_any()and not() may all be nested.
==Hinweise zum Erstellen von Musterabgleich-Regeln==
Wie können Sie mögliche Antworten der Kursteilnehmer/innen vorhersehen? Bei der großen Vielfalt von Antwortmöglichkeiten ist das natürlich schwierig, aber Sie können die verschiedenen Antwort sammeln und so über die Zeit eine "Antwort-Datenbank" aufbauen und darauf basierend Ihre Antwortvorgaben und Musterantworten formulieren.  


Bevor wir den Musterabgleich beschreiben, möchten wir folgende wichtige Punkte hervorheben:
# Der Ausgangspunkt ist eine Frage, bei der Sie sicher sind, eine richtige Bewertung geben zu können.
# Die Formulierung der Frage hat eine große Bedeutung.
# Musterabgleich funktioniert am besten, wenn Sie eine einzelne Erklärung abfragen, die Sie einfach mit "richtig" oder "falsch" bewerten können. Es ist ungleich schwerer und komplexer, in einer Frage mehrere Teilaspekte zu formulieren und diese mit Teilpunkten zu bewerten. Besser ist es, jeden Teilaspekt in einer eigenen Frage zu formulieren.
# Eine Sammlung von Antworten von realen Teilnehmer/innen und deren Bewertung ist ein bedeutender Ausgangspunkt für einen Musterabgleich. Um eine solche Sammlung von möglichen Antworten aufzubauen, können Sie vorab dieselbe Frage als Freitextfrage oder Aufgabenabgabe stellen und manuell bewerten.
# Der Fragetyp Musterabgleich erfordert (mehr als alle anderen Fragetypen), dass Sie die Antworten Ihrer Teilnehmer/innnen kontinuierlich überwachen und Ihre Antwortvorgaben und Musterantworten regelmäßig überprüfen und bei Bedarf anpassen. Es wird ein Zeitpunkt kommen, an dem Sie glauben, dass Ihre Musterantwort "hinreichend gut" ist. Oder Sie fragen sich, wie viele Antworten von Teilnehmer/innen nötig sind, um zu diesem Punkt zu gelangen. Leider gibt es darauf keine allgemein gültige Antwort. Manchmal reichen 200 Antworten, manchmal sind wesentlich mehr Antworten nötig. Auf jeden Fall sollten Sie folgende Punkte bedenken:
##  Es verlangt mehr von den Teilnehmer/innen, wenn sie eine Antwort selbst formulieren müssen, als wenn sie nur aus einer Liste von vorgegebenen Antwortoptionen auswählen müssen.
##  Bewerter/innen, die mit einem Bewertungsschema arbeiten, können dennoch Fehler machen.
# Eine akzeptierte Methodebeim Musterabgleich ist die Verwendung von Platzhaltern für Endungen, z.B. ''beweg*'' für ''bewegen'', ''bewegung'', ''bewegte'' usw.
# Teilnehmer/innen geben normalerweise keine vorsätzlich falschen Antworten. Warum sollten sie? (Im Gegensatz zu Wissenschaftler/innen, die möglicherweise versuchen, dass System zu überlisten.) Teilnehmer/innen werden kaum eine richtige Antwort eingeben, der ein "Die Antwort ist nicht:" vorangestellt ist. Solche Antwortmuster müssen Sie also nicht "abfangen".
# Achten Sie auf Wortverwandschaften, um ähnliche Wörter und Synonyme zu berücksichtigen.
# Wenn Sie offensichtlich falsche Antworten frühzeitig in Ihrem Musterabgleich abfangen und bewerten, führt das meistens zu einer insgesamt besseren Korrektheit der Bewertung.
# Antworten, die sowohl richtige als auch falsche Aspekte beinhalten, erfordern ein genaueres Hinsehen. Sie sollten solche Antworten einheitlich als "richtig" oder "falsch" bewerten. Der Computer wird Ihr Bewertungsschema konsistent abarbeiten.
# Sie sollten eine Korrektheit der Bewertung von >95% anstreben (in unseren Testversuchen lag die Korrektheit der Bewertung durch natürlcihe Personen bei 92%-96%).


==Examples==
==Geschichte==
[[File:Patternmatch examples top.png|600px]]
Das hier beschriebene Verfahren zum Musterabgleich wurde in den 1970er Jahren im Fachbereich "Computer Based Learning" der Leeds University entwickelt und in die Sprache "Leeds Author Language" integriert. Die Basiseinheit eines Worts, die Abgleichoptionen "allowAnyChars", "allowAnyWords", "allowAnyOrder" und die "Wort-OR-Funktionalität" gehen auf die "Leeds Author Language" zurück.


[[File:Patternmatch examples bottom.png|600px]]
Im Jahr 1976 veröffentlichte das CALCHEM Projekt, an dem die Computer Based Learning Unit, die Fakultät Chemie der Leeds University und das Computer Centre of Sheffield Polytechnic (heute Sheffield Hallam University) beteiligt waren, eine portable Version der Sprache "Leeds Author Language".
==Advice on creating matching rules==
How can you possibly guess the multiplicity of phrases that your varied student cohort will use to answer a question? Of course you can’t, but you can record everything and over time you will build a bank of student responses on which you can base your response matching. And gradually you might be surprised at how well your response matching copes.


Before we describe the response matching it’s worth stressing:
Eine portable Version für Kleincomputers wurde im Jahr 1982 von der Open University, der Midland Bank (heute ist Midland  Teil der HSBC) und dem Imperial College entwickelt. Zu diesem Zeitpunkt wurden die Wildcards für einzelne und mehrfache Zeichen  hinzugefügt.


# The starting point is asking a question that you believe you will be able to mark accurately.
Die Berücksichtigung von Rechtschreibfehlern, die Wortverwandschaft und Wortgruppen in OR-Listen wurden im Rahmen des COLMST Projektes der Open University in den Jahren 2006 - 2009 ergänzt.
#  How you phrase the question can have a significant impact.
#  Pattern match works best when you are asking for a single explanation that you will mark as simply right or wrong. You will find that dealing with multiple parts in a question or apportioning partial marks is a much harder task that will quickly turn into a research project.
# A bank of marked responses from real students is an essential starting point for developing matching patterns. Consider using the question in a human marked essay to get your first bank of student responses. Alternatively first use the question in a deferred feedback test where marks are allocated once all responses are received.
# This question type possibly more than all others demands that you monitor student responses and amend your response matching as required. There will come a point at which you believe that the response matching is ‘good enough’ and might wonder ‘how many responses might I need to check?’ Unfortunately there is no easy answer to this question. Sometimes 200 responses will be sufficient. At other times you may have to go much further than this. If you do bear in mind that
##  Asking students to construct their response, as opposed to choosing it from a list, asks more of the student i.e. it is worth your while to do this.
##  Human markers following a mark scheme are fallible too. Ditto.
# Stemming is the accepted method of catering for different word endings e.g. mov* will cater for ‘moved’ and ‘moves’ and ‘moving’ etc.
# Students do not type responses that are deliberately wrong. Why should they? This is in contrast to academics who try to defeat the system. Consequently you will not find students entering the right response but preceding it with ‘it is not..’ And consequently you do not have to match deliberate errors.
# The proximity control enables you to link one word to another.
# It is often the case that marking obvious wrong responses early in your matching scheme will improve your overall accuracy.
# Dealing with responses that contain both right and wrong answers requires you to take a view. You will either mark all such responses right or wrong. The computer will carry out your instructions consistently c.f. asking a group of human markers to apply your mark scheme consistently.
# You should aim for an accuracy of >95% (in our trials our human markers were in the range 92%-96%). But, of course, aim as high as is reasonable given the usual diminishing returns on continuing efforts.


==History==
==Literaturhinweise==
The underlying structure of the response matching described here was developed in the Computer Based Learning Unit of Leeds University in the 1970s and was incorporated into Leeds Author Language. The basic unit of the word, the matching options of allowAnyChars, allowAnyWords, allowAnyOrder and the word OR feature all date back to Leeds Author Language.
 
In 1976 the CALCHEM project which was hosted by the Computer Based Learning Unit, the Chemistry Department at Leeds University and the Computer Centre of Sheffield Polytechnic (now Sheffield Hallam University) produced a portable version of Leeds Author Language.
 
A portable version for microcomputers was developed in 1982 by the Open University, the Midland Bank (as it then was; now Midland is part of HSBC) and Imperial College. The single and multiple character wildcards were added at this time.
 
The misspelling, proximity and Word groups in 'or' lists additions were added as part of the Open University COLMSCT projects looking at free text response matching during 2006 - 2009.
 
==References==
Philip G. Butcher and Sally E. Jordan, A comparison of human and computer marking of short free-text student responses, Computers & Education 55 (2010) 489-499
Philip G. Butcher and Sally E. Jordan, A comparison of human and computer marking of short free-text student responses, Computers & Education 55 (2010) 489-499


This info was copied from [http://www.open.edu/openlearnworks/mod/oucontent/view.php?id=52747&section=2.2.1 http://www.open.edu/openlearnworks/mod/oucontent/view.php?id=52747&section=2.2.1] on september 17th 2014.
Diese Informationen entstammen der Seite [http://www.open.edu/openlearnworks/mod/oucontent/view.php?id=52747&section=2.2.1 http://www.open.edu/openlearnworks/mod/oucontent/view.php?id=52747&section=2.2.1] vom 17.09.2014.


==See also==
==Siehe auch==
* [[Pattern-match question type]]
* [[Fragetyp Musterabgleich]]


[[Category:Quiz]]
[[Category:Test]]
[[Category:Questions]]
[[Category:Fragen]]


[[en:Pattern-match_question_type_detailed_documentation]]
[[en:Pattern-match_question_type_detailed_documentation]]

Aktuelle Version vom 27. Februar 2019, 14:27 Uhr

Fragen



Einführung

Mit dem Fragetyp Musterabgleich kann man prüfen, ob eine kurze Freitext-Antwort einem vorgegebenen Antwortmuster entspricht.

Dieser Fragetyp ist eine technisch ausgefeilte Alternative zum Fragetyp Freitext, die Folgendes bietet:

  • die Möglichkeit, Rechtschreibfehler abzufangen (mit und ohne Englisch-Wörterbuch)
  • die Angabe von Synonymen und alternativen Wortgruppen
  • eine flexible Reihenfolge der Wörter
  • die Prüfung der Wortverwandschaft

Für bestimmte Typen von Antworteingaben konnte nachgewiesen werden, dass der automatisierte Musterabgleich ähnlich genau ist, wie eine Korrektur durch Menschen.

Der Musterabgleich basiert darauf, dass Sie eine Antworteingabe mit einer Anzahl von vorgegebenen Antwortmustern abgleichen. Die einzelnen Antwortmuster werden der Reihe nach mit der Antworteingabe verglichen, bis eine Übereinstimmung gefunden. Danach erfolgt die Zuweisung einer Bewertung und eines Feedbacks. ist

Der "Knackpunkt" beim Musterabgleich besteht darin, dass Sie zu einer Frage von diesem Typ passende Antworten formulieren können, die zu einer korrekten Bewertung führen. Entsprechend muss der Kern der Frage formuliert werden.

basiseinheiten.png

Konfiguration einer Frage

Allgemeines

Fragetitel: Geben Sie der Frage einen geeigneten Namen. Teilnehmer/innen sehen diesen Fragetitel nicht.

Fragetext: Geben Sie hier Ihre Frage ein. Sie können bei der Eingabe alle Funktionalitäten des Texteditors verwenden.

fragetext.png

Sie können den Antworteingabe-Bereich als "Lücke" innerhalb der Frage plazieren, indem Sie eine Folge von mindestens fünf Unterstrichen in den Fragetext einfügen. Zur Laufzeit (also bei der Anzeige der Frage) werden die Unterstriche durch einen Antworteingabe-Bereich ersetzt. Sie können die Größe des Antworteingabe-Bereichs näher spezifizieren, indem Sie __XxY__ angeben. Zum Beispiel erzeugt die Angabe __20x1__ einen Antworteingabe-Bereich von 20 Zeichen Breite und 1 Zeichen Höhe. Wenn Sie keine Unterstriche in Ihren Fragetext einbauen, dann wird der Antworteingabe-Bereich zur Laufzeit automatisch unterhalb des Fragetextes erzeugt.

Erreichbare Punkte: Geben Sie an, wie viele Punkte es für die richtige Beantwortung der Frage gibt.

Allgemeines Feedback: Wir empfehlen, als Feedback die richtige Antwort mit einer angemessenen Erklärung zu geben. Dieses Feedback wird allen Teilnehmer/innen angezeigt, unabhängig davon, ob ihre individuelle Antwort richtig oder falsch war. Beim Fragetyp Musterabgleich können Sie sich nicht auf eine maschinell generierte "richtige Antwort" (gemäß der iCMA Definition) verlassen.

Die richtige Antwort im Feedback dient gleichzeitig als erstes Muster, mit dem die Antworteingabe der Teilnehmer/innen verglichen wird.

allgemeinesfeedback.png

Hinweis: Die $$-Zeichen sind eine TeX-Notation. Der Ausdruck zwischen den $$-Zeichen wird mit Hilfe eines mathematischen Filters dargestellt (der installiert und aktiviert sein muss).

Antwortmöglichkeiten

antwortmöglichkeiten.png

Groß- und Kleinschreibung: Nein oder Ja.

Benutzung von tiefgestellten Buchstaben erlauben: Nein oder Ja. Alle Indizes, die von Teilnehmer/innen eingeben werden, sind in den Antworteingaben zwischen den Standard-Tags <sub> und </sub> oder <sup> und </sup> zu finden. Beispiele:

  • Die Eingabe: Die chemische Formel für Wasser ist H<sub>2</sub>O resultiert in:
    • Die chemische Formel für Wasser ist H2O
  • Die Eingabe: Die Lichtgeschwindigkeit beträgt ungefähr 3x10<sup>8</sup> m s<sup>-1</sup> resultiert in:
    • Die Lichtgeschwindigkeit beträgt ungefähr 3x108 m s-1

Zur Laufzeit können Tastaturnutzer/innen mit Hilfe der Pfeil-hoch / Pfeil-runter-Tasten zwischen normal, tiefgestellt und hochgestellt hin und her wechseln. Vielleicht möchten Sie diese Information in Ihrer Frage hinzufügen.

Wenn die Antwort länger als 20 Wörter ist: Wir empfehlen dringend, die Antworteingabe auf 20 Wörter zu begrenzen. Wenn Sie beliebig lange Antworten zulassen, dann führt das häufig zu Eingaben, die zum Teil richtig und zum Teil falsch sind. Es ist schwierig, solche Eingabe konsistent zu bewerten.

Rechtschreibung des Teilnehmers prüfen: Wie viele Schreibweisen gibt es für das Wort "Temperatur"? Wir haben in unseren Testversuchen 14 verschiedene gesehen! Sie verbessern die Korrektheit der Bewertung, wenn Sie darauf bestehen, dass die verwendeten Wörtern im Moodle System Wörterbuch stehen müssen.

Diese Wörter zum Wörterbuch hinzufügen: Wenn es bei einer Frage um Spezialwissen oder technische oder medizinische Fachbegriffe geht, die in einem Standard-Wörterbuch nicht vorkommen, dann können Sie diese Wörter hier ergänzen. Tragen Sie die Wörter mit Leerzeichen getrennt ein.

Folgende Zeichen in Leerzeichen umwandeln: Beim Musterabgleich sind Wörter als Zeichenfolgen definiert, die durch Leerzeichen begrenzt werden. Fragezeichen und Ausrufezeichen können ebenfalls verwendet werden, um das Ende eines Wortes zu markieren. Das Zeichen . (Punkt) ist ein Sonderfall. Als Satzendezeichen markiert er ebenfalls das Ende eines Wortes, als Dezimalpunkt in Kommazahlen jedoch nicht. Alle anderen Satzzeichen werden als Teil der Antworteingabe betrachtet. Sie können sie jedoch hier eintragen, dann werden Sie durch Leerzeichen ersetzen.

Synonyme

Die folgenden Synonyme gehören zur Öl-Wasser-Gemisch-Frage oben.

synonyme.png

Wort und Synonyme: Hier können Sie Synonyme für einzelne Wörter angeben. Sie müssen keine vollständigen Wörter als Synonyme angeben, sondern können Wildcards verwenden.

Sie können nur einzelne Wörter als Synonyme angeben; ganze Wortgruppen sind nicht erlaubt.

Im obigen Beispiel wird zuerst das Wort Öl überall in der Antworteingabe durch Öl|Glyzer*|Paraf* ersetzt. Erst danach erfolgt der Musterabgleich.

Antworten

Die folgenden Antwortvorgaben für den Musterabgleich gehören zur SI-Basiseinheiten-Frage oben.

antwort1.png


antwort2.png


antwort3.png

Im ersten Antwortfeld Antwort 1 steht das Muster match_o (Ampere Candela Kelvin Mol ), das die vier Wörter der richtigen Lösung exakt angibt. Die Option _o bedeutet, dass die Reihenfolge dieser Wörter in der Antworteingabe der Teilnehmer/innen beliebig sein darf. Das zweite Antwortfeld Antwort 2 enthält ein Muster, das dieselben vier Wörter als Antworteingabe verlangt. Die Option _ow bedeutet, dass (wie bei Antwort 1) die Reihenfolge der Wörter beliebig ist und zusätzlich weitere Wörter in der Antworteingabe erlaubt sind. Das dritte Antwortfeld Antwort 3 erlaubt mit der Option _mow neben der beliebigen Reihenfolge und zusätzlichen Wörtern auch Rechtschreibfehler, solange das falsch geschriebene Wort im Wörterbuch vorkommt (z.B. Kevin statt Kelvin). Zur Erklärung der Antwortfelder 4-6 finden Sie weiter unten ausführliche Beschreibungen.


Die Antwortvorgaben für den Musterabgleich zur Öl-Wasser-Gemisch-Aufgabe könnten so aussehen:

antwortwasseröl.png

Im ersten Antwortfeld Antwort 1 werden drei Muster verwendet, die jeweils mehrere Wörter als Alternativen angeben. Das erste Muster match_mw (klein*|gering*|niedrig*|leicht* Dicht*|als Wasser) akzeptiert als Antworteingabe Öl ist leichter als Wasser oder Öl hat eine geringere Dichte.

Antwort: Beide Beispiele zeigen, dass der Fragetyp Musterabgleich komplexe Muster als Antwortvorgaben unterstützt. Detaillierte Informationen zu den Mustern finden Sie weiter unten in diesem Artikel.

Bewertung: Geben Sie hier eine Bewertung zwischen 0 und 100%. Mindestens eine Antwortvorgabe muss mit 100% bewertet werden.

Feedback: Dieses spezifische Feedback wird den Teilnehmer/innen angezeigt, wenn ihre Antworteingabe dem angegebenen Muster entspricht. Das Feed feedback für alle Antworteingaben, die keinem der angegebenen Muster entsprechen und damit falsche Antworteingaben sind, wird im Antwortfeld Jede andere Antwort eingetragen.

falscheantwort.png

Mehrfachversuche

mehrfachversuche.png

Wie die Antworteingabe verarbeitet wird

Die kleinste Einheit einer Teilnehmerantwort, auf der der Musterabgleich arbeitet, ist ein Wort. Ein Wort ist dabei definiert als eine Folge von Zeichen zwischen zwei Leerzeichen. Ein Punkt (aber nicht der Dezimalpunkt in Kommazahlen), ein Fragezeichen und ein Ausrufezeichen werden ebenfalls als Ende eines Wortes behandelt.

Zahlen sind in diesem Sinne besondere Formen von Wörtern. Der Abgleich erfolgt über den Wert der Zahl und nicht über die Zeichnefolge. Zum Beispiel fängt das Muster match_w(25 ms-1) folgende richtige Antworten ab: 25 ms-1, 2.5e1 ms-1, 2.5x10-1 ms-1

Mit Ausnahme von Zahlen und Wortendezeichen (Leerzeichen, Punkt, Fragezeichen, Ausrufezeichen) basiert der Musterabgleich auf dem 1-1-Abgleich der gegebenen Zeichenfolge. Darüber hinaus können Sie entscheiden, ob Groß-/Kleinschreibung berücksichtigt wird und wie Satzzeichen (, ; :) behandelt werden.

Die Antworteingabe wird insgesamt behandelt. Wörter, die als verwandt hinterlegt sind, müssen jedoch im selben Satz vorkommen, damit die Antworteingabe als "richtig" bewertet wird.

PMatch-Syntax

Eine Regel umfasst drei Bestandteile.

  1. Musterabgleich-Optionen, z.B. mow
  2. Wörter, mit denen die Antworteingabe der Teilnehmer/innen abgeglichen wird, z.B. tom dick harry
  3. AND (UND)-, OR (ODER) und NOT (NICHT)-Kombinationen von Wörtern zum Musterabgleich; z.B. bedeutet match_any(), dass ein beliebiges der angegebenen Wörter in der Antworteingabe vorkommen muss (was einer ODER-Kombination der angegebenen Wörter entspricht).

Optionen für den Musterabgleich

the matching options top.png

the matching options bottom.png

Die Optionen für den Musterabgleich werden mit einem Unterstrich an das Regelwort match angehängt. Sie können mehrere Optionen kombinieren. Eine typische Kombination ist mow, d.h. die Regel lautet dann match_mow(<Wörter zum Abgleich>). Diese Regel

  1. fängt Rechtschreibfehler ab,
  2. erlaubt eine beliebige Reihenfolge der angegebenen Wörter und
  3. erlaubt zusätzliche Wörter.

Sonderzeichen

Special characters.png

Wenn Sie Sonderzeichen abgleichen wollen, dann müssen Sie diesen Zeichen ein '\' voranstellen. Die Regel match(\|) prüft, ob in der Antworteingabe ein '|'-Zeichen vorkommt. Wenn Sie prüfen wollen, ob in der Antworteingabe runde Klammern '()' vorkommen, dann muss die Regel match(\(\)) lauten.

Kombinationen

Combining matches.png

Die Regeln match_all(), match_any() und not() können verschachtelt sein.

Beispiele

Patternmatch examples top.png

Patternmatch examples bottom.png

Hinweise zum Erstellen von Musterabgleich-Regeln

Wie können Sie mögliche Antworten der Kursteilnehmer/innen vorhersehen? Bei der großen Vielfalt von Antwortmöglichkeiten ist das natürlich schwierig, aber Sie können die verschiedenen Antwort sammeln und so über die Zeit eine "Antwort-Datenbank" aufbauen und darauf basierend Ihre Antwortvorgaben und Musterantworten formulieren.

Bevor wir den Musterabgleich beschreiben, möchten wir folgende wichtige Punkte hervorheben:

  1. Der Ausgangspunkt ist eine Frage, bei der Sie sicher sind, eine richtige Bewertung geben zu können.
  2. Die Formulierung der Frage hat eine große Bedeutung.
  3. Musterabgleich funktioniert am besten, wenn Sie eine einzelne Erklärung abfragen, die Sie einfach mit "richtig" oder "falsch" bewerten können. Es ist ungleich schwerer und komplexer, in einer Frage mehrere Teilaspekte zu formulieren und diese mit Teilpunkten zu bewerten. Besser ist es, jeden Teilaspekt in einer eigenen Frage zu formulieren.
  4. Eine Sammlung von Antworten von realen Teilnehmer/innen und deren Bewertung ist ein bedeutender Ausgangspunkt für einen Musterabgleich. Um eine solche Sammlung von möglichen Antworten aufzubauen, können Sie vorab dieselbe Frage als Freitextfrage oder Aufgabenabgabe stellen und manuell bewerten.
  5. Der Fragetyp Musterabgleich erfordert (mehr als alle anderen Fragetypen), dass Sie die Antworten Ihrer Teilnehmer/innnen kontinuierlich überwachen und Ihre Antwortvorgaben und Musterantworten regelmäßig überprüfen und bei Bedarf anpassen. Es wird ein Zeitpunkt kommen, an dem Sie glauben, dass Ihre Musterantwort "hinreichend gut" ist. Oder Sie fragen sich, wie viele Antworten von Teilnehmer/innen nötig sind, um zu diesem Punkt zu gelangen. Leider gibt es darauf keine allgemein gültige Antwort. Manchmal reichen 200 Antworten, manchmal sind wesentlich mehr Antworten nötig. Auf jeden Fall sollten Sie folgende Punkte bedenken:
    1. Es verlangt mehr von den Teilnehmer/innen, wenn sie eine Antwort selbst formulieren müssen, als wenn sie nur aus einer Liste von vorgegebenen Antwortoptionen auswählen müssen.
    2. Bewerter/innen, die mit einem Bewertungsschema arbeiten, können dennoch Fehler machen.
  6. Eine akzeptierte Methodebeim Musterabgleich ist die Verwendung von Platzhaltern für Endungen, z.B. beweg* für bewegen, bewegung, bewegte usw.
  7. Teilnehmer/innen geben normalerweise keine vorsätzlich falschen Antworten. Warum sollten sie? (Im Gegensatz zu Wissenschaftler/innen, die möglicherweise versuchen, dass System zu überlisten.) Teilnehmer/innen werden kaum eine richtige Antwort eingeben, der ein "Die Antwort ist nicht:" vorangestellt ist. Solche Antwortmuster müssen Sie also nicht "abfangen".
  8. Achten Sie auf Wortverwandschaften, um ähnliche Wörter und Synonyme zu berücksichtigen.
  9. Wenn Sie offensichtlich falsche Antworten frühzeitig in Ihrem Musterabgleich abfangen und bewerten, führt das meistens zu einer insgesamt besseren Korrektheit der Bewertung.
  10. Antworten, die sowohl richtige als auch falsche Aspekte beinhalten, erfordern ein genaueres Hinsehen. Sie sollten solche Antworten einheitlich als "richtig" oder "falsch" bewerten. Der Computer wird Ihr Bewertungsschema konsistent abarbeiten.
  11. Sie sollten eine Korrektheit der Bewertung von >95% anstreben (in unseren Testversuchen lag die Korrektheit der Bewertung durch natürlcihe Personen bei 92%-96%).

Geschichte

Das hier beschriebene Verfahren zum Musterabgleich wurde in den 1970er Jahren im Fachbereich "Computer Based Learning" der Leeds University entwickelt und in die Sprache "Leeds Author Language" integriert. Die Basiseinheit eines Worts, die Abgleichoptionen "allowAnyChars", "allowAnyWords", "allowAnyOrder" und die "Wort-OR-Funktionalität" gehen auf die "Leeds Author Language" zurück.

Im Jahr 1976 veröffentlichte das CALCHEM Projekt, an dem die Computer Based Learning Unit, die Fakultät Chemie der Leeds University und das Computer Centre of Sheffield Polytechnic (heute Sheffield Hallam University) beteiligt waren, eine portable Version der Sprache "Leeds Author Language".

Eine portable Version für Kleincomputers wurde im Jahr 1982 von der Open University, der Midland Bank (heute ist Midland Teil der HSBC) und dem Imperial College entwickelt. Zu diesem Zeitpunkt wurden die Wildcards für einzelne und mehrfache Zeichen hinzugefügt.

Die Berücksichtigung von Rechtschreibfehlern, die Wortverwandschaft und Wortgruppen in OR-Listen wurden im Rahmen des COLMST Projektes der Open University in den Jahren 2006 - 2009 ergänzt.

Literaturhinweise

Philip G. Butcher and Sally E. Jordan, A comparison of human and computer marking of short free-text student responses, Computers & Education 55 (2010) 489-499

Diese Informationen entstammen der Seite http://www.open.edu/openlearnworks/mod/oucontent/view.php?id=52747&section=2.2.1 vom 17.09.2014.

Siehe auch

Abgerufen von „https://docs.moodle.org/38/de/index.php?title=Detaillierte_Dokumentation_zum_Fragetyp_Musterabgleich&oldid=17653“
Powered by MediaWiki