Gewissheitsbegründete Bewertung

Diese Seite muss übersetzt werden.
Es kümmert sich jemand darum, aber du darfst auch gern selbst mithelfen! Wenn du mit deiner Arbeit fertig bist, dann entferne die Vorlage {{ÜbersetzenVergeben}} aus dem Artikel.
Danke für deine Mitarbeit!

Hinweis: Die gewissheitsbegründete Bewertung (englisch: certainty-based marking, CBM) basiert auf Strategien, die von Prof. Gardner-Medwin am University College London, UK entwickelt wurden. Mehr Dokumentation dazu hier.

Was ist eine gewissheitsbegründete Bewertung?

• Bei jeder Antwort auf eine Testfrage geben Sie zusätzlich an, wie sicher Sie sich mit Ihrer Antwort sind.
• Die Angabe "wie sicher" Sie sich sind, erfolgt auf einer Gewissheitsstufen-Skala: C=1 (unsicher), C=2 (mittel), C=3 (sicher).
• Es wird nicht unterschieden zwischen "unsicher" und "sehr unsicher", weil diese Einschätzung sehr subjektiv ist.
• Die Bewertung erfolgt nach folgendem Schema:

Gewissheitsstufen-Skala	C=1	C=2	C=3
Bewertung bei richtiger Antwort	1	2	3
Bewertung bei falscher Antwort	0	-2	-6
Beschreibung	unsicher	mittel	sicher

• Bei richtiger Antwort gibt es entsprechend der Gewissheitsstufen 1, 2 oder 3 Punkte.
• Bei falscher Antwort gibt es bei C=1 keine Punkte, bei C=2 einen Punktabzug von -2 Punkten und bei C=3 einen Punktabzug von -6 Punkten.

Warum sollte die gewissheitsbegründete Bewertung verwendet werden?

• Die Teilnehmer/innen müssen darüber nachdenken, wie zuverlässig ihre Antwort ist.
• Die Teilnehmer/innen werden angehalten, wirklich über den Sachverhalt nachzudenken, und nicht nur unmittelbar auf die Frage zu reagieren.
• Die Teilnehmer/innen werden herausgefordert: Wenn sie keinen Punktabzug riskieren, dann wissen sie die richtige Antwort nicht wirklich.
• Teilnehmer/innen, die ein solides Wissen zum Gegenstand der Testfrage, aber wenig Selbstvertrauen haben, können durch diese Methode ihr Selbstvertrauen stärken.
• Die Methode ist fairer in folgendem Sinne: Eine durchdachte und wohlüberlegte richtige Antwort bringt mehr Punkte als eine zufällig geratene richtige Antwort.
• Teilnehmer/innen durchlaufen einen aktiven Lernprozess, wenn sie eine falsche Antwort geben, bei der sie sich sicher sind: sie denken nach, reflektieren und lernen daraus.
• Wirkliches Wissen bedeutet genau zu wissen, was man weiß und auch, was man nicht weiß.

Wie wählt man die beste Gewissheitsstufe?

• Wenn Sie sich sicher sind bei Ihrer Antwort, dann ist es offensichtlich am besten C=3 zu wählen. Allerdings erhalten Sie einen Punktabzug von -6, falls die Antwort doch falsch ist.
• Wenn Sie unsicher sind, dann sollten Sie das Risiko eines Punktabzugs vermeiden und C=1 wählen.
• Wenn keiner der beiden obigen Fälle zutrifft, wählen Sie C=2: Sie gewinnen oder verlieren 2 Punkte, je nachdem, ob die Antwort richtig oder falsch ist.

• Die Grafik zeigt, wie auf den verschiedenen Gewissheitsstufen die durchschnittliche Punktzahl, die Sie für Ihre Antwort erhalten, davon abhängt, wie sicher Sie sich mit Ihrer Antwort sind.
  • Angenommen, Sie sind sich zu 50% sicher, dass Ihre Antwort richtig ist. Bei 50% liegt die schwarze Kurve (für C=1) über den anderen Kurven, bringt Ihnen also (wahrscheinlich) die meisten Punkte. Wählen Sie daher C=1.
  • Wenn Sie zu mindestens 80% sicher sind, dass Ihre Antwort richtig ist, liegt die rote Kurve (für C=3) über den beiden anderen Kurven. In diesem Fall wählen Sie C=3.
• Beachten Sie, dass Sie niemals gewinnen können, wenn Sie Ihre Gewissheit falsch angeben. Wenn Sie C=3 (rote Kurve) klicken, obwohl Sie unsicher, dann werden Sie sehr wahrscheinlich einen Punktabzug bekommen. Es kann sein, dass Sie Glück haben, aber im Schnitt werden Sie Punkte verlieren. Wenn Sie das Thema gut verstanden haben und denken, dass Ihre Antwort verlässlich ist, dann erhalten Sie weniger Punkte, wenn Sie sich für C=1 oder C=2 statt für C=3 entscheiden. Sie fahren am besten, wenn Sie gut einschätzen können, welche Ihrer Antworten verlässlich und welche unsicher sind.

Feedback zur gewissheitsbegründeten Bewertung

• Wenn Sie die gewissheitsbegründete Bewertung verwenden, dann sagt die Bewertung viel aus: bei -6 Punkten für eine falsche Antwort müssen Sie sich fragen, wie Sie zu Ihrer offensichtlich falschen Selbsteinschätzung gekommen sind. Versuchen Sie, (unter Verwendung aller verfügbaren Erklärungen, Ihrer Bücher und Notizen) Ihr Wissen zusammenzuführen.
• Wenn Sie wiederholt Fragen mit C=1 richtig beantworten, dann verstehen Sie das Thema vermutlich besser als Sie glauben. Versuchen Sie, Ihre Antworten in Bezug zu Sachen zu stellen, die Sie definitiv gut wissen und sich darüber "sicher" sind.
• Wenn Sie Ihre Antworten abgeben, sehen Sie für jede Gewissheitsstufe den Prozentsatz der richtigen Antworten. Idealerweise liegen diese Prozentsätze bei ungefähr 50%,70% bzw. 90% für C=1,2 bzw. - je nachdem, ob Sie sich mit dem Thema gut auskennen (d.h. viele Antworten mit C=3) oder nicht (viele Antworten mit C=1). Das Feedback warnt Sie, wenn Sie sich über- oder unterschätzen. Falls Sie sich überschätzen, überlegen Sie, woher das kommt. Vielleicht waren Sie nicht sorgfältig genug oder Sie haben Fehlkonzepte oder Sie geben überzeugte Antworten zu Fragen, die Sie nicht wirklich verstehen oder die unklar formuliert sind. Nutzen Sie dieses Feedback, um Ihr Lernen zu steuern und Ihre Interaktione mit der Lehrperson zu verbessern.
• Beachten Sie das manche Fragen in einem Test ein stärkeres Gewicht haben als andere Fragen. Z.B. können Sie für eine Frage -12 Punkte bekommen, wenn die Frage doppelt zählt und Sie eine sichere falsche Antwort gegeben haben. Da dies die Interpretation des Feedbacks erschwert, sollten Trainer/innen allen Fragen im Test dasselbe Gewicht geben, wenn sie die gewissheitsbegründete Bewertung verwenden.
• Wenn Sie nur wenige Fragen beantwortet haben, dann sagt das Feedback wenig aus: 2 oder 3 unsichere richtige Antworten können Zufall sein. Wichtig ist, dass Sie darüber nachdenken, warum Sie sicher oder unsicher sind und daraus lernen.

Bewertungen und Punkte bei gewissheitsbegründeter Bewertung

Durchschnitt und Genauigkeit bei gewissheitsbegründeter Bewertung

• Der Durchschnitt bei gewissheitsbegründeter Bewertung kann zwischen 3 und -6 liegen. Wenn alle Fragen in einem Test dasselbe Gewicht haben, dann ist der Durchschnitt bei gewissheitsbegründeter Bewertung der normale Punktdurchschnitt. Wenn die Gewichte (w) variieren, dann ist für die Bewertung (m) einer Frage der Durchschnitt bei gewissheitsbegründeter Bewertung gleich Σ(wm)/Σ(w).
• Die Genauigkeit bei gewissheitsbegründeter Bewertung ist das normale Maß, wie viel Sie im Test richtig beantwortet haben, dabei werden die gewissheitsbegründeten Bewertungen ignoriert. Wenn alle Fragen dasselbe Gewicht haben, dann ist die Genauigkeit der Prozentsatz der Fragen, die richtig beantwortet wurden (darunter evtl. einige Fragen, die teilweise richtig beantwortet wurden). Wenn die Gewichte (w) variieren und die Fragen wurden mit einem Anteil f (zwischen 0 und 1) richtig beantwortet, dann ist die Genauigkeit bei gewissheitsbegründeter Bewertung gleich Σ(wf)/Σ(w).
• Teilweise richtige Antworten: Wenn die Antworten teilweise richtig sind (mit einem Anteil f zwischen 0 und 1), dann ist die Bewertung bei C=1, 2 bzw. 3 entsprechende f, 2f bzw. 3f. Wenn f negativ ist (d.h. jede richtige Teilantwort wird durch falsche Teilantworten überschrieben), dann ist die Bewertung dieselbe wie bei falschen Antworten (d.h. 0,-2 bzw. -6).

Was sagen Durchschnitt und Genauigkeit bei gewissheitsbegründeter Bewertung aus? - Übersetzen!!!

The graph^* shows the scores (Accuracy and CBM average) for several thousand online submissions on a variety of voluntary CBM self-tests for learning and revision, mostly with university students. It is annotated with interpretations of the students' knowledge in different zones of the graph.

^* This graphical form is used in CBM Self-Tests (not currently in Moodle) to present a student's score after submission.

• Note that the CBM average is always less, as a percentage of maximum, than accuracy. For the score shown in yellow, the CBM average (1.5) was 50% of maximum, while the accuracy (which ignores C ratings) was 80%. You obviously shouldn't worry that your CBM average is less, expressed in this way, than your conventional score. It always is!
• If you didn't discriminate at all between reliable and uncertain answers (giving them all the same C rating, appropriate just for how well you know the topics on average), then your scores would lie somewhere on the green line on the graph.
• If your score lies above the green line, then you are successfully distinguishing reliable answers from uncertain ones. If your score lies below, then you are either misjudging how well you know and understand the topics, or you may have serious misconceptions (things you confidently believe, but that are not so!).

Zusatzpunkte, Genauigkeit und Bewertung bei gewissheitsbegründeter Bewertung - Übersetzen!!!

It is convenient to express a student's success at distinguishing reliable from uncertain knowledge in terms of a CBM Bonus that can be added to (or subtracted from) their conventional accuracy, expressing the percent correct in their answers. The CBM Bonus is determined by how much the CBM average lies above or below the green line on the graph above. A negative bonus^** means the student has discriminated badly or misjudged the reliability of their answers. For the example score shown in yellow, the CBM average is 0.3 marks above the line, which is multiplied by a standard factor β (=10%)^* to give a CB bonus = +3%. When added to the Accuracy (= 80%) this gives CB Accuracy = 83%. The CB Grade is simply the CB Accuracy multiplied by the grade value assigned to the quiz. Use of CB Accuracy makes it easy for students and examiners to compare conventional and CB grades, while the difference (the CB Bonus) is an indication of the student's critical awareness of which parts of his or her knowledge are and are not reliable.

^* The factor β=10% used to calculate CB Bonus is optimally chosen to maximize the statistical reliability of the resultant total score (Accuracy + Bonus): its ability to predict accurately the performance on related tests. Ref: Gardner-Medwin, 2013

^** If you think a negative bonus strange, think how much better the world would be if bankers' bonuses could go negative. A negative CBM bonus typically flags what were described by Confucius as an inability "when you do not know a thing, to allow that you do not know it" and by Donald Rumsfeld, more concisely, as "unknown unknowns". They are both essentially negative knowledge, worse than acknowledged ignorance.

Gewissheitsbegründete Bewertung in Prüfungen - Übersetzen!!!

By the time students take exams, many of their misconceptions (confident errors, leading to negative marks) will have gone, and students should be better judges of their areas of mastery and uncertainty. This means that CB Bonuses tend to be more uniformly positive. CB Accuracy allows examiners to make a direct comparison of CB standards criteria with conventional standards.

Example CBM data from a UCL medical exam using True/False questions.

Scores related to just part of a Quiz - Übersetzen!!!

CBM is particularly valuable for self-tests, where students challenge themselves as part of their study. Answers may be omitted because they are not on a topic of current interest, they are too easy, or perhaps not yet studied. CBM scores can then be presented relative to the set of questions the student has chosen to respond to. All correct on just half of a quiz would then show as 100% accurate. It is up to the student to interpret such scores: obviously if questions are omitted because they are difficult, then the relative score may overestimate competence in the subject. Moodle 'Grades' are always relative to the whole quiz, and this is the default presentation for other scores too.

Moodle-Bewertungen mit gewissheitsbegründeter Bewertung - Übersetzen!!!

The Moodle Grade is the total of marks awarded, scaled relative to a nominal value for the whole quiz. Grades are sometimes shown 'out of' this value, but with CBM the grade can be up to 3 times as big (if all answers are correct at C=3). This simple form of grading is not easily compared with conventional grades. The CB Grade (see above) is preferred, but until Moodle Grades are calculated this way when CBM is in use, staff should use the data shown in tables under Quiz - Results - CBM Grades or Attempt - Reviews for the clearest assessment of student performance. Beware that unless 'Unlimited Grades' are set (see below) Moodle Grades will often be shown quite incorrectly in gradebook displays.

Was muss die Moodle-Administration tun?

Zusatz-Plugin für die Anzeige von Daten installieren

Moodle 2.6 und neuere Versionen müssen das Zusatz-Plugin Quiz Report Plugin installieren, damit Daten zur gewissheitsbegründeten Bewertung in den speziellen Bewertungsberichten angezeigt werden. Ältere Moodle-Versionen können diese Codeanpassungen verwenden, um die Daten in Standard-Bewertungsberichten anzuzeigen.

Einstellung Offene Bewertung aktivieren

Die Moodle-Administration muss auf der Seite Website-Administration (oder im Block Einstellungen > Website-Administration) > Bewertungen > Allgemeines die Checkbox Offene Bewertung markieren, so dass Bewertungen nicht auf 100% begrenzt sind. Moodle berechnet die Daten in den Bewertungen basierend auf den Rohdaten (bis zu 300% erreichbar ohne gewissheitsbegründete Bewertung). Wenn Sie die Checkbox nicht markieren, werden die meisten Teilnehmerbewertungen mit 100% angezeigt. Wenn Sie die Codeanpassungen gemacht haben, so dass gewissheitsbegründete Bewertungen als solche gekennzeichnet sind (damit sie mit "normalen" Bewertungen vergleichbar sind), dann spielt die Einstellung keien Rolle.

Gardner-Medwin, Januar 2016
Mehr Information: Certainty-Based Marking