Test-Berichte

Diese Seite ist noch nicht vollständig übersetzt.

Der Reiter Ergebnisse der Test-Ansichtsseite enthält verschiedene Links für die verschiedenen Berichtarten, zur Neubewertung, zur manullen Bewertung von Freitext-Fragen und zur Ergebnisanalyse. Die Anzahl der Links hängt davon ab, wie viele Bericht-Plugins Ihre Moodle-Administration installiert hat.

Übersicht

Die Übersichtsseite (Link Übersicht) zeigt eine Liste von abgeschlossenen Testversuchen. Diese Seite bietet verschiedene Anzeigeoptionen, die im folgenden näher beschrieben werden.

Listenansicht

Die Liste der abgeschlossenen Testversuche enthält fünf Spalten:

Vorname / Nachname
Begonnen am - enthält die genaue Zeit, wann der Testversuch gestartet wurde
Beendet am - enthält die genaue Zeit, wann der Testversuch beendet wurde
Verbrauchte Zeit - die Zeit, die für die Durchführung des Testversuchs benötigt wurde
Bewertung/x - Bewertung, die im Versuch erzielt wurde; dabei ist 'x' die maximale Bewertung, die für den Test erreicht werden kann

Ergebnisse herunterladen

Auf der Übersichtsseite gibt es unten drei Buttons, um die Liste der Testversuche in verschiedenen Formaten herunterzuladen: im ODS-Format, im Excel-Format oder als Text-Datei. Der Trainer kann einzelne oder alle Teilnehmer bzw. Versuche zum Herunterladen auswählen, indem er die Checkbox vor den entsprechenden Versuchen oder den Link Alle auswählen unterhalb der Liste anklickt.

Anzeigeoptionen für die Übersichtsseite

Die Standardansicht der Liste der Testversuche zeigt nur die Teilnehmer, die Testversuche abgeschickt haben. Sie können die Anzeigeoptionen ändern, diese finden Sie unterhalb der Liste. Nachdem Sie Ihre Einstellungen vorgenommen haben, klicken Sie auf den Button Start (Moodle 1.8) bzw. Einstellungen speichern (Moodle 1.9).

Anzeigeoptionen in Moodle 1.8

Moodle1.8

Wie viele Versuche pro Seite - wie viele Versuche sollen in der Liste pro Seite angezeigt werden
Welche Teilnehmer bzw. Versuche sollen in der Liste angezeigt werden:

Nur Teilnehmer/innen mit Versuchen anzeigen
Nur Teilnehmer/innen ohne Versuche anzeigen
Alle Teilnehmer/innen anzeigen
Alle Versuche anzeigen

Bewertungsdetails anzeigen - Bewertungen für jede einzelne Testfrage anzeigen

Anzeigeoptionen in Moodle 1.9

Moodle1.9

Welche Teilnehmer bzw. Versuche sollen in der Liste angezeigt bzw. heruntergeladen werden:

alle Versuche - alle Versuche (auch von Teilnehmern, die inzwischen nicht mehr im Kurs eingeschrieben sind)
alle Teilnehmer/innen - alle Teilnehmer/innen des Kurses, unabhängig davon, ob sie den Test durchgeführt haben oder nicht
alle Teilnehmer/innen mit Versuchen - zeigt alle Teilnehmer/innen, die den Test bereits durchgeführt haben
alle Teilnehmer/innen ohne Versuche - zeigt alle Teilnehmer/innen, die den Test noch nicht durchgeführt haben

Nur die Versuche der Nutzer anzeigen bzw. herunterladen, die bewertet werden (d.h. die in die Gesamtbewertung des Kurses eingehen: Bester, erster oder letzter Versuch - siehe Bewertungsmethode in den Testeinstellungen)
Seitengröße - Anzahl der pro Seite angezeigten Zeilen in der Liste
Bewertungen für jede Frage anzeigen bzw. herunterladen

Sonstige Anzeigeoptionen

Mit den Links Alle auswählen bzw. Alle abwählen können Sie die Checkboxen in der ersten Spalte der Liste aus- bzw. abwählen. Durch Wahl der Option Löschen im Auswahlmenü Ausgewählt (Moodle 1.8) bzw. Klicken auf den Button Ausgewählte Versuche löschen (Moodle 1.9) können Sie die entsprechenden Testversuche löschen.

Zum Sortieren der Liste klicken Sie in der Kopfzeile der Liste auf die Spalte, die sortiert werden soll.

Neubewertung

Wenn Sie auf diesen Link klicken, erfolgt eine Neubewertung aller abgeschlossenen Testversuche. Das kann notwendig werden, wenn Sie einzelne Testfragen bzw. deren Bewertung oder die Bewertunge des Tests insgesamt geändert haben.

Manuelle Bewertung

Der Trainer kann die Bewertung jeder einzelnen Frage in einem abgeschlossenen Testversuch manuell ändern und einen Kommentar hinzufügen. Klicken Sie dazu auf den Reiter Ergebnisse > Übersicht. Klicken Sie in der Liste den entsprechenden Testversuch an. Klicken Sie dann auf den Link Kommentieren oder Bewertung überarbeiten unterhalb der Frage, die Sie manuell bewerten oder kommentieren möchten.

Darüberhinaus gibt es in Moodle Fragetypen, die nicht automatisch bewertet werden können. Derzeit trifft das nur für Freitext-Fragen zu. Diese Fragen muss der Trainer manuell bewerten: Klicken Sie dazu auf den Reiter Ergebnisse > Link Freitext-Bewertung - es erscheint eine Liste aller Freitext-Fragen des Tests. Klicken Sie auf die Frage, die Sie bewerten möchten. Dann erscheint eine Liste mit Teilnehmern bzw. Testversuchen. Zur Bewertung klicken Sie auf den Link Bewertung hinter in der entsprechenden Zeile.

Ergebnisanalyse

Wenn Sie auf den Reiter Ergebnisse > Link Ergebnisanalyse klicken, sehen Sie eine Tabelle, in der die Ergebnisse des Tests detailliert dargestellt sind. Diese Tabelle hilft, den Test insgesamt auszuwerten und die Nützlichkeit der einzelnen Testfragen zu analysieren. Die Tabelle enthält u.a. statistische Parameter, deren Bedeutung in der Hilfedatei help\quiz\itemanalysis.html erläutert wird, die sich durch Klicken auf das Fragezeichen-Symbol hinter der Überschrift Statistische Analyse der Ergebnisse öffnet.

Spalten der Tabelle

Frage-Nr. - ID-Nummer der Testfrage, Fragetyp-Symbol und Link auf ein Vorschau-Fenster für die Frage
Frage - Fragetext
Antwort - jede einzelne Antwort, die abgegeben wurde (aller Testversuche und aller Teilnehmer)
Partial credit - how much credit was given by teacher for each answer
R counts - how many selected the answer and the total attempts
% R - the percentage that selected that answer
Facility Index (% Correct) - the overall difficulty of the question
Standard Deviation (SD) - measure of variation of selected answers
DI & DC columns - Question effectiveness measures

Descriptions defined

Facility Index (% Correct) - The overall difficulty of the questions.

FI = (Xaverage) / Xmax

where Xaverage is the mean credit obtained by all users attempting the item, and Xmax is the maximum credit achievable for that item. If questions can be distributed dicotomically into correct / incorrect categories, this parameter coincides with the percentage of users that answer the question correctly.

Standard Deviation (SD) - The range of responses

This parameter measures the spread of answers in the response population. If all users answers the same, then SD=0. SD is calculated as the statistical standard deviation for the sample of fractional scores (achieved/maximum) at each particular question.

DI & DC columns - Effectiveness measures

Both DC and DI can be used as powerful methods of evaluating the effectiveness of the quiz when assessing differentiation of learners. The advantage of using Discrimination Coefficient as opposed to Discrimination Index is that the former uses information from the whole population of learners, not just the extreme upper and lower thirds. Thus, this parameter may be more sensitive to detect item performance.

- Discrimination Index (DI)

This provides a rough indicator of the performance of each item to separate high scores vs. scorers. This parameter is calculated by first dividing learners into thirds based on the overall score in the quiz. Then the average score at the analysed item is calculated for the groups of top and bottom performers, and the average scored subtracted. The mathematical expression is:

DI = (Xtop - Xbottom)/ N

where Xtop is the sum of the fractional credit (achieved/maximum) obtained at this item by the 1/3 of users having the highest grades in the whole quiz (i.e. number of correct responses in this group), and Xbottom is the analog sum for users with the lower 1/3 grades for the whole quiz.

This parameter can take values between +1 and -1. If the index goes below 0.0 it means that more of the weaker learners got the item right than the stronger learners. Such items should be discarded as worthless. In fact, they reduce the accuracy of the overall score for the quiz.

- Discrimination Coefficient (DC) -

This is another measure of the separating power of the item to distinguish proficient from weak learners. The discrimination coefficient is a correlation coefficient between scores at the item and at the whole quiz. Here it is calculated as:

DC = Sum(xy)/ (N * sx * sy)

where Sum(xy) is the sum of the products of deviations for item scores and overall quiz scores, N is the number of responses given to this question, sx is the standard deviation of fractional scores for this question and, sy is the standard deviation of scores at the quiz as a whole.

Again, this parameter can take values between +1 and -1. Positive values indicate items that do discriminate proficient learners, whereas negative indices mark items that are answered best by those with lowest grades. Items with negative DC are answered incorrectly by the seasoned learners and thus they are actually a penalty against the most proficient learners. Those items should be avoided.

Siehe auch

Detaillierter Test-Bericht - Zusatzmodul
Theoretischer Hintergrund der Ergebnisanalyse - englischsprachiger Artikel von einem der Entwickler des Test-Moduls

Documentation