Test-Berichte

Diese Seite ist noch nicht vollständig übersetzt.

Der Reiter Ergebnisse der Test-Ansichtsseite enthält verschiedene Links für die verschiedenen Berichtarten, zur Neubewertung, zur manullen Bewertung von Freitext-Fragen und zur Ergebnisanalyse. Die Anzahl der Links hängt davon ab, wie viele Bericht-Plugins Ihre Moodle-Administration installiert hat.

Übersicht

Die Übersichtsseite (Link Übersicht) zeigt eine Liste von abgeschlossenen Testversuchen. Diese Seite bietet verschiedene Anzeigeoptionen, die im folgenden näher beschrieben werden.

Listenansicht

Die Liste der abgeschlossenen Testversuche enthält fünf Spalten:

Vorname / Nachname
Begonnen am - enthält die genaue Zeit, wann der Testversuch gestartet wurde
Beendet am - enthält die genaue Zeit, wann der Testversuch beendet wurde
Verbrauchte Zeit - die Zeit, die für die Durchführung des Testversuchs benötigt wurde
Bewertung/x - Bewertung, die im Versuch erzielt wurde; dabei ist 'x' die maximale Bewertung, die für den Test erreicht werden kann

Ergebnisse herunterladen

Auf der Übersichtsseite gibt es unten drei Buttons, um die Liste der Testversuche in verschiedenen Formaten herunterzuladen: im ODS-Format, im Excel-Format oder als Text-Datei. Der Trainer kann einzelne oder alle Teilnehmer bzw. Versuche zum Herunterladen auswählen, indem er die Checkbox vor den entsprechenden Versuchen oder den Link Alle auswählen unterhalb der Liste anklickt.

Anzeigeoptionen für die Übersichtsseite

Die Standardansicht der Liste der Testversuche zeigt nur die Teilnehmer, die Testversuche abgeschickt haben. Sie können die Anzeigeoptionen ändern, diese finden Sie unterhalb der Liste. Nachdem Sie Ihre Einstellungen vorgenommen haben, klicken Sie auf den Button Start (Moodle 1.8) bzw. Einstellungen speichern (Moodle 1.9).

Anzeigeoptionen in Moodle 1.8

Moodle1.8

Wie viele Versuche pro Seite - wie viele Versuche sollen in der Liste pro Seite angezeigt werden
Welche Teilnehmer bzw. Versuche sollen in der Liste angezeigt werden:

Nur Teilnehmer/innen mit Versuchen anzeigen
Nur Teilnehmer/innen ohne Versuche anzeigen
Alle Teilnehmer/innen anzeigen
Alle Versuche anzeigen

Bewertungsdetails anzeigen - Bewertungen für jede einzelne Testfrage anzeigen

Anzeigeoptionen in Moodle 1.9

Moodle1.9

Welche Teilnehmer bzw. Versuche sollen in der Liste angezeigt bzw. heruntergeladen werden:

alle Versuche - alle Versuche (auch von Teilnehmern, die inzwischen nicht mehr im Kurs eingeschrieben sind)
alle Teilnehmer/innen - alle Teilnehmer/innen des Kurses, unabhängig davon, ob sie den Test durchgeführt haben oder nicht
alle Teilnehmer/innen mit Versuchen - zeigt alle Teilnehmer/innen, die den Test bereits durchgeführt haben
alle Teilnehmer/innen ohne Versuche - zeigt alle Teilnehmer/innen, die den Test noch nicht durchgeführt haben

Nur die Versuche der Nutzer anzeigen bzw. herunterladen, die bewertet werden (d.h. die in die Gesamtbewertung des Kurses eingehen: Bester, erster oder letzter Versuch - siehe Bewertungsmethode in den Testeinstellungen)
Seitengröße - Anzahl der pro Seite angezeigten Zeilen in der Liste
Bewertungen für jede Frage anzeigen bzw. herunterladen

Sonstige Anzeigeoptionen

Mit den Links Alle auswählen bzw. Alle abwählen können Sie die Checkboxen in der ersten Spalte der Liste aus- bzw. abwählen. Durch Wahl der Option Löschen im Auswahlmenü Ausgewählt (Moodle 1.8) bzw. Klicken auf den Button Ausgewählte Versuche löschen (Moodle 1.9) können Sie die entsprechenden Testversuche löschen.

Zum Sortieren der Liste klicken Sie in der Kopfzeile der Liste auf die Spalte, die sortiert werden soll.

Neubewertung

Wenn Sie auf diesen Link klicken, erfolgt eine Neubewertung aller abgeschlossenen Testversuche. Das kann notwendig werden, wenn Sie einzelne Testfragen bzw. deren Bewertung oder die Bewertunge des Tests insgesamt geändert haben.

Manuelle Bewertung

Der Trainer kann die Bewertung jeder einzelnen Frage in einem abgeschlossenen Testversuch manuell ändern und einen Kommentar hinzufügen. Klicken Sie dazu auf den Reiter Ergebnisse > Übersicht. Klicken Sie in der Liste den entsprechenden Testversuch an. Klicken Sie dann auf den Link Kommentieren oder Bewertung überarbeiten unterhalb der Frage, die Sie manuell bewerten oder kommentieren möchten.

Darüberhinaus gibt es in Moodle Fragetypen, die nicht automatisch bewertet werden können. Derzeit trifft das nur für Freitext-Fragen zu. Diese Fragen muss der Trainer manuell bewerten: Klicken Sie dazu auf den Reiter Ergebnisse > Link Freitext-Bewertung - es erscheint eine Liste aller Freitext-Fragen des Tests. Klicken Sie auf die Frage, die Sie bewerten möchten. Dann erscheint eine Liste mit Teilnehmern bzw. Testversuchen. Zur Bewertung klicken Sie auf den Link Bewertung hinter in der entsprechenden Zeile.

Ergebnisanalyse

Wenn Sie auf den Reiter Ergebnisse > Link Ergebnisanalyse klicken, sehen Sie eine Tabelle, in der die Ergebnisse des Tests detailliert dargestellt sind. Diese Tabelle hilft, den Test insgesamt auszuwerten und die Nützlichkeit der einzelnen Testfragen zu analysieren. Die Tabelle enthält u.a. statistische Parameter, deren Bedeutung in der Hilfedatei help/quiz/itemanalysis.html erläutert wird, die sich durch Klicken auf das Fragezeichen-Symbol hinter der Überschrift Statistische Analyse der Ergebnisse öffnet.

Spalten der Tabelle

Frage-Nr. - ID-Nummer der Testfrage, Fragetyp-Symbol und Link auf ein Vorschau-Fenster für die Frage
Frage - Fragetext
Antwort - zunächst alle Antworten, die für die Frage möglich sind, und darunter alle Antworten, die tatsächlich von mindestens einem Test-Teilnehmer ausgewählt wurden
Punkte - Bewertung, die für die jeweilige Antwort vom Trainer vergeben wurde
Antworten absolut - wie oft wurde die Antwort gewählt (absolute Anzahl) bezogen auf die Gesamtzahl der analysierten Versuche
Antworten % - wie oft wurde die Antwort gewählt (in Prozent) bezogen auf die Gesamtzahl der analysierten Versuche
Richtig % - Facility Index: Maß für den Schwierigkeitsgrad der Frage
SD - Standard Deviation: Standardabweichung
DI - Discrimination Index: Maß für die Effektivität der Frage
DC - Discrimination Coefficient: Maß für die Effektivität der Frage

Definition der statistischen Parameter

Richtig % - Facility Index

Dieser Parameter berechnet sich nach der Formel: FI = Xmittel / Xmax. Dabei ist Xmittel der mittlere Wert, der bei allen Teilnehmern bei ihren Versuchen für diesen Wert erreicht wurde, und Xmax ist der höchste Wert, der hier erzielt wurde; bei Fragen mit der Option Richtig/Falsch stellt dieser Wert den Prozentteil der Nutzer mit richtigen Antworten dar.

SD - Standard Deviation: Standardabweichung

Dieser Parameter ist ein Maß für die Bandbreite der gewählten Antworten; wenn alle Nutzer das Gleiche antworten, ist der Wert SD=0. SD wird berechnet als statistische Standardabweichung für die Menge der relativen Bewertungen (Erreicht/Maximum).

DI & DC - Maße für die Effektivität der Frage

Beide Werte dienen der Messung der Effektivität einer Frage mit Blick auf die Leistungsstärke der einzelnen Test-Teilnehmer. Der Vorteil des Parameters DC gegenüber dem Parameter DI besteht darin, dass DC Informationen über die Grundgesamtheit aller Teilnehmer nutzt, während beim Parameter DI nur Informationen über das beste bzw. schlechteste Drittel aller Teilnehmer eingehen. Damit ist der DC-Wert für die Beurteilung der Effektivität einer Frage aussagekräftiger.

Discrimination Index (DI)

Dieser Parameter ist ein grobes Maß, um leistungsstarke von leistungsschwachen Test-Teilnehmern zu unterscheiden. Zunächst werden die Test-Teilnehmer entsprechend Ihres erzielten Ergebnisses in drei Gruppen aufgeteilt. Der Parameter DI berechnet sich dann gemäß der Formel:

DI = (Xtop - Xbottom)/ N

Dabei ist Xtop die Summe der Ergebnisse (Erreicht/Maximum), ermittelt aus den Werten des besten Drittels der Test-Teilnehmer und Xbottom ist analog die Summe der Ergebnisse (Erreicht/Maximum), ermittelt aus den Werten des schlechtesten Drittels der Test-Teilnehmer.

Der Parameter DI kann damit Werte zwischen +1 und -1 annehmen. Ein Wert kleiner als 0.0 bedeutet, dass mehr von den schlechteren Teilnehmern richtige Ergebnisse erzielten als von den besseren. Man kann die entsprechenden Frage folglich als wertlos ansehen, da sie u.U. die Aussagekraft des Tests mindert.

Discrimination Coefficient (DC) -

This is another measure of the separating power of the item to distinguish proficient from weak learners.

The discrimination coefficient is a correlation coefficient between scores at the item and at the whole quiz. Here it is calculated as:

DC = Sum(xy)/ (N * sx * sy)

where Sum(xy) is the sum of the products of deviations for item scores and overall quiz scores,

N is the number of responses given to this question, sx is the standard deviation of fractional scores for this question and, sy is the standard deviation of scores at the quiz as a whole.

Again, this parameter can take values between +1 and -1. Positive values indicate items that do discriminate proficient learners, whereas negative indices mark items that are answered best by those with lowest grades. Items with negative DC are answered incorrectly by the seasoned learners and thus they are actually a penalty against the most proficient learners. Those items should be avoided.

Siehe auch

Detaillierter Test-Bericht - Zusatzmodul
Theoretischer Hintergrund der Ergebnisanalyse - englischsprachiger Artikel von einem der Entwickler des Test-Moduls

Documentation