Test-Berichte

Der Reiter Ergebnisse der Test-Ansichtsseite enthält verschiedene Links für die verschiedenen Berichtarten, zur Neubewertung, zur manuellen Bewertung von Freitext-Fragen und zur Ergebnisanalyse. Die Anzahl der Links hängt davon ab, wie viele Bericht-Plugins Ihre Moodle-Administration installiert hat.

Übersicht

Die Übersichtsseite (Link Übersicht) zeigt eine Liste von abgeschlossenen Testversuchen. Diese Seite bietet verschiedene Anzeigeoptionen, die im folgenden näher beschrieben werden.

Listenansicht

Die Liste der abgeschlossenen Testversuche enthält fünf Spalten:

1. Vorname / Nachname
2. Begonnen am - enthält die genaue Zeit, wann der Testversuch gestartet wurde
3. Beendet am - enthält die genaue Zeit, wann der Testversuch beendet wurde
4. Verbrauchte Zeit - die Zeit, die für die Durchführung des Testversuchs benötigt wurde
5. Bewertung/x - Bewertung, die im Versuch erzielt wurde; dabei ist 'x' die maximale Bewertung, die für den Test erreicht werden kann

Ergebnisse herunterladen

Auf der Übersichtsseite gibt es unten drei Buttons, um die Liste der Testversuche in verschiedenen Formaten herunterzuladen: im ODS-Format, im Excel-Format oder als Text-Datei. Der Trainer kann einzelne oder alle Teilnehmer bzw. Versuche zum Herunterladen auswählen, indem er die Checkbox vor den entsprechenden Versuchen oder den Link Alle auswählen unterhalb der Liste anklickt.

Anzeigeoptionen für die Übersichtsseite

Die Standardansicht der Liste der Testversuche zeigt nur die Teilnehmer, die Testversuche abgeschickt haben. Sie können die Anzeigeoptionen ändern, diese finden Sie unterhalb der Liste. Nachdem Sie Ihre Einstellungen vorgenommen haben, klicken Sie auf den Button Start (Moodle 1.8) bzw. Einstellungen speichern (Moodle 1.9).

Anzeigeoptionen in Moodle 1.8

Moodle1.8

• Wie viele Versuche pro Seite - wie viele Versuche sollen in der Liste pro Seite angezeigt werden
• Welche Teilnehmer bzw. Versuche sollen in der Liste angezeigt werden:

• Nur Teilnehmer/innen mit Versuchen anzeigen
• Nur Teilnehmer/innen ohne Versuche anzeigen
• Alle Teilnehmer/innen anzeigen
• Alle Versuche anzeigen

• Bewertungsdetails anzeigen - Bewertungen für jede einzelne Testfrage anzeigen

Anzeigeoptionen in Moodle 1.9

Moodle1.9

• Welche Teilnehmer bzw. Versuche sollen in der Liste angezeigt bzw. heruntergeladen werden:

• alle Versuche - alle Versuche (auch von Teilnehmern, die inzwischen nicht mehr im Kurs eingeschrieben sind)
• alle Teilnehmer/innen - alle Teilnehmer/innen des Kurses, unabhängig davon, ob sie den Test durchgeführt haben oder nicht
• alle Teilnehmer/innen mit Versuchen - zeigt alle Teilnehmer/innen, die den Test bereits durchgeführt haben
• alle Teilnehmer/innen ohne Versuche - zeigt alle Teilnehmer/innen, die den Test noch nicht durchgeführt haben

• Nur die Versuche der Nutzer anzeigen bzw. herunterladen, die bewertet werden (d.h. die in die Gesamtbewertung des Kurses eingehen: Bester, erster oder letzter Versuch - siehe Bewertungsmethode in den Testeinstellungen)
• Seitengröße - Anzahl der pro Seite angezeigten Zeilen in der Liste
• Bewertungen für jede Frage anzeigen bzw. herunterladen

Sonstige Anzeigeoptionen

Mit den Links Alle auswählen bzw. Alle abwählen können Sie die Checkboxen in der ersten Spalte der Liste aus- bzw. abwählen. Durch Wahl der Option Löschen im Auswahlmenü Ausgewählt (Moodle 1.8) bzw. Klicken auf den Button Ausgewählte Versuche löschen (Moodle 1.9) können Sie die entsprechenden Testversuche löschen.

Zum Sortieren der Liste klicken Sie in der Kopfzeile der Liste auf die Spalte, die sortiert werden soll.

Neubewertung

Wenn Sie auf diesen Link klicken, erfolgt eine Neubewertung aller abgeschlossenen Testversuche. Das kann notwendig werden, wenn Sie einzelne Testfragen bzw. deren Bewertung oder die Bewertunge des Tests insgesamt geändert haben.

Manuelle Bewertung

Der Trainer kann die Bewertung jeder einzelnen Frage in einem abgeschlossenen Testversuch manuell ändern und einen Kommentar hinzufügen. Klicken Sie dazu auf den Reiter Ergebnisse > Übersicht. Klicken Sie in der Liste den entsprechenden Testversuch an. Klicken Sie dann auf den Link Kommentieren oder Bewertung überarbeiten unterhalb der Frage, die Sie manuell bewerten oder kommentieren möchten.

Darüberhinaus gibt es in Moodle Fragetypen, die nicht automatisch bewertet werden können. Derzeit trifft das nur für Freitext-Fragen zu. Diese Fragen muss der Trainer manuell bewerten: Klicken Sie dazu auf den Reiter Ergebnisse > Link Freitext-Bewertung - es erscheint eine Liste aller Freitext-Fragen des Tests. Klicken Sie auf die Frage, die Sie bewerten möchten. Dann erscheint eine Liste mit Teilnehmern bzw. Testversuchen. Zur Bewertung klicken Sie auf den Link Bewertung hinter in der entsprechenden Zeile.

Ergebnisanalyse

Wenn Sie auf den Reiter Ergebnisse > Link Ergebnisanalyse klicken, sehen Sie eine Tabelle, in der die Ergebnisse des Tests detailliert dargestellt sind. Diese Tabelle hilft, den Test insgesamt auszuwerten und die Nützlichkeit der einzelnen Testfragen zu analysieren. Die Tabelle enthält u.a. statistische Parameter, deren Bedeutung in der Hilfedatei help/quiz/itemanalysis.html erläutert wird, die sich durch Klicken auf das Fragezeichen-Symbol hinter der Überschrift Statistische Analyse der Ergebnisse öffnet.

Spalten der Tabelle

• Frage-Nr. - ID-Nummer der Testfrage, Fragetyp-Symbol und Link auf ein Vorschau-Fenster für die Frage
• Frage - Fragetext
• Antwort - zunächst alle Antworten, die für die Frage möglich sind, und darunter alle Antworten, die tatsächlich von mindestens einem Test-Teilnehmer ausgewählt wurden
• Punkte - Bewertung, die für die jeweilige Antwort vom Trainer vergeben wurde
• Antworten absolut - wie oft wurde die Antwort gewählt (absolute Anzahl) bezogen auf die Gesamtzahl der analysierten Versuche
• Antworten % - wie oft wurde die Antwort gewählt (in Prozent) bezogen auf die Gesamtzahl der analysierten Versuche
• Richtig % - Facility Index: Maß für den Schwierigkeitsgrad der Frage
• SD - Standard Deviation: Standardabweichung
• DI - Discrimination Index: Maß für die Effektivität der Frage
• DC - Discrimination Coefficient: Maß für die Effektivität der Frage

Definition der statistischen Parameter

• Richtig % - Facility Index

Dieser Parameter ist ein Maß für die Schwierigkeit einer Frage. Er bestimmt, welche Ergebnisse im Durchschnitt bei allen analysierten Versuchen erzielt wurden. Bei Fragen mit der Option Richtig/Falsch stellt dieser Wert dar, wie viel Prozent der Teilnehmer diese Frage richtig beantwortet haben. Je größer der Wert ist, desto leichter ist die Frage.

• SD - Standard Deviation: Standardabweichung

Dieser Parameter ist ein Maß für die Bandbreite der gewählten Antworten; wenn alle Nutzer das Gleiche antworten, ist der Wert SD=0. SD wird berechnet als statistische Standardabweichung für die Menge der relativen Bewertungen.

• DI & DC - Maße für die Effektivität der Frage

Beide Werte dienen der Messung der Effektivität einer Frage mit Blick auf die Leistungsstärke der einzelnen Test-Teilnehmer. Der Vorteil des Parameters DC gegenüber dem Parameter DI besteht darin, dass DC Informationen über die Grundgesamtheit aller Teilnehmer nutzt, während beim Parameter DI nur Informationen über das beste bzw. schlechteste Drittel aller Teilnehmer eingehen. Damit ist der DC-Wert für die Beurteilung der Effektivität einer Frage aussagekräftiger.

Discrimination Index (DI)

Dieser Parameter ist ein grobes Maß, um leistungsstarke von leistungsschwachen Test-Teilnehmern zu unterscheiden. Zunächst werden die Test-Teilnehmer entsprechend Ihres erzielten Ergebnisses in drei Gruppen aufgeteilt. Dann werden die erzielten Ergebnisse des besten und des schlechtesten Drittels in Relation zueinander gestellt.

Der Parameter DI kann Werte zwischen +1 und -1 annehmen. Ein Wert kleiner als 0.0 bedeutet, dass mehr von den schlechteren Teilnehmern richtige Ergebnisse erzielten als von den besseren. Man kann die entsprechenden Frage folglich als wertlos ansehen, da sie u.U. die Aussagekraft des Tests mindert. Anders gesagt: Von einer guten Frage erwarten wir, dass Teilnehmer, die insgesamt gut abgeschnitten haben, auch bei der gegebenen Frage eine gute Bewertung erzielen, d.h. die Bewertung der Frage sollte in Korrelation zur Gesamtbewertung des Tests stehen.

Discrimination Coefficient (DC)

Dies ist ein weiterer Parameter, um leistungsstarke von leistungsschwachen Test-Teilnehmern zu unterscheiden. Er berechnet sich als Korrelationskoeffizient der Bewertungen einer gegebenen Frage und des gesamten Tests.

Der Parameter DC kann wieder Werte zwischen +1 und -1 annehmen. Auch hier gilt, dass negative Werte bedeuten, dass schlechte Teilnehmer bessere Ergebnisse erzielt haben gute. Solche Fragen sollte man vermeiden.

Anmerkung 1: Bei der Ergebnisanalyse sollten Sie jeweils nur den ersten Versuch eines Teilnehmers in die Analyse einbeziehen. Die Daten von Folgeversuchen genügen in der Regel nicht den Bedingungen, die die Statistik erfordert. Außerdem vermeiden Sie Probleme mit Versuchen, die auf dem vorherigen beruhen. Wenn allerdings nur wenige Daten (Versuche) zur Analyse vorliegen, dann sollten Sie alle Versuche einbeziehen.

Anmerkung 2: Wer mathematisch-statistisch versiert ist und sich intensiver damit beschäftigen möchte, was in Moodle genau berechnet wird, dem sei die weiterführende englischsprachige Entwicklerdokumentation empfohlen.

Siehe auch

• Detaillierter Test-Bericht - Zusatzmodul
• Theoretischer Hintergrund der Ergebnisanalyse - englischsprachiger Artikel von einem der Entwickler des Test-Moduls
• Statistik und Ergebnisanalyse in Theorie und Praxis - Entwicklerdokumentation (in Englisch)
• Formeln für die statistischen Parameter