Test-Berichte: Unterschied zwischen den Versionen

Aktuelle Version vom 31. Januar 2012, 13:46 Uhr

Der Reiter Ergebnisse der Test-Ansichtsseite enthält verschiedene Links für die verschiedenen Berichtarten, zur Neubewertung, zur manuellen Bewertung von Freitext-Fragen und zur Ergebnisanalyse. Die Anzahl der Links hängt davon ab, wie viele Bericht-Plugins Ihre Moodle-Administration installiert hat.

Übersicht

Die Übersichtsseite (Link Übersicht) zeigt eine Liste von abgeschlossenen Testversuchen. Diese Seite bietet verschiedene Anzeigeoptionen, die im folgenden näher beschrieben werden.

Listenansicht

Die Liste der abgeschlossenen Testversuche enthält fünf Spalten:

Vorname / Nachname
Begonnen am - enthält die genaue Zeit, wann der Testversuch gestartet wurde
Beendet am - enthält die genaue Zeit, wann der Testversuch beendet wurde
Verbrauchte Zeit - die Zeit, die für die Durchführung des Testversuchs benötigt wurde
Bewertung/x - Bewertung, die im Versuch erzielt wurde; dabei ist 'x' die maximale Bewertung, die für den Test erreicht werden kann

Ergebnisse herunterladen

Auf der Übersichtsseite gibt es unten drei Buttons, um die Liste der Testversuche in verschiedenen Formaten herunterzuladen: im ODS-Format, im Excel-Format oder als Text-Datei. Der Trainer kann einzelne oder alle Teilnehmer bzw. Versuche zum Herunterladen auswählen, indem er die Checkbox vor den entsprechenden Versuchen oder den Link Alle auswählen unterhalb der Liste anklickt.

Anzeigeoptionen für die Übersichtsseite

Die Standardansicht der Liste der Testversuche zeigt nur die Teilnehmer, die Testversuche abgeschickt haben. Sie können die Anzeigeoptionen ändern, diese finden Sie unterhalb der Liste. Nachdem Sie Ihre Einstellungen vorgenommen haben, klicken Sie auf den Button Start (Moodle 1.8) bzw. Einstellungen speichern (Moodle 1.9).

Anzeigeoptionen in Moodle 1.8

Moodle1.8

Wie viele Versuche pro Seite - wie viele Versuche sollen in der Liste pro Seite angezeigt werden
Welche Teilnehmer bzw. Versuche sollen in der Liste angezeigt werden:

Nur Teilnehmer/innen mit Versuchen anzeigen
Nur Teilnehmer/innen ohne Versuche anzeigen
Alle Teilnehmer/innen anzeigen
Alle Versuche anzeigen

Bewertungsdetails anzeigen - Bewertungen für jede einzelne Testfrage anzeigen

Anzeigeoptionen in Moodle 1.9

Moodle1.9

Welche Teilnehmer bzw. Versuche sollen in der Liste angezeigt bzw. heruntergeladen werden:

alle Versuche - alle Versuche (auch von Teilnehmern, die inzwischen nicht mehr im Kurs eingeschrieben sind)
alle Teilnehmer/innen - alle Teilnehmer/innen des Kurses, unabhängig davon, ob sie den Test durchgeführt haben oder nicht
alle Teilnehmer/innen mit Versuchen - zeigt alle Teilnehmer/innen, die den Test bereits durchgeführt haben
alle Teilnehmer/innen ohne Versuche - zeigt alle Teilnehmer/innen, die den Test noch nicht durchgeführt haben

Nur die Versuche der Nutzer anzeigen bzw. herunterladen, die bewertet werden (d.h. die in die Gesamtbewertung des Kurses eingehen: Bester, erster oder letzter Versuch - siehe Bewertungsmethode in den Testeinstellungen)
Seitengröße - Anzahl der pro Seite angezeigten Zeilen in der Liste
Bewertungen für jede Frage anzeigen bzw. herunterladen

Sonstige Anzeigeoptionen

Mit den Links Alle auswählen bzw. Alle abwählen können Sie die Checkboxen in der ersten Spalte der Liste aus- bzw. abwählen. Durch Wahl der Option Löschen im Auswahlmenü Ausgewählt (Moodle 1.8) bzw. Klicken auf den Button Ausgewählte Versuche löschen (Moodle 1.9) können Sie die entsprechenden Testversuche löschen.

Zum Sortieren der Liste klicken Sie in der Kopfzeile der Liste auf die Spalte, die sortiert werden soll.

Neubewertung

Wenn Sie auf diesen Link klicken, erfolgt eine Neubewertung aller abgeschlossenen Testversuche. Das kann notwendig werden, wenn Sie einzelne Testfragen bzw. deren Bewertung oder die Bewertunge des Tests insgesamt geändert haben.

Manuelle Bewertung

Der Trainer kann die Bewertung jeder einzelnen Frage in einem abgeschlossenen Testversuch manuell ändern und einen Kommentar hinzufügen. Klicken Sie dazu auf den Reiter Ergebnisse > Übersicht. Klicken Sie in der Liste den entsprechenden Testversuch an. Klicken Sie dann auf den Link Kommentieren oder Bewertung überarbeiten unterhalb der Frage, die Sie manuell bewerten oder kommentieren möchten.

Darüberhinaus gibt es in Moodle Fragetypen, die nicht automatisch bewertet werden können. Derzeit trifft das nur für Freitext-Fragen zu. Diese Fragen muss der Trainer manuell bewerten: Klicken Sie dazu auf den Reiter Ergebnisse > Link Freitext-Bewertung - es erscheint eine Liste aller Freitext-Fragen des Tests. Klicken Sie auf die Frage, die Sie bewerten möchten. Dann erscheint eine Liste mit Teilnehmern bzw. Testversuchen. Zur Bewertung klicken Sie auf den Link Bewertung hinter in der entsprechenden Zeile.

Ergebnisanalyse

Wenn Sie auf den Reiter Ergebnisse > Link Ergebnisanalyse klicken, sehen Sie eine Tabelle, in der die Ergebnisse des Tests detailliert dargestellt sind. Diese Tabelle hilft, den Test insgesamt auszuwerten und die Nützlichkeit der einzelnen Testfragen zu analysieren. Die Tabelle enthält u.a. statistische Parameter, deren Bedeutung in der Hilfedatei help/quiz/itemanalysis.html erläutert wird, die sich durch Klicken auf das Fragezeichen-Symbol hinter der Überschrift Statistische Analyse der Ergebnisse öffnet.

Spalten der Tabelle

Frage-Nr. - ID-Nummer der Testfrage, Fragetyp-Symbol und Link auf ein Vorschau-Fenster für die Frage
Frage - Fragetext
Antwort - zunächst alle Antworten, die für die Frage möglich sind, und darunter alle Antworten, die tatsächlich von mindestens einem Test-Teilnehmer ausgewählt wurden
Punkte - Bewertung, die für die jeweilige Antwort vom Trainer vergeben wurde
Antworten absolut - wie oft wurde die Antwort gewählt (absolute Anzahl) bezogen auf die Gesamtzahl der analysierten Versuche
Antworten % - wie oft wurde die Antwort gewählt (in Prozent) bezogen auf die Gesamtzahl der analysierten Versuche
Richtig % - Facility Index: Maß für den Schwierigkeitsgrad der Frage
SD - Standard Deviation: Standardabweichung
DI - Discrimination Index: Maß für die Effektivität der Frage
DC - Discrimination Coefficient: Maß für die Effektivität der Frage

Definition der statistischen Parameter

Richtig % - Facility Index

Dieser Parameter ist ein Maß für die Schwierigkeit einer Frage. Er bestimmt, welche Ergebnisse im Durchschnitt bei allen analysierten Versuchen erzielt wurden. Bei Fragen mit der Option Richtig/Falsch stellt dieser Wert dar, wie viel Prozent der Teilnehmer diese Frage richtig beantwortet haben. Je größer der Wert ist, desto leichter ist die Frage.

SD - Standard Deviation: Standardabweichung

Dieser Parameter ist ein Maß für die Bandbreite der gewählten Antworten; wenn alle Nutzer das Gleiche antworten, ist der Wert SD=0. SD wird berechnet als statistische Standardabweichung für die Menge der relativen Bewertungen.

DI & DC - Maße für die Effektivität der Frage

Beide Werte dienen der Messung der Effektivität einer Frage mit Blick auf die Leistungsstärke der einzelnen Test-Teilnehmer. Der Vorteil des Parameters DC gegenüber dem Parameter DI besteht darin, dass DC Informationen über die Grundgesamtheit aller Teilnehmer nutzt, während beim Parameter DI nur Informationen über das beste bzw. schlechteste Drittel aller Teilnehmer eingehen. Damit ist der DC-Wert für die Beurteilung der Effektivität einer Frage aussagekräftiger.

Discrimination Index (DI)

Dieser Parameter ist ein grobes Maß, um leistungsstarke von leistungsschwachen Test-Teilnehmern zu unterscheiden. Zunächst werden die Test-Teilnehmer entsprechend Ihres erzielten Ergebnisses in drei Gruppen aufgeteilt. Dann werden die erzielten Ergebnisse des besten und des schlechtesten Drittels in Relation zueinander gestellt.

Der Parameter DI kann Werte zwischen +1 und -1 annehmen. Ein Wert kleiner als 0.0 bedeutet, dass mehr von den schlechteren Teilnehmern richtige Ergebnisse erzielten als von den besseren. Man kann die entsprechenden Frage folglich als wertlos ansehen, da sie u.U. die Aussagekraft des Tests mindert. Anders gesagt: Von einer guten Frage erwarten wir, dass Teilnehmer, die insgesamt gut abgeschnitten haben, auch bei der gegebenen Frage eine gute Bewertung erzielen, d.h. die Bewertung der Frage sollte in Korrelation zur Gesamtbewertung des Tests stehen.

Discrimination Coefficient (DC)

Dies ist ein weiterer Parameter, um leistungsstarke von leistungsschwachen Test-Teilnehmern zu unterscheiden. Er berechnet sich als Korrelationskoeffizient der Bewertungen einer gegebenen Frage und des gesamten Tests.

Der Parameter DC kann wieder Werte zwischen +1 und -1 annehmen. Auch hier gilt, dass negative Werte bedeuten, dass schlechte Teilnehmer bessere Ergebnisse erzielt haben gute. Solche Fragen sollte man vermeiden.

Anmerkung 1: Bei der Ergebnisanalyse sollten Sie jeweils nur den ersten Versuch eines Teilnehmers in die Analyse einbeziehen. Die Daten von Folgeversuchen genügen in der Regel nicht den Bedingungen, die die Statistik erfordert. Außerdem vermeiden Sie Probleme mit Versuchen, die auf dem vorherigen beruhen. Wenn allerdings nur wenige Daten (Versuche) zur Analyse vorliegen, dann sollten Sie alle Versuche einbeziehen.

Anmerkung 2: Wer mathematisch-statistisch versiert ist und sich intensiver damit beschäftigen möchte, was in Moodle genau berechnet wird, dem sei die weiterführende englischsprachige Entwicklerdokumentation empfohlen.

Siehe auch

Detaillierter Test-Bericht - Zusatzmodul
Theoretischer Hintergrund der Ergebnisanalyse - englischsprachiger Artikel von einem der Entwickler des Test-Moduls
Statistik und Ergebnisanalyse in Theorie und Praxis - Entwicklerdokumentation (in Englisch)
Formeln für die statistischen Parameter

@@ Zeile 1: / Zeile 1: @@
-{{Zum Übersetzen}}
-Siehe [[:en:Quiz reports]]
 {{Test}}
-Der Reiter ''Ergebnisse'' der [[Test ansehen|Test-Ansichtsseite]] enthält verschiedene Links für die verschiedenen Berichtarten, zur Neubewertung, zur manullen Bewertung von Freitext-Fragen und zur Ergebnisanalyse. Die Anzahl der Links hängt davon ab, wie viele [http://moodle.org/mod/data/view.php?d=13&perpage=10&search=Quiz+report&sort=46&order=ASC Bericht-Plugins] Ihre Moodle-Administration installiert hat.
+Der Reiter ''Ergebnisse'' der [[Test ansehen|Test-Ansichtsseite]] enthält verschiedene Links für die verschiedenen Berichtarten, zur Neubewertung, zur manuellen Bewertung von Freitext-Fragen und zur Ergebnisanalyse. Die Anzahl der Links hängt davon ab, wie viele [http://moodle.org/mod/data/view.php?d=13&perpage=10&search=Quiz+report&sort=46&order=ASC Bericht-Plugins] Ihre Moodle-Administration installiert hat.
 [[Image:Testbericht.JPG]]
@@ Zeile 69: / Zeile 67: @@
 ==Ergebnisanalyse==
-Wenn Sie auf den Reiter ''Ergebnisse'' > Link ''Ergebnisanalyse'' klicken, sehen Sie eine Tabelle, in der die Ergebnisse des Tests detailliert dargestellt sind. Diese Tabelle hilft, den Test insgesamt auszuwerten und die Nützlichkeit der einzelnen Testfragen zu analysieren. Die Tabelle enthält u.a. statistische Parameter, deren Bedeutung in der Hilfedatei ''help\quiz\itemanalysis.html'' erläutert wird, die sich durch Klicken auf das Fragezeichen-Symbol hinter der Überschrift ''Statistische Analyse der Ergebnisse'' öffnet.
+Wenn Sie auf den Reiter ''Ergebnisse'' > Link ''Ergebnisanalyse'' klicken, sehen Sie eine Tabelle, in der die Ergebnisse des Tests detailliert dargestellt sind. Diese Tabelle hilft, den Test insgesamt auszuwerten und die Nützlichkeit der einzelnen Testfragen zu analysieren. Die Tabelle enthält u.a. statistische Parameter, deren Bedeutung in der Hilfedatei ''help/quiz/itemanalysis.html'' erläutert wird, die sich durch Klicken auf das Fragezeichen-Symbol hinter der Überschrift ''Statistische Analyse der Ergebnisse'' öffnet.
-[[Image:Ergebnisanalyse.JPG]]
+[[Image:Ergebnisanalyse.JPG|thumb|right]]
 ===Spalten der Tabelle===
 * '''Frage-Nr.''' - ID-Nummer der Testfrage, Fragetyp-Symbol und Link auf ein Vorschau-Fenster für die Frage
 * '''Frage''' - Fragetext
-* '''Antwort''' - jede einzelne Antwort, die abgegeben wurde (aller Testversuche und aller Teilnehmer)
+* '''Antwort''' - zunächst alle Antworten, die für die Frage möglich sind, und darunter alle Antworten, die tatsächlich von mindestens einem Test-Teilnehmer ausgewählt wurden
-* '''Partial credit''' - how much credit was given by teacher for each answer
+* '''Punkte''' - Bewertung, die für die jeweilige Antwort vom Trainer vergeben wurde
-* '''R counts''' - how many selected the answer and the total attempts
+* '''Antworten absolut''' - wie oft wurde die Antwort gewählt (absolute Anzahl) bezogen auf die Gesamtzahl der analysierten Versuche
-* '''% R''' - the percentage that selected that answer
+* '''Antworten %''' - wie oft wurde die Antwort gewählt (in Prozent) bezogen auf die Gesamtzahl der analysierten Versuche
-* '''Facility Index (% Correct)''' - the overall difficulty of the question
+* '''Richtig %''' - Facility Index: Maß für den Schwierigkeitsgrad der Frage
-* '''Standard Deviation (SD)''' - measure of variation of selected answers
+* '''SD''' - Standard Deviation: Standardabweichung
-* '''DI & DC columns''' - Question effectiveness measures
+* '''DI''' - Discrimination Index: Maß für die Effektivität der Frage
+* '''DC''' - Discrimination Coefficient: Maß für die Effektivität der Frage
-===Descriptions defined===
+===Definition der statistischen Parameter===
-* '''Facility Index (% Correct)''' - The overall difficulty of the questions.
+* '''Richtig %''' -  Facility Index
-  FI = (Xaverage) / Xmax
+:Dieser Parameter ist ein Maß für die Schwierigkeit einer Frage. Er bestimmt, welche Ergebnisse im Durchschnitt bei allen analysierten Versuchen erzielt wurden. Bei Fragen mit der Option Richtig/Falsch stellt dieser Wert dar, wie viel Prozent der Teilnehmer diese Frage richtig beantwortet haben. Je größer der Wert ist, desto leichter ist die Frage.
-where Xaverage is the mean credit obtained by all users attempting the item, and Xmax is the maximum credit achievable for that item. If questions can be distributed dicotomically into correct / incorrect categories, this parameter coincides with the percentage of users that answer the question correctly.
-* '''Standard Deviation (SD)''' - The range of responses
+* '''SD''' - Standard Deviation: Standardabweichung
+:Dieser Parameter ist ein Maß für die Bandbreite der gewählten Antworten; wenn alle Nutzer das Gleiche antworten, ist der Wert SD=0. SD wird berechnet als statistische Standardabweichung für die Menge der relativen Bewertungen.
-This parameter measures the spread of answers in the response population. If all users answers the same, then SD=0. SD is calculated as the statistical standard deviation for the sample of fractional scores (achieved/maximum) at each particular question.
+* '''DI & DC''' - Maße für die Effektivität der Frage
+:Beide Werte dienen der Messung der Effektivität einer Frage mit Blick auf die Leistungsstärke der einzelnen Test-Teilnehmer. Der Vorteil des Parameters DC gegenüber dem Parameter DI besteht darin, dass DC Informationen über die Grundgesamtheit aller Teilnehmer nutzt, während beim Parameter DI nur Informationen über das beste bzw. schlechteste Drittel aller Teilnehmer eingehen. Damit ist der DC-Wert für die Beurteilung der Effektivität einer Frage aussagekräftiger.
-* '''DI & DC columns''' - Effectiveness measures
+: '''Discrimination Index (DI)'''
-Both DC and DI can be used as powerful methods of evaluating the effectiveness of the quiz when assessing differentiation of learners. The advantage of using Discrimination Coefficient as opposed to Discrimination Index is that the former uses information from the whole population of learners, not just the extreme upper and lower thirds. Thus, this parameter may be more sensitive to detect item performance.
+:Dieser Parameter ist ein grobes Maß, um leistungsstarke von leistungsschwachen Test-Teilnehmern zu unterscheiden. Zunächst werden die Test-Teilnehmer entsprechend Ihres erzielten Ergebnisses in drei Gruppen aufgeteilt. Dann werden die erzielten Ergebnisse des besten und des schlechtesten Drittels in Relation zueinander gestellt.
-** '''Discrimination Index (DI)'''
+:Der Parameter DI kann Werte zwischen +1 und -1 annehmen. Ein Wert kleiner als 0.0 bedeutet, dass mehr von den schlechteren Teilnehmern richtige Ergebnisse erzielten als von den besseren. Man kann die entsprechenden Frage folglich als wertlos ansehen, da sie u.U. die Aussagekraft des Tests mindert. Anders gesagt: Von einer ''guten'' Frage erwarten wir, dass Teilnehmer, die insgesamt gut abgeschnitten haben, auch bei der gegebenen Frage eine gute Bewertung erzielen, d.h. die Bewertung der Frage sollte in Korrelation zur Gesamtbewertung des Tests stehen.
-This provides a rough indicator of the performance of each item to separate high scores vs. scorers. This parameter is calculated by first dividing learners into thirds based on the overall score in the quiz. Then the average score at the analysed item is calculated for the groups of top and bottom performers, and the average scored subtracted. The mathematical expression is:
- DI = (Xtop - Xbottom)/ N
-where Xtop is the sum of the fractional credit (achieved/maximum) obtained at this item by the 1/3 of users having the highest grades in the whole quiz (i.e. number of correct responses in this group), and Xbottom is the analog sum for users with the lower 1/3 grades for the whole quiz.
-This parameter can take values between +1 and -1. If the index goes below 0.0 it means that more of the weaker learners got the item right than the stronger learners. Such items should be discarded as worthless. In fact, they reduce the accuracy of the overall score for the quiz.
+: '''Discrimination Coefficient (DC)'''
+: Dies ist ein weiterer Parameter, um leistungsstarke von leistungsschwachen Test-Teilnehmern zu unterscheiden. Er berechnet sich als Korrelationskoeffizient der Bewertungen einer gegebenen Frage und des gesamten Tests.
-** '''Discrimination Coefficient (DC)''' -
+:Der Parameter DC kann wieder Werte zwischen +1 und -1 annehmen. Auch hier gilt, dass negative Werte bedeuten, dass ''schlechte'' Teilnehmer bessere Ergebnisse erzielt haben ''gute''. Solche Fragen sollte man vermeiden.
-This is another measure of the separating power of the item to distinguish proficient from weak learners.
+'''Anmerkung 1''': Bei der Ergebnisanalyse sollten Sie jeweils nur den ersten Versuch eines Teilnehmers in die Analyse einbeziehen. Die Daten von Folgeversuchen genügen in der Regel nicht den Bedingungen, die die Statistik erfordert. Außerdem vermeiden Sie Probleme mit Versuchen, die auf dem vorherigen beruhen. Wenn allerdings nur wenige Daten (Versuche) zur Analyse vorliegen, dann sollten Sie alle Versuche einbeziehen.
-The discrimination coefficient is a correlation coefficient between scores at the item and at the whole quiz. Here it is calculated as:
- DC = Sum(xy)/ (N * sx * sy)
-where Sum(xy) is the sum of the products of deviations for item scores and overall quiz scores,
-N is the number of responses given to this question,
-sx is the standard deviation of fractional scores for this question and,
-sy is the standard deviation of scores at the quiz as a whole.
-Again, this parameter can take values between +1 and -1. Positive values indicate items that do discriminate proficient learners, whereas negative indices mark items that are answered best by those with lowest grades. Items with negative DC are answered incorrectly by the seasoned learners and thus they are actually a penalty against the most proficient learners. Those items should be avoided.
+'''Anmerkung 2''': Wer mathematisch-statistisch versiert ist und sich intensiver damit beschäftigen möchte, was in Moodle genau berechnet wird, dem sei die weiterführende [[:en:https://docs.moodle.org/en/Development:Quiz_item_analysis_calculations|englischsprachige Entwicklerdokumentation]] empfohlen.
 ==Siehe auch==
@@ Zeile 119: / Zeile 111: @@
 *[http://moodle.org/mod/data/view.php?d=13&rid=96 Detaillierter Test-Bericht] - Zusatzmodul
 *[[:en:Item analysis theoretical background|Theoretischer Hintergrund der Ergebnisanalyse]] - englischsprachiger Artikel von einem der Entwickler des Test-Moduls
+*Statistik und Ergebnisanalyse in [[:en:Development:Quiz_item_analysis_calculations|Theorie]] und [[:en:Development:Quiz_item_analysis_calculations_in_practise|Praxis]] - Entwicklerdokumentation (in Englisch)
+* [https://elearning.fh-offenburg.de/moodle/mod/glossary/showentry.php?eid=95 Formeln für die statistischen Parameter]
 [[Category:Test]]
+[[Category:Trainer]]
 [[en:Quiz reports]]

Documentation