Hinweis: Sie sind auf den Seiten der Moodle 1.9 Dokumentation. Die Dokumentation der aktuellsten Moodle-Version finden Sie hier: Test-Berichte.

Test-Berichte: Unterschied zwischen den Versionen

Aus MoodleDocs
Wechseln zu:Navigation, Suche
Test
Keine Bearbeitungszusammenfassung
Keine Bearbeitungszusammenfassung
 
(21 dazwischenliegende Versionen von einem anderen Benutzer werden nicht angezeigt)
Zeile 1: Zeile 1:
{{Zum Übersetzen}}
Siehe [[:en:Quiz reports]]
{{Test}}
{{Test}}


Der Reiter ''Ergebnisse'' der [[Test ansehen|Test-Ansichtsseite]] enthält verschiedene Links für die verschiedenen Berichtarten, zur Neubewertung, zur manullen Bewertung von Freitext-Fragen und zur Ergebnisanalyse. Die Anzahl der Links hängt davon ab, wie viele [http://moodle.org/mod/data/view.php?d=13&perpage=10&search=Quiz+report&sort=46&order=ASC Bericht-Plugins] Ihre Moodle-Administration installiert hat.  
Der Reiter ''Ergebnisse'' der [[Test ansehen|Test-Ansichtsseite]] enthält verschiedene Links für die verschiedenen Berichtarten, zur Neubewertung, zur manuellen Bewertung von Freitext-Fragen und zur Ergebnisanalyse. Die Anzahl der Links hängt davon ab, wie viele [http://moodle.org/mod/data/view.php?d=13&perpage=10&search=Quiz+report&sort=46&order=ASC Bericht-Plugins] Ihre Moodle-Administration installiert hat.  


[[Image:Quiz Results overview tab.JPG|Center]]
[[Image:Testbericht.JPG]]




==Overview==
==Übersicht==
The overview sub tab has some options to display lists of students who have taken the quiz. The list is displayed in this subtab.  
Die Übersichtsseite (Link ''Übersicht'') zeigt eine Liste von abgeschlossenen Testversuchen. Diese Seite bietet verschiedene Anzeigeoptionen, die im folgenden näher beschrieben werden.


===View of list===
===Listenansicht===
The list of quiz attempts arranged in four columns:
Die Liste der abgeschlossenen Testversuche enthält fünf Spalten:  


# '''First name / Surname'''  
# '''Vorname / Nachname'''  
# '''Started on''' - that contains the information about the exact time the test was started
# '''Begonnen am''' - enthält die genaue Zeit, wann der Testversuch gestartet wurde
# '''Time taken''' - the amount of time it took a given student to do the test
# '''Beendet am''' - enthält die genaue Zeit, wann der Testversuch beendet wurde
# '''Grade/x''' - the number of points students scored; 'x' is the maximum number of points students could score
# '''Verbrauchte Zeit''' - die Zeit, die für die Durchführung des Testversuchs benötigt wurde
# '''Bewertung/x''' - Bewertung, die im Versuch erzielt wurde; dabei ist 'x' die maximale Bewertung, die für den Test erreicht werden kann


[[Image:Quiz Results overview List.JPG]]
[[Image:Testberichtübersicht.JPG]]


===Download lists===
===Ergebnisse herunterladen===
There are three buttons to download the list of students with quiz results. The teacher may select specific student attempts or select all.
Auf der Übersichtsseite gibt es unten drei Buttons, um die Liste der Testversuche in verschiedenen Formaten herunterzuladen: im ODS-Format, im Excel-Format oder als Text-Datei. Der Trainer kann einzelne oder alle Teilnehmer bzw. Versuche zum Herunterladen auswählen, indem er die Checkbox vor den entsprechenden Versuchen oder den Link ''Alle auswählen'' unterhalb der Liste anklickt.


===Overview list settings===
===Anzeigeoptionen für die Übersichtsseite===


The default view lists only the students who attempted the test. You can, however, change the display settings checking either of the two boxes (followed by clicking Go):
Die Standardansicht der Liste der Testversuche zeigt nur die Teilnehmer, die Testversuche abgeschickt haben. Sie können die Anzeigeoptionen ändern, diese finden Sie unterhalb der Liste. Nachdem Sie Ihre Einstellungen vorgenommen haben, klicken Sie auf den Button ''Start'' (Moodle 1.8) bzw. ''Einstellungen speichern'' (Moodle 1.9).
[[Image:Quiz overview report preferences.png|thumb|Overview report preferences in 1.9]]
# '''Which users to include - there are four options available:
#* Show Students with attempts only - list only the students on the course who have done test
#* Show Students with no attempts only - list students who have not yet attempted the quiz
#* Show all Students - list all the students on the course no matter if they did the test or not
#* Show all attempts - like 'Show Students with attempts only', but this also includes attempts by users who used to be students on the course, but have since been unenrolled.
# '''Show mark details''' - this extends the list with as many columns as there are questions in the test; each column is headed by 'n' (where 'n' stands for the question number)  


With the Select all / Deselect all options you can check / uncheck all the names in the list, and, with selected, delete.
====Anzeigeoptionen in Moodle 1.8====
{{Moodle 1.8}}
*Wie viele Versuche pro Seite - wie viele Versuche sollen in der Liste pro Seite angezeigt werden
*Welche Teilnehmer bzw. Versuche sollen in der Liste angezeigt werden:
:*Nur Teilnehmer/innen mit Versuchen anzeigen
:*Nur Teilnehmer/innen ohne Versuche anzeigen
:*Alle Teilnehmer/innen anzeigen
:*Alle Versuche anzeigen
*Bewertungsdetails anzeigen - Bewertungen für jede einzelne Testfrage anzeigen


To sort the results by two columns, first click on the column heading you want to be the '''''second''''' key, and then click on the column heading you want to be the '''''primary''''' key.
====Anzeigeoptionen in Moodle 1.9====
{{Moodle 1.9}}
* Welche Teilnehmer bzw. Versuche sollen in der Liste angezeigt bzw. heruntergeladen werden:
:* alle Versuche - alle Versuche (auch von Teilnehmern, die inzwischen nicht mehr im Kurs eingeschrieben sind)
:* alle Teilnehmer/innen - alle Teilnehmer/innen des Kurses, unabhängig davon, ob sie den Test durchgeführt haben oder nicht
:* alle Teilnehmer/innen mit Versuchen - zeigt alle Teilnehmer/innen, die den Test bereits durchgeführt haben
:* alle Teilnehmer/innen ohne Versuche - zeigt alle Teilnehmer/innen, die den Test noch nicht durchgeführt haben
* Nur die Versuche der Nutzer anzeigen bzw. herunterladen, die bewertet werden (d.h. die in die Gesamtbewertung des Kurses eingehen: Bester, erster oder letzter Versuch - siehe [[Test anlegen#Bewertung|Bewertungsmethode in den Testeinstellungen]])
* Seitengröße - Anzahl der pro Seite angezeigten Zeilen in der Liste
* Bewertungen für jede Frage anzeigen bzw. herunterladen


{{Moodle 1.9}}In Moodle 1.9 onwards, you can set the number of rows displayed on each page of the overview report.
[[Image:Testberichteinstellungen.jpg]]


==Regrade==
====Sonstige Anzeigeoptionen====
Mit den Links ''Alle auswählen'' bzw. ''Alle abwählen'' können Sie die Checkboxen in der ersten Spalte der Liste aus- bzw. abwählen. Durch Wahl der Option ''Löschen'' im Auswahlmenü ''Ausgewählt'' (Moodle 1.8) bzw. Klicken auf den Button ''Ausgewählte Versuche löschen'' (Moodle 1.9) können Sie die entsprechenden Testversuche löschen.


That tab will recalculate the quiz grades. This may become necessary if you have changed  one of the questions or the grade possible for the quiz or a question.
Zum Sortieren der Liste klicken Sie in der Kopfzeile der Liste auf die Spalte, die sortiert werden soll.


==Manual grading==
==Neubewertung==


The grade of any question in a quiz can be manually overridden, and a comment added. A teacher can do this from the review page. There are also some question types that Moodle does not grade automatically (at the moment only the Essay question). This report helps you grade questions of these types by listing just the questions that still need to be graded.
Wenn Sie auf diesen Link klicken, erfolgt eine Neubewertung aller abgeschlossenen Testversuche. Das kann notwendig werden, wenn Sie einzelne Testfragen bzw. deren Bewertung oder die Bewertunge des Tests insgesamt geändert haben.


==Item analysis==
==Manuelle Bewertung==


This tab presents processed quiz data in a table, suitable for analyzing and judging the performance of each question for the function of assessment. The statistical parameters used are defined in the help link next "Item Analysis Table" header, or in the help file \moodle\lang\en_utf8\help\quiz\itemanalysis.html
Der Trainer kann die Bewertung jeder einzelnen Frage in einem abgeschlossenen Testversuch manuell ändern und einen Kommentar hinzufügen. Klicken Sie dazu auf den Reiter ''Ergebnisse'' > ''Übersicht''. Klicken Sie in der Liste den entsprechenden Testversuch an. Klicken Sie dann auf den Link ''Kommentieren oder Bewertung überarbeiten'' unterhalb der Frage, die Sie manuell bewerten oder kommentieren möchten.


[[Image:Quiz Results ItemAnalysis example.JPG]]
Darüberhinaus gibt es in Moodle [[Fragetypen]], die nicht automatisch bewertet werden können. Derzeit trifft das nur für  [[Freitext-Fragen]] zu. Diese Fragen muss der Trainer manuell bewerten: Klicken Sie dazu auf den Reiter ''Ergebnisse'' > Link ''Freitext-Bewertung'' - es erscheint eine Liste aller Freitext-Fragen des Tests. Klicken Sie auf die Frage, die Sie bewerten möchten. Dann erscheint eine Liste mit Teilnehmern bzw. Testversuchen. Zur Bewertung klicken Sie auf den Link ''Bewertung'' hinter in der entsprechenden Zeile.
===Analysis columns===
* '''Q#''' - shows the question id number, icon type and a preview popup window link that has an edit link embedded in it.
* '''Question Text''' - the question
* '''Answer text''' - each answer
* '''Partial credit''' - how much credit was given by teacher for each answer
* '''R counts''' - how many selected the answer and the total attempts
* '''% R''' - the percentage that selected that answer
* '''Facility Index (% Correct)''' - the overall difficulty of the question 
* '''Standard Deviation (SD)''' - measure of variation of selected answers
* '''DI & DC columns''' - Question effectiveness measures


===Descriptions defined===
==Ergebnisanalyse==
* '''Facility Index (% Correct)''' - The overall difficulty of the questions.
FI = (Xaverage) / Xmax
where Xaverage is the mean credit obtained by all users attempting the item, and Xmax is the maximum credit achievable for that item. If questions can be distributed dicotomically into correct / incorrect categories, this parameter coincides with the percentage of users that answer the question correctly.


* '''Standard Deviation (SD)''' - The range of responses
Wenn Sie auf den Reiter ''Ergebnisse'' > Link ''Ergebnisanalyse'' klicken, sehen Sie eine Tabelle, in der die Ergebnisse des Tests detailliert dargestellt sind. Diese Tabelle hilft, den Test insgesamt auszuwerten und die Nützlichkeit der einzelnen Testfragen zu analysieren. Die Tabelle enthält u.a. statistische Parameter, deren Bedeutung in der Hilfedatei ''help/quiz/itemanalysis.html'' erläutert wird, die sich durch Klicken auf das Fragezeichen-Symbol hinter der Überschrift ''Statistische Analyse der Ergebnisse'' öffnet.


This parameter measures the spread of answers in the response population. If all users answers the same, then SD=0. SD is calculated as the statistical standard deviation for the sample of fractional scores (achieved/maximum) at each particular question.  
[[Image:Ergebnisanalyse.JPG|thumb|right]]


* '''DI & DC columns''' - Effectiveness measures
===Spalten der Tabelle===
Both DC and DI can be used as powerful methods of evaluating the effectiveness of the quiz when assessing differentiation of learners. The advantage of using Discrimination Coefficient as opposed to Discrimination Index is that the former uses information from the whole population of learners, not just the extreme upper and lower thirds. Thus, this parameter may be more sensitive to detect item performance.
* '''Frage-Nr.''' - ID-Nummer der Testfrage, Fragetyp-Symbol und Link auf ein Vorschau-Fenster für die Frage
* '''Frage''' - Fragetext
* '''Antwort''' - zunächst alle Antworten, die für die Frage möglich sind, und darunter alle Antworten, die tatsächlich von mindestens einem Test-Teilnehmer ausgewählt wurden
* '''Punkte''' - Bewertung, die für die jeweilige Antwort vom Trainer vergeben wurde
* '''Antworten absolut''' - wie oft wurde die Antwort gewählt (absolute Anzahl) bezogen auf die Gesamtzahl der analysierten Versuche
* '''Antworten %''' - wie oft wurde die Antwort gewählt (in Prozent) bezogen auf die Gesamtzahl der analysierten Versuche
* '''Richtig %''' - Facility Index: Maß für den Schwierigkeitsgrad der Frage
* '''SD''' - Standard Deviation: Standardabweichung
* '''DI''' - Discrimination Index: Maß für die Effektivität der Frage
* '''DC''' - Discrimination Coefficient: Maß für die Effektivität der Frage


** '''Discrimination Index (DI)'''  
===Definition der statistischen Parameter===
This provides a rough indicator of the performance of each item to separate high scores vs. scorers. This parameter is calculated by first dividing learners into thirds based on the overall score in the quiz. Then the average score at the analysed item is calculated for the groups of top and bottom performers, and the average scored subtracted. The mathematical expression is:
* '''Richtig %''' -  Facility Index
DI = (Xtop - Xbottom)/ N
:Dieser Parameter ist ein Maß für die Schwierigkeit einer Frage. Er bestimmt, welche Ergebnisse im Durchschnitt bei allen analysierten Versuchen erzielt wurden. Bei Fragen mit der Option Richtig/Falsch stellt dieser Wert dar, wie viel Prozent der Teilnehmer diese Frage richtig beantwortet haben. Je größer der Wert ist, desto leichter ist die Frage.
where Xtop is the sum of the fractional credit (achieved/maximum) obtained at this item by the 1/3 of users having the highest grades in the whole quiz (i.e. number of correct responses in this group), and Xbottom is the analog sum for users with the lower 1/3 grades for the whole quiz.


This parameter can take values between +1 and -1. If the index goes below 0.0 it means that more of the weaker learners got the item right than the stronger learners. Such items should be discarded as worthless. In fact, they reduce the accuracy of the overall score for the quiz.  
* '''SD''' - Standard Deviation: Standardabweichung
:Dieser Parameter ist ein Maß für die Bandbreite der gewählten Antworten; wenn alle Nutzer das Gleiche antworten, ist der Wert SD=0. SD wird berechnet als statistische Standardabweichung für die Menge der relativen Bewertungen.  


** '''Discrimination Coefficient (DC)''' -  
* '''DI & DC''' - Maße für die Effektivität der Frage
:Beide Werte dienen der Messung der Effektivität einer Frage mit Blick auf die Leistungsstärke der einzelnen Test-Teilnehmer. Der Vorteil des Parameters DC gegenüber dem Parameter DI besteht darin, dass DC Informationen über die Grundgesamtheit aller Teilnehmer nutzt, während beim Parameter DI nur Informationen über das beste bzw. schlechteste Drittel aller Teilnehmer eingehen. Damit ist der DC-Wert für die Beurteilung der Effektivität einer Frage aussagekräftiger.


This is another measure of the separating power of the item to distinguish proficient from weak learners.
: '''Discrimination Index (DI)'''
The discrimination coefficient is a correlation coefficient between scores at the item and at the whole quiz. Here it is calculated as:  
:Dieser Parameter ist ein grobes Maß, um leistungsstarke von leistungsschwachen Test-Teilnehmern zu unterscheiden. Zunächst werden die Test-Teilnehmer entsprechend Ihres erzielten Ergebnisses in drei Gruppen aufgeteilt. Dann werden die erzielten Ergebnisse des besten und des schlechtesten Drittels in Relation zueinander gestellt.
DC = Sum(xy)/ (N * sx * sy)  
where Sum(xy) is the sum of the products of deviations for item scores and overall quiz scores,  
N is the number of responses given to this question,
sx is the standard deviation of fractional scores for this question and,
sy is the standard deviation of scores at the quiz as a whole.  


Again, this parameter can take values between +1 and -1. Positive values indicate items that do discriminate proficient learners, whereas negative indices mark items that are answered best by those with lowest grades. Items with negative DC are answered incorrectly by the seasoned learners and thus they are actually a penalty against the most proficient learners. Those items should be avoided.
:Der Parameter DI kann Werte zwischen +1 und -1 annehmen. Ein Wert kleiner als 0.0 bedeutet, dass mehr von den schlechteren Teilnehmern richtige Ergebnisse erzielten als von den besseren. Man kann die entsprechenden Frage folglich als wertlos ansehen, da sie u.U. die Aussagekraft des Tests mindert. Anders gesagt: Von einer ''guten'' Frage erwarten wir, dass Teilnehmer, die insgesamt gut abgeschnitten haben, auch bei der gegebenen Frage eine gute Bewertung erzielen, d.h. die Bewertung der Frage sollte in Korrelation zur Gesamtbewertung des Tests stehen.
 
: '''Discrimination Coefficient (DC)''' 
: Dies ist ein weiterer Parameter, um leistungsstarke von leistungsschwachen Test-Teilnehmern zu unterscheiden. Er berechnet sich als Korrelationskoeffizient der Bewertungen einer gegebenen Frage und des gesamten Tests.
 
:Der Parameter DC kann wieder Werte zwischen +1 und -1 annehmen. Auch hier gilt, dass negative Werte bedeuten, dass ''schlechte'' Teilnehmer bessere Ergebnisse erzielt haben ''gute''. Solche Fragen sollte man vermeiden.
 
'''Anmerkung 1''': Bei der Ergebnisanalyse sollten Sie jeweils nur den ersten Versuch eines Teilnehmers in die Analyse einbeziehen. Die Daten von Folgeversuchen genügen in der Regel nicht den Bedingungen, die die Statistik erfordert. Außerdem vermeiden Sie Probleme mit Versuchen, die auf dem vorherigen beruhen. Wenn allerdings nur wenige Daten (Versuche) zur Analyse vorliegen, dann sollten Sie alle Versuche einbeziehen.
 
'''Anmerkung 2''': Wer mathematisch-statistisch versiert ist und sich intensiver damit beschäftigen möchte, was in Moodle genau berechnet wird, dem sei die weiterführende [[:en:https://docs.moodle.org/en/Development:Quiz_item_analysis_calculations|englischsprachige Entwicklerdokumentation]] empfohlen.


==Siehe auch==
==Siehe auch==


*[http://moodle.org/mod/data/view.php?d=13&rid=96 Detaillierter Test-Bericht] - Zusatzmodul
*[http://moodle.org/mod/data/view.php?d=13&rid=96 Detaillierter Test-Bericht] - Zusatzmodul
*[[en:Item analysis theoretical background|Theoretischer Hintergrund der Ergebnisanalyse]] - englischsprachiger Artikel von einem der Entwickler des Test-Moduls
*[[:en:Item analysis theoretical background|Theoretischer Hintergrund der Ergebnisanalyse]] - englischsprachiger Artikel von einem der Entwickler des Test-Moduls
*Statistik und Ergebnisanalyse in [[:en:Development:Quiz_item_analysis_calculations|Theorie]] und [[:en:Development:Quiz_item_analysis_calculations_in_practise|Praxis]] - Entwicklerdokumentation (in Englisch)
* [https://elearning.fh-offenburg.de/moodle/mod/glossary/showentry.php?eid=95 Formeln für die statistischen Parameter]


[[Category:Test]]
[[Category:Test]]
[[Category:Trainer]]
[[en:Quiz reports]]
[[en:Quiz reports]]

Aktuelle Version vom 31. Januar 2012, 13:46 Uhr


Der Reiter Ergebnisse der Test-Ansichtsseite enthält verschiedene Links für die verschiedenen Berichtarten, zur Neubewertung, zur manuellen Bewertung von Freitext-Fragen und zur Ergebnisanalyse. Die Anzahl der Links hängt davon ab, wie viele Bericht-Plugins Ihre Moodle-Administration installiert hat.

Testbericht.JPG


Übersicht

Die Übersichtsseite (Link Übersicht) zeigt eine Liste von abgeschlossenen Testversuchen. Diese Seite bietet verschiedene Anzeigeoptionen, die im folgenden näher beschrieben werden.

Listenansicht

Die Liste der abgeschlossenen Testversuche enthält fünf Spalten:

  1. Vorname / Nachname
  2. Begonnen am - enthält die genaue Zeit, wann der Testversuch gestartet wurde
  3. Beendet am - enthält die genaue Zeit, wann der Testversuch beendet wurde
  4. Verbrauchte Zeit - die Zeit, die für die Durchführung des Testversuchs benötigt wurde
  5. Bewertung/x - Bewertung, die im Versuch erzielt wurde; dabei ist 'x' die maximale Bewertung, die für den Test erreicht werden kann

Testberichtübersicht.JPG

Ergebnisse herunterladen

Auf der Übersichtsseite gibt es unten drei Buttons, um die Liste der Testversuche in verschiedenen Formaten herunterzuladen: im ODS-Format, im Excel-Format oder als Text-Datei. Der Trainer kann einzelne oder alle Teilnehmer bzw. Versuche zum Herunterladen auswählen, indem er die Checkbox vor den entsprechenden Versuchen oder den Link Alle auswählen unterhalb der Liste anklickt.

Anzeigeoptionen für die Übersichtsseite

Die Standardansicht der Liste der Testversuche zeigt nur die Teilnehmer, die Testversuche abgeschickt haben. Sie können die Anzeigeoptionen ändern, diese finden Sie unterhalb der Liste. Nachdem Sie Ihre Einstellungen vorgenommen haben, klicken Sie auf den Button Start (Moodle 1.8) bzw. Einstellungen speichern (Moodle 1.9).

Anzeigeoptionen in Moodle 1.8

Moodle1.8

  • Wie viele Versuche pro Seite - wie viele Versuche sollen in der Liste pro Seite angezeigt werden
  • Welche Teilnehmer bzw. Versuche sollen in der Liste angezeigt werden:
  • Nur Teilnehmer/innen mit Versuchen anzeigen
  • Nur Teilnehmer/innen ohne Versuche anzeigen
  • Alle Teilnehmer/innen anzeigen
  • Alle Versuche anzeigen
  • Bewertungsdetails anzeigen - Bewertungen für jede einzelne Testfrage anzeigen

Anzeigeoptionen in Moodle 1.9

Moodle1.9

  • Welche Teilnehmer bzw. Versuche sollen in der Liste angezeigt bzw. heruntergeladen werden:
  • alle Versuche - alle Versuche (auch von Teilnehmern, die inzwischen nicht mehr im Kurs eingeschrieben sind)
  • alle Teilnehmer/innen - alle Teilnehmer/innen des Kurses, unabhängig davon, ob sie den Test durchgeführt haben oder nicht
  • alle Teilnehmer/innen mit Versuchen - zeigt alle Teilnehmer/innen, die den Test bereits durchgeführt haben
  • alle Teilnehmer/innen ohne Versuche - zeigt alle Teilnehmer/innen, die den Test noch nicht durchgeführt haben
  • Nur die Versuche der Nutzer anzeigen bzw. herunterladen, die bewertet werden (d.h. die in die Gesamtbewertung des Kurses eingehen: Bester, erster oder letzter Versuch - siehe Bewertungsmethode in den Testeinstellungen)
  • Seitengröße - Anzahl der pro Seite angezeigten Zeilen in der Liste
  • Bewertungen für jede Frage anzeigen bzw. herunterladen

Testberichteinstellungen.jpg

Sonstige Anzeigeoptionen

Mit den Links Alle auswählen bzw. Alle abwählen können Sie die Checkboxen in der ersten Spalte der Liste aus- bzw. abwählen. Durch Wahl der Option Löschen im Auswahlmenü Ausgewählt (Moodle 1.8) bzw. Klicken auf den Button Ausgewählte Versuche löschen (Moodle 1.9) können Sie die entsprechenden Testversuche löschen.

Zum Sortieren der Liste klicken Sie in der Kopfzeile der Liste auf die Spalte, die sortiert werden soll.

Neubewertung

Wenn Sie auf diesen Link klicken, erfolgt eine Neubewertung aller abgeschlossenen Testversuche. Das kann notwendig werden, wenn Sie einzelne Testfragen bzw. deren Bewertung oder die Bewertunge des Tests insgesamt geändert haben.

Manuelle Bewertung

Der Trainer kann die Bewertung jeder einzelnen Frage in einem abgeschlossenen Testversuch manuell ändern und einen Kommentar hinzufügen. Klicken Sie dazu auf den Reiter Ergebnisse > Übersicht. Klicken Sie in der Liste den entsprechenden Testversuch an. Klicken Sie dann auf den Link Kommentieren oder Bewertung überarbeiten unterhalb der Frage, die Sie manuell bewerten oder kommentieren möchten.

Darüberhinaus gibt es in Moodle Fragetypen, die nicht automatisch bewertet werden können. Derzeit trifft das nur für Freitext-Fragen zu. Diese Fragen muss der Trainer manuell bewerten: Klicken Sie dazu auf den Reiter Ergebnisse > Link Freitext-Bewertung - es erscheint eine Liste aller Freitext-Fragen des Tests. Klicken Sie auf die Frage, die Sie bewerten möchten. Dann erscheint eine Liste mit Teilnehmern bzw. Testversuchen. Zur Bewertung klicken Sie auf den Link Bewertung hinter in der entsprechenden Zeile.

Ergebnisanalyse

Wenn Sie auf den Reiter Ergebnisse > Link Ergebnisanalyse klicken, sehen Sie eine Tabelle, in der die Ergebnisse des Tests detailliert dargestellt sind. Diese Tabelle hilft, den Test insgesamt auszuwerten und die Nützlichkeit der einzelnen Testfragen zu analysieren. Die Tabelle enthält u.a. statistische Parameter, deren Bedeutung in der Hilfedatei help/quiz/itemanalysis.html erläutert wird, die sich durch Klicken auf das Fragezeichen-Symbol hinter der Überschrift Statistische Analyse der Ergebnisse öffnet.

Ergebnisanalyse.JPG

Spalten der Tabelle

  • Frage-Nr. - ID-Nummer der Testfrage, Fragetyp-Symbol und Link auf ein Vorschau-Fenster für die Frage
  • Frage - Fragetext
  • Antwort - zunächst alle Antworten, die für die Frage möglich sind, und darunter alle Antworten, die tatsächlich von mindestens einem Test-Teilnehmer ausgewählt wurden
  • Punkte - Bewertung, die für die jeweilige Antwort vom Trainer vergeben wurde
  • Antworten absolut - wie oft wurde die Antwort gewählt (absolute Anzahl) bezogen auf die Gesamtzahl der analysierten Versuche
  • Antworten % - wie oft wurde die Antwort gewählt (in Prozent) bezogen auf die Gesamtzahl der analysierten Versuche
  • Richtig % - Facility Index: Maß für den Schwierigkeitsgrad der Frage
  • SD - Standard Deviation: Standardabweichung
  • DI - Discrimination Index: Maß für die Effektivität der Frage
  • DC - Discrimination Coefficient: Maß für die Effektivität der Frage

Definition der statistischen Parameter

  • Richtig % - Facility Index
Dieser Parameter ist ein Maß für die Schwierigkeit einer Frage. Er bestimmt, welche Ergebnisse im Durchschnitt bei allen analysierten Versuchen erzielt wurden. Bei Fragen mit der Option Richtig/Falsch stellt dieser Wert dar, wie viel Prozent der Teilnehmer diese Frage richtig beantwortet haben. Je größer der Wert ist, desto leichter ist die Frage.
  • SD - Standard Deviation: Standardabweichung
Dieser Parameter ist ein Maß für die Bandbreite der gewählten Antworten; wenn alle Nutzer das Gleiche antworten, ist der Wert SD=0. SD wird berechnet als statistische Standardabweichung für die Menge der relativen Bewertungen.
  • DI & DC - Maße für die Effektivität der Frage
Beide Werte dienen der Messung der Effektivität einer Frage mit Blick auf die Leistungsstärke der einzelnen Test-Teilnehmer. Der Vorteil des Parameters DC gegenüber dem Parameter DI besteht darin, dass DC Informationen über die Grundgesamtheit aller Teilnehmer nutzt, während beim Parameter DI nur Informationen über das beste bzw. schlechteste Drittel aller Teilnehmer eingehen. Damit ist der DC-Wert für die Beurteilung der Effektivität einer Frage aussagekräftiger.
Discrimination Index (DI)
Dieser Parameter ist ein grobes Maß, um leistungsstarke von leistungsschwachen Test-Teilnehmern zu unterscheiden. Zunächst werden die Test-Teilnehmer entsprechend Ihres erzielten Ergebnisses in drei Gruppen aufgeteilt. Dann werden die erzielten Ergebnisse des besten und des schlechtesten Drittels in Relation zueinander gestellt.
Der Parameter DI kann Werte zwischen +1 und -1 annehmen. Ein Wert kleiner als 0.0 bedeutet, dass mehr von den schlechteren Teilnehmern richtige Ergebnisse erzielten als von den besseren. Man kann die entsprechenden Frage folglich als wertlos ansehen, da sie u.U. die Aussagekraft des Tests mindert. Anders gesagt: Von einer guten Frage erwarten wir, dass Teilnehmer, die insgesamt gut abgeschnitten haben, auch bei der gegebenen Frage eine gute Bewertung erzielen, d.h. die Bewertung der Frage sollte in Korrelation zur Gesamtbewertung des Tests stehen.
Discrimination Coefficient (DC)
Dies ist ein weiterer Parameter, um leistungsstarke von leistungsschwachen Test-Teilnehmern zu unterscheiden. Er berechnet sich als Korrelationskoeffizient der Bewertungen einer gegebenen Frage und des gesamten Tests.
Der Parameter DC kann wieder Werte zwischen +1 und -1 annehmen. Auch hier gilt, dass negative Werte bedeuten, dass schlechte Teilnehmer bessere Ergebnisse erzielt haben gute. Solche Fragen sollte man vermeiden.

Anmerkung 1: Bei der Ergebnisanalyse sollten Sie jeweils nur den ersten Versuch eines Teilnehmers in die Analyse einbeziehen. Die Daten von Folgeversuchen genügen in der Regel nicht den Bedingungen, die die Statistik erfordert. Außerdem vermeiden Sie Probleme mit Versuchen, die auf dem vorherigen beruhen. Wenn allerdings nur wenige Daten (Versuche) zur Analyse vorliegen, dann sollten Sie alle Versuche einbeziehen.

Anmerkung 2: Wer mathematisch-statistisch versiert ist und sich intensiver damit beschäftigen möchte, was in Moodle genau berechnet wird, dem sei die weiterführende englischsprachige Entwicklerdokumentation empfohlen.

Siehe auch

Abgerufen von „https://docs.moodle.org/19/de/index.php?title=Test-Berichte&oldid=11550“
Powered by MediaWiki