Adaptive Quiz - Advanced CAT Module

Das Local-Plugin „Adaptive Quiz - Advanced CAT Module“ bietet weitreichende Funktionalitäten zur Umsetzung von Computer-Adaptiven Testverfahren (CAT) auf Grundlage der Item-Response-Theorie (IRT) in Moodle. Es erweitert und ergänzt dazu die Moodle-Aktivität „Adaptive Quiz“ um Funktionen zur Verwaltung eines Fragen-Pools, eine komplette CAT-Engine für alle gängigen IRT-Modelle sowie zahlreiche Einstellungsmöglichkeiten und unterschiedliche Strategien für die Testdurchführung.

Hintergrund

Klassische Tests wie sie üblicherweise in Moodle als Quiz durchgeführt werden, bestehen aus einer festen Auswahl an Fragen, die jeder bzw. jede Teilnehmende zu bearbeiten hat. Dies führt zu einer ganzen Reihe an Problemen:

• Teilnehmende werden regelmäßig mit Fragen konfrontiert, die für sie zu leicht oder zu schwer sind.
• Fragen, die zu leicht oder zu schwer sind, aber tragen keine diagnostische Information zum Ergebnis bei und erweisen sich aufgrund von Akzeptanz- oder Konzentrationsproblemen bei langen Tests als zusätzliche Fehlerquellen.
• Sobald Fragen geändert, dem Test hinzugefügt oder aus diesem entfernt werden, sind Testergebnisse der Testversionen nicht mehr miteinander vergleichbar.
• Es bleibt unklar, wie groß der Messfehler bei einem Testversuch ist.
• Ein praktisches Problem bei klassischen Tests mit fixierter Fragenauswahl stellt die unterschiedliche Bearbeitungsgeschwindigkeit der einzelnen Teilnehmenden dar. Nur wenn ein klassischer Test vollständig bearbeitet wird, ist sein Ergebnis aussagefähig.
• Klassische Tests können z.B. bei vermuteten Defiziten nicht reagieren und „spontan noch einmal nachfragen“.

Computer-adaptive Testverfahren (CAT) beheben diese Nachteile im erheblichen Maße. Bei Computer-adaptiven Testverfahren werden den Testteilnehmenden vorwiegend Fragen vorgelegt, die in ihren identifizierten Fähigkeitsbereich fallen. Die Einschätzung der Fähigkeit geschieht dabei fortlaufend während der Testdurchführung und basiert auf den von jeweils gegebenen Antworten.

Im Gegensatz zu bei klassischen Tests erfolgt die Auswertung nicht auf der Basis von Punktzahlen, sondern mithilfe statistischer Modelle der Item Response Theory (IRT). Diese Modelle stellen einen Bezug her zwischen der Schwierigkeit und Trennschärfe der einzelnen Fragen und der persönlichen Fähigkeit der Testteilnehmenden. Je nach Qualität der eingesetzten Fragen werden durch dieses Verfahren deutlich kürzere Testzeiten von bis zu 60 Prozent kürzeren Testzeiten als auch genauere Ergebnisse erzielt. Zudem sind die Testergebnisse unabhängig von der Anzahl individuell beantworteter Fragen: Mehr beantwortete Fragen führen zu einem genaueren, aber nicht zu einem anderen Ergebnis. Dies erlaubt es nicht nur, die Frageauswahl dynamisch während der Testdurchführung vorzunehmen, sondern es erlaubt auch feste Bearbeitungsdauern durch variable Anzahl an Fragen zu gewährleisten. So können Testdurchführungen im zeitlich geplanten Rahmen zuverlässig umgesetzt werden.

Funktionsumfang

Konkret bietet Ihnen das Plugin folgende Funktionen:

• Durchführung adaptiver Testungen, wahlweise zur
  • Bestimmung der allgemeinen Fähigkeiten in der abgefragten Skala
  • Diagnose des größten Defizits / der größten Stärke der einzelnen Testteilnehmenden
  • adaptives oder teil-adaptives Abtesten aller hinterlegten Sub-Skalen zu einer Fähigkeit
  • klassisches Testieren (alle Fragen der Skala werden gestellt) mit Auswertung auf Basis der Item-Response-Theorie (IRT)
  • Tests lassen sich können hinsichtlich Frageanzahl, Zeitumfang und zu erreichenden Standardfehler begrenzen
• Nutzung verschiedener IRT-Modelle für
  • Fragen ohne Teilbepunktung: 1PL-Rasch-Modell, 2PL-Rasch-Birnbaum, 3PL-mixed Rasch-Birnbaum
  • Fragen mit kategorialen Antworten oder Teilbepunktung: Graded-Response-Modell (GRM) und generalisiertes GRM, Partial-Credit-Modell (PCM) und generalisiertes PCM
• Einstellung differenzieller Feedbacks
  • in 1 bis 10 Kompetenzbereichen
  • als Medien-Text-Feld sowie
  • zusätzlich mit Einschreibung in Kurse oder Gruppen
• Backend für die Verwaltung Ihrer Frage-Pools (CAT-Manager)
  • Organisation von Fragen aus Ihrer Moodle-Fragensammlung zu Skalen und Sub-Skalen
  • Import, Export und Bearbeiten von Frage-Kennwerten wie Item-Schwierigkeit und Item-Trennschärfe
  • Versionierung von Frage-Kennwerten
  • Organisation vor-konfigurierter Test-Einstellungen
  • Berechnung der Frage-Kennwerte aus durchgeführten Versuchen in Moodle (ab Version 1.3, Ende 2024) für die unterschiedlichen IRT-Modelle

Nutzung

Trotz dass das Plugin Sie bei Vorbereitung und Durchführung von Computer-Adaptiven Testierungen unterstützt und Ihnen die Arbeit bestmöglich erleichtert, ist die Nutzung und der Einsatz des Plugins mit einigen Anforderungen und Aufwand verbunden. Die folgenden Abschnitte stellen Ihnen diese Anforderung dar hinsichtlich

• Installation des Plugin,
• Organisation des Fragen-Pools,
• Testeinrichtung und
• Zugriff auf Feedbacks und Statistiken im Kurs.

Installation des Plugin

Systemanforderungen Einstellungen in php:

• max_memory: 256 MB, besser: 512 MB oder höher
• max_executiontime: 90 s, besser 180 s oder höher

notwendige Moodle-Plugins:

• local_wunderbyte_table
• mod_adaptivequiz (Develop-Version von Wunderbyte) und adaptivequizcatmodel_catquiz, hier in den aktuellsten Versionen im Paket zu beziehen

empfohlene Moodle-Plugins:

• filter_shortcodes, benötigt zur Darstellung von Feedbacks und Statistiken in Kursbereichen

Bei der Installation wird Ihrer Moodle-Instanz eine neue Rolle CAT--Manager*in hinzugefügt. CAT-Manager*innen haben die notwendigen Rechte, CAT-Skalen anzulegen und diesen Fragen als Items hinzuzufügen (siehe nächster Abschnitt). Hierzu erhalten Sie Zugriff auf einen gesonderten Bereich in der Moodle-Instanz, genannt CAT-Manager.

Den Zugang erhält man durch Klicken des Buttons "CATQuiz" in der Kopfzeile Ihrer Moodle-Instanz oben rechts. Um die Funktionalität des CAT-Plugins zu testen, können Sie auf einen vorbereiteten Dummy-Fragenpool zurückgreifen. So gehen Sie vor:

1. Laden Sie sich die den vorbereiteten simulation.xml herunter und importieren Sie diesen in Ihren Moodle-Fragenkatalog. Damit die Fragen überall in Ihrer Instanz zugänglich sind, sollten Sie diese in einem Verzeichnis unter "System" einfügen.
2. Laden Sie die dazu gehörende simulation.csv herunter und importieren Sie diese im CAT-Manager unter CAT-Manager > Import als durch Semikolon separiertes CSV-File.
3. Prüfen Sie unter "Skalen", ob der Simulations-Datenpool korrekt eingelesen wurde und
4. legen Sie in einem Kurs Ihrer Wahl Ihren ersten Adaptiven Test mit der Skala "Simulation" an.

Organisation des Fragen-Pools

Nach der Installation finden Sie als Administrator auf Ihrer Moodle-Seite oben rechts einen Button mit der Aufschrift "CAT Quiz". Diesen Button sehen nur Adminstratoren sowie Personen, denen die mit der Rolle "CAT Manaer*in" ausgestattet werden.

In diesem Bereich können Sie Fragen aus Ihrem Moodle-Fragenkatalog zu CAT-Skalen hinzufügen, den einzelnen Fragen Item-Parameter zuweisen sowie Test-Templates und Versionierungen verwalten. Mittels Import können Sie zudem komfortabel eine größere Anzahl an Frage-Items samt Skalenstruktur aus einer CSV-Datei einlesen.

Um systemweite Zugänglichkeit zu Ihren Fragen gewährleisten zu können, empfehlen wir Ihnen, diese Fragen im Fragenkatalog zur Systemebene zugeordneten Kategorien abzulegen.

Einrichten von Tests

Sobald die ersten Skalen eingerichtet sind, können Sie in den Kursen Ihrer Wahl die Aktivität "Adaptiver Test" anlegen. Achten Sie dabei darauf, dass Sie unter "CAT-Model" die Option "Catquiz CAT model" auswählen. Dies aktiviert das Advanced CAT module und es schalten sich von mit diesem Plugin bereitgestellten Funktionen frei.

Wählen Sie nun die gewünschte (Global-) Skala sowie die entsprechenden Unterskalen aus. Anschließend wählen Sie unter "Testzweck" die gewünschte Test-Stretegie aus. Ihnen stehen folgende Strategien zur Verfügung:

• "CAT" - es werden aus allen ausgewählten Skalen Fragen adaptiv gezogen. Eine Auswertung findet nur bezüglich der Global-Skala statt.
• "Unterste Kompetenzlücke diagnostizieren" bzw. "Größte Stärke diagnostizieren" - Der Testalgorithmus sucht gezielt nach hervorstechenden Defiziten bzw. Stärken im Kompetenzbereich der getesteten Person und liefert jeweils das maßgelbichest Defizit bzw. die größte Stärke zurück.
• "Skalen im Kompetenzbereich abprüfen" - der Test bestimmt das aktuelle Kompetenzspektrum der getesteten Person und deren Fähigkeiten bezüglich der darin verorteten Skalen.
• "Alle angegebenen Skalen abprüfen" - der Test testen in allen oben angegebenen Skalen mit der angegebenen Mindestfrangenanzahl, unberücksichtigt, ob diese ggf. zu leicht oder zu schwierig für die getestete Person sind.
• "Klassischer Test" - es werden, wie bei einem normalen Moodle-Quiz, alle Fragen in den eingestellten Skalen durchgetestet, allerdings erfolgt die Auswertung mittels IRT.

Nach dem Skalen und Test-Strategie von Ihnen festgelegt wurden, stellen Sie die Rahmenbedingungen ein: Mindest- und Maximalanzahl an Fragen, akzeptierter Standardfehler sowie ggf. zeitliche Beschränkungen. Falls Sie sich unsicher sein sollten, empfiehlt es sich, die Voreinstellungen zunächst übernehmen und ggf. später anzupassen.

Anschließend fügen Sie Ihre Angaben zum differtiellen Feedback für jede der angewählten Skalen ein. Des kann in bis zu 8 Fähigkeitsstufen erfolgen, deren Cut-Scores Sie als Logit-Werte entsprechend selbst festlegen können. Ebenso können Sie ein textuelles Feedback einfügen, in einen oder mehrere Kurse einschreiben oder unter Angabe von kommagetrennten Gruppen-IDs getestete Personen, denen dieses Feedback angezeigt wird, den spezifizierten Gruppen zuweisen.

Zugriff auf Feedbacks und Statistiken

Unmittelbar nach Abschluss des Testversuchs wird Teilnehmenden ihr Feedback angezeigt. Dies besteht aus dem generellen Textblock sowie dem differentiellen Textteil bzw. den Textteilen, die entsprechend Skala und Fähigkeitsbereich hinterlegt wurden. Zudem wird eine Leiste mit mehreren Reitern, unter denen zusätzliche Informationen bzgl. des Testergebnisses im Vergleich zur Gruppe und zu eigenen, zurückliegenden Testversuchen angezeigt wird. Ebenso findet sich hier der Testverlauf sowie die erzielten Detailergebnisse in den einzelnen Skalen wieder.

Um Feedbacks sowie Statistiken zum Test sich auch später anzeigen zu lassen, können diese Informationen mittels Shortcode an beliebigen Stellen im Kurs eingebunden werden. Hierzu stehend die Shortcodes

• [catquizfeedback]
• [catquizstatitics]

zur Verfügung.

FAQ (Frequently Asked Questions)

• Was ist der Unterschied zum Moodle Quiz und zu Adaptive Quiz?

Moodles Quizzes testen klassisch, d.h. auf der Basis von Punktzahlen und festen Zusammenstellung an Fragen - mit den im Abschnitt "Hintergrund" aufgeführten Konsequenzen.

Adaptive Quiz ist eine sehr rudimentäre Umsetzung des 1PL-Rasch-Modells mit nur ganzzahligen Schwierigkeitsstufen, welche aufwendig als Tags in den Fragen selbst hinterlegt werden müssen. Dieses Plugin bietet Ihnen die Nutzung aller gängigen IRT-Modelle an, einschließlich solcher, die Teilbepunktungen oder Rate-Wahrscheinlichkeiten berücksichtigen. Zudem verfügt es über eine nutzerfreundliche Oberfläche zur Organisation der Fragen, Skalen, Testeinstellungen und Item-Parameter.

Beide, Moodles Quiz also auch Adaptive Quiz, können für sich zudem keine inhaltlich differenzierten Feedbacks ausgeben und eigenständig ergebnisorientiert in Gruppen oder Kurse einschreiben. Insofern sind beide für adaptive Lern-Settings und differentielle Diagnosen nur bedingt geeignet.

• Moodle Quiz liefert mir auch Informationen zu Frage-Schwierigkeit und einen Trennschärfenindex. Was ist da der Unterschied?

Diese Angaben beziehen sich stets auf die konkrete Zusammensetzung der Fragen und der Testteilnehmenden. Sobald Sie Ihren Test ändern und deutlich mehr schwierigere oder leichtere Fragen hinzufügen oder eine stärkere oder schwächere Gruppe mit dem gleichen Test testen, erhalten Sie andere Werte. Diese Werte in Moodle orientieren sich also an den jeweils erzielten Testergebnissen.

Die Frage-Schwierigkeit und die Trennschärfe als Item-Parameter dieses Plugins hingegen sind für die Testungen feststehende Werte, an denen sich die Testergebnisse ausrichten. Auf diese Weise werden Messungen verschiedener Teilnehmendengruppen mit unterschiedlichen Fragezusammensetzungen vergleichbar, solange diese mit dem selben Set an Item-Parametern durchgeführt wurden.

• Woher bekomme ich die Item-Parameter?

Aktuell müssen Sie die Item-Parameter noch selbst schätzen, z.B. in R mithilfe der Software-Pakten mirt oder TAM. Spätere Versionen des Plugins werden auch die Fähigkeit besitzen, Item-Parameter direkt in Moodle aus den Moodle-Daten zu berechnen.

• Wo werden die Daten verarbeitet? Ist ein Dritt-Dienstleister involviert?

Alle Daten werden durch das Plugin vollumfänglich auf der Moodle-Instanz, auf das Plugin installiert ist, verarbeitet. Es wird im Besonderen auf keine weitere Dienstleistungen Dritter zurückgegriffen.

• Ist das Plugin wirklich kostenlos? Gibt es (versteckte) Kosten?

Ja, das Plugin und dessen voller Funktionsumfang ist (und bleibt) kostenlos.

• Wieso kann ich während des Tests nicht zu einer früheren Frage zurücknavigieren?

Die Idee Computer Adaptiven Testens beruht darauf, dass jede bereits eingegebene und abgesendete Antwort zur Schätzung der Personenfähigkeit zur Entscheidung herangezogen wird, welche Frage jeweils als nächstes gestellt wird. Würde eine vergangene Frage rückwirkend anders beantwortet werden, wäre der gesamte weitere Testverlauf infrage gestellt. Aus diesem Grund ist eine freie Navigation durch den Test nicht möglich und auch nicht zugelassen.

• Rentiert es sich für mich, Adaptive Tests mit diesem Plugin durchzuführen?

Das Plugin unterstützt Sie in der Vorbereitung und Durchführung Computer-Adaptiver Testierungen bestmöglich. Dennoch wird von Ihnen ein Grundverständnis an CAT sowie an Aufwand bzgl. der Organisation des Item-Pools und der Testeinrichtung abverlangt werden.

Wenn die Moodle-Quizzes aktuell Ihren Ansprüche zu Ihrer vollen Zufriedenheit genügen, ist ein Umstieg nicht ratsam. Sollten Sie jedoch einige der Punkte aus dem Abschnitt "Hintergrund" für Sie bedeutsam sein, könnten sich die mit dem CAT-Verfahren verbundenen Vorteile die Kosten für den Einstieg in dieses Thema amortisieren.

• Wo finde ich weitere Informationen zu den in diesem Plugin eingesetzten Berechnungsmethoden sowie zu den Themen CAT und IRT?

Eine Publikation speziell zu diesem Plugin ist aktuell in Vorbereitung. Bis zu deren Publikation verweisen wir auf den Grundlagenartikel (Linacre 2000).