Analytics nutzen
- Für Administrator/innen
- Analytics-Modelle
- Teilnehmer/innen sind gefährdet auszusteigen
- Fälligkeit von Aktivitäten
- Keine Lehrtätigkeit
- Für Trainer/innen
- Für Entwickler/innen
- Für Forscher/innen
Überblick
Die Moodle Learning Analytics API ist ein offenes System, das die Basis für eine Vielzahl von Modellen werden kann. Modelle können Indikatoren (Vorhersager), Ziele (Ausgang, den wir vorhersagen wollen), Einschätzungen (die Vorhersagen selbst), Benachrichtigungen (Mitteilungen, die aufgrund von Einschätzungen verschickt werden) und Aktionen (die den Empfänger/innen der Benachrichtigungen vorgeschlagen werden und die selbst wieder zu Indikatoren werden können) enthalten.
Die meisten Modelle sind standardmäßig deaktiviert. Die Modelle sollten erst aktiviert werden, nachdem Sie sich Gedanken darüber gemacht haben, welche Bildungsziele durch die Modelle unterstützt werden sollen. Bei der Auswahl oder dem Anlegen von Learning Analytics Modellen sind folgende Schritte wichtig:
- Welchen Ausgang wollen wir vorhersagen? Oder welchen Prozess wollen wir entdecken? (positiv oder negativ)
- Wie entdecken wir diesen Ausgang oder Prozess?
- Welche Anhaltspunkte können helfen, diesen Ausgang oder Prozess vorherzusagen?
- Was sollten wir tun, wenn der Ausgang oder Prozess mit hoher Wahrscheinlichkeit eintritt oder nicht eintritt?
- Wer sollte benachrichtigt werden? Welche Art von Benachrichtigung soll versendet werden?
- Welche Möglichkeiten zur (Re-)Aktion sollten bei Benachrichtigung bereitgestellt werden?
Moodle kann mehrere Vorhersagemodelle gleichzeitig unterstützen, sogar innerhalb ein und desselben Kurses. Das kann für A/B-Tests verwendet werden, um die Leistungsfähigkeit und Genauigkeit verschiedener Modelle zu vergleichen.
Moodle Learning Analytics unterstützt zwei Arten von Modellen.
- Machine-Learning-basierte Modelle, inklusive Vorhersagemodelle, nutzen Modelle der künstlichen Intelligenz, die mit Daten aus der Moodle-Site-Historie trainiert werden, um verborgene Aspekte des Lernprozesses zu entdecken oder vorherzusagen.
- Statische Modelle nutzen ein einfacheres, regel-basiertes System, um besondere Situation in der Moodle-Site zu entdeckenund ausgewählte Nutzer/innen darüber zu benachrichtigen.
Das Standardpaket von Moodle stellt drei Modelle bereit: Teilnehmer/innen sind gefährdet auszusteigen und die statischen Modelle Fälligkeit von Aktivitäten und Keine Lehrtätigkeit. Sie können weitere Vorhersagemodelle anlegen, indem Sie die Analytics API oder die neue grafische Oberfläche verwenden. Jedes Modell basiert auf der Vorhersage eines einzelnen, spezifischen Ziels oder Ausgangs (der entweder erwünscht oder unerwünscht ist) und zu dem eine Reihe von ausgewählten Indikatoren gehören.
Sie können die Modelle auf der Seite Website-Administration > Analytics > Analytics-Modelle ansehen und verwalten.
Vorhandene Modelle
Das Moodle-Standardpaket enthält drei Vorhersagemodelle: Teilnehmer/innen sind gefährdet auszusteigen sowie die statischen Modelle Fälligkeit von Aktivitäten und Keine Lehrtätigkeit. Weitere Modelle können durch Installation eines Plugins oder über die grafische Oberfläche (siehe unten) hinzugefügt werden. Vorhande Modelle können auf der Seite Website-Administration > Analytics > Analytics-Modelle untersucht und geändert werden.
Für vorhandene Modelle können Sie u.a. folgende Aktionen durchführen:
- Vorhersagen erstellen: Trainieren Sie die Algorithmen des maschinellen Lernens mit neuen Daten der Moodle-Site und generieren Sie Vorhersagen für laufende Kurse. Vorhersagen sind nicht auf laufende Kurse beschränkt - das hängt vom Modell ab.
- Einschätzungen ansehen: Sobald Sie die Algorithmen des maschinellen Lernens mit neuen Daten der Moodle-Site trainiert haben, sehen Sie Einschätzungen (Vorhersagen) für jedes analysierbare Element. Im Standardmodell Teilnehmer/innen sind gefährdet auszusteigen können die Einschätzungen pro Kurs ausgewählt werden. Vorhersagen sind nicht auf laufende Kurse beschränkt - das hängt vom Modell ab.
- Auswerten: Das passiert normalerweise im Hintergrund als eine Reihe von geplanten Vorgängen, siehe weiter unten.
- Log Schauen Sie sich vorherige Auswertunsglogdaten an, inklusive der Modellgenauigkeit und anderer technischer Informationen, die von den Backends des maschinellen Lernens berechnet wurden, wie z.B. ROC-Kurven, Lernkurven-Graphen oder der Matthews Correlation Coefficient des Modells. Die verfügbare Information hängt vom verwendeten Backend des maschinellen Lernens ab.
- Bearbeiten: Sie können die Modelle bearbeiten, indem Sie die Liste der Indikatoren oder die Zeitaufteilungsmethode ändern. Wenn das Modell geändert wird, werden alle früheren Vorhersagen gelöscht. Modelle, die auf Annahmen basieren (statische Modelle), können nicht bearbeitet werden.
- Aktivieren / Deaktivieren: Der geplante Vorgang, der die Algorithmen des maschinellen Lernens mit neuen auf der Moodle-Site verfügbaren Daten trainiert und Vorhersagen für laufende Kurse erstellt, übergeht deaktivierte Modelle. Frühere Vorhersagen, die von deaktivierten Modellen berechnet wurden, sind nicht verfügbar, solange das Modell nicht wieder aktiviert wird.
- Exportieren: Exportieren Sie die Trainingsdaten Ihrer Moodle-Site, um sie mit Partnereinrichtungen zu teilen oder in neuen Moodle-Sites zu verwenden. Beim Exportieren wird eine CSV-Datei generiert, die die Modelldaten zu Indikatoren und Gewichten enthält, ohne irgendwelche spezifischen Daten Ihrer Moodle-Site offenzulegen. Wir bitten Sie, uns solche CSV-Dateien zu schicken, um den Wert der Modelle für verschiedenen Arten von Moodle-Sites zu beurteilen. Siehe Learning Analytics Community für mehr Informationen.
- Ungültige Elemente: Gibt an, welche Elemente auf Ihrer Moodle-Site nicht vom Modell analysiert werden können.
- Vorhersagen löschen: Löscht alle Vorhersagen und Trainingsdaten.
Standardmodelle
Teilnehmer/innen sind gefährdet auszusteigen
Dieses Modell sagt voraus, welche Teilnehmer/innen gefährdet sind, einen Moodle-Kurs nicht zu beenden, weil sie wenig Aktivität im Kurs zeigen. "Aussteigen" ist in diesem Zusammenhang so definiert, dass eine Person im letzten Viertel des Kurses keine Aktivität zeigt. Das Vorhersagemodell nutzt das Modell Community of Inquiry von Engagement, das aus drei Teilen besteht:
Dieses Vorhersagemodell kann eine große Bandbreite von Kursen analysieren, daraus Schlussfolgerungen ziehen und diese Schlussfolgerungen anwenden, um Vorhersagen für neue Kurse zu erstellen. Das Modell ist nicht beschränkt auf das Erstellen von Vorhersagen zum Teilnehmererfolg in Kursen, die exakte Duplikate von frühren Kursen sind. Gleichwohl gibt es einige Einschränkungen:
- Das Modell erfordert eine gewisse Menge an Moodle-Daten, um damit Vorhersagen zu erstellen. Zum gegenwärtigen Zeitpunkt sind nur Aktivitäten des Moodle-Standardpakets in der Menge der Indikatoren enthalten (siehe unten). Für Kurse, die keine Standard-Moodle-Aktivitäten "pro Zeitabschnitt" (abhängig von der Zeitaufteilungsmethode) enthalten, gibt es nur schwache Vorhersagen. Das Vorhersagemodell ist am effektivsten für Kurse, die komplett als Online-Kurse oder Blended-Learning-Kurse mit hinreichend vielen Online-Aktivitäten arbeiten.
- Das Modell nimmt an, dass Kurse feste Kursbeginn- und Kursende-Daten haben und es ist nicht gedacht für Kurse mit fortlaufenden Einschreibungen zu beliebigen Zeitpunkten. Modelle, die eine größere Bandbreite von Kursen unterstützen, werden in künftigen Moodle-versionen in das Standardpaket integriert. Wegen dieser Modellannahme ist es sehr wichtig, die Daten für Kursbeginn und Kursende für die zu analysierenden Kurse richtig einzustellen. Wenn diese daten nicht richtig konfiguriert sind, können die Vorhersagen nicht genau sein. Da das Kursende-Datum erst in Moodle 3.2 eingeführt wurde und einige Kurse in der Vergangenheit kein Kursbeginn-Datum haben können, stellen wir ein Skript zur Verfügung:
$ admin/tool/analytics/cli/guess_course_start_and_end.php
Dieses Skript versucht, die Kursbeginn- und Kursende-Daten vergangener Kurse abzuschätzen, indem es die Kurseinschreibungen und Teilnehmer-Logdaten der Kurse auswertet. Prüfen Sie nach der Ausführung des Skripts, ob die abgeschätzten Kursbeginn- und Kursende-Daten hinreichend korrekt sind.
Fälligkeit von Aktivitäten
Das statische Modell Fälligkeit von Aktivitäten überprüft Aktivitäten mit anstehenden Fällligkeitsdaten und Ausgaben im persönlichen Kalender der Nutzer/innen.
Keine Lehrtätigkeit
Die Einschätzungen dieses Modells informieren Moodle-Site-Verwalter/innen, in welchen Kursen mit anstehendem Kursbeginn-Datum es keien Lehrtätigkeit gibt. Das ist ein einfaches statisches Modell, es verwendet keine Algorithmen des maschinellen Lernens, um Vorhersagen zu berechnen. Es trifft Vorhersagen auf der Basis von Annahmen, z.B. dass es keine Lehrtätigkeit gibt, wenn keine Teilnehmer/innen im Kurs eingeschrieben sind.
Modelle anlegen und bearbeiten
Sie können neue Modelle anlegen, indem Sie die Analytics API verwenden, ein auf einer anderen Moodle-Site exportiertes Modell importieren oder die neue Oberfläche in Moodle verwenden.
Wenn Sie ein Standardmodell (aus dem Standardpaket von Moodle) löschen, dann können Sie es über das Menü Neues Modell' wiederherstellen. (Hinweis: Statische Modelle können derzeit nicht über die Moodle-Oberfläche angelegt werden).
Es gibt vier Modell-Komponenten, die über die Moodle-Oberfläche definiert werden können:
Ziel
Ziele repräsentieren einen "bekannten Nutzen" - etwas, was einen bewiesenen Wert hat. Ziele müssen sorgfältig entworfen werden, damit sie mit den Prioritäten der Curricula der Bildungseinrichtung in Einklang stehen. Jedes Modell hat ein einzelnes Ziel. Durch die Wahl des Ziels wird automatisch der Kontext festgelegt, in dem das Ziel analysiert wird. Siehe Analytics-Ziele für mehr Informationen.
Indikatoren
Indikatoren sind Datenpunkte, die dabei helfen, Ziele vorherzusagen. Es steht uns frei, viele Indikatoren zu einem Modell hinzuzufügen um herauszufinden, ob sie ein Ziel vorhersagen - die einzige Einschränkung ist, dass die Daten in Moodle verfügbar sein und eine Verbindung zum Kontext des Modells (z.B. ein/e Nutzer/in, ein Kurs usw.) haben müssen. Der Trainingsprozess des maschinellen Lernens legt fest, wie viel Gewicht jeder einzelne Indikator im Modell bekommt.
Wir wollen sicherstellen, dass alle Indikatoren, die in ein Modell einfließen, einen klaren Zweck haben und von den Beteiligten interpretiert werden können, insbesondere wenn sie verwendet werden, um vorgeschriebene oder diagnostische Entscheidungen zu treffen.
Indikatoren werden aus Daten konstruiert, aber die Datenpunkte müssen verarbeiten werden, um konsistente, wiederverwendbare Indikatoren zu erzeugen. In vielen Fällen werden Events gezählt oder auf eine bestimmte Art und Weise kombiniert. Es gibt jedoch auch andere Möglichkeiten, Indikatoren zu definieren; diese werden später diskutiert. Wie die Datenpunkte verarbeitet werden ist mit wichtigen Annahmen verbunden, die sich auf die Indikatoren auswirken. Insbesondere können Indikatoren absolut sein, d.h. der Wert des Indikators bleibt derselbe unabhängig davon, welche anderen Stichproben in einem Kontext vorliegen. Indikatoren können auch relativ sein, d.h. der Indikator vergleicht verschiedene Stichproben in einem Kontext.
Siehe Analytics-Indikatoren für mehr Informationen.
Zeitaufteilungsmethode
Die Analyseintervalle steuern, wie oft ein Modell ausgewertet wird, um Vorhersagen zu erstellen und wie viele Informationen in jedem Zyklus in die Auswertung einbezogen werden. Standardmäßig sind zwei Zeitintervalle aktiviert: "Viertel" und "Alle vorherigen Viertel" (früher "Viertel akkumuliert"). Das Moodle-Standardpaket bietet auch die Optionen "Zehntel" und "Zehntel akkumuliert", wenn die Moodle-Administration diese systemweit aktiviert hat. Diese Optionen generieren Vorhersagen in kürzeren Abständen.
- Einzeln bedeutet, dass eine Vorhersage einmalig berechnet wird, aber es wird dabei eine bestimmte Zeitspanne berücksichtigt. Die Vorhersage wird am Ende der Zeitspanne berechnet, z.B. am Ende eines Kurses.
- Nächste drei Tage / Woche / zwei Wochen bedeutet, dass das Modell Einschätzungen auf der Basis der Daten, die zu einem gegebenen Zeitpunkt vorliegen, generiert. Z.B. schaut das Modell "Keine Lehrtätigkeit", ob es zum jetzigen Zeitpunkt eine Woche vor Kursbeginn Einschreibungen von Trainer/innen und Teilnehmer/innen in einem Kurs gibt und schickt dann eine Warnung an die Moodle-Administration, dass es in diesem leeren Kurs wahrscheinlich keine Lehrtätigkeit geben wird.
- Alle vorherigen ... (früher "akkumuliert") und Letztes ... unterscheiden sich darin, wie viele Informationen in die Vorhersage einbezogen werden. Bei beiden Optionen "Alle vorherigen Viertel" (früher "Viertel akkumuliert") und "Letztes Viertel" werden Vorhersagen am Ende eines Viertels einer Zeitspanne (z.B. einer Kurslaufzeit) generiert, wobei bei "Letztes Viertel" nur Informationen aus dem gerade vergangenen Viertel einbezogen werden, während bei "Alle vorherigen Viertel" alle Informationen aus allen vorangegangenen Viertel bis zum aktuellen Zeitpunkt verwendet werden.
Die Methoden "Einzeln" und "Keine Zeitaufteilung" haben keine Zeitbeschränkungen. Die Vorhersagen werden beim nächsten geplanten Vorgang berechnet, gleichwohl wenden die Modell verschiedene Bedingungen an, um Vorhersagen zu erstellen (z.B. Bedingung, dass ein Kurs abgeschlossen ist, wenn er zum Trainieren des Modells verwendet werden soll oder die Bedingung, dass bestimmte Daten im Kurts vorliegen müssen und Teilnehmer/innen diese Daten verwenden). Die Zeiteinteilungsmethoden "Einzeln" und "Keine Zeitaufteilung" sind nicht geeignet, um Teilnehmer/innen zu identifizieren, die gefährdet sind auszusteigen. Sie sind gedacht für Modelle wie "Keine Lehrtätigkeit" oder "Spammer", in denen nur eine Vorhersage pro Stichprobe berechnet wird. Z.B. kann das Modell "Keine Lehrtätigkeit" die Zeitaufteilungsmethode "Einzeln" verwenden; die Zielklasse (das ist die Haupt-PHP-Klasse des Modells) akzeptiert nur Kurse, die in der kommenden Woche beginnen; die Vorhersage wird dann für alle diese Kurse einmalig berechnet, d.h. die Einschätzung "Keine Lehrtätigkeit" für einen Kurs wird später nicht noch einmal für diesen Kurs berechnet.
Der Unterschied zwischen den Methoden "Einzeln" und "Keine Zeitaufteilung" besteht darin, dass Modelle, die mit der Methode "Einzeln" analysiert wurden, auf die analysierbaren Elemente beschränkt sind (z.B. auf Kursbeginn- und Kursende-Daten im Fall des Modells "Teilnehmer/innen, die gefährdet sind auszusteigen"), während es bei der Zeitaufteilungsmethode "Keine Zeitaufteilung" keine zeitlichen Einschränkungen gibt und alle im System verfügbaren Daten zur Berechnung der Indikatoren verwendet werden.
Anmerkung: Obwohl alle oben beschriebenen Beispiele sich auf Kurse beziehen, können Zeitaufteilungsmethoden auch auf andere analysierbare Elemente bezogen werden. Z.B. können Kurseinschreibungen ein Beginn- und ein Endedatum haben, so dass die Zeitaufteilungsmethode verwendet werden kann, um Vorhersagen in Bezug auf Aspekte der Kurseinschreibung zu machen. Für analysierbare Elemente ohne Beginn- und Endedatum sind andere Zeitaufteilungsmethoden erforderlich. Z.B. könnte eine "wöchentliche" Zeitaufteilungsmethode in einem Modell verwendet werden, das auf der Basis von Daten über seine Aktivitäten in der vergangenen Woche vorhersagt, ob eine Person sich in der Zukunft im System anmelden wird.
Vorhersage-Prozessor
Diese Einstellung legt fest, welches Backend und welcher Algorithmus für maschinelles Lernen verwendet werden, um das Modell auszuwerten. Moodle stellt derzeit zwei Vorhersage-Prozessoren zur Verfügung:
- PHP-Backend für maschinelles Lernen - implementiert logistische Regression unter Verwendung von php-ml (beigesteuert durch Moodle)
- Python-Backend für maschinelles Lernen - implementiert ein einschichtiges Feedforward-Netz unter Verwendung von TensorFlow.
Sie können nur solche Prozessoren auswählen, die die Moodle-Administration systemweit aktiviert hat.
Jeder Vorhersage-Prozessor kann zukünftig mehrere Algorithmen unterstützen.
Modellnamen ändern
Der Modellname wird verwendet, um die Einschätzungen zu identifizieren, die das Modell generiert. Er ist standardmäßig derselbe wie der Zielname. Sie können den Modellnamen ändern, indem Sie in der Liste der Modelle auf das Stift-Symbol neben dem entsprechenden Modellnamen klicken.
Modelle trainieren
Modelle, die auf maschinellem Lernen basieren, müssen mit älteren Daten der Moodle-Site trainiert werden. Statische Modelle verwenden vordefinierte Regeln und müssen nicht trainiert werden.
Es gibt zwei Hauptkategorien von Analytics-Modellen, die auf maschinellem Lernen basieren: überwachte und nicht überwachte.
- Überwachte Modelle müssen mit Daten trainiert werden, wobei die Zielwerte bereits identifiziert sind. Wenn das Modell z.B. den Kursabschluss vorhersagen soll, muss das Modell mit Kursen und Einschreibungen trainiert werden, bei denen der Kursabschluss-Status bekannt ist.
- Nicht überwachte Modelle suchen nach Mustern in vorhandenen Daten, z.B. klassifizieren sie Teilnehmer/innen nach Ähnlichkeiten in ihrem Verhalten im Kurs.
Zum jetzigen Zeitpunkt unterstützt Moodle Learning Analytics nur überwachte Modelle.
Wir hoffen, dass wir in Zukunft bereits trainierte Modelle im Standardpaket von Moodle bereitstellen können, derzeit haben wir jedoch noch nicht genügend Daten, um Modelle für eine externe Nutzung zu trainieren. (Wenn Sie unsere Bemühungen unterstützen und Daten bereitstellen möchten, wenden Sie sich bitte an die Moodle Learning Analytics Working Group.)
Trainingsdaten
Der Modell-Code enthält Kriterien für Trainingsdatensätze und für Vorhersagedatensätze. Z.B. können nur vergangene Kurse mit eingeschriebenen Teilnehmer/innen und einem Kursende-Datum verwendet werden, um das Modell Teilnehmer/innen sind gefährdet auszusteigen zu trainieren, weil es nicht möglich ist einzuschätzen, ob jemand aussteigt, bevor der Kurs zu Ende ist. Andererseits muss es einen Kurs mit eingeschriebenen Teilnehmer/innen geben, der begonnen hat, aber noch nicht beendet ist, um für dieses Modell eine Vorhersage zu generieren.
Der Trainingsdatensatz wird im PHP-Code für das Ziel definiert. Modelle können nur trainiert werden, wenn eine Moodle-Site genügend Daten enthält, die die Trainingskriterien erfüllen. Die meisten Modelle benötigen Moodle-Logdaten aus dem Zeitraum, in dem die Events liegen, die analysiert werden sollen. Z.B. kann das Modell Teilnehmer/innen sind gefährdet auszusteigen nur trainiert werden, wenn Logdaten zu Teilnehmeraktivitäten in Kursen, die die Trainingskriterien erfüllen, vorliegen. Es ist möglich, die Modelle in einem "archivierten" System zu trainieren und die Modelle anschließend im Produktivsystem zu verwenden.
Modellauswertung anstoßen
Das passiert normalerweise im Hintergrund durch eine Reihe von geplanten Vorgängen, aber Sie können diesen Prozess auch über das Modell-Menü anstoßen.
Das Modell sammelt dann alle Trainingsdaten, die auf der Moodle-Site verfügbar sind, berechnet alle Indikatoren und das Ziel und sendet die sich daraus ergebenden Datensätze an die Backends des maschinellen Lernens. Dieser Prozess teilt die Datensätze in Trainingsdaten und Testdaten auf und berechnet die Genuaigkeit des Modells. Beachten Sie, dass der Auswertungsprozess alle Daten verwendet, die in der Moodle-Site verfügbar sind, auch wenn sie sehr alt sind. Deshalb kann die berechnete Genauigkeit des Modells kleiner sein als die tatsächliche Genauigkeit, da die Indikatoren zuverlässiger berechnet werden, direkt nachdem Trainingsdaten verfügbar sind, da der Site-Zustand sich ständig ändert. Die Metrik, die zur Berechnung der Genauigkeit verwendet wird, ist der Matthews Correlation Coefficient (eine Metrik, die im maschinellen Lernen zur Berechnung binärer Klassifikationen verwendet wird).
Sie können die Modellauswertung auch von Kommandozeile aus starten:
$ admin/tool/analytics/cli/evaluate_model.php
Auswertungsergebnisse überprüfen
Sie können die Ergebnisse des Modell-Trainingsprozesses ansehen, indem Sie über das Modell-Menü auf die Auswertungslogdaten zugreifen.
Prüfen Sie, ob Warnungen zum Abschluss des Auswertungsprozesses, zur Modellgenauigkeit und zur Modellvariabilität vorliegen.
Sie können auch die Liste der ungültigen Elemente kontrollieren, um zu prüfen, welche Site-Elemente in die Analyse einbezogen wurden und welche nicht. Wenn Sie eine große Anzahl an unerwarteten Elementen in diesem Bericht sehen, dann kann das bedeuten, dass Sie Ihre Daten prüfen müssen. Z.B. wenn Kurse keine passenden Kursbeginn- und Kursende-Daten haben oder die Kurseinschreibungsdaten gelöscht wurden, kann das System keine Daten aus diesen Kursen in den Modell-Trainingsprozess einbeziehen.
Modelle exportieren und importieren
Modelle können aus einer Moodle-Site exportiert und in eine andere Moodle-Site importiert werden.
Modelle exportieren
Sie können Daten exportieren, um Modelle zu trainieren oder Sie können die Modellkonfiguration und die Gewichte des trainierten Modell exportieren.
Hinweis: Die Modellgewichte sind komplett anonym, sie enthalten keine personenbezogenen Daten! D.h. Sie können diese Gewichte mit anderen Forscher/innen teilen, ohne sich Gedanken zum Datenschutz machen zu müssen.
Modelle importieren
Wenn ein Modell mit Gewichten importiert wird, dann hat die Moodle-Administration die Wahl zwischen den Optionen, das trainierte Modell mit den Daten der Moodle-Site auszuwerten oder die Modellkonfiguration auszuwerten, indem das Modell erneut mit den Daten der Moodle-Site trainiert wird.