Analytics

Übersicht

Video laden

YouTube

YouTube sammelt möglicherweise persönliche Daten. Datenschutzrichtlinie

FortfahrenAusblenden

Analytics Übersicht

Ab Moodle 3.4 implementiert Moodle auf Open Source Basis eine Learning Analytics Funktionalität. Die Implementierung verwendet Algorithmen und Verfahren des maschinellen Lernens, die über die Verfahren der einfachen deskriptiven Datenanalyse hinaus gehen. Die Funktionalität ermöglicht es, Vorhersagen über den Lernerfolg einzelner Nutzer/innen zu treffen und Diagnosen und Empfehlungen für Teilnehmer/innen und Trainer/innen bereitzustellen.

In Moodle 3.4 sind zwei Modelle implementiert:

• Teilnehmer/innen sind gefährdet auszusteigen
• Keine Lehrtätigkeit

Die Analytics Funktionalität kann um weitere Modelle erweitert werden. Die Modelle müssen auf wiederverwendbaren Zielen, Indikatoren und anderen Komponenten basieren. Mehr Informationen dazu finden Sie in der Entwickler-Dokumentation unter Analytics API (englisch).

Funktionalitäten

• Zwei Vorhersagemodelle: Teilnehmer/innen sind gefährdet auszusteigen und Keine Lehrtätigkeit
• Indikatoren, die das Engagement der Teilnehmer/innen messen und auf Community of Inquiry basieren.
• Eingebaute Werkzeuge, die diese Modelle auf die Daten Ihrer Moodle-Site anwenden und auf diese Weise z.B. Nutzer/innen identifizieren, die gefährdet sind auszusteigen
• Proaktive Benachrichtigungen von Trainer/innen über diese Nutzer/innen mit Hilfe von Moodle-Events
• Trainer/innen können auf Basis dieser Benachrichtigungen den Kursteilnehmer/innen Mitteilungen senden, deren Aktivitätenberichte ansehen und weitere Informationen über diese Kursteilnehmer/innen einholen.
• Eine API, um Indikatoren und Vorhersagemodelle für weitere Analytics-Plugins zu implementieren
• Ein Plugin-Typ Machine Learning Backend, der PHP und Python unterstützt und erweitert werden kann, um weitere Backends für maschinelles Lernen zu implementieren

Hinweis: Für alle Analytics-Funktionalitäten ist PHP 7.x erforderlich.

Einschränkungen

Die Funktionalitäten von Moodle Analytics haben folgende Einschränkungen:

• Die Modelle müssen vorab mit Hilfe von Daten aus bereits abgeschlossenen Kursen Ihrer Moodle-Site "trainiert" werden, idealerweise unter Verwendung der Funktionalität Kursabschluss. Die derzeit implementierten Modelle können ohne dieses "Training" keine Vorhersagen machen.
• Das Vorhersagemodell in der aktuellen Moodle-Version erfordert, dass Kurse ein festes Kursbeginndatum und ein festes Kursendedatum haben. Das Modell funktioniert nicht bei Kursen mit fortlaufenden Einschreibungen. Modelle ohne diese Einschränkungen sollen in zukünftigen Moodle-Versionen verfügbar sein.
• Modelle und Vorhersagen sind derzeit nur für Trainer/innen und Administrator/innen sichtbar.

Wir arbeiten an der Weiterentwicklung der Funktionalitäten. Wenn Sie diesen Prozess unterstützen möchten, dann beteiligen Sie sich an den Diskussionen in der Moodle Learning Analytics Community. Insbesondere benötigen wir weiterhin Daten von möglichst vielen Institutionen, um unsere Modelle zu trainieren, so dass die Modelle zukünftig auch sofort auf einer Moodle-Site eingesetzt werden können, ohne sie vorab mit den lokalen Daten zu trainieren.

Einstellungen

Die Moodle-Administration kann die Analytics-Einstellungen auf der Seite Website-Administration (oder im Block Einstellungen > Website-Administration) > Analytics > Analytics-Einstellungen vornehmen.

Vorhersage-Prozessor

Vorhersage-Prozessoren sind Backends für maschinelles Lernen, die Daten verarbeiten, die von den Zielen und Indikatoren generiert werden und aus diesen verarbeiteten Daten Vorhersagen generieren. Die Moodle-Standardinstallation stellt zwei Vorhersage-Prozessoren zur Verfügung:

• Der PHP-Prozessor ist der Standardprozessor. Es gibt keine Systemvoraussetzungen, um diesen Prozessor zu verwenden.
• Der Python-Prozessor ist mächtiger. Er generiert Grafiken, die die Performanz des Modells erklären. Er erfordert zusätzliche Tools, die auf dem Moodle-Server installiert sein müssen: Python (https://wiki.python.org/moin/BeginnersGuide/Download) und das Python-Paket moodlemlbackend.

   pip install moodlemlbackend

Zeitaufteilungsmethode

Die Zeitaufteilungsmethoden erlauben es, dass Analytics-Daten, die aus einem Kurs generiert wurden, in einem anderen Kurs verwendet werden können, selbst dann wenn die beiden Kurse nicht dieselbe Dauer haben.

Jede Zeitaufteilungsmethode unterteilt die Kursdauer in Zeitabschnitte. Am Ende jedes so definierten Zeitabschnitts läuft die Vorhersage-Engine und generiert Vorhersagen. Es wird empfohlen, nur die Zeiteinteilungsmethoden zu aktivieren, die Sie tatsächlich verwenden wollen, denn der Vorhersage-Prozess iteriert über alle aktivierten Zeitaufteilungsmethoden und dauert folglich um so länger, je mehr Methoden aktiviert sind.

Einzeln bedeutet, dass eine Vorhersage einmalig gemacht wird, d.h. am Ende eines Kurses.

Keine Zeitaufteilung bedeutet, dass das Model eine Vorhersage auf der Basis der aktuell vorliegenden Daten zu einem bestimmten Zeitpunkt berechnet ("Schnapschuss"). Z.B. schaut das Model Keine Lehrtätigkeit, ob irgendwelche Trainer/innen oder Teilnehmer/innen im Kurs eingeschrieben sind und sendet eine Warnung an die Moodle-Administration, dass in einem leeren Kurs voraussichtlich keine Lehrtätigkeit stattfinden wird.

Die akkumulaiven Methoden unterscheiden sich darin, wie viele Daten in die Vorhersage einfließen. Sowohl Viertel als auch Viertel akkumuliert liefert Vorhersagen zum Ende jedes Viertels einer Zeiteinheit (z.B. nach jedem Viertel der Dauer eines Kurses). Bei der Einstellung Viertel wird die Vorhersage jedoch nur auf Basis der Daten des gerade vergangenen Viertels berechnet, bei Viertel akkumuliert dagegen auf der Basis der Daten aller vorangegangenen Viertel. Das gilt analog für die Optionen Zehntel bzw. Zehntel akkumuliert.

Die Methoden Einzeln und Keine Zeitaufteilung haben keine Zeitbeschränkungen. Die Vorhersage-Engine wird beim nächsten geplanten Vorgang (dennoch kann das Modell Bedingungen haben, z.B. dass ein Kurs abgeschlossen sein muss, um ihn zum "trainieren" zu verwenden). Die Zeiteinteilungsmethoden Einzeln und Keine Zeitaufteilung sind nicht geeignet, um Teilnehmer/innen zu identifizieren, die gefährdet sind auszusteigen. Sie sollten stattdessen im Modell Keine Lehrtätigkeit verwendet werden oder um Nutzer/innen zu identifizieren, die Spam verursachen, d.h. in Modellen, in denen einmal eine Vorhersage gemacht wird und fertig. Z.B. kann das Modell Keine Lehrtätigkeit die Zeitaufteilungsmethode Einzeln verwenden; die Zielklasse (das ist die Haupt-PHP-Klasse des Modells) akzeptiert nur Kurse, die in der folgenden Woche beginnen; die Vorhersage wird dann für alle diese Kurse einmalig berechnet.

Der Unterschied zwischen den Methoden Einzeln und Keine Zeitaufteilung besteht darin, dass Modelle, die mit der Methode Einzeln analysiert wurden, auf die analysierbaren Elemente beschränkt sind (z.B. auf die Daten Kursbeginn und Kursende im Fall des Modells Teilnehmer/innen, die gefährdet sind auszusteigen). Bei der Zeitaufteilungsmethode Keine Zeitaufteilung gibt es keine zeitlichen Einschränkungen und alle im System verfügbaren Daten können zur Berechnung der Vorhersage verwendet werden.

Anmerkung: Obwohl alle oben beschriebenen Beispiele sich auf Kurse bezogen, können Zeitaufteilungsmethoden auch auf andere analysierbare Elemente bezogen werden. Z.B. können Kurseinschreibungen ein Beginn- und ein Endedatum haben, so dass die Zeitaufteilungsmethode verwendet werden kann, um Vorhersagen in Bezug auf Aspekte der Kurseinschreibung zu machen. Für analysierbare Elemente ohne Beginn- und Endedatum sind andere Zeitaufteilungsmethoden erforderlich. Z.B. könnte eine "wöchentliche" Zeitaufteilungsmethode in einem Modell verwendet werden, das auf der Basis von Daten über seine Aktivitäten in der vergangenen Woche vorhersagt, ob eine Person sich in der Zukunftim System anmelden wird.

Ausgabeverzeichnis

Mit dieser Einstellung legen Sie fest, wo die Daten des Machine Learning Backends gespeichert werden. Stellen Sie sicher, dass dieses Verzeichnis existiert und der Webserver dort Schreibrechte hat. Diese Einstellung kann von Moodle-Sites verwendet werden, die als Cluster betrieben werden, um ein gemeinsames Ausgabeverzeichnis zu nutzen. Dieses Verzeichnis kann von Backends für maschinelles Lernen verwendet werden, um trainierte Algorithmen zu speichern, die später zur Berechnung von Vorhersagen verwendet werden. Der Moodle-Cronjob verhindert, dass Analytics-spezifische geplante Vorgänge gleichzeitig ausgeführt werden, die die Algorithmen trainieren und daraus Vorhersagen berechnen.

Geplante Vorgänge

Die meisten Analytics-API-Prozesse werden über geplante Vorgänge ausgeführt. Die Prozesse lesen die Logdaten der Aktivitäten und benötigen etwas Zeit für die Ausführung. Es gibt die geplanten Vorgänge Trainingsmodelle und Modelle vorhersagen auf der Seite auf die Seite Website-Administration (oder im Block Einstellungen > Website-Administration) > Server > Geplante Vorgänge. Es wird empfohlen, die Ausführzeiten zu konfigurieren, so dass diese geplanten Vorgänge jede Nacht ausgeführt werden.

Modellverwaltung

Moodle kann mehrere Vorhersagemodelle gleichzeitig unterstützen, sogar im selben Kurs. Das kann verwendet werden, um die Performaz und die Genauigkeit verschiedener Modelle zu vergleichen.

Die Standardinstallation von Moodle stellt zwei Modelle bereit: Teilnehmer/innen sind gefährdet auszusteigen und Keine Lehrtätigkeit. Weitere Modelle können mit Hilfe der Analytics API hinzugefügt werden. Jedes Modell liefert eine Vorhersage eines bestimmten Ziels, basierend auf ausgewählten Indikatoren.

Die Moodle-Administration kann die Modelle auf der Seite Einstellungen > Website-Administration > Analytics > Analytics-Modelle verwalten.

Es gibt verschiedene Aktionen, die Sie auf einem Modell ausführen können:

Vorhersagen erhalten

Trainieren Sie die Algorithmen für maschinelles Lernen mit neuen Daten, die im Moodle-System verfügbar sind und erzeugen Sie daraus Vorhersagen für laufende Kurse. Vorjhersagen sind nicht beschränkt auf laufende Kurse - das hängt vom Modell ab.

Einschätzungen

Sobald Sie ein Modell mit den vorhandenen Daten Ihrer Moodle-Site trainiert haben, sehen Sie Einschätzungen (Vorhersagen) für jedes "analysierbare Element". Im Modell Teilnehmer/innen sind gefährdet auszusteigen können Sie die Einschätzungen für jeden Kurs ansehen.

Modell auswerten

Sie können das Vorhersagemodell auswerten, indem Sie alle auf der Moodle-Site verfügbaren Trainingsdaten sammeln, alle Indikatoren und alle Ziele berechnen und den daraus resultierenden Datensatz an die Machine Learning Backends weiterleiten. Bei diesem Prozess wird der Datensatz in Trainingsdaten und Testdaten aufgeteilt und daraus die Genauigkeit des Modells berechnet. Beachten Sie, dass dieser Auswertungsprozess alle Informationen verwendet, die auf der Moodle-Site verfügbar sind, selbst wenn diese sehr alt sind. Daher kann die berechnete Genauigkeit geringer sein als die tatsächliche Genauigkeit des Modells. Die Metrik, die zur Berechnung der Genauigkeit verwendet wird, ist die Matthews correlation coefficient. Das ist eine Metrik, die beim maschinellen Lernen für die Auswertung binärer Klassifikationen verwendet wird.

Sie können die Auswertung des Modell von der Kommandozeile aus starten:

$ admin/tool/analytics/cli/evaluate_model.php

Log

Hier können Sie die Logdaten früherer Auswertungen ansehen, inklusive der Modellgenauigkeit und weiterer technischer Informationen, die vom Machine Learning Backend generiert wurden, z.B. ROC Kurven, Lernkurvengraphen, den Korrelationskoeffizienten nach Matthew usw. Die Informationen, die hier verfügbar sind, hängen vom verwendeten Machine Learning Backend ab.

Bearbeiten

Sie können die Modelle bearbeiten, d.h. die Indikatoren und die Zeitaufteilung ändern. Wenn ein Modell geändert wird, werden alle vorher berechneten Vorhersagen und Einschätzen gelöscht. Modelle, die auf Annahmen beruhen (statische Modelle), können nicht berabeitet werden.

Aktivieren / Deaktivieren

geplanten Vorgänge, die die Vorhersagemodelle mit neu auf der Moodle-Site verfügbaren Daten trainieren bzw. Vorhersagen berechnen, übergehen dekativierte Modelle. Bereits berechnete Vorhersagen für ein deaktiviertes Modell sind erst wieder verfügbar, wenn das Modell wieder aktiviert ist.

Export

Sie können die Trainingsdaten Ihrer Moodle-Site exportieren und mit anderen teilen oder auf einer neuen Moodle-Site verwenden. Beim Export wird eine CSV-Datei generiert, die Modelldaten über Indikatoren und Gewichte enthält, aber keine spezifischen Daten Ihrer Moodle-Site. Wir bitten Sie um die Einreichung solcher CSV-Dateien. Das hilft uns, den Wert der Modelle auf verschiedenen Arten von Moodle-Sites zu bestimmen. Detaillierte Informationen dazu finden Sie in der Learning Analytics Community.

Ungültige Elemente

Hier sehen Sie, welche Elemente nicht für das Modell verwendet werden können. Dabei wird getrennt dargestellt, welche Elemente ungültig für das Training des Modells bzw. für die Vorhersagen sind.

Vorhersagen löschen

Damit löschen Sie alle Vorhersagen/Einschätzungen und alle Trainingsdaten.

Standardmodelle

Teilnehmer/innen sind gefährdet auszusteigen

Dieses Modell sagt voraus, welche Kursteilnehmer/innen gefährdet sind, den Kurs vorzeitig abzubrechen. Die Vorhersage basiert auf den Daten der Kursaktivität der Teilnehmer/innen. In diesem Modell ist mit "vorzeitig abbrechen" gemeint, dass "Teilnehmer/innen keine Aktivitäten im letzten Kursviertel zeigen". Das Vorhersagemodell verwendet das Modell Community of Inquiry, das auf dem Engagement der Kursteilnehmer/innen basiert und aus drei Teilen besteht:

• Kognitive Präsenz
• Soziale Präsenz
• Trainerpräsenz

Das Vorhersagemodell kann eine Vielzahl von Kursen analysieren, daraus Schlussfolgerungen ziehen und diese Schlussfolgerungen anwenden, um Vorhersagen für neue Kurse zu machen. Das Modell beschränkt sich insbesondere nicht auf Vorhersagen über den Lernerfolg von Teilnehmer/innen in Kopien von Kursen, die in der Vergangenheit angeboten wurden. Dennoch gibt es einige Einschränkungen:

1. Das Modell erfordert eine gewisse Menge an Moodle-internen Daten, um daruf basierend Vorhersagen zu machen. Zum gegenwärtigen Zeitpunkt werden nur Aktivitäten, die zum Standardpaket von Moodle gehören, in die Indikatoren einbezogen. Kurse, die pro Zeitabschnitt nur wenige Standard-Aktivitäten enthalten, werden zu schwachen Vorhersagen führen. Das Modell ist am effektivsten, wenn die Kurse substantielle Online-Komponenten enthalten.
2. Das Modell setzt voraus, das Kurse feste Daten für Beginn und Ende haben. Es ist nicht für Kurse mit fortlaufenden Einschreibungen konzipiert. In zukünftigen Moodle-Versionen werden auch Modelle bereitgestellt, die auch Kurse ohne festen Beginn und festes Ende unterstützen. Wegen dieser Einschränkung ist es sehr wichtig, für alle Kurse, die das Modell verwenden, die Daten von Kursbeginn und Kursende richtig zu setzen. Wenn dies für vergangene und laufende Kurse nicht der Fall ist, dann können die Vorhersagen nicht verlässlich sein. Da die Kurseinstellung Kursende erst ab Moodle 3.2 verfügbar war und eine Kurse in der Vergangenheit möglicherweise kein Kursbeginndatum gesetzt hatten, stellen wir ein Kommandozeilen-Tool zur Verfügung:

$ admin/tool/analytics/cli/guess_course_start_and_end.php 

Dieses Skript versucht, aus den Einschreibungen der Teilnehmer/innen und den Aktivitäten-Logdaten die Daten von Kursbeginn und Kursende zu schätzen. Wenn Sie das Skript laufen lassen, prüfen Sie bitte anschließend, ob die so bestimmten Daten von Kursbeginn und Kursende hinreichend passen.

Keine Lehrtätigkeit

Die Analysen dieses Modells informieren die Moodle-Administration darüber, in welchen Kursen keine Lehrtätigkeit in der Zukunft zu erwarten ist. Dieses Modell ist ein einfaches Modell, es nutzt kein maschinelles Lernen, um Vorhersagen zu machen. Stattdessen basieren die Vorhersagen des Modells auf Annahmen, wie z.B. dass keine Lehrtätigkeit stattfindet, wenn es im Kurs keine Kursteilnehmer/innen gibt.

Vorhersagen und Einschätzungen

Die Modelle beginnen zu verschiedenen Zeitpunkten, Vorhersagen zu generieren. Die Zeitpunkte hängen von den Modellen und den Kursbeginn- und Kursendedaten ab.

Jedes Modell definiert, welche Vorhersagen Einschätzungen generieren und welche Vorhersagen ignoriert werden. Zum Beispiel generiert das Modell Teilnehmer/innen sind gefährdet auszusteigen keine Einschätzung, wenn ein/e Kursteilnehmer/in durch die Vorhersage als "nicht gefährdet" eingestuft wurde, denn der Fokus des Modells liegt ja auf den gefährdeten Teilnehmer/innen.

Aktionen

Zu jeder Einschätzung kann es eine oder mehrere definierte Aktionen geben. Aktionen sind ein Mittel, um auf Einschätzungen zu reagieren. Solche Aktionen sind:

• eine Mitteilung an einen Kursteilnehmenden schicken,
• den Kursaktivität-Bericht eines Kursteilnehmenden ansehen,
• Details der Vorhersagen ansehen.

Es gibt auch zwei wichtige allgemeine Aktionen, die für alle Einschätzungen angewendet werden können:

• Man kann eine Einschätzung anerkennen. Damit wird die entsprechende Vorhersage in der Nutzeransicht gelöscht, d.h. die Mitteilung über eine/n bestimmte/n gefährdete/n Kursteilnehmer/in wird aus der Ansicht gelöscht.
• Man kann eine Einschätzung als "Nicht hilfreich" markieren. Damit wird die Einschätzung ebenfalls in der Ansicht gelöscht, aber gelichzeitig wird das Modell so angepasst, dass diese Vorhersage in der Zukunft weniger wahrscheinlich ist.

Rechte

• Modelle verwalten
• Einschätzungen einsehen

Häufig gestellte Fragen

• Analytics FAQ