Learning Analytics

Aus MoodleDocs
Wechseln zu:Navigation, Suche

Baustelle.png Diese Seite muss überarbeitet werden, weil sie neue Funktionalitäten enthält. Greif zu!
Wenn du dich um diesen Artikel kümmern willst, dann kennzeichne das, indem du die Vorlage {{ÜberarbeitenNeu}} durch die Vorlage {{ÜberarbeitenVergeben}} ersetzt.
Wenn du mit deiner Arbeit fertig bist, dann entferne die Vorlage aus dem Artikel.
Danke für deine Mitarbeit!

Übersicht

3.7 Übersicht


Ab Moodle 3.4 implementiert Moodle auf Open Source Basis eine Learning Analytics Funktionalität. Die Implementierung verwendet Algorithmen und Verfahren des maschinellen Lernens, die über die Verfahren der einfachen deskriptiven Datenanalyse hinaus gehen. Die Funktionalität ermöglicht es, Vorhersagen über den Lernerfolg einzelner Nutzer/innen zu treffen und Diagnosen und Empfehlungen für Teilnehmer/innen und Trainer/innen bereitzustellen.

Was ist Learning Analytics?

Unter Learning Analytics versteht man Software-Algorithmen, mit deren Hilfe man auf der Basis von Daten aus der Vergangenheit und dem gegenwärtigen (Nutzer-)Verhalten unbekannte Aspekte des Lernprozesses vorhersagen oder entdecken kann. Es gibt vier Hauptkategorien von Learning Analytics:

  • beschreibende (Was ist passiert?)
  • vorhersagende (Was wird als Nächstes passieren?)
  • diagnostische (Warum ist es passiert?)
  • vorschreibende (Tue dies, um eine Verbesserung zu erreichen.)

Die meisten kommerziellen Lösungen sind nur beschreibend.Vorschreibende und proaktive Lösungen treffen bestimmte Annahmen über das Lernen, die nicht auf alle Nutzer/innen zutreffen.

Analytics versus Berichte

Moodle provides a variety of built-in reports based on log data, but they are primarily descriptive in nature -- they tell participants what happened, but not why, and they don’t predict outcomes or advise participants how to improve outcomes. Log entries, while very detailed, are not in themselves descriptive of the learning process. They tell us “who,” “what,” and “when,” but not “why” or “how well.” Much more context is needed around each micro-action to develop a pattern of engagement.

Many third-party plugins also exist for Moodle that provide descriptive analytics. There are also integrations with third-party off-site reporting solutions. Again, these primarily provide descriptive analytics that rely on human judgment to interpret reports and generate predictions and prescriptions.

Often in the past, learning analytics systems have attempted to analyze past activities to predict future activities in real time. With Moodle Learning Analytics, we are more ambitious. We believe a full learning analytics solution will help us not only predict events, but change them to be more positive.

Funktionalitäten

  • Zwei Arten von Vorhersagemodellen werden unterstützt:
    • Machine-Learning-basierte Modelle, inklusive Vorhersagemodelle
    • Statische Modelle, um auf der Basis einfacher Regeln besondere Situation zu entdecken
  • Drei standardmäßige Vorhersagemodelle: Teilnehmer/innen sind gefährdet auszusteigen, Fälligkeit von Aktivitäten und Keine Lehrtätigkeit.
  • Verschiedene Indikatoren, die das Engagement der Teilnehmer/innen messen und auf Community of Inquiry basieren.
  • Eingebaute Werkzeuge, die diese Modelle auf die Daten Ihrer Moodle-Site anwenden
  • Proaktive Benachrichtigungen von Trainer/innen über diese Nutzer/innen mit Hilfe von Moodle-Events
  • Für jedes Modell gibt es Einschätzungen und eine Liste von geeigneten Aktionen. Zum Beispiel können Trainer/innen beim Modell Teilnehmer/innen sind gefährdet auszusteigen die entsprechenden Nutzer/innen benachrichtigen oder die Aktivitätenberichte dieser Teilnehmer/innen aufrufen, um weitere Informationen über sie zu erhalten.
  • Eine API, um Indikatoren und Vorhersagemodelle für weitere Analytics-Plugins zu implementieren
  • ein Plugin-Typ Machine Learning Backend, der PHP und Python unterstützt und erweitert werden kann, um weitere Backends für maschinelles Lernen zu implementieren
  • Das System kann einfach um neue Modelle erweitert werden, die auf wiederverwendbaren Zielen, Indikatoren und anderen Komponenten basieren. Mehr Informationen finden Sie in der Analytics API Entwicklerdokumentation.

Einschränkungen

  • Die Modelle müssen vorab mit Hilfe von Daten aus bereits abgeschlossenen Kursen Ihrer Moodle-Site "trainiert" werden. Die Modelle können ohne dieses "Training" keine Vorhersagen machen.
  • Die Modellemüssen so angelegt und ausgewählt sein, dass sie den Prioritäten der Bildungseinrichtung entsprechen.

Einstellungen

Die Analytics-Funktionalität erfordert vorab einige Einstellungen. Siehe Analytics-Einstellungen für Details.

Vorhersage-Prozessor

Vorhersage-Prozessoren sind Backends für maschinelles Lernen, die Daten verarbeiten, die von den Zielen und Indikatoren generiert werden und aus diesen verarbeiteten Daten Vorhersagen generieren. Die Moodle-Standardinstallation stellt zwei Vorhersage-Prozessoren zur Verfügung:

   pip install moodlemlbackend

Zeitaufteilungsmethode

Die Zeitaufteilungsmethoden erlauben es, dass Analytics-Daten, die aus einem Kurs generiert wurden, in einem anderen Kurs verwendet werden können, selbst dann wenn die beiden Kurse nicht dieselbe Dauer haben.

Jede Zeitaufteilungsmethode unterteilt die Kursdauer in Zeitabschnitte. Am Ende jedes so definierten Zeitabschnitts läuft die Vorhersage-Engine und generiert Vorhersagen. Es wird empfohlen, nur die Zeiteinteilungsmethoden zu aktivieren, die Sie tatsächlich verwenden wollen, denn der Vorhersage-Prozess iteriert über alle aktivierten Zeitaufteilungsmethoden und dauert folglich um so länger, je mehr Methoden aktiviert sind.

Einzeln bedeutet, dass eine Vorhersage einmalig gemacht wird, d.h. am Ende eines Kurses.

Keine Zeitaufteilung bedeutet, dass das Model eine Vorhersage auf der Basis der aktuell vorliegenden Daten zu einem bestimmten Zeitpunkt berechnet ("Schnapschuss"). Z.B. schaut das Model Keine Lehrtätigkeit, ob irgendwelche Trainer/innen oder Teilnehmer/innen im Kurs eingeschrieben sind und sendet eine Warnung an die Moodle-Administration, dass in einem leeren Kurs voraussichtlich keine Lehrtätigkeit stattfinden wird.

Die akkumulaiven Methoden unterscheiden sich darin, wie viele Daten in die Vorhersage einfließen. Sowohl Viertel als auch Viertel akkumuliert liefert Vorhersagen zum Ende jedes Viertels einer Zeiteinheit (z.B. nach jedem Viertel der Dauer eines Kurses). Bei der Einstellung Viertel wird die Vorhersage jedoch nur auf Basis der Daten des gerade vergangenen Viertels berechnet, bei Viertel akkumuliert dagegen auf der Basis der Daten aller vorangegangenen Viertel. Das gilt analog für die Optionen Zehntel bzw. Zehntel akkumuliert.

Die Methoden Einzeln und Keine Zeitaufteilung haben keine Zeitbeschränkungen. Die Vorhersage-Engine wird beim nächsten geplanten Vorgang (dennoch kann das Modell Bedingungen haben, z.B. dass ein Kurs abgeschlossen sein muss, um ihn zum "trainieren" zu verwenden). Die Zeiteinteilungsmethoden Einzeln und Keine Zeitaufteilung sind nicht geeignet, um Teilnehmer/innen zu identifizieren, die gefährdet sind auszusteigen. Sie sollten stattdessen im Modell Keine Lehrtätigkeit verwendet werden oder um Nutzer/innen zu identifizieren, die Spam verursachen, d.h. in Modellen, in denen einmal eine Vorhersage gemacht wird und fertig. Z.B. kann das Modell Keine Lehrtätigkeit die Zeitaufteilungsmethode Einzeln verwenden; die Zielklasse (das ist die Haupt-PHP-Klasse des Modells) akzeptiert nur Kurse, die in der folgenden Woche beginnen; die Vorhersage wird dann für alle diese Kurse einmalig berechnet.

Der Unterschied zwischen den Methoden Einzeln und Keine Zeitaufteilung besteht darin, dass Modelle, die mit der Methode Einzeln analysiert wurden, auf die analysierbaren Elemente beschränkt sind (z.B. auf die Daten Kursbeginn und Kursende im Fall des Modells Teilnehmer/innen, die gefährdet sind auszusteigen). Bei der Zeitaufteilungsmethode Keine Zeitaufteilung gibt es keine zeitlichen Einschränkungen und alle im System verfügbaren Daten können zur Berechnung der Vorhersage verwendet werden.

Anmerkung: Obwohl alle oben beschriebenen Beispiele sich auf Kurse bezogen, können Zeitaufteilungsmethoden auch auf andere analysierbare Elemente bezogen werden. Z.B. können Kurseinschreibungen ein Beginn- und ein Endedatum haben, so dass die Zeitaufteilungsmethode verwendet werden kann, um Vorhersagen in Bezug auf Aspekte der Kurseinschreibung zu machen. Für analysierbare Elemente ohne Beginn- und Endedatum sind andere Zeitaufteilungsmethoden erforderlich. Z.B. könnte eine "wöchentliche" Zeitaufteilungsmethode in einem Modell verwendet werden, das auf der Basis von Daten über seine Aktivitäten in der vergangenen Woche vorhersagt, ob eine Person sich in der Zukunftim System anmelden wird.

Ausgabeverzeichnis

Mit dieser Einstellung legen Sie fest, wo die Daten des Machine Learning Backends gespeichert werden. Stellen Sie sicher, dass dieses Verzeichnis existiert und der Webserver dort Schreibrechte hat. Diese Einstellung kann von Moodle-Sites verwendet werden, die als Cluster betrieben werden, um ein gemeinsames Ausgabeverzeichnis zu nutzen. Dieses Verzeichnis kann von Backends für maschinelles Lernen verwendet werden, um trainierte Algorithmen zu speichern, die später zur Berechnung von Vorhersagen verwendet werden. Der Moodle-Cronjob verhindert, dass Analytics-spezifische geplante Vorgänge gleichzeitig ausgeführt werden, die die Algorithmen trainieren und daraus Vorhersagen berechnen.

Geplante Vorgänge

Die meisten Analytics-API-Prozesse werden über geplante Vorgänge ausgeführt. Die Prozesse lesen die Logdaten der Aktivitäten und benötigen etwas Zeit für die Ausführung. Es gibt die geplanten Vorgänge Trainingsmodelle und Modelle vorhersagen auf der Seite auf die Seite Website-Administration (oder im Block Einstellungen > Website-Administration) > Server > Geplante Vorgänge. Es wird empfohlen, die Ausführzeiten zu konfigurieren, so dass diese geplanten Vorgänge jede Nacht ausgeführt werden.

Modellverwaltung

Moodle kann mehrere Vorhersagemodelle gleichzeitig unterstützen, sogar im selben Kurs. Das kann verwendet werden, um die Performaz und die Genauigkeit verschiedener Modelle zu vergleichen.

Die Standardinstallation von Moodle stellt zwei Modelle bereit: Teilnehmer/innen sind gefährdet auszusteigen und Keine Lehrtätigkeit. Weitere Modelle können mit Hilfe der Analytics API hinzugefügt werden. Jedes Modell liefert eine Vorhersage eines bestimmten Ziels, basierend auf ausgewählten Indikatoren.

Die Moodle-Administration kann die Modelle auf der Seite Einstellungen > Website-Administration > Analytics > Analytics-Modelle verwalten.

Es gibt verschiedene Aktionen, die Sie auf einem Modell ausführen können:

Vorhersagen erhalten

Trainieren Sie die Algorithmen für maschinelles Lernen mit neuen Daten, die im Moodle-System verfügbar sind und erzeugen Sie daraus Vorhersagen für laufende Kurse. Vorjhersagen sind nicht beschränkt auf laufende Kurse - das hängt vom Modell ab.

Einschätzungen

Sobald Sie ein Modell mit den vorhandenen Daten Ihrer Moodle-Site trainiert haben, sehen Sie Einschätzungen (Vorhersagen) für jedes "analysierbare Element". Im Modell Teilnehmer/innen sind gefährdet auszusteigen können Sie die Einschätzungen für jeden Kurs ansehen.

Modell auswerten

Sie können das Vorhersagemodell auswerten, indem Sie alle auf der Moodle-Site verfügbaren Trainingsdaten sammeln, alle Indikatoren und alle Ziele berechnen und den daraus resultierenden Datensatz an die Machine Learning Backends weiterleiten. Bei diesem Prozess wird der Datensatz in Trainingsdaten und Testdaten aufgeteilt und daraus die Genauigkeit des Modells berechnet. Beachten Sie, dass dieser Auswertungsprozess alle Informationen verwendet, die auf der Moodle-Site verfügbar sind, selbst wenn diese sehr alt sind. Daher kann die berechnete Genauigkeit geringer sein als die tatsächliche Genauigkeit des Modells. Die Metrik, die zur Berechnung der Genauigkeit verwendet wird, ist die Matthews correlation coefficient. Das ist eine Metrik, die beim maschinellen Lernen für die Auswertung binärer Klassifikationen verwendet wird.

Sie können die Auswertung des Modell von der Kommandozeile aus starten:

$ admin/tool/analytics/cli/evaluate_model.php

Log

Hier können Sie die Logdaten früherer Auswertungen ansehen, inklusive der Modellgenauigkeit und weiterer technischer Informationen, die vom Machine Learning Backend generiert wurden, z.B. ROC Kurven, Lernkurvengraphen, den Korrelationskoeffizienten nach Matthew usw. Die Informationen, die hier verfügbar sind, hängen vom verwendeten Machine Learning Backend ab.

Bearbeiten

Sie können die Modelle bearbeiten, d.h. die Indikatoren und die Zeitaufteilung ändern. Wenn ein Modell geändert wird, werden alle vorher berechneten Vorhersagen und Einschätzen gelöscht. Modelle, die auf Annahmen beruhen (statische Modelle), können nicht berabeitet werden.

Aktivieren / Deaktivieren

geplanten Vorgänge, die die Vorhersagemodelle mit neu auf der Moodle-Site verfügbaren Daten trainieren bzw. Vorhersagen berechnen, übergehen dekativierte Modelle. Bereits berechnete Vorhersagen für ein deaktiviertes Modell sind erst wieder verfügbar, wenn das Modell wieder aktiviert ist.

Export

Sie können die Trainingsdaten Ihrer Moodle-Site exportieren und mit anderen teilen oder auf einer neuen Moodle-Site verwenden. Beim Export wird eine CSV-Datei generiert, die Modelldaten über Indikatoren und Gewichte enthält, aber keine spezifischen Daten Ihrer Moodle-Site. Wir bitten Sie um die Einreichung solcher CSV-Dateien. Das hilft uns, den Wert der Modelle auf verschiedenen Arten von Moodle-Sites zu bestimmen. Detaillierte Informationen dazu finden Sie in der Learning Analytics Community.

Ungültige Elemente

Hier sehen Sie, welche Elemente nicht für das Modell verwendet werden können. Dabei wird getrennt dargestellt, welche Elemente ungültig für das Training des Modells bzw. für die Vorhersagen sind.

Vorhersagen löschen

Damit löschen Sie alle Vorhersagen/Einschätzungen und alle Trainingsdaten.

Standardmodelle

Teilnehmer/innen sind gefährdet auszusteigen

Dieses Modell sagt voraus, welche Kursteilnehmer/innen gefährdet sind, den Kurs vorzeitig abzubrechen. Die Vorhersage basiert auf den Daten der Kursaktivität der Teilnehmer/innen. In diesem Modell ist mit "vorzeitig abbrechen" gemeint, dass "Teilnehmer/innen keine Aktivitäten im letzten Kursviertel zeigen". Das Vorhersagemodell verwendet das Modell Community of Inquiry, das auf dem Engagement der Kursteilnehmer/innen basiert und aus drei Teilen besteht:

Das Vorhersagemodell kann eine Vielzahl von Kursen analysieren, daraus Schlussfolgerungen ziehen und diese Schlussfolgerungen anwenden, um Vorhersagen für neue Kurse zu machen. Das Modell beschränkt sich insbesondere nicht auf Vorhersagen über den Lernerfolg von Teilnehmer/innen in Kopien von Kursen, die in der Vergangenheit angeboten wurden. Dennoch gibt es einige Einschränkungen:

  1. Das Modell erfordert eine gewisse Menge an Moodle-internen Daten, um daruf basierend Vorhersagen zu machen. Zum gegenwärtigen Zeitpunkt werden nur Aktivitäten, die zum Standardpaket von Moodle gehören, in die Indikatoren einbezogen. Kurse, die pro Zeitabschnitt nur wenige Standard-Aktivitäten enthalten, werden zu schwachen Vorhersagen führen. Das Modell ist am effektivsten, wenn die Kurse substantielle Online-Komponenten enthalten.
  2. Das Modell setzt voraus, das Kurse feste Daten für Beginn und Ende haben. Es ist nicht für Kurse mit fortlaufenden Einschreibungen konzipiert. In zukünftigen Moodle-Versionen werden auch Modelle bereitgestellt, die auch Kurse ohne festen Beginn und festes Ende unterstützen. Wegen dieser Einschränkung ist es sehr wichtig, für alle Kurse, die das Modell verwenden, die Daten von Kursbeginn und Kursende richtig zu setzen. Wenn dies für vergangene und laufende Kurse nicht der Fall ist, dann können die Vorhersagen nicht verlässlich sein. Da die Kurseinstellung Kursende erst ab Moodle 3.2 verfügbar war und eine Kurse in der Vergangenheit möglicherweise kein Kursbeginndatum gesetzt hatten, stellen wir ein Kommandozeilen-Tool zur Verfügung:
$ admin/tool/analytics/cli/guess_course_start_and_end.php 

Dieses Skript versucht, aus den Einschreibungen der Teilnehmer/innen und den Aktivitäten-Logdaten die Daten von Kursbeginn und Kursende zu schätzen. Wenn Sie das Skript laufen lassen, prüfen Sie bitte anschließend, ob die so bestimmten Daten von Kursbeginn und Kursende hinreichend passen.

Keine Lehrtätigkeit

Die Analysen dieses Modells informieren die Moodle-Administration darüber, in welchen Kursen keine Lehrtätigkeit in der Zukunft zu erwarten ist. Dieses Modell ist ein einfaches Modell, es nutzt kein maschinelles Lernen, um Vorhersagen zu machen. Stattdessen basieren die Vorhersagen des Modells auf Annahmen, wie z.B. dass keine Lehrtätigkeit stattfindet, wenn es im Kurs keine Kursteilnehmer/innen gibt.

Vorhersagen und Einschätzungen

Die Modelle beginnen zu verschiedenen Zeitpunkten, Vorhersagen zu generieren. Die Zeitpunkte hängen von den Modellen und den Kursbeginn- und Kursendedaten ab.

Jedes Modell definiert, welche Vorhersagen Einschätzungen generieren und welche Vorhersagen ignoriert werden. Zum Beispiel generiert das Modell Teilnehmer/innen sind gefährdet auszusteigen keine Einschätzung, wenn ein/e Kursteilnehmer/in durch die Vorhersage als "nicht gefährdet" eingestuft wurde, denn der Fokus des Modells liegt ja auf den gefährdeten Teilnehmer/innen.

Aktionen

Zu jeder Einschätzung kann es eine oder mehrere definierte Aktionen geben. Aktionen sind ein Mittel, um auf Einschätzungen zu reagieren. Solche Aktionen sind:

  • eine Mitteilung an einen Kursteilnehmenden schicken,
  • den Kursaktivität-Bericht eines Kursteilnehmenden ansehen,
  • Details der Vorhersagen ansehen.

Es gibt auch zwei wichtige allgemeine Aktionen, die für alle Einschätzungen angewendet werden können:

  • Man kann eine Einschätzung anerkennen. Damit wird die entsprechende Vorhersage in der Nutzeransicht gelöscht, d.h. die Mitteilung über eine/n bestimmte/n gefährdete/n Kursteilnehmer/in wird aus der Ansicht gelöscht.
  • Man kann eine Einschätzung als "Nicht hilfreich" markieren. Damit wird die Einschätzung ebenfalls in der Ansicht gelöscht, aber gelichzeitig wird das Modell so angepasst, dass diese Vorhersage in der Zukunft weniger wahrscheinlich ist.

insights.png

Rechte

Häufig gestellte Fragen