Die Analytics-Funktionalität erfordert vorab einige Einstellungen. Siehe [[Analytics-Einstellungen]] für Details.
Die Analytics-Funktionalität erfordert vorab einige Einstellungen. Siehe [[Analytics-Einstellungen]] für Details.
== Modellverwaltung ==
==Modelle verwalten==
Moodle kann mehrere Vorhersagemodelle gleichzeitig unterstützen, sogar im selben Kurs. Das kann verwendet werden, um die Performaz und die Genauigkeit verschiedener Modelle zu vergleichen.
Die Standardinstallation von Moodle stellt zwei Modelle bereit: ''[[Teilnehmer/innen sind gefährdet auszusteigen]]'' und ''Keine Lehrtätigkeit''. Weitere Modelle können mit Hilfe der [[dev:Analytics API| Analytics API]] hinzugefügt werden. Jedes Modell liefert eine Vorhersage eines bestimmten Ziels, basierend auf ausgewählten Indikatoren.
Die Moodle-Administration kann die Modelle auf der Seite ''Einstellungen > Website-Administration > Analytics > Analytics-Modelle'' verwalten.
Es gibt verschiedene Aktionen, die Sie auf einem Modell ausführen können:
=== Vorhersagen erhalten===
Trainieren Sie die Algorithmen für maschinelles Lernen mit neuen Daten, die im Moodle-System verfügbar sind und erzeugen Sie daraus Vorhersagen für laufende Kurse. ''Vorjhersagen sind nicht beschränkt auf laufende Kurse - das hängt vom Modell ab.''
=== Einschätzungen ===
Sobald Sie ein Modell mit den vorhandenen Daten Ihrer Moodle-Site trainiert haben, sehen Sie Einschätzungen (Vorhersagen) für jedes "analysierbare Element". Im Modell [[Teilnehmer/innen sind gefährdet auszusteigen]] können Sie die Einschätzungen für jeden Kurs ansehen.
=== Modell auswerten===
Sie können das Vorhersagemodell auswerten, indem Sie alle auf der Moodle-Site verfügbaren Trainingsdaten sammeln, alle Indikatoren und alle Ziele berechnen und den daraus resultierenden Datensatz an die Machine Learning Backends weiterleiten. Bei diesem Prozess wird der Datensatz in Trainingsdaten und Testdaten aufgeteilt und daraus die Genauigkeit des Modells berechnet. Beachten Sie, dass dieser Auswertungsprozess alle Informationen verwendet, die auf der Moodle-Site verfügbar sind, selbst wenn diese sehr alt sind. Daher kann die berechnete Genauigkeit geringer sein als die tatsächliche Genauigkeit des Modells. Die Metrik, die zur Berechnung der Genauigkeit verwendet wird, ist die ''[https://en.wikipedia.org/wiki/Matthews_correlation_coefficient Matthews correlation coefficient]''. Das ist eine Metrik, die beim maschinellen Lernen für die Auswertung binärer Klassifikationen verwendet wird.
Sie können die Auswertung des Modell von der Kommandozeile aus starten:
$ admin/tool/analytics/cli/evaluate_model.php
=== Log ===
Hier können Sie die Logdaten früherer Auswertungen ansehen, inklusive der Modellgenauigkeit und weiterer technischer Informationen, die vom Machine Learning Backend generiert wurden, z.B. ROC Kurven, Lernkurvengraphen, den Korrelationskoeffizienten nach Matthew usw. Die Informationen, die hier verfügbar sind, hängen vom verwendeten Machine Learning Backend ab.
=== Bearbeiten ===
Sie können die Modelle bearbeiten, d.h. die Indikatoren und die Zeitaufteilung ändern. Wenn ein Modell geändert wird, werden alle vorher berechneten Vorhersagen und Einschätzen gelöscht. Modelle, die auf Annahmen beruhen (statische Modelle), können nicht berabeitet werden.
=== Aktivieren / Deaktivieren ===
[[Geplante Vorgänge|geplanten Vorgänge]], die die Vorhersagemodelle mit neu auf der Moodle-Site verfügbaren Daten trainieren bzw. Vorhersagen berechnen, übergehen dekativierte Modelle. Bereits berechnete Vorhersagen für ein deaktiviertes Modell sind erst wieder verfügbar, wenn das Modell wieder aktiviert ist.
=== Export ===
Sie können die Trainingsdaten Ihrer Moodle-Site exportieren und mit anderen teilen oder auf einer neuen Moodle-Site verwenden. Beim Export wird eine CSV-Datei generiert, die Modelldaten über Indikatoren und Gewichte enthält, aber keine spezifischen Daten Ihrer Moodle-Site. Wir bitten Sie um die Einreichung solcher CSV-Dateien. Das hilft uns, den Wert der Modelle auf verschiedenen Arten von Moodle-Sites zu bestimmen. Detaillierte Informationen dazu finden Sie in der [https://moodle.org/project_inspire Learning Analytics Community].
=== Ungültige Elemente ===
Hier sehen Sie, welche Elemente nicht für das Modell verwendet werden können. Dabei wird getrennt dargestellt, welche Elemente ungültig für das Training des Modells bzw. für die Vorhersagen sind.
=== Vorhersagen löschen ===
Damit löschen Sie alle Vorhersagen/Einschätzungen und alle Trainingsdaten.
=== Standardmodelle ===
==== Teilnehmer/innen sind gefährdet auszusteigen ====
[[Teilnehmer/innen sind gefährdet auszusteigen|Dieses Modell]] sagt voraus, welche Kursteilnehmer/innen gefährdet sind, den Kurs vorzeitig abzubrechen. Die Vorhersage basiert auf den Daten der Kursaktivität der Teilnehmer/innen. In diesem Modell ist mit "vorzeitig abbrechen" gemeint, dass "Teilnehmer/innen keine Aktivitäten im letzten Kursviertel zeigen". Das Vorhersagemodell verwendet das Modell [https://en.wikipedia.org/wiki/Community_of_inquiry Community of Inquiry], das auf dem Engagement der Kursteilnehmer/innen basiert und aus drei Teilen besteht:
* [[Teilnehmer/innen sind gefährdet auszusteigen#Kognitive Tiefe|Kognitive Präsenz]]
* [[Teilnehmer/innen sind gefährdet auszusteigen#Soziale Breite|Soziale Präsenz]]
* [[Teilnehmer/innen sind gefährdet auszusteigen#Potentielle Indikatoren für ausgewählte Aktivitäten|Trainerpräsenz]]
Das Vorhersagemodell kann eine Vielzahl von Kursen analysieren, daraus Schlussfolgerungen ziehen und diese Schlussfolgerungen anwenden, um Vorhersagen für neue Kurse zu machen. Das Modell beschränkt sich insbesondere nicht auf Vorhersagen über den Lernerfolg von Teilnehmer/innen in Kopien von Kursen, die in der Vergangenheit angeboten wurden. Dennoch gibt es einige Einschränkungen:
# Das Modell erfordert eine gewisse Menge an Moodle-internen Daten, um daruf basierend Vorhersagen zu machen. Zum gegenwärtigen Zeitpunkt werden nur Aktivitäten, die zum Standardpaket von Moodle gehören, in die [[Teilnehmer/innen sind gefährdet auszusteigen#Indikatoren|Indikatoren]] einbezogen. Kurse, die pro Zeitabschnitt nur wenige Standard-Aktivitäten enthalten, werden zu schwachen Vorhersagen führen. Das Modell ist am effektivsten, wenn die Kurse substantielle Online-Komponenten enthalten.
# Das Modell setzt voraus, das Kurse feste Daten für Beginn und Ende haben. Es ist nicht für Kurse mit fortlaufenden Einschreibungen konzipiert. In zukünftigen Moodle-Versionen werden auch Modelle bereitgestellt, die auch Kurse ohne festen Beginn und festes Ende unterstützen. Wegen dieser Einschränkung ist es sehr wichtig, für alle Kurse, die das Modell verwenden, die Daten von Kursbeginn und Kursende richtig zu setzen. Wenn dies für vergangene und laufende Kurse nicht der Fall ist, dann können die Vorhersagen nicht verlässlich sein. Da die Kurseinstellung ''Kursende'' erst ab Moodle 3.2 verfügbar war und eine Kurse in der Vergangenheit möglicherweise kein Kursbeginndatum gesetzt hatten, stellen wir ein Kommandozeilen-Tool zur Verfügung:
Dieses Skript versucht, aus den Einschreibungen der Teilnehmer/innen und den Aktivitäten-Logdaten die Daten von Kursbeginn und Kursende zu schätzen. Wenn Sie das Skript laufen lassen, prüfen Sie bitte anschließend, ob die so bestimmten Daten von Kursbeginn und Kursende hinreichend passen.
==== Keine Lehrtätigkeit ====
Die Analysen dieses Modells informieren die Moodle-Administration darüber, in welchen Kursen keine Lehrtätigkeit in der Zukunft zu erwarten ist. Dieses Modell ist ein einfaches Modell, es nutzt kein maschinelles Lernen, um Vorhersagen zu machen. Stattdessen basieren die Vorhersagen des Modells auf Annahmen, wie z.B. dass keine Lehrtätigkeit stattfindet, wenn es im Kurs keine Kursteilnehmer/innen gibt.
==Vorhersagen und Einschätzungen ==
==Vorhersagen und Einschätzungen ==
Version vom 25. Juli 2019, 08:49 Uhr
Diese Seite muss überarbeitet werden, weil sie neue Funktionalitäten enthält. Greif zu! Wenn du dich um diesen Artikel kümmern willst, dann kennzeichne das, indem du die Vorlage {{ÜberarbeitenNeu}} durch die Vorlage {{ÜberarbeitenVergeben}} ersetzt. Wenn du mit deiner Arbeit fertig bist, dann entferne die Vorlage aus dem Artikel. Danke für deine Mitarbeit!
Ab Moodle 3.4 implementiert Moodle auf Open Source Basis eine Learning Analytics Funktionalität. Die Implementierung verwendet Algorithmen und Verfahren des maschinellen Lernens, die über die Verfahren der einfachen deskriptiven Datenanalyse hinaus gehen. Die Funktionalität ermöglicht es, Vorhersagen über den Lernerfolg einzelner Nutzer/innen zu treffen und Diagnosen und Empfehlungen für Teilnehmer/innen und Trainer/innen bereitzustellen.
Was ist Learning Analytics?
Unter Learning Analytics versteht man Software-Algorithmen, mit deren Hilfe man auf der Basis von Daten aus der Vergangenheit und dem gegenwärtigen (Nutzer-)Verhalten unbekannte Aspekte des Lernprozesses vorhersagen oder entdecken kann. Es gibt vier Hauptkategorien von Learning Analytics:
beschreibende (Was ist passiert?)
vorhersagende (Was wird als Nächstes passieren?)
diagnostische (Warum ist es passiert?)
vorschreibende (Tue dies, um eine Verbesserung zu erreichen.)
Die meisten kommerziellen Lösungen sind nur beschreibend.Vorschreibende und proaktive Lösungen treffen bestimmte Annahmen über das Lernen, die nicht auf alle Nutzer/innen zutreffen.
Analytics versus Berichte - ÜBERSETZEN!!!
Moodle provides a variety of built-in reports based on log data, but they are primarily descriptive in nature -- they tell participants what happened, but not why, and they don’t predict outcomes or advise participants how to improve outcomes. Log entries, while very detailed, are not in themselves descriptive of the learning process. They tell us “who,” “what,” and “when,” but not “why” or “how well.” Much more context is needed around each micro-action to develop a pattern of engagement.
Many third-party plugins also exist for Moodle that provide descriptive analytics. There are also integrations with third-party off-site reporting solutions. Again, these primarily provide descriptive analytics that rely on human judgment to interpret reports and generate predictions and prescriptions.
Often in the past, learning analytics systems have attempted to analyze past activities to predict future activities in real time. With Moodle Learning Analytics, we are more ambitious. We believe a full learning analytics solution will help us not only predict events, but change them to be more positive.
Funktionalitäten
Zwei Arten von Vorhersagemodellen werden unterstützt:
Eingebaute Werkzeuge, die diese Modelle auf die Daten Ihrer Moodle-Site anwenden
Proaktive Benachrichtigungen von Trainer/innen über diese Nutzer/innen mit Hilfe von Moodle-Events
Für jedes Modell gibt es Einschätzungen und eine Liste von geeigneten Aktionen. Zum Beispiel können Trainer/innen beim Modell Teilnehmer/innen sind gefährdet auszusteigen die entsprechenden Nutzer/innen benachrichtigen oder die Aktivitätenberichte dieser Teilnehmer/innen aufrufen, um weitere Informationen über sie zu erhalten.
Eine API, um Indikatoren und Vorhersagemodelle für weitere Analytics-Plugins zu implementieren
ein Plugin-Typ Machine Learning Backend, der PHP und Python unterstützt und erweitert werden kann, um weitere Backends für maschinelles Lernen zu implementieren
Das System kann einfach um neue Modelle erweitert werden, die auf wiederverwendbaren Zielen, Indikatoren und anderen Komponenten basieren. Mehr Informationen finden Sie in der Analytics API Entwicklerdokumentation.
Einschränkungen
Die Modelle müssen vorab mit Hilfe von Daten aus bereits abgeschlossenen Kursen Ihrer Moodle-Site "trainiert" werden. Die Modelle können ohne dieses "Training" keine Vorhersagen machen.
Die Modellemüssen so angelegt und ausgewählt sein, dass sie den Prioritäten der Bildungseinrichtung entsprechen.
Einstellungen
Die Analytics-Funktionalität erfordert vorab einige Einstellungen. Siehe Analytics-Einstellungen für Details.
Modelle verwalten
Vorhersagen und Einschätzungen
Die Modelle beginnen zu verschiedenen Zeitpunkten, Vorhersagen zu generieren. Die Zeitpunkte hängen von den Modellen und den Kursbeginn- und Kursendedaten ab.
Jedes Modell definiert, welche Vorhersagen Einschätzungen generieren und welche Vorhersagen ignoriert werden. Zum Beispiel generiert das Modell Teilnehmer/innen sind gefährdet auszusteigen keine Einschätzung, wenn ein/e Kursteilnehmer/in durch die Vorhersage als "nicht gefährdet" eingestuft wurde, denn der Fokus des Modells liegt ja auf den gefährdeten Teilnehmer/innen.
Aktionen
Zu jeder Einschätzung kann es eine oder mehrere definierte Aktionen geben. Aktionen sind ein Mittel, um auf Einschätzungen zu reagieren. Solche Aktionen sind:
eine Mitteilung an einen Kursteilnehmenden schicken,
Es gibt auch zwei wichtige allgemeine Aktionen, die für alle Einschätzungen angewendet werden können:
Man kann eine Einschätzung anerkennen. Damit wird die entsprechende Vorhersage in der Nutzeransicht gelöscht, d.h. die Mitteilung über eine/n bestimmte/n gefährdete/n Kursteilnehmer/in wird aus der Ansicht gelöscht.
Man kann eine Einschätzung als "Nicht hilfreich" markieren. Damit wird die Einschätzung ebenfalls in der Ansicht gelöscht, aber gelichzeitig wird das Modell so angepasst, dass diese Vorhersage in der Zukunft weniger wahrscheinlich ist.
Diese Seite muss überarbeitet werden, weil sie neue Funktionalitäten enthält. Greif zu!
