Analytics nutzen: Unterschied zwischen den Versionen

Aus MoodleDocs
Wechseln zu:Navigation, Suche
KKeine Bearbeitungszusammenfassung
 
(43 dazwischenliegende Versionen von 2 Benutzern werden nicht angezeigt)
Zeile 1: Zeile 1:
{{Analytics}}{{Übersetzen}}
{{Analytics}}
 
== Überblick ==
== Überblick ==
Die Moodle Learning Analytics API ist ein offenes System, das die Basis für eine Vielzahl von Modellen werden kann. Modelle können Indikatoren (Vorhersager), Ziele (Ausgang, den wir vorhersagen wollen), Einschätzungen (die Vorhersagen selbst), Benachrichtigungen (Mitteilungen, die aufgrund von Einschätzungen verschickt werden) und Aktionen (die den Empfänger/innen der Benachrichtigungen vorgeschlagen werden und die selbst wieder zu Indikatoren werden können) enthalten.
Die Moodle Learning Analytics API ist ein offenes System, das die Basis für eine Vielzahl von Modellen werden kann. Modelle können Indikatoren (Vorhersager), Ziele (Ausgang, den wir vorhersagen wollen), Einschätzungen (die Vorhersagen selbst), Benachrichtigungen (Mitteilungen, die aufgrund von Einschätzungen verschickt werden) und Aktionen (die den Empfänger/innen der Benachrichtigungen vorgeschlagen werden und die selbst wieder zu Indikatoren werden können) enthalten.


[[File:learning_analytics_components.png|600px]]
[[File:learning_analytics_components.png|400px]]


Most learning analytics models are not enabled by default. Enabling models for use should be done after considering the institutional goals the models are meant to support. When selecting or creating an analytics model, the following steps are important:
Die meisten Modelle sind standardmäßig deaktiviert. Die Modelle sollten erst aktiviert werden, nachdem Sie sich Gedanken darüber gemacht haben, welche Bildungsziele durch die Modelle unterstützt werden sollen. Bei der Auswahl oder dem Anlegen von Learning Analytics Modellen sind folgende Schritte wichtig:


* What outcome do we want to predict? Or what process do we want to detect? (Positive or negative)
* Welchen Ausgang wollen wir vorhersagen? Oder welchen Prozess wollen wir entdecken? (positiv oder negativ)
* How will we detect that outcome/process?
* Wie entdecken wir diesen Ausgang oder Prozess?
* What clues do we think might help us predict that outcome/process?
* Welche Anhaltspunkte können helfen, diesen Ausgang oder Prozess vorherzusagen?
* What should we do if the outcome/process is very likely? Very unlikely?
* Was sollten wir tun, wenn der Ausgang oder Prozess mit hoher Wahrscheinlichkeit eintritt oder nicht eintritt?  
* Who should be notified? What kind of notification should be sent?
* Wer sollte benachrichtigt werden? Welche Art von Benachrichtigung soll versendet werden?
* What opportunities for action should be provided on notification?
* Welche Möglichkeiten zur (Re-)Aktion sollten bei Benachrichtigung bereitgestellt werden?


Moodle can support multiple prediction models at once, even within the same course. This can be used for A/B testing to compare the performance and accuracy of multiple models.  
Moodle kann mehrere Vorhersagemodelle gleichzeitig unterstützen, sogar innerhalb ein und desselben Kurses. Das kann für A/B-Tests verwendet werden, um die Leistungsfähigkeit und Genauigkeit verschiedener Modelle zu vergleichen.


{{New features}}Moodle learning analytics supports two types of models.  
Moodle Learning Analytics unterstützt zwei Arten von Modellen.
* '''Machine-learning''' based models, including predictive models, make use of AI models trained using site history to detect or predict hidden aspects of the learning process.  
*'''Machine-Learning-basierte''' Modelle, inklusive Vorhersagemodelle, nutzen Modelle der künstlichen Intelligenz, die mit Daten aus der Moodle-Site-Historie trainiert werden, um verborgene Aspekte des Lernprozesses zu entdecken oder vorherzusagen.  
* "'''Static'''" models use a simpler, rule-based system of detecting circumstances on the Moodle site and notifying selected users.  
*'''Statische''' Modelle nutzen ein einfacheres, regel-basiertes System, um besondere Situation in der Moodle-Site zu entdecken und ausgewählte Nutzer/innen darüber zu benachrichtigen.


Moodle core ships with three models, ''[[Students at risk of dropping out]]'' and the static models ''Upcoming activities due'' and ''No teaching.'' Additional prediction models can be created by using the [[dev:Analytics API| Analytics API]] or by using the new web UI. Each model is based on the prediction of a single, specific "target," or outcome (whether desirable or undesirable), based on a number of selected indicators.
Das Standardpaket von Moodle stellt drei Modelle bereit: ''[[Teilnehmer/innen, die Gefahr laufen, aus dem Kurs auszusteigen]]'' und die statischen Modelle ''Fälligkeit für anstehende Aktivitäten'' und ''Kurse, bei denen die Gefahr besteht, dass sie nicht beginnen''. Sie können weitere Vorhersagemodelle anlegen, indem Sie die  [[dev:Analytics API| Analytics API]] oder die neue grafische Oberfläche verwenden. Jedes Modell basiert auf der Vorhersage eines einzelnen, spezifischen Ziels oder Ausgangs (der entweder erwünscht oder unerwünscht ist) und zu dem eine Reihe von ausgewählten Indikatoren gehören.


You can view and manage your system models from ''Site Administration > Analytics > Analytics models''.
Sie können die Modelle auf der Seite ''Website-Administration > Analytics > Analytics-Modelle'' ansehen und verwalten.


[[File:manage_models.png|thumb]]
[[File:manage_models.png|400px]]


== Existing models ==
== Vorhandene Modelle ==
Moodle core ships with three models, [[Students at risk of dropping out]] and the static models Upcoming activities due and No teaching. Other models can be added to your system by installing plugins or by using the web UI (see below). Existing models can be examined and altered from the "Analytics models" page in Site administration:
Das Moodle-Standardpaket enthält drei Vorhersagemodelle: ''[[Teilnehmer/innen, die Gefahr laufen, aus dem Kurs auszusteigen]]'' sowie die statischen Modelle ''Fälligkeit für anstehende Aktivitäten'' und ''Kurse, bei denen die Gefahr besteht, dass sie nicht beginnen''. Weitere Modelle können durch Installation eines Plugins oder über die grafische Oberfläche (siehe unten) hinzugefügt werden. Vorhandene Modelle können auf der Seite ''Website-Administration > Analytics > Analytics-Modelle'' untersucht und geändert werden.
[[File:analytics_models.png|thumb]]


These are some of the actions you can perform on an existing model:
[[File:analytics_models.png|400px]]


* '''Get predictions''' Train machine learning algorithms with the new data available on the system and get predictions for ongoing courses. ''Predictions are not limited to ongoing courses-- this depends on the model.''
Für vorhandene Modelle können Sie u.a. folgende Aktionen durchführen:
* '''Vorhersagen erstellen''': Trainieren Sie die Algorithmen des maschinellen Lernens mit neuen Daten der Moodle-Site und generieren Sie Vorhersagen für laufende Kurse. ''Vorhersagen sind nicht auf laufende Kurse beschränkt - das hängt vom Modell ab.''
* '''Einschätzungen ansehen''': Sobald Sie die Algorithmen des maschinellen Lernens mit neuen Daten der Moodle-Site trainiert haben, sehen Sie Einschätzungen (Vorhersagen) für jedes analysierbare Element. Im Standardmodell ''[[Teilnehmer/innen, die Gefahr laufen, aus dem Kurs auszusteigen]]'' können die Einschätzungen pro Kurs ausgewählt werden. ''Vorhersagen sind nicht auf laufende Kurse beschränkt - das hängt vom Modell ab.''
* '''Auswerten''': Das passiert normalerweise im Hintergrund als eine Reihe von geplanten Vorgängen, siehe weiter unten.
* '''Log''' Schauen Sie sich vorherige Auswertungslogdaten an, inklusive der Modellgenauigkeit und anderer technischer Informationen, die von den Backends des maschinellen Lernens berechnet wurden, wie z.B. [https://de.wikipedia.org/wiki/ROC-Kurve ROC-Kurven], Lernkurven-Graphen oder der Matthews Correlation Coefficient des Modells. Die verfügbare Information hängt vom verwendeten Backend des maschinellen Lernens ab.


* '''View Insights''' Once you have trained a machine learning algorithm with the data available on the system, you will see insights (predictions) here for each "analysable." In the included model "[[Students at risk of dropping out]], insights may be selected per course. ''Predictions are not limited to ongoing courses-- this depends on the model.''
[[File:log_info.png|400px]]


* '''Evaluate''' This is normally done in the background as a series of scheduled tasks, but you can trigger the start of the process with this menu. Evaluate the prediction model by getting all the training data available on the site, calculating all the indicators and the target and passing the resulting dataset to machine learning backends. This process will split the dataset into training data and testing data and calculate its accuracy. Note that the evaluation process uses all information available on the site, even if it is very old. Because of this, the accuracy returned by the evaluation process may be lower than the real model accuracy as indicators are more reliably calculated immediately after training data is available because the site state changes over time. The metric used to describe accuracy is the ''[https://en.wikipedia.org/wiki/Matthews_correlation_coefficient Matthews correlation coefficient]'' (a metric used in machine learning for evaluating binary classifications)
* '''Bearbeiten''': Sie können die Modelle bearbeiten, indem Sie die Liste der Indikatoren oder die Zeitaufteilungsmethode ändern. Wenn das Modell geändert wird, werden alle früheren Vorhersagen gelöscht. Modelle, die auf Annahmen basieren (statische Modelle), können nicht bearbeitet werden.
* '''Aktivieren / Deaktivieren''': Der geplante Vorgang, der die Algorithmen des maschinellen Lernens mit neuen auf der Moodle-Site verfügbaren Daten trainiert und Vorhersagen für laufende Kurse erstellt, übergeht deaktivierte Modelle. Frühere Vorhersagen, die von deaktivierten Modellen berechnet wurden, sind nicht verfügbar, solange das Modell nicht wieder aktiviert wird.
* '''Exportieren''': Exportieren Sie die Trainingsdaten Ihrer Moodle-Site, um sie mit Partnereinrichtungen zu teilen oder in neuen Moodle-Sites zu verwenden. Beim Exportieren wird eine CSV-Datei generiert, die die Modelldaten zu Indikatoren und Gewichten enthält, ohne irgendwelche spezifischen Daten Ihrer Moodle-Site offenzulegen. Wir bitten Sie, uns solche CSV-Dateien zu schicken, um den Wert der Modelle für verschiedenen Arten von Moodle-Sites zu beurteilen. Siehe [https://moodle.org/project_inspire Learning Analytics Community] für mehr Informationen.


You can also force the model evaluation process to run from the command line:
* '''Ungültige Elemente''': Gibt an, welche Elemente auf Ihrer Moodle-Site nicht vom Modell analysiert werden können.
* '''Vorhersagen löschen''': Löscht alle Vorhersagen und Trainingsdaten.


$ admin/tool/analytics/cli/evaluate_model.php
=== Standardmodelle ===


[[File:model-evaluation.jpeg|thumb]]
==== Teilnehmer/innen, die Gefahr laufen, aus dem Kurs auszusteigen ====


* '''Log''' View previous evaluation logs, including the model accuracy as well as other technical information generated by the machine learning backends like ROC curves, learning curve graphs, the tensorboard log dir or the model's Matthews correlation coefficient. The information available will depend on the machine learning backend in use. [[File:log_info.png|thumb]]
[[Teilnehmer/innen, die Gefahr laufen, aus dem Kurs auszusteigen|Dieses Modell]] sagt voraus, welche Teilnehmer/innen gefährdet sind, einen Moodle-Kurs nicht zu beenden, weil sie wenig Aktivität im Kurs zeigen. "Aussteigen" ist in diesem Zusammenhang so definiert, dass eine Person im letzten Viertel des Kurses keine Aktivität zeigt. Das Vorhersagemodell nutzt das Modell [https://en.wikipedia.org/wiki/Community_of_inquiry Community of Inquiry] von Engagement, das aus drei Teilen besteht:


* '''Edit''' You can edit the models by modifying the list of indicators or the time-splitting method. All previous predictions will be deleted when a model is modified. Models based on assumptions (static models) can not be edited.
* [[Teilnehmer/innen, die Gefahr laufen, aus dem Kurs auszusteigen#Kognitive Tiefe|Kognitive Präsenz]]
* [[Teilnehmer/innen, die Gefahr laufen, aus dem Kurs auszusteigen#Soziale Breite|Soziale Präsenz]]
* [[Teilnehmer/innen, die Gefahr laufen, aus dem Kurs auszusteigen#Potentielle Niveaustufen für ausgewählte Aktivitäten|Trainerpräsenz]]


* '''Enable / Disable''' The scheduled task that trains machine learning algorithms with the new data available on the system and gets predictions for ongoing courses skips disabled models. Previous predictions generated by disabled models are not available until the model is enabled again.
Dieses Vorhersagemodell kann eine große Bandbreite von Kursen analysieren, daraus Schlussfolgerungen ziehen und diese Schlussfolgerungen anwenden, um Vorhersagen für neue Kurse zu erstellen. Das Modell ist nicht beschränkt auf das Erstellen von Vorhersagen zum Teilnehmererfolg in Kursen, die exakte Duplikate von früheren Kursen sind. Gleichwohl gibt es einige Einschränkungen:
# Das Modell erfordert eine gewisse Menge an Moodle-Daten, um damit Vorhersagen zu erstellen. Zum gegenwärtigen Zeitpunkt sind nur Aktivitäten des Moodle-Standardpakets in der Menge der [[Teilnehmer/innen, die Gefahr laufen, aus dem Kurs auszusteigen#Indikatoren|Indikatoren]] enthalten (siehe unten). Für Kurse, die keine Standard-Moodle-Aktivitäten "pro Zeitabschnitt" (abhängig von der Zeitaufteilungsmethode) enthalten,  gibt es nur schwache Vorhersagen. Das Vorhersagemodell ist am effektivsten für Kurse, die komplett als Online-Kurse oder Blended-Learning-Kurse mit hinreichend vielen Online-Aktivitäten arbeiten.
# Das Modell nimmt an, dass Kurse feste Kursbeginn- und Kursende-Daten haben und es ist nicht gedacht für Kurse mit fortlaufenden Einschreibungen zu beliebigen Zeitpunkten. Modelle, die eine größere Bandbreite von Kursen unterstützen, werden in künftigen Moodle-Versionen in das Standardpaket integriert. Wegen dieser Modellannahme ist es sehr wichtig, die Daten für Kursbeginn und Kursende für die zu analysierenden Kurse richtig einzustellen. Wenn diese Daten nicht richtig konfiguriert sind, können die Vorhersagen nicht genau sein. Da das Kursende-Datum erst in Moodle 3.2 eingeführt wurde und einige Kurse in der Vergangenheit kein Kursbeginn-Datum haben können, stellen wir ein Skript zur Verfügung:


{{New features}}
$ admin/tool/analytics/cli/guess_course_start_and_end.php
* '''Export''' Export your site training data to share it with your partner institutions or to use it on a new site. The Export action for models allows you to generate a csv file containing model data about indicators and weights, without exposing any of your site-specific data. We will be asking for submissions of these model files to help evaluate the value of models on different kinds of sites. Please see the [https://moodle.org/project_inspire Learning Analytics community] for more information.


* '''Invalid site elements''' Reports on what elements in your site can not be analysed by this model
Dieses Skript versucht, die Kursbeginn- und Kursende-Daten vergangener Kurse abzuschätzen, indem es die Kurseinschreibungen und Teilnehmer-Logdaten der Kurse auswertet. Prüfen Sie nach der Ausführung des Skripts, ob die abgeschätzten Kursbeginn- und Kursende-Daten hinreichend korrekt sind.


* '''Clear predictions''' Clears all the model predictions and training data
==== Fälligkeit für anstehende Aktivitäten ====
Das statische Modell ''Fälligkeit für anstehende Aktivitäten'' überprüft Aktivitäten mit anstehenden Fälligkeitsdaten und Ausgaben im persönlichen Kalender der Nutzer/innen.


=== Core models ===
==== Kurse, bei denen die Gefahr besteht, dass sie nicht beginnen ====
Die Einschätzungen dieses Modells informieren Moodle-Site-Verwalter/innen, in welchen Kursen mit anstehendem Kursbeginn-Datum es keine Lehrtätigkeit gibt. Das ist ein einfaches statisches Modell, es verwendet keine Algorithmen des maschinellen Lernens, um Vorhersagen zu berechnen. Es trifft Vorhersagen auf der Basis von Annahmen, z.B. dass es keine Lehrtätigkeit gibt, wenn keine Teilnehmer/innen im Kurs eingeschrieben sind.


==== Students at risk of dropping out ====
== Modelle anlegen und bearbeiten ==
Sie können neue Modelle anlegen, indem Sie die Analytics API verwenden, ein auf einer anderen Moodle-Site exportiertes Modell importieren oder die neue Oberfläche in Moodle verwenden.


[[Students at risk of dropping out|This model]] predicts students who are at risk of non-completion (dropping out) of a Moodle course, based on low student engagement. In this model, the definition of "dropping out" is "no student activity in the final quarter of the course." The prediction model uses the [https://en.wikipedia.org/wiki/Community_of_inquiry Community of Inquiry] model of student engagement, consisting of three parts:
Wenn Sie ein Standardmodell (aus dem Standardpaket von Moodle) löschen, dann können Sie es über das Menü ''Neues Modell' wiederherstellen. (Hinweis: Statische Modelle können derzeit nicht über die Moodle-Oberfläche angelegt werden).


* [[Students at risk of dropping out#Cognitive depth|Cognitive presence]]
Es gibt vier Modell-Komponenten, die über die Moodle-Oberfläche definiert werden können:
* [[Students at risk of dropping out#Social Breadth|Social presence]]
* [[Students at risk of dropping out#Potential indicator levels for selected activity modules|Teacher presence]]


This prediction model is able to analyse and draw conclusions from a wide variety of courses, and apply those conclusions to make predictions about new courses. The model is not limited to making predictions about student success in exact duplicates of courses offered in the past. However, there are some limitations:
=== Ziel ===
[[File:create_model_2.png|400px]]


# This model requires a certain amount of in-Moodle data with which to make predictions. At the present time, only core Moodle activities are included in the [[Students at risk of dropping out#Indicators|indicator]] set (see below). Courses which do not include several core Moodle activities per “time slice” (depending on the time splitting method) will have poor predictive support in this model. This prediction model will be most effective with fully online or “hybrid” or “blended” courses with substantial online components.
Ziele repräsentieren einen "bekannten Nutzen" - etwas, was einen bewiesenen Wert hat. Ziele müssen sorgfältig entworfen werden, damit sie mit den Prioritäten der [[Curriculum-Theorie|Curricula]] der Bildungseinrichtung in Einklang stehen. Jedes Modell hat ein einzelnes Ziel. Durch die Wahl des Ziels wird automatisch der Kontext festgelegt, in dem das Ziel analysiert wird. Siehe [[Analytics-Ziele]] für mehr Informationen.
# This prediction model assumes that courses have fixed start and end dates, and is not designed to be used with rolling enrollment courses. Models that support a wider range of course types will be included in future versions of Moodle. Because of this model design assumption, it is very important to properly set course start and end dates for each course to use this model. If both past courses and ongoing courses start and end dates are not properly set predictions cannot be accurate. Because the course end date field was only introduced in Moodle 3.2 and some courses may not have set a course start date in the past, we include a command line interface script:


  $ admin/tool/analytics/cli/guess_course_start_and_end.php
=== Indikatoren ===
Indikatoren sind Datenpunkte, die dabei helfen, Ziele vorherzusagen. Es  steht uns frei, viele Indikatoren zu einem Modell hinzuzufügen um herauszufinden, ob sie ein Ziel vorhersagen - die einzige Einschränkung ist, dass die Daten in Moodle verfügbar sein und eine Verbindung zum Kontext des Modells (z.B. ein/e Nutzer/in, ein Kurs usw.) haben müssen. Der Trainingsprozess des maschinellen Lernens legt fest, wie viel Gewicht jeder einzelne Indikator im Modell bekommt.


This script attempts to estimate past course start and end dates by looking at the student enrolments and students' activity logs. After running this script, please check that the estimated start and end dates script results are reasonably correct.
Wir wollen sicherstellen, dass alle Indikatoren, die in ein Modell einfließen, einen klaren Zweck haben und von den Beteiligten interpretiert werden können, insbesondere wenn sie verwendet werden, um vorgeschriebene oder diagnostische Entscheidungen zu treffen.


==== Upcoming activities due ====
Indikatoren werden aus Daten konstruiert, aber die Datenpunkte müssen verarbeiten werden, um konsistente, wiederverwendbare Indikatoren zu erzeugen. In vielen Fällen werden Events gezählt oder auf eine bestimmte Art und Weise kombiniert. Es gibt jedoch auch andere Möglichkeiten, Indikatoren zu definieren; diese werden später diskutiert. Wie die Datenpunkte verarbeitet werden ist mit wichtigen Annahmen verbunden, die sich auf die Indikatoren auswirken. Insbesondere können Indikatoren absolut sein, d.h. der Wert des Indikators bleibt derselbe unabhängig davon, welche anderen Stichproben in einem Kontext vorliegen. Indikatoren können auch relativ sein, d.h. der Indikator vergleicht verschiedene Stichproben in einem Kontext.
{{New features}}
The static “upcoming activities due” model checks for activities with upcoming due dates and outputs to the user’s calendar page.


==== No teaching ====
Siehe [[Analytics-Indikatoren]] für mehr Informationen.
This model's insights will inform site managers of which courses with an upcoming start date will not have teaching activity. This is a simple "static" model and it does not use machine learning backend to return predictions. It bases the predictions on assumptions, e.g. there is no teaching if there are no students.


== Creating and editing models ==
[[File:indicators.png|400px]]
{{New features}}
New machine learning models can be created by using the Analytics API, by importing an exported model from another site, or by using the new web UI in 3.7. [[File:new_model.png|thumb]] If you delete a "default" model (shipped with Moodle core) you can restore it from the Create menu. (Note: "static" models cannot be created using the web UI at this time.)


There are four components of a model that can be defined through the web UI:
=== Zeitaufteilungsmethode ===
[[File:zeitintervalle.png|thumb]]Die Analyseintervalle steuern, wie oft ein Modell ausgewertet wird, um Vorhersagen zu erstellen und wie viele Informationen in jedem Zyklus in die Auswertung einbezogen werden. Standardmäßig sind zwei Zeitintervalle aktiviert: "Viertel" und "Alle vorherigen Viertel" (früher "Viertel akkumuliert"). Das Moodle-Standardpaket bietet auch die Optionen "Zehntel" und "Zehntel akkumuliert", wenn die Moodle-Administration diese systemweit aktiviert hat. Diese Optionen generieren Vorhersagen in kürzeren Abständen.
*'''Einzeln''' bedeutet, dass eine Vorhersage einmalig berechnet wird, aber es wird dabei eine bestimmte Zeitspanne berücksichtigt. Die Vorhersage wird am Ende der Zeitspanne berechnet, z.B. am Ende eines Kurses.
*'''Nächste drei Tage / Woche / zwei Wochen''' bedeutet, dass das Modell Einschätzungen auf der Basis der Daten, die zu einem gegebenen Zeitpunkt vorliegen, generiert. Z.B. schaut das Modell "Kurse, bei denen die Gefahr besteht, dass sie nicht beginnen", ob es zum jetzigen Zeitpunkt eine Woche vor Kursbeginn Einschreibungen von Trainer/innen und Teilnehmer/innen in einem Kurs gibt und schickt dann eine Warnung an die Moodle-Administration, dass es in diesem leeren Kurs wahrscheinlich keine Lehrtätigkeit geben wird.
* '''Alle vorherigen ...''' (früher "akkumuliert") und '''Letztes ...''' unterscheiden sich darin, wie viele Informationen in die Vorhersage einbezogen werden. Bei beiden Optionen "Alle vorherigen Viertel" (früher "Viertel akkumuliert") und "Letztes Viertel" werden Vorhersagen am Ende eines Viertels einer Zeitspanne (z.B. einer Kurslaufzeit) generiert, wobei bei "Letztes Viertel" nur Informationen aus dem gerade vergangenen Viertel einbezogen werden, während bei "Alle vorherigen Viertel" alle Informationen aus allen vorangegangenen Viertel bis zum aktuellen Zeitpunkt verwendet werden.


=== Target ===
Die Methoden "Einzeln" und "Keine Zeitaufteilung" haben keine Zeitbeschränkungen. Die Vorhersagen werden beim nächsten geplanten Vorgang berechnet, gleichwohl wenden die Modell verschiedene Bedingungen an, um Vorhersagen zu erstellen (z.B. Bedingung, dass ein Kurs abgeschlossen ist, wenn er zum Trainieren des Modells verwendet werden soll oder die Bedingung, dass bestimmte Daten im Kurts vorliegen müssen und Teilnehmer/innen diese Daten verwenden). Die Zeiteinteilungsmethoden "Einzeln" und "Keine Zeitaufteilung" sind nicht geeignet, um Teilnehmer/innen zu identifizieren, die gefährdet sind auszusteigen. Sie sind gedacht für Modelle wie "Kurse, bei denen die Gefahr besteht, dass sie nicht beginnen" oder "Spammer", in denen nur eine Vorhersage pro Stichprobe berechnet wird. Z.B. kann das Modell "Kurse, bei denen die Gefahr besteht, dass sie nicht beginnen" die Zeitaufteilungsmethode "Einzeln" verwenden; die Zielklasse (das ist die Haupt-PHP-Klasse des Modells) akzeptiert nur Kurse, die in der kommenden Woche beginnen; die Vorhersage wird dann für alle diese Kurse einmalig berechnet, d.h. die Einschätzung "Kurse, bei denen die Gefahr besteht, dass sie nicht beginnen" für einen Kurs wird später nicht noch einmal für diesen Kurs berechnet.
[[File:create_model_2.png|thumb]]Targets represent a “known good”-- something about which we have very strong evidence of value. Targets must be designed carefully to align with the [[Curriculum theory|curriculum priorities]] of the institution. Each model has a single target. The “Analyser” (context in which targets will be evaluated) is automatically controlled by the Target selection. See [[Learning analytics targets]] for more information.


=== Indicators ===
Der Unterschied zwischen den Methoden "Einzeln" und "Keine Zeitaufteilung" besteht darin, dass Modelle, die mit der Methode "Einzeln" analysiert wurden, auf die analysierbaren Elemente beschränkt sind (z.B. auf Kursbeginn- und Kursende-Daten im Fall des Modells "Teilnehmer/innen, die gefährdet sind auszusteigen"), während es bei der Zeitaufteilungsmethode "Keine Zeitaufteilung" keine zeitlichen Einschränkungen gibt und alle im System verfügbaren Daten zur Berechnung der Indikatoren verwendet werden.
Indicators are data points that may help to predict targets. We are free to add many indicators to a model to find out if they predict a target-- the only limit is that the data must be available within Moodle and must have a connection to the context of the model (e.g. the user, the course, etc.). The machine learning “training” process will determine how much weight to give to each indicator in the model.
'''Anmerkung''': Obwohl alle oben beschriebenen Beispiele sich auf Kurse beziehen, können Zeitaufteilungsmethoden auch auf andere analysierbare Elemente bezogen werden. Z.B. können Kurseinschreibungen ein Beginn- und ein Endedatum haben, so dass die Zeitaufteilungsmethode verwendet werden kann, um Vorhersagen in Bezug auf Aspekte der Kurseinschreibung zu machen. Für analysierbare Elemente ohne Beginn- und Endedatum sind andere Zeitaufteilungsmethoden erforderlich. Z.B. könnte eine "wöchentliche" Zeitaufteilungsmethode in einem Modell verwendet werden, das auf der Basis von Daten über seine Aktivitäten in der vergangenen Woche vorhersagt, ob eine Person sich in der Zukunft im System anmelden wird.


We do want to make sure any indicators we include in a production model have a clear purpose and can be interpreted by participants, especially if they are used to make prescriptive or diagnostic decisions.
=== Vorhersage-Prozessor ===
Diese Einstellung legt fest, welches Backend und welcher Algorithmus für maschinelles Lernen verwendet werden, um das Modell auszuwerten. Moodle stellt derzeit zwei Vorhersage-Prozessoren zur Verfügung:
* PHP-Backend für maschinelles Lernen - implementiert logistische Regression unter Verwendung von php-ml (beigesteuert durch Moodle)
* Python-Backend für maschinelles Lernen - implementiert ein einschichtiges Feedforward-Netz unter Verwendung von TensorFlow.


Indicators are constructed from data, but the data points need to be processed to make consistent, reusable indicators. In many cases, events are counted or combined in some way, though other ways of defining indicators are possible and will be discussed later. How the data points are processed involves important assumptions that affect the indicators. In particular, indicators can be absolute, meaning that the value of the indicator stays the same no matter what other samples are in the context, or relative, meaning that the indicator compares the sample to others in the context.
Sie können nur solche Prozessoren auswählen, die die Moodle-Administration systemweit aktiviert hat.


See [[Learning analytics indicators]] for more information.
[[File:regression.png|400px]]


[[File:indicators.png|thumb]]
[[File:ffnn.png|400px]]


=== Analysis intervals ===
Jeder Vorhersage-Prozessor kann zukünftig mehrere Algorithmen unterstützen.
[[File:analysis_intervals.png|thumb]]Analysis intervals control how often the model will run to generate insights, and how much information will be included in each generation cycle. The two analysis intervals enabled by default for selection are “Quarters” and “Quarters accumulative.” Both options will cause models to execute four times-- after the first, second, third and fourth quarters of the course (the final execution is used to evaluate the accuracy of the predictions against the actual outcome). The difference lies in how much information will be included. “Quarters” will only include information from the most recent quarter of the course in its predictions. “Quarters accumulative” will include the most recent quarter and all previous quarters, and tends to generate more accurate predictions (though it can take more time and memory to execute). Moodle Learning Analytics also includes “Tenths” and “Tenths accumulative” options in Core, if you choose to enable them from the Analytics Settings panel. These generate predictions more frequently.


* '''Single range''' indicates that predictions will be made once, but will take into account a range of time, e.g. one prediction at the end of a course. The prediction is made at the end of the range.
=== Modellnamen ändern ===
Der Modellname wird verwendet, um die Einschätzungen zu identifizieren, die das Modell generiert. Er ist standardmäßig derselbe wie der Zielname. Sie können den Modellnamen ändern, indem Sie in der Liste der Modelle auf das Stift-Symbol neben dem entsprechenden Modellnamen klicken.


* '''Upcoming...''' indicates that the model generates an insight based on a snapshot of data at a given moment, e.g. the "no teaching" model looks to see if there are currently any teachers or students assigned to a course one week before the start of the term, and issues one insight warning the site administrator that no teaching is likely to occur in that empty course.
[[File:edit_model_name.png|400px]]


* '''All previous...''' (formerly "accumulative") and '''Last...''' methods differ in how much data is included in the prediction. Both "All previous quarters" and "Last quarter" predictions are made at the end of each quarter of a time span (e.g. a course), but in "Last quarter," only the information from the most recent quarter is included in the prediction, whereas in "All previous quarters" all information up to the present is included in the prediction.
== Modelle trainieren ==
Modelle, die auf maschinellem Lernen basieren, müssen mit älteren Daten der Moodle-Site trainiert werden. Statische Modelle verwenden vordefinierte Regeln und müssen nicht trainiert werden.


'''Single range''' and '''No time splitting''' methods do not have time constraints. They run during the next scheduled task execution, although models apply different restrictions (e.g. require that a course is finished to use it for training or some data in the course and students to use it to get predictions...). 'Single range' and 'No splitting' are not appropriate for students at risk of dropping out of courses. They are intended to be used in models like 'No teaching' or 'Spammer user' that are designed to make only one prediction per eligible sample. To explain this with an example: 'No teaching' model uses 'Single range' analysis interval; the target class (the main PHP class of a model) only accepts courses that will start during the next week. Once we provide a 'No teaching' insight for a course we won't provide any further 'No teaching' insights for that course.  
Es gibt zwei Hauptkategorien von Analytics-Modellen, die auf maschinellem Lernen basieren: '''überwachte''' und '''nicht überwachte'''.  
* Überwachte Modelle müssen mit Daten trainiert werden, wobei die Zielwerte bereits identifiziert sind. Wenn das Modell z.B. den Kursabschluss vorhersagen soll, muss das Modell mit Kursen und Einschreibungen trainiert werden, bei denen der Kursabschluss-Status bekannt ist.
* Nicht überwachte Modelle suchen nach Mustern in vorhandenen Daten, z.B. klassifizieren sie Teilnehmer/innen nach Ähnlichkeiten in ihrem Verhalten im Kurs.


The difference between 'Single range' and 'No splitting' is that models analysed using 'Single range' will be limited to the analysable elements (the course in students at risk model) start and end dates, while 'No splitting' do not have any time contraints and all data available in the system is used to calculate the indicators.
Zum jetzigen Zeitpunkt unterstützt Moodle Learning Analytics nur überwachte Modelle.


'''Note''': Although the examples above refer to courses, analysis intervals can be used on any analysable element. For example, enrolments can have start and end dates, so an analysis interval could be applied to generate predictions about aspects of an enrollment. For analysable elements with no start and end dates, different analysis intervals would be needed. For example, a "weekly" analysis interval could be applied to a model intended to predict whether a user is likely to log in to the system in the future, on the basis of activity in the previous week.
Wir hoffen, dass wir in Zukunft bereits trainierte Modelle im Standardpaket von Moodle bereitstellen können, derzeit haben wir jedoch noch nicht genügend Daten, um Modelle für eine externe Nutzung zu trainieren. (Wenn Sie unsere Bemühungen unterstützen und Daten bereitstellen möchten, wenden Sie sich bitte an die [https://moodle.org/course/view.php?id=17233&section=6 Moodle Learning Analytics Working Group].)


=== Predictions processor ===
=== Trainingsdaten ===
This setting controls which machine learning backend and algorithm will be used to estimate the model. Moodle currently supports two predictions processors:
Der Modell-Code enthält Kriterien für Trainingsdatensätze und für Vorhersagedatensätze. Z.B. können nur vergangene Kurse mit eingeschriebenen Teilnehmer/innen und einem Kursende-Datum verwendet werden, um das Modell [[Teilnehmer/innen, die Gefahr laufen, aus dem Kurs auszusteigen]] zu trainieren, weil es nicht möglich ist einzuschätzen, ob jemand aussteigt, bevor der Kurs zu Ende ist. Andererseits muss es einen Kurs mit eingeschriebenen Teilnehmer/innen geben, der begonnen hat, aber noch nicht beendet ist, um für dieses Modell eine Vorhersage zu generieren.


* PHP machine learning backend - implements logistic regression using php-ml (contributed by Moodle)
Der Trainingsdatensatz wird im PHP-Code für das Ziel definiert. Modelle können nur trainiert werden, wenn eine Moodle-Site genügend Daten enthält, die die Trainingskriterien erfüllen. Die meisten Modelle benötigen Moodle-Logdaten aus dem Zeitraum, in dem die Events liegen, die analysiert werden sollen. Z.B. kann das Modell  [[Teilnehmer/innen, die Gefahr laufen, aus dem Kurs auszusteigen]] nur trainiert werden, wenn Logdaten zu Teilnehmeraktivitäten in Kursen, die die Trainingskriterien erfüllen, vorliegen. Es ist möglich, die Modelle in einem "archivierten" System zu trainieren und die Modelle anschließend im Produktivsystem zu verwenden.
* Python machine learning backend - implements single hidden layer feed-forward neural network using TensorFlow.


You can only choose from the predictions processors enabled on your site.
=== Modellauswertung anstoßen ===
Das passiert normalerweise im Hintergrund durch eine Reihe von geplanten Vorgängen, aber Sie können diesen Prozess auch über das Modell-Menü anstoßen.  


[[File:regression.png|thumb]]
[[File:model_menu_evaluate.png|400px]]
[[File:ffnn.png|thumb]]


Each prediction processor may support multiple algorithms in the future.
Das Modell sammelt dann alle Trainingsdaten, die auf der Moodle-Site verfügbar sind, berechnet alle Indikatoren und das Ziel und sendet die sich daraus ergebenden Datensätze an die Backends des maschinellen Lernens. Dieser Prozess teilt die Datensätze in Trainingsdaten und Testdaten auf und berechnet die Genauigkeit des Modells. Beachten Sie, dass der Auswertungsprozess alle Daten verwendet, die in der Moodle-Site verfügbar sind, auch wenn sie sehr alt sind. Deshalb kann die berechnete Genauigkeit des Modells kleiner sein als die tatsächliche Genauigkeit, da die Indikatoren zuverlässiger berechnet werden, direkt nachdem Trainingsdaten verfügbar sind, da der Site-Zustand sich ständig ändert. Die Metrik, die zur Berechnung der Genauigkeit verwendet wird, ist der  ''[https://en.wikipedia.org/wiki/Matthews_correlation_coefficient Matthews Correlation Coefficient]'' (eine Metrik, die im maschinellen Lernen zur Berechnung binärer Klassifikationen verwendet wird).


=== Changing the model name ===
[[File:model-evaluation.jpeg|400px]]
The model name is used to identify insights generated by the model, and by default, is the same as the Target name. You can edit this by clicking the "pencil" icon next to the model name in the list of models:


[[File:edit_model_name.png|thumb]]
Sie können die Modellauswertung auch von Kommandozeile aus starten:


== Training models ==
$ admin/tool/analytics/cli/evaluate_model.php
Machine-learning based models require a training process using previous data from the site. "Static" models make use of sets of pre-defined rules, and do not need to be trained. 


There are two main categories of machine-learning based analytics models: '''supervised''' and '''unsupervised'''.
=== Auswertungsergebnisse überprüfen ===
 
[[File:model_menu_log.png|thumb]]
* Supervised models must be trained by using a data set with the target values already identified. For example, if the model will predict course completion, the model must be trained on a set of courses and enrollments with known completion status.
Sie können die Ergebnisse des Modell-Trainingsprozesses ansehen, indem Sie über das Modell-Menü auf die Auswertungslogdaten zugreifen.
* Unsupervised models look for patterns in existing data, e.g. grouping students based on similarities in their behavior in courses.
 
At the present time, Moodle Learning Analytics only supports supervised models.
 
While we hope to include pre-trained models with the Moodle core installation in the future, at the current time we do not have large enough data sets to train a model for external use. (If you would like to help contribute data for this effort, please see the [https://moodle.org/course/view.php?id=17233&section=6 Moodle Learning Analytics Working Group].)
 
=== Training data ===
The model code includes criteria for "training" and "prediction" data sets. For example, only courses with enrolled students and an end date in the past can be used to train the [[Students at risk of dropping out]] model, because it is impossible to determine whether a student dropped out until a course has ended. On the other hand, for this model to make predictions, there must be a course with students enrolled that has started, but not yet ended.


The training set is defined in the php code for the Target. Models can only be trained if a site contains enough data matching the training criteria. Most models will require Moodle log data for the time period covering the events being analysed. For example, the [[Students at risk of dropping out]] model can only be trained if there is log data covering student activity in the courses that meet the training criteria. It is possible to train a model on an "archive" system and then use the model on a production system.
[[File:model_log.png|400px]]


=== Triggering model evaluation ===
[[File:log_info.png|400px]]


[[File:model_menu_evaluate.png|thumb]]This is normally done in the background as a series of scheduled tasks, but you can trigger the start of the process from the model menu. This causes Moodle to assemble the training data available on the site, calculate all the indicators and the target and pass the resulting dataset to machine learning backends. This process will split the dataset into training data and testing data and calculate its accuracy. Note that the evaluation process uses all information available on the site, even if it is very old. Because of this, the accuracy returned by the evaluation process may be lower than the real model accuracy as indicators are more reliably calculated immediately after training data is available because the site state changes over time. The metric used to describe accuracy is the ''[https://en.wikipedia.org/wiki/Matthews_correlation_coefficient Matthews correlation coefficient]'' (a metric used in machine learning for evaluating binary classifications)
Prüfen Sie, ob Warnungen zum Abschluss des Auswertungsprozesses, zur Modellgenauigkeit und zur Modellvariabilität vorliegen.


You can also force the model evaluation process to run from the command line:
Sie können auch die Liste der ungültigen Elemente kontrollieren, um zu prüfen, welche Site-Elemente in die Analyse einbezogen wurden und welche nicht. Wenn Sie eine große Anzahl an unerwarteten Elementen in diesem Bericht sehen, dann kann das bedeuten, dass Sie Ihre Daten prüfen müssen. Z.B. wenn Kurse keine passenden Kursbeginn- und Kursende-Daten haben oder die Kurseinschreibungsdaten gelöscht wurden, kann das System keine Daten aus diesen Kursen in den Modell-Trainingsprozess einbeziehen.


$ admin/tool/analytics/cli/evaluate_model.php
[[File:invalid_site_elements.png|400px]]


=== Review evaluation results ===
==Modelle exportieren und importieren==
[[File:model_menu_log.png|thumb]]
Modelle können aus einer Moodle-Site exportiert und in eine andere Moodle-Site importiert werden.


You can review the results of the model training process by accessing the evaluation log.[[File:model_log.png|thumb]]
=== Modelle exportieren ===
[[File:log_info.png|thumb]]
Sie können Daten exportieren, um Modelle zu trainieren oder Sie können die Modellkonfiguration und die Gewichte des trainierten Modell exportieren.
Check for warnings about evaluation completion, model accuracy, and model variability.


[[File:invalid_site_elements.png|thumb]]
[[File:export_dialogue.png|400px]]
You can also check the ''invalid site elements'' list to verify which site elements were included or excluded in the analysis. If you see a large number of unexpected elements in this report, it may mean that you need to check your data. For example, if courses don't have appropriate start and end dates set, or enrolment data has been purged, the system may not be able to include data from those courses in the model training process.


== Exporting and Importing models ==
'''Hinweis''': Die Modellgewichte sind komplett anonym, sie enthalten keine personenbezogenen Daten! D.h. Sie können diese Gewichte mit anderen Forscher/innen teilen, ohne sich Gedanken zum Datenschutz machen zu müssen.
Models can also be exported from one site and imported to another. [[File:export_menu.png|thumb]]
=== Exporting models ===
You can export the data used to train the model, or the model configuration and the weights of the trained model. [[File:export_dialogue.png|thumb]]


'''Note''': the model weights are completely anonymous, containing no personally identifiable data! This means it is safe to share them with researchers without worrying about privacy regulations.
=== Modelle importieren ===
[[File:import_model.png|400px]]


=== Importing models ===
Wenn ein Modell mit Gewichten importiert wird, dann hat die Moodle-Administration die Wahl zwischen den Optionen, das trainierte Modell mit den Daten der Moodle-Site auszuwerten oder die Modellkonfiguration auszuwerten, indem das Modell erneut mit den Daten der Moodle-Site trainiert wird.  
When a model is imported with weights, the site administrator has the option to evaluate the trained model using site data, or to evaluate the model configuration by re-training it using the current site data. [[File:import_model.png|thumb]][[File:evaluate_model.png|thumb]]
[[File:evaluate_model.png|400px]]


[[Category:Analytics]]
[[Category:Analytics]]

Aktuelle Version vom 16. August 2020, 13:13 Uhr

Überblick

Die Moodle Learning Analytics API ist ein offenes System, das die Basis für eine Vielzahl von Modellen werden kann. Modelle können Indikatoren (Vorhersager), Ziele (Ausgang, den wir vorhersagen wollen), Einschätzungen (die Vorhersagen selbst), Benachrichtigungen (Mitteilungen, die aufgrund von Einschätzungen verschickt werden) und Aktionen (die den Empfänger/innen der Benachrichtigungen vorgeschlagen werden und die selbst wieder zu Indikatoren werden können) enthalten.

learning analytics components.png

Die meisten Modelle sind standardmäßig deaktiviert. Die Modelle sollten erst aktiviert werden, nachdem Sie sich Gedanken darüber gemacht haben, welche Bildungsziele durch die Modelle unterstützt werden sollen. Bei der Auswahl oder dem Anlegen von Learning Analytics Modellen sind folgende Schritte wichtig:

  • Welchen Ausgang wollen wir vorhersagen? Oder welchen Prozess wollen wir entdecken? (positiv oder negativ)
  • Wie entdecken wir diesen Ausgang oder Prozess?
  • Welche Anhaltspunkte können helfen, diesen Ausgang oder Prozess vorherzusagen?
  • Was sollten wir tun, wenn der Ausgang oder Prozess mit hoher Wahrscheinlichkeit eintritt oder nicht eintritt?
  • Wer sollte benachrichtigt werden? Welche Art von Benachrichtigung soll versendet werden?
  • Welche Möglichkeiten zur (Re-)Aktion sollten bei Benachrichtigung bereitgestellt werden?

Moodle kann mehrere Vorhersagemodelle gleichzeitig unterstützen, sogar innerhalb ein und desselben Kurses. Das kann für A/B-Tests verwendet werden, um die Leistungsfähigkeit und Genauigkeit verschiedener Modelle zu vergleichen.

Moodle Learning Analytics unterstützt zwei Arten von Modellen.

  • Machine-Learning-basierte Modelle, inklusive Vorhersagemodelle, nutzen Modelle der künstlichen Intelligenz, die mit Daten aus der Moodle-Site-Historie trainiert werden, um verborgene Aspekte des Lernprozesses zu entdecken oder vorherzusagen.
  • Statische Modelle nutzen ein einfacheres, regel-basiertes System, um besondere Situation in der Moodle-Site zu entdecken und ausgewählte Nutzer/innen darüber zu benachrichtigen.

Das Standardpaket von Moodle stellt drei Modelle bereit: Teilnehmer/innen, die Gefahr laufen, aus dem Kurs auszusteigen und die statischen Modelle Fälligkeit für anstehende Aktivitäten und Kurse, bei denen die Gefahr besteht, dass sie nicht beginnen. Sie können weitere Vorhersagemodelle anlegen, indem Sie die Analytics API oder die neue grafische Oberfläche verwenden. Jedes Modell basiert auf der Vorhersage eines einzelnen, spezifischen Ziels oder Ausgangs (der entweder erwünscht oder unerwünscht ist) und zu dem eine Reihe von ausgewählten Indikatoren gehören.

Sie können die Modelle auf der Seite Website-Administration > Analytics > Analytics-Modelle ansehen und verwalten.

manage models.png

Vorhandene Modelle

Das Moodle-Standardpaket enthält drei Vorhersagemodelle: Teilnehmer/innen, die Gefahr laufen, aus dem Kurs auszusteigen sowie die statischen Modelle Fälligkeit für anstehende Aktivitäten und Kurse, bei denen die Gefahr besteht, dass sie nicht beginnen. Weitere Modelle können durch Installation eines Plugins oder über die grafische Oberfläche (siehe unten) hinzugefügt werden. Vorhandene Modelle können auf der Seite Website-Administration > Analytics > Analytics-Modelle untersucht und geändert werden.

analytics models.png

Für vorhandene Modelle können Sie u.a. folgende Aktionen durchführen:

  • Vorhersagen erstellen: Trainieren Sie die Algorithmen des maschinellen Lernens mit neuen Daten der Moodle-Site und generieren Sie Vorhersagen für laufende Kurse. Vorhersagen sind nicht auf laufende Kurse beschränkt - das hängt vom Modell ab.
  • Einschätzungen ansehen: Sobald Sie die Algorithmen des maschinellen Lernens mit neuen Daten der Moodle-Site trainiert haben, sehen Sie Einschätzungen (Vorhersagen) für jedes analysierbare Element. Im Standardmodell Teilnehmer/innen, die Gefahr laufen, aus dem Kurs auszusteigen können die Einschätzungen pro Kurs ausgewählt werden. Vorhersagen sind nicht auf laufende Kurse beschränkt - das hängt vom Modell ab.
  • Auswerten: Das passiert normalerweise im Hintergrund als eine Reihe von geplanten Vorgängen, siehe weiter unten.
  • Log Schauen Sie sich vorherige Auswertungslogdaten an, inklusive der Modellgenauigkeit und anderer technischer Informationen, die von den Backends des maschinellen Lernens berechnet wurden, wie z.B. ROC-Kurven, Lernkurven-Graphen oder der Matthews Correlation Coefficient des Modells. Die verfügbare Information hängt vom verwendeten Backend des maschinellen Lernens ab.

log info.png

  • Bearbeiten: Sie können die Modelle bearbeiten, indem Sie die Liste der Indikatoren oder die Zeitaufteilungsmethode ändern. Wenn das Modell geändert wird, werden alle früheren Vorhersagen gelöscht. Modelle, die auf Annahmen basieren (statische Modelle), können nicht bearbeitet werden.
  • Aktivieren / Deaktivieren: Der geplante Vorgang, der die Algorithmen des maschinellen Lernens mit neuen auf der Moodle-Site verfügbaren Daten trainiert und Vorhersagen für laufende Kurse erstellt, übergeht deaktivierte Modelle. Frühere Vorhersagen, die von deaktivierten Modellen berechnet wurden, sind nicht verfügbar, solange das Modell nicht wieder aktiviert wird.
  • Exportieren: Exportieren Sie die Trainingsdaten Ihrer Moodle-Site, um sie mit Partnereinrichtungen zu teilen oder in neuen Moodle-Sites zu verwenden. Beim Exportieren wird eine CSV-Datei generiert, die die Modelldaten zu Indikatoren und Gewichten enthält, ohne irgendwelche spezifischen Daten Ihrer Moodle-Site offenzulegen. Wir bitten Sie, uns solche CSV-Dateien zu schicken, um den Wert der Modelle für verschiedenen Arten von Moodle-Sites zu beurteilen. Siehe Learning Analytics Community für mehr Informationen.
  • Ungültige Elemente: Gibt an, welche Elemente auf Ihrer Moodle-Site nicht vom Modell analysiert werden können.
  • Vorhersagen löschen: Löscht alle Vorhersagen und Trainingsdaten.

Standardmodelle

Teilnehmer/innen, die Gefahr laufen, aus dem Kurs auszusteigen

Dieses Modell sagt voraus, welche Teilnehmer/innen gefährdet sind, einen Moodle-Kurs nicht zu beenden, weil sie wenig Aktivität im Kurs zeigen. "Aussteigen" ist in diesem Zusammenhang so definiert, dass eine Person im letzten Viertel des Kurses keine Aktivität zeigt. Das Vorhersagemodell nutzt das Modell Community of Inquiry von Engagement, das aus drei Teilen besteht:

Dieses Vorhersagemodell kann eine große Bandbreite von Kursen analysieren, daraus Schlussfolgerungen ziehen und diese Schlussfolgerungen anwenden, um Vorhersagen für neue Kurse zu erstellen. Das Modell ist nicht beschränkt auf das Erstellen von Vorhersagen zum Teilnehmererfolg in Kursen, die exakte Duplikate von früheren Kursen sind. Gleichwohl gibt es einige Einschränkungen:

  1. Das Modell erfordert eine gewisse Menge an Moodle-Daten, um damit Vorhersagen zu erstellen. Zum gegenwärtigen Zeitpunkt sind nur Aktivitäten des Moodle-Standardpakets in der Menge der Indikatoren enthalten (siehe unten). Für Kurse, die keine Standard-Moodle-Aktivitäten "pro Zeitabschnitt" (abhängig von der Zeitaufteilungsmethode) enthalten, gibt es nur schwache Vorhersagen. Das Vorhersagemodell ist am effektivsten für Kurse, die komplett als Online-Kurse oder Blended-Learning-Kurse mit hinreichend vielen Online-Aktivitäten arbeiten.
  2. Das Modell nimmt an, dass Kurse feste Kursbeginn- und Kursende-Daten haben und es ist nicht gedacht für Kurse mit fortlaufenden Einschreibungen zu beliebigen Zeitpunkten. Modelle, die eine größere Bandbreite von Kursen unterstützen, werden in künftigen Moodle-Versionen in das Standardpaket integriert. Wegen dieser Modellannahme ist es sehr wichtig, die Daten für Kursbeginn und Kursende für die zu analysierenden Kurse richtig einzustellen. Wenn diese Daten nicht richtig konfiguriert sind, können die Vorhersagen nicht genau sein. Da das Kursende-Datum erst in Moodle 3.2 eingeführt wurde und einige Kurse in der Vergangenheit kein Kursbeginn-Datum haben können, stellen wir ein Skript zur Verfügung:
$ admin/tool/analytics/cli/guess_course_start_and_end.php 

Dieses Skript versucht, die Kursbeginn- und Kursende-Daten vergangener Kurse abzuschätzen, indem es die Kurseinschreibungen und Teilnehmer-Logdaten der Kurse auswertet. Prüfen Sie nach der Ausführung des Skripts, ob die abgeschätzten Kursbeginn- und Kursende-Daten hinreichend korrekt sind.

Fälligkeit für anstehende Aktivitäten

Das statische Modell Fälligkeit für anstehende Aktivitäten überprüft Aktivitäten mit anstehenden Fälligkeitsdaten und Ausgaben im persönlichen Kalender der Nutzer/innen.

Kurse, bei denen die Gefahr besteht, dass sie nicht beginnen

Die Einschätzungen dieses Modells informieren Moodle-Site-Verwalter/innen, in welchen Kursen mit anstehendem Kursbeginn-Datum es keine Lehrtätigkeit gibt. Das ist ein einfaches statisches Modell, es verwendet keine Algorithmen des maschinellen Lernens, um Vorhersagen zu berechnen. Es trifft Vorhersagen auf der Basis von Annahmen, z.B. dass es keine Lehrtätigkeit gibt, wenn keine Teilnehmer/innen im Kurs eingeschrieben sind.

Modelle anlegen und bearbeiten

Sie können neue Modelle anlegen, indem Sie die Analytics API verwenden, ein auf einer anderen Moodle-Site exportiertes Modell importieren oder die neue Oberfläche in Moodle verwenden.

Wenn Sie ein Standardmodell (aus dem Standardpaket von Moodle) löschen, dann können Sie es über das Menü Neues Modell' wiederherstellen. (Hinweis: Statische Modelle können derzeit nicht über die Moodle-Oberfläche angelegt werden).

Es gibt vier Modell-Komponenten, die über die Moodle-Oberfläche definiert werden können:

Ziel

create model 2.png

Ziele repräsentieren einen "bekannten Nutzen" - etwas, was einen bewiesenen Wert hat. Ziele müssen sorgfältig entworfen werden, damit sie mit den Prioritäten der Curricula der Bildungseinrichtung in Einklang stehen. Jedes Modell hat ein einzelnes Ziel. Durch die Wahl des Ziels wird automatisch der Kontext festgelegt, in dem das Ziel analysiert wird. Siehe Analytics-Ziele für mehr Informationen.

Indikatoren

Indikatoren sind Datenpunkte, die dabei helfen, Ziele vorherzusagen. Es steht uns frei, viele Indikatoren zu einem Modell hinzuzufügen um herauszufinden, ob sie ein Ziel vorhersagen - die einzige Einschränkung ist, dass die Daten in Moodle verfügbar sein und eine Verbindung zum Kontext des Modells (z.B. ein/e Nutzer/in, ein Kurs usw.) haben müssen. Der Trainingsprozess des maschinellen Lernens legt fest, wie viel Gewicht jeder einzelne Indikator im Modell bekommt.

Wir wollen sicherstellen, dass alle Indikatoren, die in ein Modell einfließen, einen klaren Zweck haben und von den Beteiligten interpretiert werden können, insbesondere wenn sie verwendet werden, um vorgeschriebene oder diagnostische Entscheidungen zu treffen.

Indikatoren werden aus Daten konstruiert, aber die Datenpunkte müssen verarbeiten werden, um konsistente, wiederverwendbare Indikatoren zu erzeugen. In vielen Fällen werden Events gezählt oder auf eine bestimmte Art und Weise kombiniert. Es gibt jedoch auch andere Möglichkeiten, Indikatoren zu definieren; diese werden später diskutiert. Wie die Datenpunkte verarbeitet werden ist mit wichtigen Annahmen verbunden, die sich auf die Indikatoren auswirken. Insbesondere können Indikatoren absolut sein, d.h. der Wert des Indikators bleibt derselbe unabhängig davon, welche anderen Stichproben in einem Kontext vorliegen. Indikatoren können auch relativ sein, d.h. der Indikator vergleicht verschiedene Stichproben in einem Kontext.

Siehe Analytics-Indikatoren für mehr Informationen.

indicators.png

Zeitaufteilungsmethode

zeitintervalle.png

Die Analyseintervalle steuern, wie oft ein Modell ausgewertet wird, um Vorhersagen zu erstellen und wie viele Informationen in jedem Zyklus in die Auswertung einbezogen werden. Standardmäßig sind zwei Zeitintervalle aktiviert: "Viertel" und "Alle vorherigen Viertel" (früher "Viertel akkumuliert"). Das Moodle-Standardpaket bietet auch die Optionen "Zehntel" und "Zehntel akkumuliert", wenn die Moodle-Administration diese systemweit aktiviert hat. Diese Optionen generieren Vorhersagen in kürzeren Abständen.

  • Einzeln bedeutet, dass eine Vorhersage einmalig berechnet wird, aber es wird dabei eine bestimmte Zeitspanne berücksichtigt. Die Vorhersage wird am Ende der Zeitspanne berechnet, z.B. am Ende eines Kurses.
  • Nächste drei Tage / Woche / zwei Wochen bedeutet, dass das Modell Einschätzungen auf der Basis der Daten, die zu einem gegebenen Zeitpunkt vorliegen, generiert. Z.B. schaut das Modell "Kurse, bei denen die Gefahr besteht, dass sie nicht beginnen", ob es zum jetzigen Zeitpunkt eine Woche vor Kursbeginn Einschreibungen von Trainer/innen und Teilnehmer/innen in einem Kurs gibt und schickt dann eine Warnung an die Moodle-Administration, dass es in diesem leeren Kurs wahrscheinlich keine Lehrtätigkeit geben wird.
  • Alle vorherigen ... (früher "akkumuliert") und Letztes ... unterscheiden sich darin, wie viele Informationen in die Vorhersage einbezogen werden. Bei beiden Optionen "Alle vorherigen Viertel" (früher "Viertel akkumuliert") und "Letztes Viertel" werden Vorhersagen am Ende eines Viertels einer Zeitspanne (z.B. einer Kurslaufzeit) generiert, wobei bei "Letztes Viertel" nur Informationen aus dem gerade vergangenen Viertel einbezogen werden, während bei "Alle vorherigen Viertel" alle Informationen aus allen vorangegangenen Viertel bis zum aktuellen Zeitpunkt verwendet werden.

Die Methoden "Einzeln" und "Keine Zeitaufteilung" haben keine Zeitbeschränkungen. Die Vorhersagen werden beim nächsten geplanten Vorgang berechnet, gleichwohl wenden die Modell verschiedene Bedingungen an, um Vorhersagen zu erstellen (z.B. Bedingung, dass ein Kurs abgeschlossen ist, wenn er zum Trainieren des Modells verwendet werden soll oder die Bedingung, dass bestimmte Daten im Kurts vorliegen müssen und Teilnehmer/innen diese Daten verwenden). Die Zeiteinteilungsmethoden "Einzeln" und "Keine Zeitaufteilung" sind nicht geeignet, um Teilnehmer/innen zu identifizieren, die gefährdet sind auszusteigen. Sie sind gedacht für Modelle wie "Kurse, bei denen die Gefahr besteht, dass sie nicht beginnen" oder "Spammer", in denen nur eine Vorhersage pro Stichprobe berechnet wird. Z.B. kann das Modell "Kurse, bei denen die Gefahr besteht, dass sie nicht beginnen" die Zeitaufteilungsmethode "Einzeln" verwenden; die Zielklasse (das ist die Haupt-PHP-Klasse des Modells) akzeptiert nur Kurse, die in der kommenden Woche beginnen; die Vorhersage wird dann für alle diese Kurse einmalig berechnet, d.h. die Einschätzung "Kurse, bei denen die Gefahr besteht, dass sie nicht beginnen" für einen Kurs wird später nicht noch einmal für diesen Kurs berechnet.

Der Unterschied zwischen den Methoden "Einzeln" und "Keine Zeitaufteilung" besteht darin, dass Modelle, die mit der Methode "Einzeln" analysiert wurden, auf die analysierbaren Elemente beschränkt sind (z.B. auf Kursbeginn- und Kursende-Daten im Fall des Modells "Teilnehmer/innen, die gefährdet sind auszusteigen"), während es bei der Zeitaufteilungsmethode "Keine Zeitaufteilung" keine zeitlichen Einschränkungen gibt und alle im System verfügbaren Daten zur Berechnung der Indikatoren verwendet werden.

Anmerkung: Obwohl alle oben beschriebenen Beispiele sich auf Kurse beziehen, können Zeitaufteilungsmethoden auch auf andere analysierbare Elemente bezogen werden. Z.B. können Kurseinschreibungen ein Beginn- und ein Endedatum haben, so dass die Zeitaufteilungsmethode verwendet werden kann, um Vorhersagen in Bezug auf Aspekte der Kurseinschreibung zu machen. Für analysierbare Elemente ohne Beginn- und Endedatum sind andere Zeitaufteilungsmethoden erforderlich. Z.B. könnte eine "wöchentliche" Zeitaufteilungsmethode in einem Modell verwendet werden, das auf der Basis von Daten über seine Aktivitäten in der vergangenen Woche vorhersagt, ob eine Person sich in der Zukunft im System anmelden wird.

Vorhersage-Prozessor

Diese Einstellung legt fest, welches Backend und welcher Algorithmus für maschinelles Lernen verwendet werden, um das Modell auszuwerten. Moodle stellt derzeit zwei Vorhersage-Prozessoren zur Verfügung:

  • PHP-Backend für maschinelles Lernen - implementiert logistische Regression unter Verwendung von php-ml (beigesteuert durch Moodle)
  • Python-Backend für maschinelles Lernen - implementiert ein einschichtiges Feedforward-Netz unter Verwendung von TensorFlow.

Sie können nur solche Prozessoren auswählen, die die Moodle-Administration systemweit aktiviert hat.

regression.png

ffnn.png

Jeder Vorhersage-Prozessor kann zukünftig mehrere Algorithmen unterstützen.

Modellnamen ändern

Der Modellname wird verwendet, um die Einschätzungen zu identifizieren, die das Modell generiert. Er ist standardmäßig derselbe wie der Zielname. Sie können den Modellnamen ändern, indem Sie in der Liste der Modelle auf das Stift-Symbol neben dem entsprechenden Modellnamen klicken.

edit model name.png

Modelle trainieren

Modelle, die auf maschinellem Lernen basieren, müssen mit älteren Daten der Moodle-Site trainiert werden. Statische Modelle verwenden vordefinierte Regeln und müssen nicht trainiert werden.

Es gibt zwei Hauptkategorien von Analytics-Modellen, die auf maschinellem Lernen basieren: überwachte und nicht überwachte.

  • Überwachte Modelle müssen mit Daten trainiert werden, wobei die Zielwerte bereits identifiziert sind. Wenn das Modell z.B. den Kursabschluss vorhersagen soll, muss das Modell mit Kursen und Einschreibungen trainiert werden, bei denen der Kursabschluss-Status bekannt ist.
  • Nicht überwachte Modelle suchen nach Mustern in vorhandenen Daten, z.B. klassifizieren sie Teilnehmer/innen nach Ähnlichkeiten in ihrem Verhalten im Kurs.

Zum jetzigen Zeitpunkt unterstützt Moodle Learning Analytics nur überwachte Modelle.

Wir hoffen, dass wir in Zukunft bereits trainierte Modelle im Standardpaket von Moodle bereitstellen können, derzeit haben wir jedoch noch nicht genügend Daten, um Modelle für eine externe Nutzung zu trainieren. (Wenn Sie unsere Bemühungen unterstützen und Daten bereitstellen möchten, wenden Sie sich bitte an die Moodle Learning Analytics Working Group.)

Trainingsdaten

Der Modell-Code enthält Kriterien für Trainingsdatensätze und für Vorhersagedatensätze. Z.B. können nur vergangene Kurse mit eingeschriebenen Teilnehmer/innen und einem Kursende-Datum verwendet werden, um das Modell Teilnehmer/innen, die Gefahr laufen, aus dem Kurs auszusteigen zu trainieren, weil es nicht möglich ist einzuschätzen, ob jemand aussteigt, bevor der Kurs zu Ende ist. Andererseits muss es einen Kurs mit eingeschriebenen Teilnehmer/innen geben, der begonnen hat, aber noch nicht beendet ist, um für dieses Modell eine Vorhersage zu generieren.

Der Trainingsdatensatz wird im PHP-Code für das Ziel definiert. Modelle können nur trainiert werden, wenn eine Moodle-Site genügend Daten enthält, die die Trainingskriterien erfüllen. Die meisten Modelle benötigen Moodle-Logdaten aus dem Zeitraum, in dem die Events liegen, die analysiert werden sollen. Z.B. kann das Modell Teilnehmer/innen, die Gefahr laufen, aus dem Kurs auszusteigen nur trainiert werden, wenn Logdaten zu Teilnehmeraktivitäten in Kursen, die die Trainingskriterien erfüllen, vorliegen. Es ist möglich, die Modelle in einem "archivierten" System zu trainieren und die Modelle anschließend im Produktivsystem zu verwenden.

Modellauswertung anstoßen

Das passiert normalerweise im Hintergrund durch eine Reihe von geplanten Vorgängen, aber Sie können diesen Prozess auch über das Modell-Menü anstoßen.

model menu evaluate.png

Das Modell sammelt dann alle Trainingsdaten, die auf der Moodle-Site verfügbar sind, berechnet alle Indikatoren und das Ziel und sendet die sich daraus ergebenden Datensätze an die Backends des maschinellen Lernens. Dieser Prozess teilt die Datensätze in Trainingsdaten und Testdaten auf und berechnet die Genauigkeit des Modells. Beachten Sie, dass der Auswertungsprozess alle Daten verwendet, die in der Moodle-Site verfügbar sind, auch wenn sie sehr alt sind. Deshalb kann die berechnete Genauigkeit des Modells kleiner sein als die tatsächliche Genauigkeit, da die Indikatoren zuverlässiger berechnet werden, direkt nachdem Trainingsdaten verfügbar sind, da der Site-Zustand sich ständig ändert. Die Metrik, die zur Berechnung der Genauigkeit verwendet wird, ist der Matthews Correlation Coefficient (eine Metrik, die im maschinellen Lernen zur Berechnung binärer Klassifikationen verwendet wird).

model-evaluation.jpeg

Sie können die Modellauswertung auch von Kommandozeile aus starten:

$ admin/tool/analytics/cli/evaluate_model.php

Auswertungsergebnisse überprüfen

model menu log.png

Sie können die Ergebnisse des Modell-Trainingsprozesses ansehen, indem Sie über das Modell-Menü auf die Auswertungslogdaten zugreifen.

model log.png

log info.png

Prüfen Sie, ob Warnungen zum Abschluss des Auswertungsprozesses, zur Modellgenauigkeit und zur Modellvariabilität vorliegen.

Sie können auch die Liste der ungültigen Elemente kontrollieren, um zu prüfen, welche Site-Elemente in die Analyse einbezogen wurden und welche nicht. Wenn Sie eine große Anzahl an unerwarteten Elementen in diesem Bericht sehen, dann kann das bedeuten, dass Sie Ihre Daten prüfen müssen. Z.B. wenn Kurse keine passenden Kursbeginn- und Kursende-Daten haben oder die Kurseinschreibungsdaten gelöscht wurden, kann das System keine Daten aus diesen Kursen in den Modell-Trainingsprozess einbeziehen.

invalid site elements.png

Modelle exportieren und importieren

Modelle können aus einer Moodle-Site exportiert und in eine andere Moodle-Site importiert werden.

Modelle exportieren

Sie können Daten exportieren, um Modelle zu trainieren oder Sie können die Modellkonfiguration und die Gewichte des trainierten Modell exportieren.

export dialogue.png

Hinweis: Die Modellgewichte sind komplett anonym, sie enthalten keine personenbezogenen Daten! D.h. Sie können diese Gewichte mit anderen Forscher/innen teilen, ohne sich Gedanken zum Datenschutz machen zu müssen.

Modelle importieren

import model.png

Wenn ein Modell mit Gewichten importiert wird, dann hat die Moodle-Administration die Wahl zwischen den Optionen, das trainierte Modell mit den Daten der Moodle-Site auszuwerten oder die Modellkonfiguration auszuwerten, indem das Modell erneut mit den Daten der Moodle-Site trainiert wird.

evaluate model.png