Ab Moodle 3.4 implementiert Moodle auf Open Source Basis eine Learning Analytics Funktionalität. Die Implementierung verwendet Algorithmen und Verfahren des maschinellen Lernens, die über die Verfahren der einfachen deskriptiven Datenanalyse hinaus gehen. Die Funktionalität ermöglicht es, Vorhersagen über den Lernerfolg einzelner Nutzer/innen zu treffen und Diagnosen und Empfehlungen für Teilnehmer/innen und Trainer/innen bereitzustellen.
Ab Moodle 3.4 implementiert Moodle auf Open Source Basis eine Learning Analytics Funktionalität. Die Implementierung verwendet Algorithmen und Verfahren des maschinellen Lernens, die über die Verfahren der einfachen deskriptiven Datenanalyse hinaus gehen. Die Funktionalität ermöglicht es, Vorhersagen über den Lernerfolg einzelner Nutzer/innen zu treffen und Diagnosen und Empfehlungen für Teilnehmer/innen und Trainer/innen bereitzustellen.
In Moodle 3.4 sind zwei Modelle implementiert:
===Was ist Learning Analytics?===
* [[Teilnehmer/innen sind gefährdet auszusteigen]]
Unter Learning Analytics versteht man Software-Algorithmen, mit deren Hilfe man auf der Basis von Daten aus der Vergangenheit und dem gegenwärtigen (Nutzer-)Verhalten unbekannte Aspekte des Lernprozesses vorhersagen oder entdecken kann. Es gibt vier Hauptkategorien von Learning Analytics:
* Keine Lehrtätigkeit
* beschreibende (Was ist passiert?)
* vorhersagende (Was wird als Nächstes passieren?)
* diagnostische (Warum ist es passiert?)
* vorschreibende (Tue dies, um eine Verbesserung zu erreichen.)
Die meisten kommerziellen Lösungen sind nur beschreibend.Vorschreibende und proaktive Lösungen treffen bestimmte Annahmen über das Lernen, die nicht auf alle Nutzer/innen zutreffen.
===Analytics versus Berichte===
Moodle stellt eine Vielzahl von Berichten zur Verfügung, die auf Logdaten basieren, aber diese Berichte haben eher beschreibenden Charakter - sie geben Auskunft darüber, was passiert ist, aber nicht warum und sie machen keine Vorhersagen oder geben Ratschläge, wie eine Verbesserung beim Lernerfolg erreicht werden kann. Die Logdaten selbst sind an sich keine Beschreibungen für den Lernprozess. Sie sagen aus, "er", "was" "wann" getan hat, aber nicht "warum" und "wie gut". Zu jeder einzelnen Mikro-Aktion ist viel mehr Kontextinformation erforderlich, um ein Muster des Engagements zu entwickeln.
Es gibt zahlreiche Zusatz-Plugins für beschreibende Kategorien von Learning Analytics. Es gibt auch solche Lösungen außerhalb von Moodle. Sie alle bieten vorrangig beschreibende Analysen, die sich auf das Urteilvermögen der Nutzer/innen verlassen, die diese beschreibenden Berichte interpretieren und daraus Einschätzungen und Handlungsvorschläge ableiten.
Die Analytics Funktionalität kann um weitere Modelle erweitert werden. Die Modelle müssen auf wiederverwendbaren Zielen, Indikatoren und anderen Komponenten basieren. Mehr Informationen dazu finden Sie in der Entwickler-Dokumentation unter [[dev:Analytics API| Analytics API]] (englisch).
In der Vergangenheit haben Learning Analytics Systeme häufig versucht, vergangene Aktivitäten zu analysieren, um zukünftige Aktivitäten in Echtzeit vorherzusagen. Das Learning Analytics System von Moodle ist ambitionierter. Wir glauben, dass eine umfassende Lösung nicht nur Aktionen vorhersagt, sondern sie zum Besseren verändert.
===Funktionalitäten===
===Funktionalitäten===
* Zwei Vorhersagemodelle: ''[[Teilnehmer/innen sind gefährdet auszusteigen]]'' und ''Keine Lehrtätigkeit''
* Zwei Arten von Vorhersagemodellen werden unterstützt:
* Indikatoren, die das Engagement der Teilnehmer/innen messen und auf [https://en.wikipedia.org/wiki/Community_of_inquiry Community of Inquiry] basieren.
* Eingebaute Werkzeuge, die diese Modelle auf die Daten Ihrer Moodle-Site anwenden und auf diese Weise z.B. Nutzer/innen identifizieren, die gefährdet sind auszusteigen
**Statische Modelle, um auf der Basis einfacher Regeln besondere Situation zu entdecken
* Proaktive Benachrichtigungen von Trainer/innen über diese Nutzer/innen mit Hilfe von Moodle-Events
{{Neu}}* Drei standardmäßige Vorhersagemodelle: ''[[Teilnehmer/innen sind gefährdet auszusteigen]]'', ''Fälligkeit von Aktivitäten'' und ''Keine Lehrtätigkeit''.
* Trainer/innen können auf Basis dieser Benachrichtigungen den Kursteilnehmer/innen Mitteilungen senden, deren Aktivitätenberichte ansehen und weitere Informationen über diese Kursteilnehmer/innen einholen.
* Verschiedene [[Analytics-Indikatoren|Indikatoren]], die das Engagement der Teilnehmer/innen messen und auf [https://en.wikipedia.org/wiki/Community_of_inquiry Community of Inquiry] basieren.
* Eingebaute Werkzeuge, die diese Modelle auf die Daten Ihrer Moodle-Site anwenden
* Proaktive Benachrichtigungen von Trainer/innen über diese Nutzer/innen mit Hilfe von [[Event-Liste|Moodle-Events]]
* Für jedes Modell gibt es Einschätzungen und eine Liste von geeigneten Aktionen. Zum Beispiel können Trainer/innen beim Modell [[Teilnehmer/innen sind gefährdet auszusteigen]] die entsprechenden Nutzer/innen benachrichtigen oder die [[Aktivitätenbericht]]e dieser Teilnehmer/innen aufrufen, um weitere Informationen über sie zu erhalten.
* Eine [[dev:Analytics API| API]], um Indikatoren und Vorhersagemodelle für weitere Analytics-Plugins zu implementieren
* Eine [[dev:Analytics API| API]], um Indikatoren und Vorhersagemodelle für weitere Analytics-Plugins zu implementieren
* Ein Plugin-Typ ''Machine Learning Backend'', der PHP und Python unterstützt und erweitert werden kann, um weitere Machine Learning Backends zu implementieren
* ein Plugin-Typ ''Machine Learning Backend'', der PHP und Python unterstützt und erweitert werden kann, um weitere Backends für maschinelles Lernen zu implementieren
*Das System kann einfach um neue Modelle erweitert werden, die auf wiederverwendbaren Zielen, Indikatoren und anderen Komponenten basieren. Mehr Informationen finden Sie in der [[dev:Analytics API|Analytics API]] Entwicklerdokumentation.
'''Hinweis''': Für alle Analytics-Funktionalitäten ist PHP 7.x erforderlich.
===Einschränkungen===
===Einschränkungen===
Die Funktionalitäten von Moodle Analytics haben folgende Einschränkungen:
* Die Modelle müssen vorab mit Hilfe von Daten aus bereits abgeschlossenen Kursen Ihrer Moodle-Site "trainiert" werden. Die Modelle können ohne dieses "Training" keine Vorhersagen machen.
*Die Modelle müssen vorab mit Hilfe von Daten aus bereits abgeschlossenen Kursen Ihrer Moodle-Site "trainiert" werden, idealerweise unter Verwendung der Funktionalität [[Kursabschluss]]. Die derzeit implementierten Modelle können ohne dieses "Training" keine Vorhersagen machen.
* Die Modellemüssen so angelegt und ausgewählt sein, dass sie den Prioritäten der Bildungseinrichtung entsprechen.
* Das Vorhersagemodell in der aktuellen Moodle-Version erfordert, dass Kurse ein festes Kursbeginndatum und ein festes Kursendedatum haben. Das Modell funktioniert nicht bei Kursen mit fortlaufenden Einschreibungen. Modelle ohne diese Einschränkungen sollen in zukünftigen Moodle-Versionen verfügbar sein.
* Modelle und Vorhersagen sind derzeit nur für Trainer/innen und Administrator/innen sichtbar.
Wir arbeiten an der Weiterentwicklung der Funktionalitäten. Wenn Sie diesen Prozess unterstützen möchten, dann beteiligen Sie sich an den Diskussionen in der [https://moodle.org/project_inspire Moodle Learning Analytics Community]. Insbesondere benötigen wir weiterhin Daten von möglichst vielen Institutionen, um unsere Modelle zu trainieren, so dass die Modelle zukünftig auch sofort auf einer Moodle-Site eingesetzt werden können, ohne sie vorab mit den lokalen Daten zu trainieren.
== Einstellungen==
== Einstellungen==
Das Moodle Learning Analytics System erfordert vorab einige Einstellungen. Siehe [[Analytics-Einstellungen]] für Details.
Die Moodle-Administration kann die Analytics-Einstellungen auf der Seite ''Einstellungen > Website-Administration > Analytics > Analytics-Einstellungen'' vornehmen.
==Analytics nutzen==
Die Moodle Learning Analytics API ist ein offenes System, das die Basis für eine Vielzahl von Modellen werden kann. Modelle können Indikatoren (Vorhersager), Ziele (Ausgang, den wir vorhersagen wollen), Einschätzungen (die Vorhersagen selbst), Benachrichtigungen (Mitteilungen, die aufgrund von Einschätzungen verschickt werden) und Aktionen (die den Empfänger/innen der Benachrichtigungen vorgeschlagen werden und die selbst wieder zu Indikatoren werden können) enthalten.
Vorhersage-Prozessoren sind Prediction processors are the machine learning backends that process the datasets generated from the calculated indicators and targets and return predictions. Moodle core includes 2 prediction processors:
* The PHP processor is the default. There are no other system requirements to use this processor.
* The Python one is more powerful and it generates [https://www.tensorflow.org/get_started/summaries_and_tensorboard graphs that explain the model performance]. It requires setting up extra tools: Python itself (https://wiki.python.org/moin/BeginnersGuide/Download) and the moodlemlbackend python package.
pip install moodlemlbackend
=== Time splitting methods ===
[[dev:Analytics API#Time splitting methods|Time splitting methods]] allow insights generated from one course to be used on another course, even if the two courses are not exactly the same length.
Each time splitting method divides the course duration into segments. At the end of each defined segment, the predictions engine will run and generate insights. It is recommended that you only enable the time splitting methods you are interested in using; the evaluation process will iterate through all enabled time-spitting methods, so the more time-splitting methods enabled, the slower the evaluation process will be.
"Single range" indicates that predictions will be made once, but will take into account a range of time, e.g. one prediction at the end of a course. The prediction is made at the end of the range.
"No splitting" indicates that the model generates an insight based on a snapshot of data at a given moment, e.g. the "no teaching" model looks to see if there are currently any teachers or students assigned to a course at a defined point before the start of the term, and issues one insight warning the site administrator that no teaching is likely to occur in that empty course.
"Accumulative" methods differ in how much data is included in the prediction. Both "quarterly" and "quarterly accumulative" predictions are made at the end of each quarter of a time span (e.g. a course), but in "quarterly," only the information from the most recent quarter is included in the prediction, whereas in "quarterly accumulative" all information up to the present is included in the prediction.
Single range and no splitting methods do not have time constraints. They run during the next scheduled task execution, although models apply different restrictions (e.g. require that a course is finished to use it for training or some data in the course and students to use it to get predictions...). 'Single range' and 'No splitting' are not appropriate for students at risk of dropping out of courses. They are intended to be used in models like 'No teaching' or 'Spammer user' where you just want one prediction and done. To explain this with an example: 'No teaching' model uses 'Single range' time splitting method; the target class (the main PHP class of a model) only accepts courses that will start during the next week. Once we provide 'No teaching' insights for a course we don't provide them anymore.
The difference between 'Single range' and 'No splitting' is that models analysed using 'Single range' will be limited to the analysable elements (the course in students at risk model) start and end dates, while 'No splitting' do not have any time contraints and all data available in the system is used to calculate the indicators.
'''Note''': Although the examples above refer to courses, time splitting methods can be used on any analysable element. For example, enrolments can have start and end dates, so a time splitting method could be applied to generate predictions about aspects of an enrollment. For analysable elements with no start and end dates, different time splitting methods would be needed. For example, a "weekly" time splitting method could be applied to a model intended to predict whether a user is likely to log in to the system in the future, on the basis of activity in the previous week.
This setting allows you to define a directory where machine learning backends data is stored. Be sure this directory exists and is writable by the web server.
== Model management ==
Moodle can support multiple prediction models at once, even within the same course. This can be used for A/B testing to compare the performance and accuracy of multiple models.
Moodle core ships with two prediction models, ''[[Students at risk of dropping out]]'' and ''No teaching.'' Additional prediction models can be created by using the [[dev:Analytics API| Analytics API]]. Each model is based on the prediction of a single, specific "target," or outcome (whether desirable or undesirable), based on a number of selected indicators.
You can manage your system models from ''Site Administration > Analytics > Analytics models''.
[[File:prediction-models-list.jpeg]]
These are some of the actions you can perform on a model:
=== View Insights ===
Once you have trained a machine learning algorithm with the data available on the system, you will see insights (predictions) here for each "analysable." In the included model "[[Students at risk of dropping out]], insights may be selected per course. ''Predictions are not limited to ongoing courses-- this depends on the model.''
=== Evaluate ===
(disabled by default) Evaluate the prediction model by getting all the training data available on the site, calculating all the indicators and the target and passing the resulting dataset to machine learning backends. This process will split the dataset into training data and testing data and calculate its accuracy. Note that the evaluation process uses all information available on the site, even if it is very old. Because of this, the accuracy returned by the evaluation process may be lower than the real model accuracy as indicators are more reliably calculated immediately after training data is available because the site state changes over time. The metric used to describe accuracy is the ''[https://en.wikipedia.org/wiki/Matthews_correlation_coefficient Matthews correlation coefficient]'' (a metric used in machine learning for evaluating binary classifications)
You can force the model evaluation process to run from the command line:
$ admin/tool/analytics/cli/evaluate_model.php
=== Log ===
View previous evaluation logs, including the model accuracy as well as other technical information generated by the machine learning backends like ROC curves, learning curve graphs, the tensorboard log dir or the model's Matthews correlation coefficient. The information available will depend on the machine learning backend in use.
=== Edit ===
You can edit the models by modifying the list of indicators or the time-splitting method. All previous predictions will be deleted when a model is modified. Models based on assumptions (static models) can not be edited.
=== Enable / Disable ===
The scheduled task that trains machine learning algorithms with the new data available on the system and gets predictions for ongoing courses skips disabled models. Previous predictions generated by disabled models are not available until the model is enabled again.
=== Export ===
Export your site training data to share it with your partner institutions or to use it on a new site. The Export action for models allows you to generate a csv file containing model data about indicators and weights, without exposing any of your site-specific data. We will be asking for submissions of these model files to help evaluate the value of models on different kinds of sites. Please see the [https://moodle.org/project_inspire Learning Analytics community] for more information.
=== Invalid site elements ===
Reports on what elements in your site can not be analysed by this model
=== Clear predictions ===
Clears all the model predictions and training data
[[File:model-evaluation.jpeg]]
=== Core models ===
==== Students at risk of dropping out ====
[[Students at risk of dropping out|This model]] predicts students who are at risk of non-completion (dropping out) of a Moodle course, based on low student engagement. In this model, the definition of "dropping out" is "no student activity in the final quarter of the course." The prediction model uses the [https://en.wikipedia.org/wiki/Community_of_inquiry Community of Inquiry] model of student engagement, consisting of three parts:
* [[Students at risk of dropping out#Cognitive depth|Cognitive presence]]
* [[Students at risk of dropping out#Social Breadth|Social presence]]
* [[Students at risk of dropping out#Potential indicator levels for selected activity modules|Teacher presence]]
This prediction model is able to analyse and draw conclusions from a wide variety of courses, and apply those conclusions to make predictions about new courses. The model is not limited to making predictions about student success in exact duplicates of courses offered in the past. However, there are some limitations:
# This model requires a certain amount of in-Moodle data with which to make predictions. At the present time, only core Moodle activities are included in the [[Students at risk of dropping out#Indicators|indicator]] set (see below). Courses which do not include several core Moodle activities per “time slice” (depending on the time splitting method) will have poor predictive support in this model. This prediction model will be most effective with fully online or “hybrid” or “blended” courses with substantial online components.
# This prediction model assumes that courses have fixed start and end dates, and is not designed to be used with rolling enrollment courses. Models that support a wider range of course types will be included in future versions of Moodle. Because of this model design assumption, it is very important to properly set course start and end dates for each course to use this model. If both past courses and ongoing courses start and end dates are not properly set predictions cannot be accurate. Because the course end date field was only introduced in Moodle 3.2 and some courses may not have set a course start date in the past, we include a command line interface script:
This script attempts to estimate past course start and end dates by looking at the student enrolments and students' activity logs. After running this script, please check that the estimated start and end dates script results are reasonably correct.
==== No teaching ====
This model's insights will inform site managers of which courses with an upcoming start date will not have teaching activity. This is a simple model and it does not use machine learning backend to return predictions. It bases the predictions on assumptions, e.g. there is no teaching if there are no students.
== Predictions and Insights ==
Models will start generating predictions at different point in time, depending on the site prediction models and the site courses start and end dates.
Each model defines which predictions will generate [[dev:Analytics API#Insights|insights]] and which predictions will be ignored. For example, the ''[[Students at risk of dropping out]]'' prediction model does not generate an insight if a student is predicted as "not at risk," since the primary interest is which students are at risk of dropping out of courses, not which students are not at risk.
[[File:prediction-model-insights.jpeg]]
=== Actions===
Each insight can have one or more actions defined. Actions provide a way to act on the insight as it is read. These actions may include a way to send a message to another user, a link to a report providing information about the sample the prediction has been generated for (e.g. a report for an existing student), or a way to view the details of the model prediction.
Die meisten Modelle sind standardmäßig deaktiviert. Die Modelle sollten erst aktiviert werden, nachdem Sie sich Gedanken darüber gemacht haben, welche Bildungsziele durch die Modelle unterstützt werden sollen. Siehe [[Analytics nutzen]] für mehr Informationen.
[[Image:08_insights.png|frame|center|Insights and Actions]]
==Modelle verwalten==
Sobald die Modelle aktiviert und trainiert sind, werden Einschätzungen generiert. Modelle sollte auch bezüglich ihrer Geschwindigkeit und Genauigkeit überwacht werden. Siehe [[Analytics verwalten]] für mehr Informationen.
Insights can also offer two important general actions that are applicable to all insights. First, the user can acknowledge the insight. This removes that particular prediction from the view of the user, e.g. a notification about a particular student at risk is removed from the display.
The second general action is to mark the insight as "Not useful." This also removes the insight associated with this calculation from the display, but the model is adjusted to make this prediction less likely in the future.
Ab Moodle 3.4 implementiert Moodle auf Open Source Basis eine Learning Analytics Funktionalität. Die Implementierung verwendet Algorithmen und Verfahren des maschinellen Lernens, die über die Verfahren der einfachen deskriptiven Datenanalyse hinaus gehen. Die Funktionalität ermöglicht es, Vorhersagen über den Lernerfolg einzelner Nutzer/innen zu treffen und Diagnosen und Empfehlungen für Teilnehmer/innen und Trainer/innen bereitzustellen.
Was ist Learning Analytics?
Unter Learning Analytics versteht man Software-Algorithmen, mit deren Hilfe man auf der Basis von Daten aus der Vergangenheit und dem gegenwärtigen (Nutzer-)Verhalten unbekannte Aspekte des Lernprozesses vorhersagen oder entdecken kann. Es gibt vier Hauptkategorien von Learning Analytics:
beschreibende (Was ist passiert?)
vorhersagende (Was wird als Nächstes passieren?)
diagnostische (Warum ist es passiert?)
vorschreibende (Tue dies, um eine Verbesserung zu erreichen.)
Die meisten kommerziellen Lösungen sind nur beschreibend.Vorschreibende und proaktive Lösungen treffen bestimmte Annahmen über das Lernen, die nicht auf alle Nutzer/innen zutreffen.
Analytics versus Berichte
Moodle stellt eine Vielzahl von Berichten zur Verfügung, die auf Logdaten basieren, aber diese Berichte haben eher beschreibenden Charakter - sie geben Auskunft darüber, was passiert ist, aber nicht warum und sie machen keine Vorhersagen oder geben Ratschläge, wie eine Verbesserung beim Lernerfolg erreicht werden kann. Die Logdaten selbst sind an sich keine Beschreibungen für den Lernprozess. Sie sagen aus, "er", "was" "wann" getan hat, aber nicht "warum" und "wie gut". Zu jeder einzelnen Mikro-Aktion ist viel mehr Kontextinformation erforderlich, um ein Muster des Engagements zu entwickeln.
Es gibt zahlreiche Zusatz-Plugins für beschreibende Kategorien von Learning Analytics. Es gibt auch solche Lösungen außerhalb von Moodle. Sie alle bieten vorrangig beschreibende Analysen, die sich auf das Urteilvermögen der Nutzer/innen verlassen, die diese beschreibenden Berichte interpretieren und daraus Einschätzungen und Handlungsvorschläge ableiten.
In der Vergangenheit haben Learning Analytics Systeme häufig versucht, vergangene Aktivitäten zu analysieren, um zukünftige Aktivitäten in Echtzeit vorherzusagen. Das Learning Analytics System von Moodle ist ambitionierter. Wir glauben, dass eine umfassende Lösung nicht nur Aktionen vorhersagt, sondern sie zum Besseren verändert.
Funktionalitäten
Zwei Arten von Vorhersagemodellen werden unterstützt:
Eingebaute Werkzeuge, die diese Modelle auf die Daten Ihrer Moodle-Site anwenden
Proaktive Benachrichtigungen von Trainer/innen über diese Nutzer/innen mit Hilfe von Moodle-Events
Für jedes Modell gibt es Einschätzungen und eine Liste von geeigneten Aktionen. Zum Beispiel können Trainer/innen beim Modell Teilnehmer/innen sind gefährdet auszusteigen die entsprechenden Nutzer/innen benachrichtigen oder die Aktivitätenberichte dieser Teilnehmer/innen aufrufen, um weitere Informationen über sie zu erhalten.
Eine API, um Indikatoren und Vorhersagemodelle für weitere Analytics-Plugins zu implementieren
ein Plugin-Typ Machine Learning Backend, der PHP und Python unterstützt und erweitert werden kann, um weitere Backends für maschinelles Lernen zu implementieren
Das System kann einfach um neue Modelle erweitert werden, die auf wiederverwendbaren Zielen, Indikatoren und anderen Komponenten basieren. Mehr Informationen finden Sie in der Analytics API Entwicklerdokumentation.
Einschränkungen
Die Modelle müssen vorab mit Hilfe von Daten aus bereits abgeschlossenen Kursen Ihrer Moodle-Site "trainiert" werden. Die Modelle können ohne dieses "Training" keine Vorhersagen machen.
Die Modellemüssen so angelegt und ausgewählt sein, dass sie den Prioritäten der Bildungseinrichtung entsprechen.
Einstellungen
Das Moodle Learning Analytics System erfordert vorab einige Einstellungen. Siehe Analytics-Einstellungen für Details.
Analytics nutzen
Die Moodle Learning Analytics API ist ein offenes System, das die Basis für eine Vielzahl von Modellen werden kann. Modelle können Indikatoren (Vorhersager), Ziele (Ausgang, den wir vorhersagen wollen), Einschätzungen (die Vorhersagen selbst), Benachrichtigungen (Mitteilungen, die aufgrund von Einschätzungen verschickt werden) und Aktionen (die den Empfänger/innen der Benachrichtigungen vorgeschlagen werden und die selbst wieder zu Indikatoren werden können) enthalten.
Die meisten Modelle sind standardmäßig deaktiviert. Die Modelle sollten erst aktiviert werden, nachdem Sie sich Gedanken darüber gemacht haben, welche Bildungsziele durch die Modelle unterstützt werden sollen. Siehe Analytics nutzen für mehr Informationen.
Modelle verwalten
Sobald die Modelle aktiviert und trainiert sind, werden Einschätzungen generiert. Modelle sollte auch bezüglich ihrer Geschwindigkeit und Genauigkeit überwacht werden. Siehe Analytics verwalten für mehr Informationen.
