Learning Analytics: Unterschied zwischen den Versionen

Aus MoodleDocs
Wechseln zu:Navigation, Suche
KKeine Bearbeitungszusammenfassung
 
(15 dazwischenliegende Versionen von 2 Benutzern werden nicht angezeigt)
Zeile 1: Zeile 1:
{{ÜberarbeitenNeu}}{{Lernfortschritt}}{{Analytics}}
{{Analytics}}
==Übersicht==
==Übersicht==


{{MediaPlayer | url = https://youtu.be/UHwfG6q9UsA | desc =  3.7 Übersicht}}
{{MediaPlayer | url = https://youtu.be/TFhQVwk1CQY | desc =  3.8 Übersicht}}




Ab Moodle 3.4 implementiert Moodle auf Open Source Basis eine Learning Analytics Funktionalität. Die Implementierung verwendet Algorithmen und Verfahren des maschinellen Lernens, die über die Verfahren der einfachen deskriptiven Datenanalyse hinaus gehen. Die Funktionalität ermöglicht es, Vorhersagen über den Lernerfolg einzelner Nutzer/innen zu treffen und Diagnosen und Empfehlungen für Teilnehmer/innen und Trainer/innen bereitzustellen.
Moodle implementiert auf Open Source Basis eine Learning Analytics Funktionalität. Die Implementierung verwendet Algorithmen und Verfahren des maschinellen Lernens, die über die Verfahren der einfachen deskriptiven Datenanalyse hinaus gehen. Die Funktionalität ermöglicht es, Vorhersagen über den Lernerfolg einzelner Nutzer/innen zu treffen und Diagnosen und Empfehlungen für Teilnehmer/innen und Trainer/innen bereitzustellen.


===Was ist Learning Analytics?===
===Was ist Learning Analytics?===
Zeile 14: Zeile 14:
* vorschreibende (Tue dies, um eine Verbesserung zu erreichen.)
* vorschreibende (Tue dies, um eine Verbesserung zu erreichen.)


Die meisten kommerziellen Lösungen sind nur beschreibend.Vorschreibende und proaktive Lösungen treffen bestimmte Annahmen über das Lernen, die nicht auf alle Nutzer/innen zutreffen.
Die meisten kommerziellen Lösungen sind nur beschreibend. Vorschreibende und proaktive Lösungen treffen bestimmte Annahmen über das Lernen, die nicht auf alle Nutzer/innen zutreffen.


===Analytics versus Berichte - ÜBERSETZEN!!!===
===Analytics versus Berichte===
Moodle provides a variety of built-in reports based on log data, but they are primarily descriptive in nature -- they tell participants what happened, but not why, and they don’t predict outcomes or advise participants how to improve outcomes. Log entries, while very detailed, are not in themselves descriptive of the learning process. They tell us “who,” “what,” and “when,” but not “why” or “how well.” Much more context is needed around each micro-action to develop a pattern of engagement.
Moodle stellt eine Vielzahl von Berichten zur Verfügung, die auf Logdaten basieren, aber diese Berichte haben eher beschreibenden Charakter - sie geben Auskunft darüber, was passiert ist, aber nicht warum und sie machen keine Vorhersagen oder geben Ratschläge, wie eine Verbesserung beim Lernerfolg erreicht werden kann. Die Logdaten selbst sind an sich keine Beschreibungen für den Lernprozess. Sie sagen aus, "wer", "was" "wann" getan hat, aber nicht "warum" und "wie gut". Zu jeder einzelnen Mikro-Aktion ist viel mehr Kontextinformation erforderlich, um ein Muster des Engagements zu entwickeln.


Many third-party plugins also exist for Moodle that provide descriptive analytics. There are also integrations with third-party off-site reporting solutions. Again, these primarily provide descriptive analytics that rely on human judgment to interpret reports and generate predictions and prescriptions.
Es gibt zahlreiche Zusatz-Plugins für beschreibende Kategorien von Learning Analytics. Es gibt auch solche Lösungen außerhalb von Moodle. Sie alle bieten vorrangig beschreibende Analysen, die sich auf das Urteilvermögen der Nutzer/innen verlassen, die diese beschreibenden Berichte interpretieren und daraus Einschätzungen und Handlungsvorschläge ableiten.


Often in the past, learning analytics systems have attempted to analyze past activities to predict future activities in real time. With Moodle Learning Analytics, we are more ambitious. We believe a full learning analytics solution will help us not only predict events, but change them to be more positive.
In der Vergangenheit haben Learning Analytics Systeme häufig versucht, vergangene Aktivitäten zu analysieren, um zukünftige Aktivitäten in Echtzeit vorherzusagen. Das Learning Analytics System von Moodle ist ambitionierter. Wir glauben, dass eine umfassende Lösung nicht nur Aktionen vorhersagt, sondern sie zum Besseren verändert.


===Funktionalitäten===
===Funktionalitäten===
Zeile 27: Zeile 27:
**Machine-Learning-basierte Modelle, inklusive Vorhersagemodelle
**Machine-Learning-basierte Modelle, inklusive Vorhersagemodelle
**Statische Modelle, um auf der Basis einfacher Regeln besondere Situation zu entdecken
**Statische Modelle, um auf der Basis einfacher Regeln besondere Situation zu entdecken
* Drei standardmäßige Vorhersagemodelle: ''[[Teilnehmer/innen sind gefährdet auszusteigen]]'', ''Fälligkeit von Aktivitäten'' und ''Keine Lehrtätigkeit''.
* Drei standardmäßige Vorhersagemodelle: ''[[Teilnehmer/innen, die Gefahr laufen, aus dem Kurs auszusteigen]]'', ''Fälligkeit für anstehende Aktivitäten'' und ''Kurse, bei denen die Gefahr besteht, dass sie nicht beginnen''.
* Verschiedene [[Analytics-Indikatoren|Indikatoren]], die das Engagement der Teilnehmer/innen messen und auf [https://en.wikipedia.org/wiki/Community_of_inquiry Community of Inquiry] basieren.
* Verschiedene [[Analytics-Indikatoren|Indikatoren]], die das Engagement der Teilnehmer/innen messen und auf [https://en.wikipedia.org/wiki/Community_of_inquiry Community of Inquiry] basieren.
* Eingebaute Werkzeuge, die diese Modelle auf die Daten Ihrer Moodle-Site anwenden  
* Eingebaute Werkzeuge, die diese Modelle auf die Daten Ihrer Moodle-Site anwenden  
* Proaktive Benachrichtigungen von Trainer/innen über diese Nutzer/innen mit Hilfe von [[Event-Liste|Moodle-Events]]
* Proaktive Benachrichtigungen von Trainer/innen über diese Nutzer/innen mit Hilfe von [[Event-Liste|Moodle-Events]]
* Für jedes Modell gibt es Einschätzungen und eine Liste von geeigneten Aktionen. Zum Beispiel können Trainer/innen beim Modell [[Teilnehmer/innen sind gefährdet auszusteigen]] die entsprechenden Nutzer/innen benachrichtigen oder die [[Aktivitätenbericht]]e dieser Teilnehmer/innen aufrufen, um weitere Informationen über sie zu erhalten.  
* Für jedes Modell gibt es Einschätzungen und eine Liste von geeigneten Aktionen. Zum Beispiel können Trainer/innen beim Modell [[Teilnehmer/innen, die Gefahr laufen, aus dem Kurs auszusteigen]] die entsprechenden Nutzer/innen benachrichtigen oder die [[Aktivitätenbericht|Aktivitätenberichte]] dieser Teilnehmer/innen aufrufen, um weitere Informationen über sie zu erhalten.  
* Eine [[dev:Analytics API| API]], um Indikatoren und Vorhersagemodelle für weitere Analytics-Plugins zu implementieren  
* Eine [[dev:Analytics API|API]], um Indikatoren und Vorhersagemodelle für weitere Analytics-Plugins zu implementieren  
* ein Plugin-Typ ''Machine Learning Backend'', der PHP und Python unterstützt und erweitert werden kann, um weitere Backends für maschinelles Lernen zu implementieren
* ein Plugin-Typ ''Machine Learning Backend'', der PHP und Python unterstützt und erweitert werden kann, um weitere Backends für maschinelles Lernen zu implementieren
*Das System kann einfach um neue Modelle erweitert werden, die auf wiederverwendbaren Zielen, Indikatoren und anderen Komponenten basieren. Mehr Informationen finden Sie in der [[dev:Analytics API|Analytics  API]] Entwicklerdokumentation.
* Das System kann einfach um neue Modelle erweitert werden, die auf wiederverwendbaren Zielen, Indikatoren und anderen Komponenten basieren. Mehr Informationen finden Sie in der [[dev:Analytics API|Analytics  API]] Entwicklerdokumentation.


===Einschränkungen===
===Einschränkungen===
* Die Modelle müssen vorab mit Hilfe von Daten aus bereits abgeschlossenen Kursen Ihrer Moodle-Site "trainiert" werden. Die Modelle können ohne dieses "Training" keine Vorhersagen machen.
* Die Modelle müssen vorab mit Hilfe von Daten aus bereits abgeschlossenen Kursen Ihrer Moodle-Site "trainiert" werden. Die Modelle können ohne dieses "Training" keine Vorhersagen machen.
* Die Modellemüssen so angelegt und ausgewählt sein, dass sie den Prioritäten der Bildungseinrichtung entsprechen.
* Die Modelle müssen so angelegt und ausgewählt sein, dass sie den Prioritäten der Bildungseinrichtung entsprechen.
 
== Einstellungen==
== Einstellungen==
Die Analytics-Funktionalität erfordert vorab einige Einstellungen. Siehe [[Analytics-Einstellungen]] für Details.
Das Moodle Learning Analytics System erfordert vorab einige Einstellungen. Siehe [[Analytics-Einstellungen]] für Details.
 
=== Vorhersage-Prozessor ===
 
Vorhersage-Prozessoren sind Backends für maschinelles Lernen, die Daten verarbeiten, die von den Zielen und Indikatoren generiert werden und aus diesen verarbeiteten Daten Vorhersagen generieren. Die Moodle-Standardinstallation stellt zwei Vorhersage-Prozessoren zur Verfügung:
* Der PHP-Prozessor ist der Standardprozessor. Es gibt keine Systemvoraussetzungen, um diesen Prozessor zu verwenden.
* Der Python-Prozessor ist mächtiger. Er generiert [https://www.tensorflow.org/get_started/summaries_and_tensorboard Grafiken, die die Performanz des Modells erklären]. Er erfordert zusätzliche Tools, die auf dem Moodle-Server installiert sein müssen: Python (https://wiki.python.org/moin/BeginnersGuide/Download) und das Python-Paket '''moodlemlbackend'''.
 
    pip install moodlemlbackend
 
=== Zeitaufteilungsmethode===
 
Die [[dev:Analytics API#Time splitting methods|Zeitaufteilungsmethoden]] erlauben es, dass Analytics-Daten, die aus einem Kurs generiert wurden, in einem anderen Kurs verwendet werden können, selbst dann wenn die beiden Kurse nicht dieselbe Dauer haben.
 
Jede Zeitaufteilungsmethode unterteilt die Kursdauer in Zeitabschnitte. Am Ende jedes so definierten Zeitabschnitts läuft die Vorhersage-Engine und generiert Vorhersagen. Es wird empfohlen, nur die Zeiteinteilungsmethoden zu aktivieren, die Sie tatsächlich verwenden wollen, denn der Vorhersage-Prozess iteriert über alle aktivierten Zeitaufteilungsmethoden und dauert folglich um so länger, je mehr Methoden aktiviert sind.
 
''Einzeln'' bedeutet, dass eine Vorhersage einmalig gemacht wird, d.h. am Ende eines Kurses.
 
''Keine Zeitaufteilung'' bedeutet, dass das Model eine Vorhersage auf der Basis der aktuell vorliegenden Daten zu einem bestimmten Zeitpunkt berechnet ("Schnapschuss"). Z.B. schaut das Model ''Keine Lehrtätigkeit'', ob irgendwelche Trainer/innen oder Teilnehmer/innen im Kurs eingeschrieben sind und sendet eine Warnung an die Moodle-Administration, dass in einem leeren Kurs voraussichtlich keine Lehrtätigkeit stattfinden wird.
 
Die ''akkumulaiven'' Methoden unterscheiden sich darin, wie viele Daten in die Vorhersage einfließen. Sowohl ''Viertel'' als auch ''Viertel akkumuliert'' liefert Vorhersagen zum Ende jedes Viertels einer Zeiteinheit (z.B. nach jedem Viertel der Dauer eines Kurses). Bei der Einstellung ''Viertel'' wird die Vorhersage jedoch nur auf Basis der Daten des gerade vergangenen Viertels berechnet, bei ''Viertel akkumuliert'' dagegen auf der Basis der Daten aller vorangegangenen Viertel. Das gilt analog für die Optionen ''Zehntel'' bzw. ''Zehntel akkumuliert''.
 
Die Methoden ''Einzeln'' und ''Keine Zeitaufteilung'' haben keine Zeitbeschränkungen. Die Vorhersage-Engine wird beim nächsten geplanten Vorgang (dennoch kann das Modell Bedingungen haben, z.B. dass ein Kurs abgeschlossen sein muss, um ihn zum "trainieren" zu verwenden). Die Zeiteinteilungsmethoden ''Einzeln'' und ''Keine Zeitaufteilung'' sind nicht geeignet, um Teilnehmer/innen zu identifizieren, die gefährdet sind auszusteigen. Sie sollten stattdessen im Modell ''Keine Lehrtätigkeit'' verwendet werden oder um Nutzer/innen zu identifizieren, die Spam verursachen, d.h. in Modellen, in denen einmal eine Vorhersage gemacht wird und fertig. Z.B. kann das Modell ''Keine Lehrtätigkeit'' die Zeitaufteilungsmethode ''Einzeln'' verwenden; die Zielklasse (das ist die Haupt-PHP-Klasse des Modells) akzeptiert nur Kurse, die in der folgenden Woche beginnen; die Vorhersage wird dann für alle diese Kurse einmalig berechnet.
 
Der Unterschied zwischen den Methoden ''Einzeln'' und ''Keine Zeitaufteilung'' besteht darin, dass Modelle, die mit der Methode ''Einzeln'' analysiert wurden, auf die analysierbaren Elemente beschränkt sind (z.B. auf die Daten Kursbeginn und Kursende im Fall des Modells ''Teilnehmer/innen, die gefährdet sind auszusteigen''). Bei der Zeitaufteilungsmethode ''Keine Zeitaufteilung'' gibt es keine zeitlichen Einschränkungen und alle im System verfügbaren Daten können zur Berechnung der Vorhersage verwendet werden.
 
'''Anmerkung''': Obwohl alle oben beschriebenen Beispiele sich auf Kurse bezogen, können Zeitaufteilungsmethoden auch auf andere analysierbare Elemente bezogen werden. Z.B. können Kurseinschreibungen ein Beginn- und ein Endedatum haben, so dass die Zeitaufteilungsmethode verwendet werden kann, um Vorhersagen in Bezug auf Aspekte der Kurseinschreibung zu machen. Für analysierbare Elemente ohne Beginn- und Endedatum sind andere Zeitaufteilungsmethoden erforderlich. Z.B. könnte eine "wöchentliche" Zeitaufteilungsmethode in einem Modell verwendet werden, das auf der Basis von Daten über seine Aktivitäten in der vergangenen Woche vorhersagt, ob eine Person sich in  der Zukunftim System anmelden wird.
 
===Ausgabeverzeichnis===
 
Mit dieser Einstellung legen Sie fest, wo die Daten des Machine Learning Backends gespeichert werden. Stellen Sie sicher, dass dieses Verzeichnis existiert und der Webserver dort Schreibrechte hat. Diese Einstellung kann von Moodle-Sites verwendet werden, die als Cluster betrieben werden, um ein gemeinsames Ausgabeverzeichnis zu nutzen. Dieses Verzeichnis kann von Backends für maschinelles Lernen verwendet werden, um trainierte Algorithmen zu speichern, die später zur Berechnung von Vorhersagen verwendet werden. Der Moodle-Cronjob verhindert, dass Analytics-spezifische geplante Vorgänge gleichzeitig ausgeführt werden, die die Algorithmen trainieren und daraus Vorhersagen berechnen.
 
===Geplante Vorgänge===
 
Die meisten Analytics-API-Prozesse werden über [[Geplante Vorgänge|geplante Vorgänge]] ausgeführt. Die Prozesse lesen die Logdaten der Aktivitäten und benötigen etwas Zeit für die Ausführung. Es gibt die geplanten Vorgänge ''Trainingsmodelle'' und ''Modelle vorhersagen'' auf der Seite auf die Seite ''Website-Administration'' (oder im Block ''[[Einstellungen-Block|Einstellungen]] > Website-Administration'')'' > Server > Geplante Vorgänge''. Es wird empfohlen, die Ausführzeiten zu konfigurieren, so dass diese geplanten Vorgänge jede Nacht ausgeführt werden.
 
== Modellverwaltung ==
 
Moodle kann mehrere Vorhersagemodelle gleichzeitig unterstützen, sogar im selben Kurs. Das kann verwendet werden, um die Performaz und die Genauigkeit verschiedener Modelle zu vergleichen.
 
Die Standardinstallation von Moodle stellt zwei Modelle bereit: ''[[Teilnehmer/innen sind gefährdet auszusteigen]]'' und ''Keine Lehrtätigkeit''. Weitere Modelle können mit Hilfe der [[dev:Analytics API| Analytics API]] hinzugefügt werden. Jedes Modell liefert eine Vorhersage eines bestimmten Ziels, basierend auf ausgewählten Indikatoren.
 
Die Moodle-Administration kann die Modelle auf der Seite ''Einstellungen > Website-Administration > Analytics > Analytics-Modelle'' verwalten.
 
Es gibt verschiedene Aktionen, die Sie auf einem Modell ausführen können:
 
=== Vorhersagen erhalten===
Trainieren Sie die Algorithmen für maschinelles Lernen mit neuen Daten, die im Moodle-System verfügbar sind und erzeugen Sie daraus Vorhersagen für laufende Kurse. ''Vorjhersagen sind nicht beschränkt auf laufende Kurse - das hängt vom Modell ab.''
 
=== Einschätzungen ===
Sobald Sie ein Modell mit den vorhandenen Daten Ihrer Moodle-Site trainiert haben, sehen Sie Einschätzungen (Vorhersagen) für jedes "analysierbare Element". Im Modell [[Teilnehmer/innen sind gefährdet auszusteigen]] können Sie die Einschätzungen für jeden Kurs ansehen.
 
=== Modell auswerten===
Sie können das Vorhersagemodell auswerten, indem Sie alle auf der Moodle-Site verfügbaren Trainingsdaten sammeln, alle Indikatoren und alle Ziele berechnen und den daraus resultierenden Datensatz an die Machine Learning Backends weiterleiten. Bei diesem Prozess wird der Datensatz in Trainingsdaten und Testdaten aufgeteilt und daraus die Genauigkeit des Modells berechnet. Beachten Sie, dass dieser Auswertungsprozess alle Informationen verwendet, die auf der Moodle-Site verfügbar sind, selbst wenn diese sehr alt sind. Daher kann die berechnete Genauigkeit geringer sein als die tatsächliche Genauigkeit des Modells. Die Metrik, die zur Berechnung der Genauigkeit verwendet wird, ist die  ''[https://en.wikipedia.org/wiki/Matthews_correlation_coefficient Matthews correlation coefficient]''. Das ist eine Metrik, die beim maschinellen Lernen für die Auswertung binärer Klassifikationen verwendet wird.
 
Sie können die Auswertung des Modell von der Kommandozeile aus starten:
 
$ admin/tool/analytics/cli/evaluate_model.php
 
=== Log ===
Hier können Sie die Logdaten früherer Auswertungen ansehen, inklusive der Modellgenauigkeit und weiterer technischer Informationen, die vom Machine Learning Backend generiert wurden, z.B. ROC Kurven, Lernkurvengraphen, den Korrelationskoeffizienten nach Matthew usw. Die Informationen, die hier verfügbar sind, hängen vom verwendeten Machine Learning Backend ab.
 
=== Bearbeiten ===
Sie können die Modelle bearbeiten, d.h. die Indikatoren und die Zeitaufteilung ändern. Wenn ein Modell geändert wird, werden alle vorher berechneten Vorhersagen und Einschätzen gelöscht. Modelle, die auf Annahmen beruhen (statische Modelle), können nicht berabeitet werden.
 
=== Aktivieren / Deaktivieren ===
[[Geplante Vorgänge|geplanten Vorgänge]], die die Vorhersagemodelle mit neu auf der Moodle-Site verfügbaren Daten trainieren bzw. Vorhersagen berechnen, übergehen dekativierte Modelle. Bereits berechnete Vorhersagen für ein deaktiviertes Modell sind erst wieder verfügbar, wenn das Modell wieder aktiviert ist.
 
=== Export ===
Sie können die Trainingsdaten Ihrer Moodle-Site exportieren und mit anderen teilen oder auf einer neuen Moodle-Site verwenden. Beim Export wird eine CSV-Datei generiert, die Modelldaten über Indikatoren und Gewichte enthält, aber keine spezifischen Daten Ihrer Moodle-Site. Wir  bitten Sie um die Einreichung solcher CSV-Dateien. Das hilft uns, den Wert der Modelle auf verschiedenen Arten von Moodle-Sites zu bestimmen. Detaillierte Informationen dazu finden Sie in der [https://moodle.org/project_inspire Learning Analytics Community].
 
=== Ungültige Elemente ===
Hier sehen Sie, welche Elemente nicht für das Modell verwendet werden können. Dabei wird getrennt dargestellt, welche Elemente ungültig für das Training des Modells bzw. für die Vorhersagen sind.
 
=== Vorhersagen löschen  ===
Damit löschen Sie alle Vorhersagen/Einschätzungen und alle Trainingsdaten.
 
=== Standardmodelle ===
 
==== Teilnehmer/innen sind gefährdet auszusteigen  ====
 
[[Teilnehmer/innen sind gefährdet auszusteigen|Dieses Modell]] sagt voraus, welche Kursteilnehmer/innen gefährdet sind, den Kurs vorzeitig abzubrechen. Die Vorhersage basiert auf den Daten der Kursaktivität der Teilnehmer/innen. In diesem Modell ist mit "vorzeitig abbrechen" gemeint, dass "Teilnehmer/innen keine Aktivitäten im letzten Kursviertel zeigen". Das Vorhersagemodell verwendet das Modell [https://en.wikipedia.org/wiki/Community_of_inquiry Community of Inquiry], das auf dem Engagement der Kursteilnehmer/innen basiert und aus drei Teilen besteht:
 
* [[Teilnehmer/innen sind gefährdet auszusteigen#Kognitive Tiefe|Kognitive Präsenz]]
* [[Teilnehmer/innen sind gefährdet auszusteigen#Soziale Breite|Soziale Präsenz]]
* [[Teilnehmer/innen sind gefährdet auszusteigen#Potentielle Indikatoren für ausgewählte Aktivitäten|Trainerpräsenz]]
 
Das Vorhersagemodell kann eine Vielzahl von Kursen analysieren, daraus Schlussfolgerungen ziehen und diese Schlussfolgerungen anwenden, um Vorhersagen für neue Kurse zu machen. Das Modell beschränkt sich insbesondere nicht auf Vorhersagen über den Lernerfolg von Teilnehmer/innen in Kopien von Kursen, die in der Vergangenheit angeboten wurden. Dennoch gibt es einige Einschränkungen: 
# Das Modell erfordert eine gewisse Menge an Moodle-internen Daten, um daruf basierend Vorhersagen zu machen. Zum gegenwärtigen Zeitpunkt werden nur Aktivitäten, die zum Standardpaket von Moodle gehören, in die [[Teilnehmer/innen sind gefährdet auszusteigen#Indikatoren|Indikatoren]] einbezogen.  Kurse, die pro Zeitabschnitt nur wenige Standard-Aktivitäten enthalten, werden zu schwachen Vorhersagen führen. Das Modell ist am effektivsten, wenn die Kurse substantielle Online-Komponenten enthalten.
# Das Modell setzt voraus, das Kurse feste Daten für Beginn und Ende haben. Es ist nicht für Kurse mit fortlaufenden Einschreibungen konzipiert. In zukünftigen Moodle-Versionen werden auch Modelle bereitgestellt, die auch Kurse ohne festen Beginn und festes Ende unterstützen. Wegen dieser Einschränkung ist es sehr wichtig, für alle Kurse, die das Modell verwenden, die Daten von Kursbeginn und Kursende richtig zu setzen. Wenn dies für vergangene und laufende Kurse nicht der Fall ist, dann können die Vorhersagen nicht verlässlich sein. Da die Kurseinstellung ''Kursende'' erst ab Moodle 3.2 verfügbar war und eine Kurse in der Vergangenheit möglicherweise kein Kursbeginndatum gesetzt hatten, stellen wir ein Kommandozeilen-Tool zur Verfügung:
 
$ admin/tool/analytics/cli/guess_course_start_and_end.php
 
Dieses Skript versucht, aus den Einschreibungen der Teilnehmer/innen und den Aktivitäten-Logdaten die Daten von Kursbeginn und Kursende zu schätzen. Wenn Sie das Skript laufen lassen, prüfen Sie bitte anschließend, ob die so bestimmten Daten von Kursbeginn und Kursende hinreichend passen.
 
==== Keine Lehrtätigkeit ====
 
Die Analysen dieses Modells informieren die Moodle-Administration darüber, in welchen Kursen keine Lehrtätigkeit in der Zukunft zu erwarten ist. Dieses Modell ist ein einfaches Modell, es nutzt kein maschinelles Lernen, um Vorhersagen zu machen. Stattdessen basieren die Vorhersagen des Modells auf Annahmen, wie z.B. dass keine Lehrtätigkeit stattfindet, wenn es im Kurs keine Kursteilnehmer/innen gibt.
 
==Vorhersagen und Einschätzungen ==
 
Die Modelle beginnen zu verschiedenen Zeitpunkten, Vorhersagen zu generieren. Die Zeitpunkte hängen von den Modellen und den Kursbeginn- und Kursendedaten ab.


Jedes Modell definiert, welche Vorhersagen [[dev:Analytics API#Insights|Einschätzungen]] generieren und welche Vorhersagen ignoriert werden. Zum Beispiel generiert das Modell ''[[Teilnehmer/innen sind gefährdet auszusteigen]]'' keine Einschätzung, wenn ein/e Kursteilnehmer/in durch die Vorhersage als "nicht gefährdet" eingestuft wurde, denn der Fokus des Modells liegt ja auf den gefährdeten Teilnehmer/innen.  
==Analytics nutzen==
Die Moodle Learning Analytics API ist ein offenes System, das die Basis für eine Vielzahl von Modellen werden kann. Modelle können Indikatoren (Vorhersager), Ziele (Ausgang, den wir vorhersagen wollen), Einschätzungen (die Vorhersagen selbst), Benachrichtigungen (Mitteilungen, die aufgrund von Einschätzungen verschickt werden) und Aktionen (die den Empfänger/innen der Benachrichtigungen vorgeschlagen werden und die selbst wieder zu Indikatoren werden können) enthalten.


=== Aktionen ===
Die meisten Modelle sind standardmäßig deaktiviert. Die Modelle sollten erst aktiviert werden, nachdem Sie sich Gedanken darüber gemacht haben, welche Bildungsziele durch die Modelle unterstützt werden sollen. Siehe [[Analytics nutzen]] für mehr Informationen.
Zu jeder Einschätzung kann es eine oder mehrere definierte Aktionen geben. Aktionen sind ein Mittel, um auf Einschätzungen zu reagieren. Solche Aktionen sind:
* eine Mitteilung an einen Kursteilnehmenden schicken,
* den [[Aktivitätenbericht|Kursaktivität-Bericht]] eines Kursteilnehmenden ansehen,
* Details der Vorhersagen ansehen.
Es gibt auch zwei wichtige allgemeine Aktionen, die für alle Einschätzungen angewendet werden können:
* Man kann eine Einschätzung anerkennen. Damit wird die entsprechende Vorhersage in der Nutzeransicht gelöscht, d.h. die Mitteilung über eine/n bestimmte/n gefährdete/n Kursteilnehmer/in wird aus der Ansicht gelöscht.
* Man kann eine Einschätzung als "Nicht hilfreich" markieren. Damit wird die Einschätzung ebenfalls in der Ansicht gelöscht, aber gelichzeitig wird das Modell so angepasst, dass diese Vorhersage in der Zukunft weniger wahrscheinlich ist.


[[Image:insights.png|600px]]
==Modelle verwalten==
Sobald die Modelle aktiviert und trainiert sind, werden Einschätzungen generiert. Modelle sollte auch bezüglich ihrer Geschwindigkeit und Genauigkeit überwacht werden. Siehe [[Analytics verwalten]] für mehr Informationen.


==Rechte==
==Rechte==

Aktuelle Version vom 16. August 2020, 12:49 Uhr

Übersicht

3.8 Übersicht


Moodle implementiert auf Open Source Basis eine Learning Analytics Funktionalität. Die Implementierung verwendet Algorithmen und Verfahren des maschinellen Lernens, die über die Verfahren der einfachen deskriptiven Datenanalyse hinaus gehen. Die Funktionalität ermöglicht es, Vorhersagen über den Lernerfolg einzelner Nutzer/innen zu treffen und Diagnosen und Empfehlungen für Teilnehmer/innen und Trainer/innen bereitzustellen.

Was ist Learning Analytics?

Unter Learning Analytics versteht man Software-Algorithmen, mit deren Hilfe man auf der Basis von Daten aus der Vergangenheit und dem gegenwärtigen (Nutzer-)Verhalten unbekannte Aspekte des Lernprozesses vorhersagen oder entdecken kann. Es gibt vier Hauptkategorien von Learning Analytics:

  • beschreibende (Was ist passiert?)
  • vorhersagende (Was wird als Nächstes passieren?)
  • diagnostische (Warum ist es passiert?)
  • vorschreibende (Tue dies, um eine Verbesserung zu erreichen.)

Die meisten kommerziellen Lösungen sind nur beschreibend. Vorschreibende und proaktive Lösungen treffen bestimmte Annahmen über das Lernen, die nicht auf alle Nutzer/innen zutreffen.

Analytics versus Berichte

Moodle stellt eine Vielzahl von Berichten zur Verfügung, die auf Logdaten basieren, aber diese Berichte haben eher beschreibenden Charakter - sie geben Auskunft darüber, was passiert ist, aber nicht warum und sie machen keine Vorhersagen oder geben Ratschläge, wie eine Verbesserung beim Lernerfolg erreicht werden kann. Die Logdaten selbst sind an sich keine Beschreibungen für den Lernprozess. Sie sagen aus, "wer", "was" "wann" getan hat, aber nicht "warum" und "wie gut". Zu jeder einzelnen Mikro-Aktion ist viel mehr Kontextinformation erforderlich, um ein Muster des Engagements zu entwickeln.

Es gibt zahlreiche Zusatz-Plugins für beschreibende Kategorien von Learning Analytics. Es gibt auch solche Lösungen außerhalb von Moodle. Sie alle bieten vorrangig beschreibende Analysen, die sich auf das Urteilvermögen der Nutzer/innen verlassen, die diese beschreibenden Berichte interpretieren und daraus Einschätzungen und Handlungsvorschläge ableiten.

In der Vergangenheit haben Learning Analytics Systeme häufig versucht, vergangene Aktivitäten zu analysieren, um zukünftige Aktivitäten in Echtzeit vorherzusagen. Das Learning Analytics System von Moodle ist ambitionierter. Wir glauben, dass eine umfassende Lösung nicht nur Aktionen vorhersagt, sondern sie zum Besseren verändert.

Funktionalitäten

  • Zwei Arten von Vorhersagemodellen werden unterstützt:
    • Machine-Learning-basierte Modelle, inklusive Vorhersagemodelle
    • Statische Modelle, um auf der Basis einfacher Regeln besondere Situation zu entdecken
  • Drei standardmäßige Vorhersagemodelle: Teilnehmer/innen, die Gefahr laufen, aus dem Kurs auszusteigen, Fälligkeit für anstehende Aktivitäten und Kurse, bei denen die Gefahr besteht, dass sie nicht beginnen.
  • Verschiedene Indikatoren, die das Engagement der Teilnehmer/innen messen und auf Community of Inquiry basieren.
  • Eingebaute Werkzeuge, die diese Modelle auf die Daten Ihrer Moodle-Site anwenden
  • Proaktive Benachrichtigungen von Trainer/innen über diese Nutzer/innen mit Hilfe von Moodle-Events
  • Für jedes Modell gibt es Einschätzungen und eine Liste von geeigneten Aktionen. Zum Beispiel können Trainer/innen beim Modell Teilnehmer/innen, die Gefahr laufen, aus dem Kurs auszusteigen die entsprechenden Nutzer/innen benachrichtigen oder die Aktivitätenberichte dieser Teilnehmer/innen aufrufen, um weitere Informationen über sie zu erhalten.
  • Eine API, um Indikatoren und Vorhersagemodelle für weitere Analytics-Plugins zu implementieren
  • ein Plugin-Typ Machine Learning Backend, der PHP und Python unterstützt und erweitert werden kann, um weitere Backends für maschinelles Lernen zu implementieren
  • Das System kann einfach um neue Modelle erweitert werden, die auf wiederverwendbaren Zielen, Indikatoren und anderen Komponenten basieren. Mehr Informationen finden Sie in der Analytics API Entwicklerdokumentation.

Einschränkungen

  • Die Modelle müssen vorab mit Hilfe von Daten aus bereits abgeschlossenen Kursen Ihrer Moodle-Site "trainiert" werden. Die Modelle können ohne dieses "Training" keine Vorhersagen machen.
  • Die Modelle müssen so angelegt und ausgewählt sein, dass sie den Prioritäten der Bildungseinrichtung entsprechen.

Einstellungen

Das Moodle Learning Analytics System erfordert vorab einige Einstellungen. Siehe Analytics-Einstellungen für Details.

Analytics nutzen

Die Moodle Learning Analytics API ist ein offenes System, das die Basis für eine Vielzahl von Modellen werden kann. Modelle können Indikatoren (Vorhersager), Ziele (Ausgang, den wir vorhersagen wollen), Einschätzungen (die Vorhersagen selbst), Benachrichtigungen (Mitteilungen, die aufgrund von Einschätzungen verschickt werden) und Aktionen (die den Empfänger/innen der Benachrichtigungen vorgeschlagen werden und die selbst wieder zu Indikatoren werden können) enthalten.

Die meisten Modelle sind standardmäßig deaktiviert. Die Modelle sollten erst aktiviert werden, nachdem Sie sich Gedanken darüber gemacht haben, welche Bildungsziele durch die Modelle unterstützt werden sollen. Siehe Analytics nutzen für mehr Informationen.

Modelle verwalten

Sobald die Modelle aktiviert und trainiert sind, werden Einschätzungen generiert. Modelle sollte auch bezüglich ihrer Geschwindigkeit und Genauigkeit überwacht werden. Siehe Analytics verwalten für mehr Informationen.

Rechte

Häufig gestellte Fragen