Analytics verwalten: Unterschied zwischen den Versionen

Aktuelle Version vom 16. August 2020, 12:45 Uhr

Sobald Modelle ausgewählt, aktiviert und trainiert sind (siehe Analytics nutzen), starten die Modelle mit der Generierung von Vorhersagen.

Vorhersagen und Einschätzungen

Die Modelle starten zu unterschiedlichen Zeitpunkten mit der Generierung von Vorhersagen: in Abhängigkeit vom Vorhersagemodell der Moodle-Site und von den Kursbeginn- und Kursende-Daten der Kurse der Moodle-Site.

Jedes Modell definiert, welche Vorhersagen Einschätzungen generiert und welche Vorhersagen ignoriert werden. Zum Beispiel generiert das Modell Teilnehmer/innen, die Gefahr laufen, aus dem Kurs auszusteigen keine Einschätzungen, wenn die Vorhersage für ein/e Teilnehmer/in Kein Risiko lautet, da das Hauptaugenmerk auf den gefährdeten Teilnehmer/innen liegt und nicht auf den ungefährdeten.

Nutzer/innen können über ihr Nutzermenü (rechts oben) > Einstellungen > Systemnachrichten festlegen, wie Sie die Benachrichtigungen zu Vorhersagen erhalten wollen, oder sie können diese Benachrichtigungen deaktivieren.

Hinweis: Wenn alle Indikator-Berechnungen für einen Datensatz den Wert "Null" liefern, wird dieser Datensatz nicht für das Training verwendet und es werden keine Vorhersagen für diesen Datensatz generiert.

Vorhersagen als Trainer/in ansehen

Wenn Sie als Trainer/in Vorhersagen ansehen wollen, gehen Sie im entsprechenden Kurs auf die Seite Kurs-Administration > Berichte > Einschätzungen und Analysen.

Nutzer/innen mit dem Recht moodle/analytics:listinsights erhalten automatisch Benachrichtigungen, wenn neue Vorhersagen für sie verfügbar sind. In diesem Fall erhalten die Trainer/innen eine Benachrichtigung, dass Teilnehmer/innen gefährdet sind auszusteigen.

Vorhersagen als Manager/in oder Administrator/in ansehen

Wenn Sie als Manager/in oder Administrator/in Vorhersage-Berichte ansehen wollen, gehen Sie auf die Seite Website-Administration > Analytics > Analytics-Modelle und nutzen Sie das Menü in der Spalte Einschätzungen, um einen bestimmten Kurs auszuwählen.

Einschätzungen ansehen

Die Liste der Einschätzungen ist für Manager/innen und Trainer/innen dieselbe. Sie können den jeweiligen Teilnehmer/innen eine Mitteilung senden, ihren Kursaktivitäten-Bericht aufrufen oder die Vorhersagedetails anzeigen.

Sie können auch einfach die Einschätzung bestätigen oder als "Nicht hilfreich" markieren. Beide Optionen führen dazu, dass die Einschätzung aus der Liste der aktuellen Vorhersagen gelöscht wird. Diese Daten können in Zukunft in das Modell einbezogen werden, um das Modell zu verbessern.

Vorhersagedetails

Die Vorhersagedetails zeigen welche Indikator-Werte in der Vorhersage verwendet wurden und was die Indikator-Werte für die jeweiligen Teilnehmer/innen sind. Indikator-Werte, die niedrig sind und die Vorhersage beeinträchtigen, sind farblich hervorgehoben.

Aktionen

Jede Einschätzung kann eine oder mehrere definierte Aktionen haben. Aktionen bieten eine Möglichkeit, auf eine Einschätzung zu reagieren. Diese Aktionen können sein: eine Mitteilung an eine andere Person senden, einen Bericht aufrufen, der Informationen zu einem Datensatz liefert, für den die Einschätzung generiert wurde (z.B. ein Bericht für eine/n Teilnehmer/in) oder Vorhersagedetails anzeigen.

Einschätzungen können auch zwei allgemeine Aktionen haben, die für alle Einschätzungen anwendbar sind. Die erste allgemeine Aktion ist, eine Einschätzung zu bestätigen. Dadurch wird die Einschätzung aus der Ansicht gelöscht, z.B. wird die Benachrichtigung, dass eine bestimmte Person gefährdet ist auszusteigen, aus der Ansicht gelöscht. Die zweite allgemeine Aktion ist, die Einschätzung als "Nicht hilfreich" zu markieren. Dadurch wird die Einschätzung ebenfalls aus der Ansicht gelöscht, aber das Modell wird so korrigiert, dass diese Vorhersage in Zukunft weniger wahrscheinlich ist.

Modell-Qualität überwachen

Prüfen Sie regelmäßig die Logdaten-Berichte, um die Genauigkeit Ihre Modelle zu überwachen.

@@ Zeile 1: / Zeile 1: @@
-{{Analytics}}{{Übersetzen}}
+{{Analytics}}
-== Modellverwaltung ==
+Sobald Modelle ausgewählt, aktiviert und trainiert sind (siehe [[Analytics nutzen]]), starten die Modelle mit der Generierung von Vorhersagen.
-Moodle kann mehrere Vorhersagemodelle gleichzeitig unterstützen, sogar im selben Kurs. Das kann verwendet werden, um die Performaz und die Genauigkeit verschiedener Modelle zu vergleichen.
+== Vorhersagen und Einschätzungen ==
+Die Modelle starten zu unterschiedlichen Zeitpunkten mit der Generierung von Vorhersagen: in Abhängigkeit vom Vorhersagemodell der Moodle-Site und von den Kursbeginn- und Kursende-Daten der Kurse der Moodle-Site.
-Die Standardinstallation von Moodle stellt zwei Modelle bereit: ''[[Teilnehmer/innen sind gefährdet auszusteigen]]'' und ''Keine Lehrtätigkeit''. Weitere Modelle können mit Hilfe der [[dev:Analytics API| Analytics API]] hinzugefügt werden. Jedes Modell liefert eine Vorhersage eines bestimmten Ziels, basierend auf ausgewählten Indikatoren.
+Jedes Modell definiert, welche Vorhersagen [[dev:Analytics API#Insights|Einschätzungen]] generiert und welche Vorhersagen ignoriert werden. Zum Beispiel generiert das Modell ''[[Teilnehmer/innen, die Gefahr laufen, aus dem Kurs auszusteigen]]'' keine Einschätzungen, wenn die Vorhersage für ein/e Teilnehmer/in ''Kein Risiko'' lautet, da das Hauptaugenmerk auf den gefährdeten Teilnehmer/innen liegt und nicht auf den ungefährdeten.
-Die Moodle-Administration kann die Modelle auf der Seite ''Einstellungen > Website-Administration > Analytics > Analytics-Modelle'' verwalten.
+Nutzer/innen können über ihr ''Nutzermenü (rechts oben) > Einstellungen > Systemnachrichten'' festlegen, wie Sie die Benachrichtigungen zu Vorhersagen erhalten wollen, oder sie können diese Benachrichtigungen deaktivieren.
-Es gibt verschiedene Aktionen, die Sie auf einem Modell ausführen können:
+'''Hinweis''': Wenn alle Indikator-Berechnungen für einen Datensatz den Wert "Null" liefern, wird dieser Datensatz nicht für das Training verwendet und es werden keine Vorhersagen für diesen Datensatz generiert.
-=== Vorhersagen erhalten===
+== Vorhersagen als Trainer/in ansehen ==
-Trainieren Sie die Algorithmen für maschinelles Lernen mit neuen Daten, die im Moodle-System verfügbar sind und erzeugen Sie daraus Vorhersagen für laufende Kurse. ''Vorjhersagen sind nicht beschränkt auf laufende Kurse - das hängt vom Modell ab.''
+Wenn Sie als Trainer/in Vorhersagen ansehen wollen, gehen Sie im entsprechenden Kurs auf die Seite ''Kurs-Administration > Berichte > Einschätzungen und Analysen''.
-=== Einschätzungen ===
+[[File:access_predictions_teacher.png|300px]]
-Sobald Sie ein Modell mit den vorhandenen Daten Ihrer Moodle-Site trainiert haben, sehen Sie Einschätzungen (Vorhersagen) für jedes "analysierbare Element". Im Modell [[Teilnehmer/innen sind gefährdet auszusteigen]] können Sie die Einschätzungen für jeden Kurs ansehen.
-=== Modell auswerten===
+Nutzer/innen mit dem Recht [[Capabilities/moodle/analytics:listinsights|moodle/analytics:listinsights]] erhalten automatisch Benachrichtigungen, wenn neue Vorhersagen für sie verfügbar sind. In diesem Fall erhalten die Trainer/innen eine Benachrichtigung, dass Teilnehmer/innen gefährdet sind auszusteigen.
-Sie können das Vorhersagemodell auswerten, indem Sie alle auf der Moodle-Site verfügbaren Trainingsdaten sammeln, alle Indikatoren und alle Ziele berechnen und den daraus resultierenden Datensatz an die Machine Learning Backends weiterleiten. Bei diesem Prozess wird der Datensatz in Trainingsdaten und Testdaten aufgeteilt und daraus die Genauigkeit des Modells berechnet. Beachten Sie, dass dieser Auswertungsprozess alle Informationen verwendet, die auf der Moodle-Site verfügbar sind, selbst wenn diese sehr alt sind. Daher kann die berechnete Genauigkeit geringer sein als die tatsächliche Genauigkeit des Modells. Die Metrik, die zur Berechnung der Genauigkeit verwendet wird, ist die  ''[https://en.wikipedia.org/wiki/Matthews_correlation_coefficient Matthews correlation coefficient]''. Das ist eine Metrik, die beim maschinellen Lernen für die Auswertung binärer Klassifikationen verwendet wird.
-Sie können die Auswertung des Modell von der Kommandozeile aus starten:
+== Vorhersagen als Manager/in oder Administrator/in ansehen ==
+Wenn Sie als Manager/in oder Administrator/in Vorhersage-Berichte ansehen wollen, gehen Sie auf die Seite ''Website-Administration > Analytics > Analytics-Modelle'' und nutzen Sie das Menü in der Spalte ''Einschätzungen'', um einen bestimmten Kurs auszuwählen.
- $ admin/tool/analytics/cli/evaluate_model.php
+[[File:access_predictions.png|300px]]
-=== Log ===
+== Einschätzungen ansehen ==
-Hier können Sie die Logdaten früherer Auswertungen ansehen, inklusive der Modellgenauigkeit und weiterer technischer Informationen, die vom Machine Learning Backend generiert wurden, z.B. ROC Kurven, Lernkurvengraphen, den Korrelationskoeffizienten nach Matthew usw. Die Informationen, die hier verfügbar sind, hängen vom verwendeten Machine Learning Backend ab.
+[[File:view_insights.png|300px]]
-=== Bearbeiten ===
+Die Liste der Einschätzungen ist für Manager/innen und Trainer/innen dieselbe. Sie können den jeweiligen Teilnehmer/innen eine Mitteilung senden, ihren Kursaktivitäten-Bericht aufrufen oder die Vorhersagedetails anzeigen.
-Sie können die Modelle bearbeiten, d.h. die Indikatoren und die Zeitaufteilung ändern. Wenn ein Modell geändert wird, werden alle vorher berechneten Vorhersagen und Einschätzen gelöscht. Modelle, die auf Annahmen beruhen (statische Modelle), können nicht berabeitet werden.
-=== Aktivieren / Deaktivieren ===
+Sie können auch einfach die Einschätzung bestätigen oder als "Nicht hilfreich" markieren. Beide Optionen führen dazu, dass die Einschätzung aus der Liste der aktuellen Vorhersagen gelöscht wird. Diese Daten können in Zukunft in das Modell einbezogen werden, um das Modell zu verbessern.
-[[Geplante Vorgänge|geplanten Vorgänge]], die die Vorhersagemodelle mit neu auf der Moodle-Site verfügbaren Daten trainieren bzw. Vorhersagen berechnen, übergehen dekativierte Modelle. Bereits berechnete Vorhersagen für ein deaktiviertes Modell sind erst wieder verfügbar, wenn das Modell wieder aktiviert ist.
-=== Export ===
+== Vorhersagedetails ==
-Sie können die Trainingsdaten Ihrer Moodle-Site exportieren und mit anderen teilen oder auf einer neuen Moodle-Site verwenden. Beim Export wird eine CSV-Datei generiert, die Modelldaten über Indikatoren und Gewichte enthält, aber keine spezifischen Daten Ihrer Moodle-Site. Wir  bitten Sie um die Einreichung solcher CSV-Dateien. Das hilft uns, den Wert der Modelle auf verschiedenen Arten von Moodle-Sites zu bestimmen. Detaillierte Informationen dazu finden Sie in der [https://moodle.org/project_inspire Learning Analytics Community].
+[[File:prediction_details.png|300px]]
-=== Ungültige Elemente ===
+Die Vorhersagedetails zeigen welche Indikator-Werte in der Vorhersage verwendet wurden und was die Indikator-Werte für die jeweiligen Teilnehmer/innen sind. Indikator-Werte, die niedrig sind und die Vorhersage beeinträchtigen, sind farblich hervorgehoben.
-Hier sehen Sie, welche Elemente nicht für das Modell verwendet werden können. Dabei wird getrennt dargestellt, welche Elemente ungültig für das Training des Modells bzw. für die Vorhersagen sind.
-=== Vorhersagen löschen  ===
+== Aktionen==
-Damit löschen Sie alle Vorhersagen/Einschätzungen und alle Trainingsdaten.
+Jede Einschätzung kann eine oder mehrere definierte Aktionen haben. Aktionen bieten eine Möglichkeit, auf eine Einschätzung zu reagieren. Diese Aktionen können sein: eine Mitteilung an eine andere Person senden, einen Bericht aufrufen, der Informationen zu einem Datensatz liefert, für den die Einschätzung generiert wurde (z.B. ein Bericht für eine/n Teilnehmer/in) oder Vorhersagedetails anzeigen.
-=== Standardmodelle ===
+[[Image:08_insights.png|300px]]
-==== Teilnehmer/innen sind gefährdet auszusteigen  ====
+Einschätzungen können auch zwei allgemeine Aktionen haben, die für alle Einschätzungen anwendbar sind. Die erste allgemeine Aktion ist, eine Einschätzung zu bestätigen. Dadurch wird die Einschätzung aus der Ansicht gelöscht, z.B. wird die Benachrichtigung, dass eine bestimmte Person gefährdet ist auszusteigen, aus der Ansicht gelöscht. Die zweite allgemeine Aktion ist, die Einschätzung als "Nicht hilfreich" zu markieren. Dadurch wird die Einschätzung ebenfalls aus der Ansicht gelöscht, aber das Modell wird so korrigiert, dass diese Vorhersage in Zukunft weniger wahrscheinlich ist.
-[[Teilnehmer/innen sind gefährdet auszusteigen|Dieses Modell]] sagt voraus, welche Kursteilnehmer/innen gefährdet sind, den Kurs vorzeitig abzubrechen. Die Vorhersage basiert auf den Daten der Kursaktivität der Teilnehmer/innen. In diesem Modell ist mit "vorzeitig abbrechen" gemeint, dass "Teilnehmer/innen keine Aktivitäten im letzten Kursviertel zeigen". Das Vorhersagemodell verwendet das Modell [https://en.wikipedia.org/wiki/Community_of_inquiry Community of Inquiry], das auf dem Engagement der Kursteilnehmer/innen basiert und aus drei Teilen besteht:
+== Modell-Qualität überwachen ==
+Prüfen Sie regelmäßig die Logdaten-Berichte, um die Genauigkeit Ihre Modelle zu überwachen.
-* [[Teilnehmer/innen sind gefährdet auszusteigen#Kognitive Tiefe|Kognitive Präsenz]]
-* [[Teilnehmer/innen sind gefährdet auszusteigen#Soziale Breite|Soziale Präsenz]]
-* [[Teilnehmer/innen sind gefährdet auszusteigen#Potentielle Indikatoren für ausgewählte Aktivitäten|Trainerpräsenz]]
-Das Vorhersagemodell kann eine Vielzahl von Kursen analysieren, daraus Schlussfolgerungen ziehen und diese Schlussfolgerungen anwenden, um Vorhersagen für neue Kurse zu machen. Das Modell beschränkt sich insbesondere nicht auf Vorhersagen über den Lernerfolg von Teilnehmer/innen in Kopien von Kursen, die in der Vergangenheit angeboten wurden. Dennoch gibt es einige Einschränkungen:
-# Das Modell erfordert eine gewisse Menge an Moodle-internen Daten, um daruf basierend Vorhersagen zu machen. Zum gegenwärtigen Zeitpunkt werden nur Aktivitäten, die zum Standardpaket von Moodle gehören, in die [[Teilnehmer/innen sind gefährdet auszusteigen#Indikatoren|Indikatoren]] einbezogen.  Kurse, die pro Zeitabschnitt nur wenige Standard-Aktivitäten enthalten, werden zu schwachen Vorhersagen führen. Das Modell ist am effektivsten, wenn die Kurse substantielle Online-Komponenten enthalten.
-# Das Modell setzt voraus, das Kurse feste Daten für Beginn und Ende haben. Es ist nicht für Kurse mit fortlaufenden Einschreibungen konzipiert. In zukünftigen Moodle-Versionen werden auch Modelle bereitgestellt, die auch Kurse ohne festen Beginn und festes Ende unterstützen. Wegen dieser Einschränkung ist es sehr wichtig, für alle Kurse, die das Modell verwenden, die Daten von Kursbeginn und Kursende richtig zu setzen. Wenn dies für vergangene und laufende Kurse nicht der Fall ist, dann können die Vorhersagen nicht verlässlich sein. Da die Kurseinstellung ''Kursende'' erst ab Moodle 3.2 verfügbar war und eine Kurse in der Vergangenheit möglicherweise kein Kursbeginndatum gesetzt hatten, stellen wir ein Kommandozeilen-Tool zur Verfügung:
- $ admin/tool/analytics/cli/guess_course_start_and_end.php
-Dieses Skript versucht, aus den Einschreibungen der Teilnehmer/innen und den Aktivitäten-Logdaten die Daten von Kursbeginn und Kursende zu schätzen. Wenn Sie das Skript laufen lassen, prüfen Sie bitte anschließend, ob die so bestimmten Daten von Kursbeginn und Kursende hinreichend passen.
-==== Keine Lehrtätigkeit ====
-Die Analysen dieses Modells informieren die Moodle-Administration darüber, in welchen Kursen keine Lehrtätigkeit in der Zukunft zu erwarten ist. Dieses Modell ist ein einfaches Modell, es nutzt kein maschinelles Lernen, um Vorhersagen zu machen. Stattdessen basieren die Vorhersagen des Modells auf Annahmen, wie z.B. dass keine Lehrtätigkeit stattfindet, wenn es im Kurs keine Kursteilnehmer/innen gibt.
 [[en:Managing analytics]]
+[[es:Gestión de analítica]]

Documentation