Analytics verwalten: Unterschied zwischen den Versionen

Version vom 25. Juli 2019, 11:38 Uhr

Diese Seite muss übersetzt werden. Greif zu!
Wenn du dich um diesen Artikel kümmern willst, dann kennzeichne das, indem du die Vorlage {{Übersetzen}} durch die Vorlage {{ÜbersetzenVergeben}} ersetzt.
Wenn du mit deiner Arbeit fertig bist, dann entferne die Vorlage aus dem Artikel.
Danke für deine Mitarbeit!

Sobald Modelle ausgewählt, aktiviert und trainiert sind (siehe Analytics nutzen), starten die Modelle mit der Generierung von Vorhersagen.

Vorhersagen und Einschätzungen

Die Modelle starten zu unterschiedlichen Zeitpunkten mit der Generierung von Vorhersagen: in Abhängigkeit vom Vorhersagemodell der Moodle-Site und von den Kursbeginn- und Kursende-Daten der Kurse der Moodle-Site.

Jedes Modell definiert, welche Vorhersagen Einschätzungen genieren und welche Vorhersagen ignoriert werden. Zum Beispiel generiert das Modell Teilnehmer/innen, die gefährdet sind auszusteigen keine Einschätzungen, wenn die Vorhersage für ein/e Teilnehmer/in Kein Risiko lautet, da das Hauptaugenmerk auf den gefährdeten Teilnehmer/innen liegt und nicht auf denungefährdeten.

Nutzer/innen können über ihr Nutzermenü (rechts oben) > Einstellungen > Systemnachrichten festlegen, wie Sie die Benachrichtigungen zu Einschätzungen erhalten wollen, oder sie können diese Benachrichtigungen deaktivieren.

Hinweis: Wenn alle Indikator-Berechnungen für einen Datensatz den Wert "Null" liefern, wird dieser Datensatz nicht für das Training verwendet und es werden keine Vorhersagen für diesen Datensatz generiert.

Vorhersagen als Trainer/in ansehen

To access predictions as a teacher, go to an ongoing course and access Course administration > Reports > Insights

A user with tool/inspire:listinsights capability will also automatically receive notifications when new predictions are available for them. In this case, Course teachers will receive a notification about their students at risk of dropping out.

Vorhersagen als Manager/in oder Administrator/in ansehen

To access the report as a manager, view the Analytics Models list, and use the “Insights” menu to select a specific course.

Einschätzungen ansehen

Whether as a manager or as a teacher, the list of insights is the same. The user can send a message to the student, view the student’s Outline report for the Course, or view Prediction details.

The teacher can also simply acknowledge the Insight, or can mark the insight as Not useful. Both of these options will remove the Insight from the list of current predictions. This data can be incorporated into the model in the future to help improve model quality.

Vorhersage-Details

The prediction details show which of the indicator values were used in the prediction, and what the student’s values for those indicators are. Indicator calculated values that are low and are affecting the prediction are highlighted.

Aktionen

Each insight can have one or more actions defined. Actions provide a way to act on the insight as it is read. These actions may include a way to send a message to another user, a link to a report providing information about the sample the prediction has been generated for (e.g. a report for an existing student), or a way to view the details of the model prediction.

Insights and Actions

Insights can also offer two important general actions that are applicable to all insights. First, the user can acknowledge the insight. This removes that particular prediction from the view of the user, e.g. a notification about a particular student at risk is removed from the display.

The second general action is to mark the insight as "Not useful." This also removes the insight associated with this calculation from the display, but the model is adjusted to make this prediction less likely in the future.

Modell-Qualität überwachen

Prüfen Sie reglemäßig die Logdaten-Berichte, um die Genauigkeut Ihre Modelle zu überwachen.

@@ Zeile 1: / Zeile 1: @@
 {{Analytics}}{{Übersetzen}}
-== Modellverwaltung ==
+Sobald Modelle ausgewählt, aktiviert und trainiert sind (siehe [[Analytics nutzen]]), starten die Modelle mit der Generierung von Vorhersagen.
-Moodle kann mehrere Vorhersagemodelle gleichzeitig unterstützen, sogar im selben Kurs. Das kann verwendet werden, um die Performaz und die Genauigkeit verschiedener Modelle zu vergleichen.
+== Vorhersagen und Einschätzungen ==
+Die Modelle starten zu unterschiedlichen Zeitpunkten mit der Generierung von Vorhersagen: in Abhängigkeit vom Vorhersagemodell der Moodle-Site und von den Kursbeginn- und Kursende-Daten der Kurse der Moodle-Site.
-Die Standardinstallation von Moodle stellt zwei Modelle bereit: ''[[Teilnehmer/innen sind gefährdet auszusteigen]]'' und ''Keine Lehrtätigkeit''. Weitere Modelle können mit Hilfe der [[dev:Analytics API| Analytics API]] hinzugefügt werden. Jedes Modell liefert eine Vorhersage eines bestimmten Ziels, basierend auf ausgewählten Indikatoren.
+Jedes Modell definiert, welche Vorhersagen [[dev:Analytics API#Insights|Einschätzungen]] genieren und welche Vorhersagen ignoriert werden. Zum Beispiel generiert das Modell ''[[Teilnehmer/innen, die gefährdet sind auszusteigen]]'' keine Einschätzungen, wenn die Vorhersage für ein/e Teilnehmer/in ''Kein Risiko'' lautet, da das Hauptaugenmerk auf den gefährdeten Teilnehmer/innen liegt und nicht auf denungefährdeten.
-Die Moodle-Administration kann die Modelle auf der Seite ''Einstellungen > Website-Administration > Analytics > Analytics-Modelle'' verwalten.
+Nutzer/innen können über ihr ''Nutzermenü (rechts oben) > Einstellungen > Systemnachrichten'' festlegen, wie Sie die Benachrichtigungen zu Einschätzungen erhalten wollen, oder sie können diese Benachrichtigungen deaktivieren.
-Es gibt verschiedene Aktionen, die Sie auf einem Modell ausführen können:
+'''Hinweis''': Wenn alle Indikator-Berechnungen für einen Datensatz den Wert "Null" liefern, wird dieser Datensatz nicht für das Training verwendet und es werden keine Vorhersagen für diesen Datensatz generiert.
-=== Vorhersagen erhalten===
+== Vorhersagen als Trainer/in ansehen ==
-Trainieren Sie die Algorithmen für maschinelles Lernen mit neuen Daten, die im Moodle-System verfügbar sind und erzeugen Sie daraus Vorhersagen für laufende Kurse. ''Vorjhersagen sind nicht beschränkt auf laufende Kurse - das hängt vom Modell ab.''
+To access predictions as a teacher, go to an ongoing course and access Course administration > Reports > Insights
+[[File:access_predictions_teacher.png|thumb]]
+A user with tool/inspire:listinsights capability will also automatically receive notifications when new predictions are available for them. In this case, Course teachers will receive a notification about their students at risk of dropping out.
-=== Einschätzungen ===
+== Vorhersagen als Manager/in oder Administrator/in ansehen ==
-Sobald Sie ein Modell mit den vorhandenen Daten Ihrer Moodle-Site trainiert haben, sehen Sie Einschätzungen (Vorhersagen) für jedes "analysierbare Element". Im Modell [[Teilnehmer/innen sind gefährdet auszusteigen]] können Sie die Einschätzungen für jeden Kurs ansehen.
+To access the report as a manager, view the Analytics Models list, and use the “Insights” menu to select a specific course.
+[[File:access_predictions.png|thumb]]
-=== Modell auswerten===
+== Einschätzungen ansehen ==
-Sie können das Vorhersagemodell auswerten, indem Sie alle auf der Moodle-Site verfügbaren Trainingsdaten sammeln, alle Indikatoren und alle Ziele berechnen und den daraus resultierenden Datensatz an die Machine Learning Backends weiterleiten. Bei diesem Prozess wird der Datensatz in Trainingsdaten und Testdaten aufgeteilt und daraus die Genauigkeit des Modells berechnet. Beachten Sie, dass dieser Auswertungsprozess alle Informationen verwendet, die auf der Moodle-Site verfügbar sind, selbst wenn diese sehr alt sind. Daher kann die berechnete Genauigkeit geringer sein als die tatsächliche Genauigkeit des Modells. Die Metrik, die zur Berechnung der Genauigkeit verwendet wird, ist die  ''[https://en.wikipedia.org/wiki/Matthews_correlation_coefficient Matthews correlation coefficient]''. Das ist eine Metrik, die beim maschinellen Lernen für die Auswertung binärer Klassifikationen verwendet wird.
+[[File:view_insights.png|thumb]]Whether as a manager or as a teacher, the list of insights is the same. The user can send a message to the student, view the student’s Outline report for the Course, or view Prediction details.
-Sie können die Auswertung des Modell von der Kommandozeile aus starten:
+The teacher can also simply acknowledge the Insight, or can mark the insight as Not useful. Both of these options will remove the Insight from the list of current predictions. This data can be incorporated into the model in the future to help improve model quality.
- $ admin/tool/analytics/cli/evaluate_model.php
+== Vorhersage-Details ==
+[[File:prediction_details.png|thumb]]
+The prediction details show which of the indicator values were used in the prediction, and what the student’s values for those indicators are. Indicator calculated values that are low and are affecting the prediction are highlighted.
-=== Log ===
+== Aktionen==
-Hier können Sie die Logdaten früherer Auswertungen ansehen, inklusive der Modellgenauigkeit und weiterer technischer Informationen, die vom Machine Learning Backend generiert wurden, z.B. ROC Kurven, Lernkurvengraphen, den Korrelationskoeffizienten nach Matthew usw. Die Informationen, die hier verfügbar sind, hängen vom verwendeten Machine Learning Backend ab.
-=== Bearbeiten ===
+Each insight can have one or more actions defined. Actions provide a way to act on the insight as it is read. These actions may include a way to send a message to another user, a link to a report providing information about the sample the prediction has been generated for (e.g. a report for an existing student), or a way to view the details of the model prediction.
-Sie können die Modelle bearbeiten, d.h. die Indikatoren und die Zeitaufteilung ändern. Wenn ein Modell geändert wird, werden alle vorher berechneten Vorhersagen und Einschätzen gelöscht. Modelle, die auf Annahmen beruhen (statische Modelle), können nicht berabeitet werden.
-=== Aktivieren / Deaktivieren ===
+[[Image:08_insights.png|thumb|right|Insights and Actions]]
-[[Geplante Vorgänge|geplanten Vorgänge]], die die Vorhersagemodelle mit neu auf der Moodle-Site verfügbaren Daten trainieren bzw. Vorhersagen berechnen, übergehen dekativierte Modelle. Bereits berechnete Vorhersagen für ein deaktiviertes Modell sind erst wieder verfügbar, wenn das Modell wieder aktiviert ist.
-=== Export ===
+Insights can also offer two important general actions that are applicable to all insights. First, the user can acknowledge the insight. This removes that particular prediction from the view of the user, e.g. a notification about a particular student at risk is removed from the display.
-Sie können die Trainingsdaten Ihrer Moodle-Site exportieren und mit anderen teilen oder auf einer neuen Moodle-Site verwenden. Beim Export wird eine CSV-Datei generiert, die Modelldaten über Indikatoren und Gewichte enthält, aber keine spezifischen Daten Ihrer Moodle-Site. Wir  bitten Sie um die Einreichung solcher CSV-Dateien. Das hilft uns, den Wert der Modelle auf verschiedenen Arten von Moodle-Sites zu bestimmen. Detaillierte Informationen dazu finden Sie in der [https://moodle.org/project_inspire Learning Analytics Community].
-=== Ungültige Elemente ===
+The second general action is to mark the insight as "Not useful." This also removes the insight associated with this calculation from the display, but the model is adjusted to make this prediction less likely in the future.
-Hier sehen Sie, welche Elemente nicht für das Modell verwendet werden können. Dabei wird getrennt dargestellt, welche Elemente ungültig für das Training des Modells bzw. für die Vorhersagen sind.
-=== Vorhersagen löschen  ===
+== Modell-Qualität überwachen ==
-Damit löschen Sie alle Vorhersagen/Einschätzungen und alle Trainingsdaten.
+Prüfen Sie reglemäßig die Logdaten-Berichte, um die Genauigkeut Ihre Modelle zu überwachen.
-=== Standardmodelle ===
-==== Teilnehmer/innen sind gefährdet auszusteigen  ====
-[[Teilnehmer/innen sind gefährdet auszusteigen|Dieses Modell]] sagt voraus, welche Kursteilnehmer/innen gefährdet sind, den Kurs vorzeitig abzubrechen. Die Vorhersage basiert auf den Daten der Kursaktivität der Teilnehmer/innen. In diesem Modell ist mit "vorzeitig abbrechen" gemeint, dass "Teilnehmer/innen keine Aktivitäten im letzten Kursviertel zeigen". Das Vorhersagemodell verwendet das Modell [https://en.wikipedia.org/wiki/Community_of_inquiry Community of Inquiry], das auf dem Engagement der Kursteilnehmer/innen basiert und aus drei Teilen besteht:
-* [[Teilnehmer/innen sind gefährdet auszusteigen#Kognitive Tiefe|Kognitive Präsenz]]
-* [[Teilnehmer/innen sind gefährdet auszusteigen#Soziale Breite|Soziale Präsenz]]
-* [[Teilnehmer/innen sind gefährdet auszusteigen#Potentielle Indikatoren für ausgewählte Aktivitäten|Trainerpräsenz]]
-Das Vorhersagemodell kann eine Vielzahl von Kursen analysieren, daraus Schlussfolgerungen ziehen und diese Schlussfolgerungen anwenden, um Vorhersagen für neue Kurse zu machen. Das Modell beschränkt sich insbesondere nicht auf Vorhersagen über den Lernerfolg von Teilnehmer/innen in Kopien von Kursen, die in der Vergangenheit angeboten wurden. Dennoch gibt es einige Einschränkungen:
-# Das Modell erfordert eine gewisse Menge an Moodle-internen Daten, um daruf basierend Vorhersagen zu machen. Zum gegenwärtigen Zeitpunkt werden nur Aktivitäten, die zum Standardpaket von Moodle gehören, in die [[Teilnehmer/innen sind gefährdet auszusteigen#Indikatoren|Indikatoren]] einbezogen.  Kurse, die pro Zeitabschnitt nur wenige Standard-Aktivitäten enthalten, werden zu schwachen Vorhersagen führen. Das Modell ist am effektivsten, wenn die Kurse substantielle Online-Komponenten enthalten.
-# Das Modell setzt voraus, das Kurse feste Daten für Beginn und Ende haben. Es ist nicht für Kurse mit fortlaufenden Einschreibungen konzipiert. In zukünftigen Moodle-Versionen werden auch Modelle bereitgestellt, die auch Kurse ohne festen Beginn und festes Ende unterstützen. Wegen dieser Einschränkung ist es sehr wichtig, für alle Kurse, die das Modell verwenden, die Daten von Kursbeginn und Kursende richtig zu setzen. Wenn dies für vergangene und laufende Kurse nicht der Fall ist, dann können die Vorhersagen nicht verlässlich sein. Da die Kurseinstellung ''Kursende'' erst ab Moodle 3.2 verfügbar war und eine Kurse in der Vergangenheit möglicherweise kein Kursbeginndatum gesetzt hatten, stellen wir ein Kommandozeilen-Tool zur Verfügung:
- $ admin/tool/analytics/cli/guess_course_start_and_end.php
-Dieses Skript versucht, aus den Einschreibungen der Teilnehmer/innen und den Aktivitäten-Logdaten die Daten von Kursbeginn und Kursende zu schätzen. Wenn Sie das Skript laufen lassen, prüfen Sie bitte anschließend, ob die so bestimmten Daten von Kursbeginn und Kursende hinreichend passen.
-==== Keine Lehrtätigkeit ====
-Die Analysen dieses Modells informieren die Moodle-Administration darüber, in welchen Kursen keine Lehrtätigkeit in der Zukunft zu erwarten ist. Dieses Modell ist ein einfaches Modell, es nutzt kein maschinelles Lernen, um Vorhersagen zu machen. Stattdessen basieren die Vorhersagen des Modells auf Annahmen, wie z.B. dass keine Lehrtätigkeit stattfindet, wenn es im Kurs keine Kursteilnehmer/innen gibt.
 [[en:Managing analytics]]

Documentation