Teilnehmer/innen, die Gefahr laufen, aus dem Kurs auszusteigen: Unterschied zwischen den Versionen

Aus MoodleDocs
Wechseln zu:Navigation, Suche
 
(31 dazwischenliegende Versionen von 2 Benutzern werden nicht angezeigt)
Zeile 1: Zeile 1:
{{Zum Überarbeiten}}
{{Analytics}}
{{Lernfortschritt}}
{{Neu}}
 
==Überblick==
==Überblick==
Ab Version 3.4 implementiert Moodle auf Open Source Basis eine [[Analytics|Learning Analytics]] Funktionalität. Moodle stellt im Standardpaket ein Modell [[Teilnehmer/innen sind gefährdet auszusteigen]] bereit. Dieses Modell wird im Folgenden detailliert beschrieben.
Ab Version 3.4 implementiert Moodle auf Open Source Basis eine [[Analytics|Learning Analytics]] Funktionalität. Moodle stellt im Standardpaket ein Modell [[Teilnehmer/innen sind gefährdet auszusteigen]] bereit. Dieses Modell wird im Folgenden detailliert beschrieben.


Das Modell generiert Vorhersagen darüber, welche Teilnehmer/innen gefährdet sind, vorzeitig aus einem Moodle-Kurs auszusteigen (drop-out). "Vorzeitig aussteigen" bedeutet in diesem Zusammenhang, dass eine Person im letzten (zeitlichen) Viertel des Kurses keine Aktivitäten im Kurs mehr zeigt. Dieses Vorhersagemodell verwendet das [https://en.wikipedia.org/wiki/Community_of_inquiry Community of Inquiry] Modell, welches auf dem Engagement der Kursteilnehmer/innen basiert und auf drei Konzepten beruht:
Das Modell generiert Vorhersagen darüber, welche Teilnehmer/innen gefährdet sind, vorzeitig aus einem Moodle-Kurs auszusteigen (drop-out). "Vorzeitig aussteigen" bedeutet in diesem Zusammenhang, dass eine Person im letzten (zeitlichen) Viertel des Kurses keine Aktivitäten im Kurs mehr zeigt. Dieses Vorhersagemodell verwendet das [https://en.wikipedia.org/wiki/Community_of_inquiry Community of Inquiry] Modell, welches auf dem Engagement der Kursteilnehmer/innen basiert und auf drei Konzepten beruht:
* [[Teilnehmer/innen sind gefährdet auszusteigen#Kognitive Tiefe|Kognitive Präsenz]]
* Kognitive Präsenz
* [[Teilnehmer/innen sind gefährdet auszusteigen#Soziale Breite|Soziale Präsenz]]
* Soziale Präsenz
* [[Teilnehmer/innen sind gefährdet auszusteigen#Potentielle Indikatoren für ausgewählte Aktivitäten|Trainerpräsenz]]
* Trainerpräsenz


Weiter unten wird beschrieben, wie diese Konzepte im Modell definiert sind.
Weiter unten wird beschrieben, wie diese Konzepte im Modell definiert sind.
Zeile 22: Zeile 19:
**Es werden keine Kurse für das Training des Modells oder für Vorhersagen verwendet, in denen (fälschlicherweise) das Datum des Kursendes vor dem Datum des Kursbeginns liegt.  
**Es werden keine Kurse für das Training des Modells oder für Vorhersagen verwendet, in denen (fälschlicherweise) das Datum des Kursendes vor dem Datum des Kursbeginns liegt.  
* Das Modell erfordert es, dass innerhalb des Kurses Abschnitte verwendet werden, damit die einzelnen Aktivitäten auf Zeitabschnitte aufgeteilt werden können.
* Das Modell erfordert es, dass innerhalb des Kurses Abschnitte verwendet werden, damit die einzelnen Aktivitäten auf Zeitabschnitte aufgeteilt werden können.
Die Funktionalitäten von Moodle Analytics haben folgende Einschränkungen:
* Es werden keine Kurse verwendet, deren Beginn und Ende mehr als ein Jahr zurückliegen.
* Es werden keine Kurse verwendet, deren Beginn und Ende mehr als ein Jahr zurückliegen.
* Das Modell erfordert eine gewisse Menge an Moodle-internen Daten, um darauf basierend Vorhersagen zu machen. Zum gegenwärtigen Zeitpunkt werden nur Aktivitäten, die zum Standardpaket von Moodle gehören, in die [[Teilnehmer/innen sind gefährdet auszusteigen#Indikatoren|Indikatoren]] einbezogen (siehe unten).  Kurse, die pro Zeitabschnitt nur wenige Standard-Aktivitäten enthalten, werden zu schwachen Vorhersagen führen. Das Modell ist am effektivsten, wenn die Kurse substantielle Online-Komponenten enthalten.
* Das Modell erfordert eine gewisse Menge an Moodle-internen Daten, um darauf basierend Vorhersagen zu machen. Zum gegenwärtigen Zeitpunkt werden nur Aktivitäten, die zum Standardpaket von Moodle gehören, in die [[Teilnehmer/innen sind gefährdet auszusteigen#Indikatoren|Indikatoren]] einbezogen (siehe unten).  Kurse, die pro Zeitabschnitt nur wenige Standard-Aktivitäten enthalten, werden zu schwachen Vorhersagen führen. Das Modell ist am effektivsten, wenn die Kurse substantielle Online-Komponenten enthalten.
Zeile 28: Zeile 24:
Da die Kurseinstellung ''Kursende'' erst ab Moodle 3.2 verfügbar war und eine Kurse in der Vergangenheit möglicherweise kein Kursbeginndatum gesetzt hatten, stellen wir ein Kommandozeilen-Tool zur Verfügung:
Da die Kurseinstellung ''Kursende'' erst ab Moodle 3.2 verfügbar war und eine Kurse in der Vergangenheit möglicherweise kein Kursbeginndatum gesetzt hatten, stellen wir ein Kommandozeilen-Tool zur Verfügung:


$ admin/tool/analytics/cli/guess_course_start_and_end.php  
  $ admin/tool/analytics/cli/guess_course_start_and_end.php  


Dieses Skript versucht, aus den Einschreibungen der Teilnehmer/innen und den Aktivitäten-Logdaten die Daten von Kursbeginn und Kursende zu schätzen. Wenn Sie das Skript laufen lassen, prüfen Sie bitte anschließend, ob die so bestimmten Daten von Kursbeginn und Kursende hinreichend passen.
Dieses Skript versucht, aus den Einschreibungen der Teilnehmer/innen und den Aktivitäten-Logdaten die Daten von Kursbeginn und Kursende zu schätzen. Wenn Sie das Skript laufen lassen, prüfen Sie bitte anschließend, ob die so bestimmten Daten von Kursbeginn und Kursende hinreichend passen.


== Ziel==
== Ziel==
The [[dev:Analytics API#Target|target]] here is "students drop out of the course" (negative target) and is defined as: Enroled students show no activity in the final quarter of the course.
Das [[Analytics-Ziele|Ziel]] in diesem Modell ist ''Teilnehmer/in steigt aus dem Kurs aus'' (das ist ein negatives Ziel). Es ist so definiert: Der/die Teilnehmer/in zeigt keine Kursaktivität im letzten Viertel des Kurses.
 
Additionally,
 
# Enrolments in which the time end is before the current start date in the course will be excluded from predictions.
# Enrolments lasting more than 1 year are excluded
# Course completion can be used as a success metric if it is enabled
# Otherwise, activity within the last quarter of the course is considered "not dropping out"


The code for this target is located at ''moodlesite''/opt/app/lib/classes/analytics/target/course_dropout.php
Beachten Sie:
* Einschreibungen, die vor dem aktuellen Datum des Kursbeginns enden, werden in den Vorhersagen ausgenommen.
* Einschreibungen, die länger als ein Jahr bestehen, werden ausgenommen.
* Der Kursabschluss (wenn aktiviert) kann als Maß für den Erfolg verwendet werden.
* Andernfalls werden Aktivitäten von Teilnehmer/innen im letzten Viertel des Kurses so bewertet, dass diese Teilnehmer/innen '''nicht''' aussteigen.


where ''moodlesite'' is the root directory of your moodle site.
Der Code für dieses Ziel ist im PHP-Skript ''<moodle>/lib/classes/analytics/target/course_dropout.php'' implementiert, wobei ''<moodle>'' das Wurzelverzeichnis Ihrer Moodle-Installation ist.


== Indicators ==
== Indikatoren ==


[[dev:Analytics API#Indicator|Indicators]] can be defined at any context level. The indicators used in this model are based on the concepts of "cognitive depth" and "social breadth," which are implemented for each of the core activity modules.
[[Analytics-Indikatoren|Indikatoren]] können in jedem Kontext definiert werden. Die Indikatoren, die in diesem Modell verwendet werden, basieren auf den Konzepten "kognitive Tiefe" und "soziale Breite". Sie sind in allen Aktivitäten des Standardpakets von Moodle implementiert.


===Kognitive Tiefe===
===Kognitive Tiefe===


Cognitive depth is a measure of the construct "cognitive presence" within the Community of Inquiry theoretical framework. Cognitive presence is defined as “The extent to which the participants in any particular configuration of a community of inquiry are able to construct meaning through sustained communication” ([http://www.sciencedirect.com/science/article/pii/S1096751600000166 Garrison, Anderson & Archer, 2000], p 89). Cognitive presence has usually been determined in research by manual content analysis. In this model, we define this construct based on the type of activity offered to the student, and the extent to which the student demonstrates cognitive engagement in that activity. The level of depth ranges from 0 to 5, where 0 indicates that the learner has not even viewed the activity. The levels of potential cognitive depth are:
"Kognitive Tiefe" ist ein Maß für das Konzept "Kognitive Präsenz" im theoretischen Rahmenwerk der [https://en.wikipedia.org/wiki/Community_of_inquiry Community of Inquiry]. "Kognitive Präsenz" definiert, inwieweit  Teilnehmer/innen in einer beliebigen Konfiguration einer Community of Inquiry in der Lage sind, durch fortwährende Kommunikation Sinngehalte zu konstruieren ([http://www.sciencedirect.com/science/article/pii/S1096751600000166 Garrison, Anderson & Archer, 2000], S. 89).  


# The learner has viewed the activity details
Die kognitive Präsenz wurde in der Forschung meistens durch manuelles Analysieren der Inhalte gemessen. In diesem Modell definieren wir das Konzept basierend auf der Art der Aktivität, die für die Teilnehmer/innen im Kurs bereitgestellt wird, und inwieweit die Teilnehmer/innen kognitive Beteiligung an der Aktivität zeigen. Das Maß der Tiefe reicht von 0 bis 5, wobei 0 bedeutet, dass ein/e Teilnehmer/in die Aktivität noch nicht einmal angesehen hat. Weitere Niveaustufen sind:
# The learner has submitted content to the activity
# Der/die Lernende hat die Details der Aktivität angesehen.
# The learner has viewed feedback from an instructor or peer for the activity
# Der/die Lernende hat inhaltliche Beiträge zur Aktivität eingereicht.
# The learner has provided feedback to the instructor or a peer within the activity
# Der/die Lernende hat das Feedback angesehen, das Lehrende oder Kolleg/innen gegeben haben.
# The learner has revised and/or resubmitted content to the activity
# Der/die Lernende hat Feedback an den/die Lehrende/n oder Kolleg/innen gegeben.
# Der/die Lernende hat seine/ihre inhaltliche Beiträge auf Basis des Feedbacks überarbeitet und neu eingereicht.


This model begins by assigning a maximum potential value of cognitive depth to each activity module. For example, the Assignment module allows up to cognitive depth of 4. See below for more details of how these levels are assigned for core activity modules.
Das Modell weist nun jeder Aktivität eine maximale potentiell erreichbare kognitive Tiefe zu. Z.B. kann man bei der Aktivität [[Aufgabe]] maximal die Niveaustufe 4 der kognitiven Tiefe erreichen. Weiter unten finden Sie eine detaillierte Übersicht, welche Niveaustufe in welcher Aktivität erreicht werden kann.


Once the potential levels are assigned, each student enroled in a course is evaluated based on the proportion of the potential depth reached. For example, if an activity only supports up to level 3 and the student has reached level 3, the student is participating at 100 percent of the possible level of cognitive depth.
Sobald diese Zuweisung der maximalen Niveaustufe zu den einzelnen Aktivitäten erfolgt ist, werden alle eingeschriebenen Kursteilnehmer/innen darin bewertet, welche prozentuale Tiefe sie jeweils erreicht haben. Wenn z.B. eine Aktivität die Niveaustufe 3 hat und eine Person hat diese Aktivität auf Niveau 3 bearbeitet, dann sind das 100% der erreichbaren kognitiven Tiefe.


===Soziale Breite===
===Soziale Breite===
"Soziale Breite" ist ein Maß für das Konzept "Soziale Präsenz" im theoretischen Rahmenwerk der [https://en.wikipedia.org/wiki/Community_of_inquiry Community of Inquiry]. "Soziale Präsenz" ist definiert als die Fähigkeit von Kursteilnehmer/innen, sich mit der Gruppe oder dem Kurs zu identifizieren, zielgerichtet in einer vertrauensvollen Umgebung zu kommunizieren, schrittweise persönliche und emotionale Beziehungen aufzubauen, indem sie ihre individuelle Persönlichkeit einbringen ([https://www.igi-global.com/chapter/communities-inquiry-online-learning/11779 Garrison, 2009], S. 352).


Social breadth is a measure of the construct "social presence" within the Community of Inquiry theoretical framework. It is defined as “The ability of participants to identify with the group or course of study, communicate purposefully in a trusting environment, and develop personal and affective relationships progressively by way of projecting their individual personalities” ([https://www.igi-global.com/chapter/communities-inquiry-online-learning/11779 Garrison, 2009], p 352). In the past, social presence has usually been measured via post-course surveys and manual discourse analysis, though there have been increasing attempts to automate this process. This model implements social presence as "social breadth" by examining the breadth of opportunities the participant has to communicate with others. The level of breadth ranges from 0 to 5, where 0 indicates the learner has not interacted with anyone. The levels of potential social breadth are:
In der Vergangenheit wurde die soziale Präsenz meistens durch Befragungen im Anschluss an einen Kurs und durch manuelles Analysieren des Diskurses in einem Kurs gemessen. Gleichzeitig gab es wachsende Bemühungen, diesen Messprozess zu automatisieren. Dieses Modell implementiert die soziale Präsenz als "soziale Breite", indem es die Breite an Gelegenheiten untersucht, die eine Person hat, um mit anderen zu kommunizieren. Das Maß der Breite reicht von 0 bis 5, wobei 0 bedeutet, dass ein/e Teilnehmer/in mit niemanden in Interaktion getreten ist. Weitere Niveaustufen sind:
# Der/die Lernende ist in einer Aktivität mit keinem/r anderen/r Lernenden in Interaktion getreten.
# Der/die Lernende ist mit einem/r anderen/r Lernenden in Interaktion getreten (hat z.B. eine Aufgabenabgabe eingereicht oder einen Testversuch absolviert, der Feedback gibt)
# Der/die Lernende ist mit mehreren anderen Lernenden in Interaktion getreten (hat z.B. einen Beitrag in einem Forum, in einem Wiki oder in einer Datenbank geschrieben).
# Der/die Lernende ist mit anderen Lernenden so in Interaktion getreten, dass es eine Kommunikation "hin" und "zurück" gab (Beitrag und Antwort/Feedback).
# Der/die Lernende ist in Interaktion mit Menschen außerhalb des Kurses getreten (also innerhalb einer "Community of practise").  


# The learner has not interacted with any other participant in this activity (e.g. they have read a page)
Das Modell weist nun jeder Aktivität eine maximale potentiell erreichbare soziale Breite zu. Z.B. kann man bei der Aktivität Aufgabe maximal die Niveaustufe 2 der sozialen Breite erreichen. Weiter unten finden Sie eine detaillierte Übersicht, welche Niveaustufe in welcher Aktivität erreicht werden kann.
# The learner has interacted with at least one other participant (e.g. they have submitted an assignment or attempted a self-grading quiz providing feedback)
# The learner has interacted with multiple participants in this activity, e.g. posting to a discussion forum, wiki, database, etc.
# The learner has interacted with participants in at least one "volley" of communications back and forth
# The learner has interacted with people outside the class, e.g. in an authentic community of practice


This model begins by assigning a maximum potential value of social breadth to each activity module. For example, the Assignment module allows up to social breadth of 2. See below for more details of how these levels are assigned for core activity modules.
Sobald diese Zuweisung der maximalen Niveaustufe zu den einzelnen Aktivitäten erfolgt ist, werden alle eingeschriebenen Kursteilnehmer/innen danach bewertet, welche prozentuale Breite sie jeweils erreicht haben. Wenn z.B. eine Aktivität die Niveaustufe 4 hat und eine Person hat diese Aktivität auf Niveau 2 bearbeitet, dann sind das 50% der erreichbaren sozialen Breite.


Once the potential levels are assigned, each student enroled in a course is evaluated based on the proportion of the potential depth reached. For example, if an activity only supports up to level 3 and the student has reached level 3, the student is participating at 100 percent of the possible level of social breadth.
===Potentielle Niveaustufen für ausgewählte Aktivitäten===
In den beiden vorangegangenen Abschnitten wurde bereits geschrieben, dass der Grad der Beteiligung an Aktivitäten in Moodle in Bezug auf kognitive Tiefe und soziale Breite mit verschiedenen Niveaustufen bewertet wird und dass in den einzelnen Aktivitäten unterschiedliche Niveaustufen erreichbar sind.


===Potentielle Indikatoren für ausgewählte Aktivitäten===
Die folgende Grafik zeigt, welche Niveaustufen in den Aktivitäten des Moodle-Standardpakets und in auswählten Zusatz-Modulen in Bezug auf die kognitive Tiefe bzw. die soziale Breite maximal erreicht werden können.


The potential for engagement via cognitive presence and social presence constitutes '''instructional design''', which is one key element of teaching presence.
[[Image:depth_breadth_de.png|600px]]
This diagram shows the potential cognitive depth and social breadth of all core activities and select non-core activities:


[[Image:07_depth_breadth.png|frame|center|Potential cognitive depth and social breadth]]
Auf diese Weise wird jede Aktivität in Bezug auf den möglichen bzw. erwarteten Grad der Beteiligung und des Engagements der Lernenden kategorisiert. Beachten Sie, dass höhere Niveaustufen die jeweils niedrigeren Niveaustufen einschließen. Wenn z.B. eine Aktivität eine/n Lernenden und seine Kolleg/innen bzw. Peers einbezieht (Niveaustufe 3 der sozialen Breite), dann sind automatisch die Niveaustufen 1 (nur der/die Lernende ist involviert) und 2 (nur der/die Lernende und eine weitere Person sind involviert) eingeschlossen. In vielen Fällen kann die spezifische Niveaustufe nur anhand der Einstellungen für die jeweilige Aktivität bestimmt werden.


By categorizing each activity by potential cognitive depth and social breadth, we can anticipate what level of engagement is supported (and possibly expected) of the learner, even without a history of many learners’ actions in that activity instance. Note that higher levels along each axis include all lower levels, i.e. an activity that involves a student and all peers (social breadth 3) automatically includes levels 1 (student only) and 2 (student +1). In many cases, the specific level can only be determined by analyzing the parameter settings for the activity. (Note that the model included in Moodle 3.4 only supports activities in Moodle Core. Some non-Core activities are included here as examples.)
'''Hinweis''': In Moodle 3.4 unterstützt das Modell nur die Aktivitäten des Moodle-Standardpakets (auch wenn in der Grafik weitere zusätzliche Module eingetragen sind).


== Analysierbare Elemente==
== Analysierbare Elemente==


The "[[dev:Analytics API#Analysable|analysable]]" element of Moodle for this model is the Course. This indicates that the model will iterate through the courses on the site and process each one, either to train the model or to make predictions. Predictions are made for each "sample" entity (see below) within the context of the course.
Das "[[dev:Analytics API#Analysable|analysierbare Element]]" in diesem Modell ist der Moodle-Kurs. Das Modell iteriert also über die Kurse einer Moodle-Site und verarbeitet diesen, entweder um das Modell zu trainieren oder um Vorhersagen zu generieren. Vorhersagen werden für jede Stichprobe im Kontext des Kurses getroffen, siehe unten.


For scalability reasons all calculations at course level are executed in per-course basis and the resulting datasets are merged together once all site courses analysis is complete.
Aus Gründen der Skalierbarkeit werden alle Berechnungen pro Kurs ausgeführt. Die daraus resultierenden Daten werden zusammengeführt, nachdem alle Kurse verarbeitet wurden.


== Stichproben ==
== Stichproben ==


"[[dev:Analytics API#Samples|Samples]]" in the context of machine learning indicate the unit of analysis. In this model,  the samples are student enrolments in courses. Predictions will be made for each student enrolment in a course, based on the data observed during the training of the model for all previous student enrolments in courses that have ended.
"[[dev:Analytics API#Samples|Stichproben]]" kennzeichnen im Kontext des maschinellen Lernens die Einheiten der Analyse. In diesem Model sind die Stichproben die Kurseinschreibungen. Die Vorhersagen werden für jede Einschreibung in den Kursen getroffen. Die Vorhersagen werden dabei auf der Basis von Daten getroffen, die durch das Training des Modells mit Einschreibungen in bereits abgeschlossenen Kursen generiert wurden.


=== Gültige Stichproben  ===
=== Gültige Stichproben  ===
 
Gültige Stichproben werden jedes Modell in Bezug auf Training und Vorhersagen definiert. In diesem Modell sind die Kriterien folgende:
Valid samples are defined for each model in terms of model training and model predictions. For this model, the criteria are:
* Für das Ttraining = abgeschlossene Kurse mit Aktivitäten
 
* Für die Vorhersage = laufende Kurse
* For prediction = ongoing courses
* For training = finished courses with activity


== Einschätzungen ==
== Einschätzungen ==


[[dev:Analytics API#Insights|Insights]] are the specific predictions generated by a model for each unit defined in the sample (in this case, student enrolments in a course) within the context of that model (in this case, each course). The context is used to define who will receive notifications based on the moodle/analytics:listinsights capability for that context. For this model, this permission is defined for the teacher role by default.
[[dev:Analytics API#Insights|Einschätzungen]] sind spezifische Vorhersagen, die ein Modell für jede Einheit in der Stichprobe (in diesem Modell sind das die Einschreibungen in einem Kurs) im Kontext des Modells (in diesem Modell sind das alle Kurse) generiert. Der Kontext wird verwendet, um festzulegen, wer auf der Basis der Fähigkeit [[Capabilities/moodle/analytics:listinsights|moodle/analytics:listinsights]] benachrichtigt wird. Standardmäßig ist in diesem Modell diese Fähigkeit für die Rolle [[Trainer-Rolle|Trainer/in]] auf ''Erlauben'' gesetzt.  
 
In this model, the insights are binary, i.e. "student at risk of dropping out" or "student not at risk of dropping out."
 
=== Actions ===


Each insight can have one or more actions defined. For this model, the actions are:
In diesem Modell sind die Einschätzungen "binär", d.h. entweder ist ein/e Teilnehmer/in gefährdet auszusteigen oder nicht.


* Send a message to the student
=== Aktionen===
* View the Outline report for the student in this course
* View prediction details
* Acknowledge the notification
* Mark the notification as "not useful"


Zu jeder Einschätzung kann es eine oder mehrere Aktionen geben. Für dieses Modell gibt es folgende Aktionen:
* eine Mitteilung an einen Kursteilnehmenden schicken
* den Aktivitätenbericht eines Kursteilnehmenden ansehen
* die Details der Vorhersagen ansehen
* eine Einschätzung anerkennen
* eine Einschätzung als "Nicht hilfreich" markieren


[[Image:08_insights.png|frame|center|Insights and Actions]]
[[Image:08_insights.png|600px]]


== Empfohlene Zeitaufteilungsmethoden ==
== Empfohlene Zeitaufteilungsmethoden ==


The [[Analytics#Time splitting methods|time splitting method]] is selected when the model is enabled. This depends on the typical length of courses and the length of the add/drop period (if relevant). If you wish to see predictions within the first two weeks of a 16 week course, you will need to use "tenths." (16 weeks = 112 days, so predictions will be calculated approximately every 11 days.) However, if you wish to see predictions every two weeks in an 8 week course, "quarters" will suffice. Remember, the evaluation process will iterate through all enabled time-spitting methods, so the more time-splitting methods enabled, the slower the evaluation process will be each time it runs (and the longer the model will take to train).
Die [[Analytics-Einstellungen#Zeitaufteilungsmethode|Zeitaufteilungsmethode]] wird bei der Aktivierung des Modells gewählt. Die Wahl hängt von der typischen Länge eines Kurses und der Länge des Einschreibezeitraums (falls vorhanden) ab. Wenn Sie z.B. innerhalb der ersten beiden Wochen Vorhersagen für einen 16-wöchigen Kurs haben wollen, dann müssen Sie als Zeitaufteilungsmethode ''Zehntel'' wählen (16 Wochen = 112 Tage, so dass Vorhersagen etwa alle 11 Tage generiert werden). Wenn Sie dagegen  alle zwei Wochen Vorhersagen für einen 8-wöchigen Kurs benötigen, dann wählen Sie ''Viertel''. Beachten Sie, dass der Berechnungsprozess über alle aktivierten zeitaufteilungsmethoden iteriert. D.h. je mehr Zeitaufteilungsmethoden aktiviert sind, um so länger dauert der Berechnungsprozess und um so länger dauert es, das Modell zu trainieren.


[[Category:Analytics]]
[[Category:Analytics]]


[[en:Students at risk of dropping out]]
[[en:Students at risk of dropping out]]

Aktuelle Version vom 16. August 2020, 12:37 Uhr

Überblick

Ab Version 3.4 implementiert Moodle auf Open Source Basis eine Learning Analytics Funktionalität. Moodle stellt im Standardpaket ein Modell Teilnehmer/innen sind gefährdet auszusteigen bereit. Dieses Modell wird im Folgenden detailliert beschrieben.

Das Modell generiert Vorhersagen darüber, welche Teilnehmer/innen gefährdet sind, vorzeitig aus einem Moodle-Kurs auszusteigen (drop-out). "Vorzeitig aussteigen" bedeutet in diesem Zusammenhang, dass eine Person im letzten (zeitlichen) Viertel des Kurses keine Aktivitäten im Kurs mehr zeigt. Dieses Vorhersagemodell verwendet das Community of Inquiry Modell, welches auf dem Engagement der Kursteilnehmer/innen basiert und auf drei Konzepten beruht:

  • Kognitive Präsenz
  • Soziale Präsenz
  • Trainerpräsenz

Weiter unten wird beschrieben, wie diese Konzepte im Modell definiert sind.

Funktionalitäten

Durch Abstraktion der Konzepte "Kognitive Präsenz" und "Soziale Präsenz" ist das Vorhersagemodell in der Lage, eine Vielzahl von Kursen zu analysieren und daraus Schlussfolgerungen zu ziehen. Auf Basis der Schlussfolgerungen macht das Modell Vorhersagen für neue Kurse, sogar für Kurse, in denen bisher noch kein Unterricht bzw. keine Lehrtätigkeit stattgefunden hat. Damit beschränken sich die Vorhersagen des Modells nicht auf den Lernerfolg der Teilnehmer/innen in Kursen, die exakte Kopien von Kursen aus der Vergangenheit sind.

Einschränkungen

  • Das Vorhersagemodell setzt voraus, dass Kurse ein festes Kursbeginndatum und ein festes Kursendedatum haben. Das Modell funktioniert nicht bei Kursen mit fortlaufenden Einschreibungen. Modelle ohne diese Einschränkungen sollen in zukünftigen Moodle-Versionen verfügbar sein.
    • Wegen dieser Einschränkung ist es sehr wichtig, für alle Kurse, die das Modell verwenden, die Daten von Kursbeginn und Kursende richtig zu setzen. Wenn dies für vergangene und laufende Kurse nicht der Fall ist, dann können die Vorhersagen nicht verlässlich sein.
    • Es werden keine Kurse für das Training des Modells oder für Vorhersagen verwendet, in denen (fälschlicherweise) das Datum des Kursendes vor dem Datum des Kursbeginns liegt.
  • Das Modell erfordert es, dass innerhalb des Kurses Abschnitte verwendet werden, damit die einzelnen Aktivitäten auf Zeitabschnitte aufgeteilt werden können.
  • Es werden keine Kurse verwendet, deren Beginn und Ende mehr als ein Jahr zurückliegen.
  • Das Modell erfordert eine gewisse Menge an Moodle-internen Daten, um darauf basierend Vorhersagen zu machen. Zum gegenwärtigen Zeitpunkt werden nur Aktivitäten, die zum Standardpaket von Moodle gehören, in die Indikatoren einbezogen (siehe unten). Kurse, die pro Zeitabschnitt nur wenige Standard-Aktivitäten enthalten, werden zu schwachen Vorhersagen führen. Das Modell ist am effektivsten, wenn die Kurse substantielle Online-Komponenten enthalten.

Da die Kurseinstellung Kursende erst ab Moodle 3.2 verfügbar war und eine Kurse in der Vergangenheit möglicherweise kein Kursbeginndatum gesetzt hatten, stellen wir ein Kommandozeilen-Tool zur Verfügung:

 $ admin/tool/analytics/cli/guess_course_start_and_end.php 

Dieses Skript versucht, aus den Einschreibungen der Teilnehmer/innen und den Aktivitäten-Logdaten die Daten von Kursbeginn und Kursende zu schätzen. Wenn Sie das Skript laufen lassen, prüfen Sie bitte anschließend, ob die so bestimmten Daten von Kursbeginn und Kursende hinreichend passen.

Ziel

Das Ziel in diesem Modell ist Teilnehmer/in steigt aus dem Kurs aus (das ist ein negatives Ziel). Es ist so definiert: Der/die Teilnehmer/in zeigt keine Kursaktivität im letzten Viertel des Kurses.

Beachten Sie:

  • Einschreibungen, die vor dem aktuellen Datum des Kursbeginns enden, werden in den Vorhersagen ausgenommen.
  • Einschreibungen, die länger als ein Jahr bestehen, werden ausgenommen.
  • Der Kursabschluss (wenn aktiviert) kann als Maß für den Erfolg verwendet werden.
  • Andernfalls werden Aktivitäten von Teilnehmer/innen im letzten Viertel des Kurses so bewertet, dass diese Teilnehmer/innen nicht aussteigen.

Der Code für dieses Ziel ist im PHP-Skript <moodle>/lib/classes/analytics/target/course_dropout.php implementiert, wobei <moodle> das Wurzelverzeichnis Ihrer Moodle-Installation ist.

Indikatoren

Indikatoren können in jedem Kontext definiert werden. Die Indikatoren, die in diesem Modell verwendet werden, basieren auf den Konzepten "kognitive Tiefe" und "soziale Breite". Sie sind in allen Aktivitäten des Standardpakets von Moodle implementiert.

Kognitive Tiefe

"Kognitive Tiefe" ist ein Maß für das Konzept "Kognitive Präsenz" im theoretischen Rahmenwerk der Community of Inquiry. "Kognitive Präsenz" definiert, inwieweit Teilnehmer/innen in einer beliebigen Konfiguration einer Community of Inquiry in der Lage sind, durch fortwährende Kommunikation Sinngehalte zu konstruieren (Garrison, Anderson & Archer, 2000, S. 89).

Die kognitive Präsenz wurde in der Forschung meistens durch manuelles Analysieren der Inhalte gemessen. In diesem Modell definieren wir das Konzept basierend auf der Art der Aktivität, die für die Teilnehmer/innen im Kurs bereitgestellt wird, und inwieweit die Teilnehmer/innen kognitive Beteiligung an der Aktivität zeigen. Das Maß der Tiefe reicht von 0 bis 5, wobei 0 bedeutet, dass ein/e Teilnehmer/in die Aktivität noch nicht einmal angesehen hat. Weitere Niveaustufen sind:

  1. Der/die Lernende hat die Details der Aktivität angesehen.
  2. Der/die Lernende hat inhaltliche Beiträge zur Aktivität eingereicht.
  3. Der/die Lernende hat das Feedback angesehen, das Lehrende oder Kolleg/innen gegeben haben.
  4. Der/die Lernende hat Feedback an den/die Lehrende/n oder Kolleg/innen gegeben.
  5. Der/die Lernende hat seine/ihre inhaltliche Beiträge auf Basis des Feedbacks überarbeitet und neu eingereicht.

Das Modell weist nun jeder Aktivität eine maximale potentiell erreichbare kognitive Tiefe zu. Z.B. kann man bei der Aktivität Aufgabe maximal die Niveaustufe 4 der kognitiven Tiefe erreichen. Weiter unten finden Sie eine detaillierte Übersicht, welche Niveaustufe in welcher Aktivität erreicht werden kann.

Sobald diese Zuweisung der maximalen Niveaustufe zu den einzelnen Aktivitäten erfolgt ist, werden alle eingeschriebenen Kursteilnehmer/innen darin bewertet, welche prozentuale Tiefe sie jeweils erreicht haben. Wenn z.B. eine Aktivität die Niveaustufe 3 hat und eine Person hat diese Aktivität auf Niveau 3 bearbeitet, dann sind das 100% der erreichbaren kognitiven Tiefe.

Soziale Breite

"Soziale Breite" ist ein Maß für das Konzept "Soziale Präsenz" im theoretischen Rahmenwerk der Community of Inquiry. "Soziale Präsenz" ist definiert als die Fähigkeit von Kursteilnehmer/innen, sich mit der Gruppe oder dem Kurs zu identifizieren, zielgerichtet in einer vertrauensvollen Umgebung zu kommunizieren, schrittweise persönliche und emotionale Beziehungen aufzubauen, indem sie ihre individuelle Persönlichkeit einbringen (Garrison, 2009, S. 352).

In der Vergangenheit wurde die soziale Präsenz meistens durch Befragungen im Anschluss an einen Kurs und durch manuelles Analysieren des Diskurses in einem Kurs gemessen. Gleichzeitig gab es wachsende Bemühungen, diesen Messprozess zu automatisieren. Dieses Modell implementiert die soziale Präsenz als "soziale Breite", indem es die Breite an Gelegenheiten untersucht, die eine Person hat, um mit anderen zu kommunizieren. Das Maß der Breite reicht von 0 bis 5, wobei 0 bedeutet, dass ein/e Teilnehmer/in mit niemanden in Interaktion getreten ist. Weitere Niveaustufen sind:

  1. Der/die Lernende ist in einer Aktivität mit keinem/r anderen/r Lernenden in Interaktion getreten.
  2. Der/die Lernende ist mit einem/r anderen/r Lernenden in Interaktion getreten (hat z.B. eine Aufgabenabgabe eingereicht oder einen Testversuch absolviert, der Feedback gibt)
  3. Der/die Lernende ist mit mehreren anderen Lernenden in Interaktion getreten (hat z.B. einen Beitrag in einem Forum, in einem Wiki oder in einer Datenbank geschrieben).
  4. Der/die Lernende ist mit anderen Lernenden so in Interaktion getreten, dass es eine Kommunikation "hin" und "zurück" gab (Beitrag und Antwort/Feedback).
  5. Der/die Lernende ist in Interaktion mit Menschen außerhalb des Kurses getreten (also innerhalb einer "Community of practise").

Das Modell weist nun jeder Aktivität eine maximale potentiell erreichbare soziale Breite zu. Z.B. kann man bei der Aktivität Aufgabe maximal die Niveaustufe 2 der sozialen Breite erreichen. Weiter unten finden Sie eine detaillierte Übersicht, welche Niveaustufe in welcher Aktivität erreicht werden kann.

Sobald diese Zuweisung der maximalen Niveaustufe zu den einzelnen Aktivitäten erfolgt ist, werden alle eingeschriebenen Kursteilnehmer/innen danach bewertet, welche prozentuale Breite sie jeweils erreicht haben. Wenn z.B. eine Aktivität die Niveaustufe 4 hat und eine Person hat diese Aktivität auf Niveau 2 bearbeitet, dann sind das 50% der erreichbaren sozialen Breite.

Potentielle Niveaustufen für ausgewählte Aktivitäten

In den beiden vorangegangenen Abschnitten wurde bereits geschrieben, dass der Grad der Beteiligung an Aktivitäten in Moodle in Bezug auf kognitive Tiefe und soziale Breite mit verschiedenen Niveaustufen bewertet wird und dass in den einzelnen Aktivitäten unterschiedliche Niveaustufen erreichbar sind.

Die folgende Grafik zeigt, welche Niveaustufen in den Aktivitäten des Moodle-Standardpakets und in auswählten Zusatz-Modulen in Bezug auf die kognitive Tiefe bzw. die soziale Breite maximal erreicht werden können.

depth breadth de.png

Auf diese Weise wird jede Aktivität in Bezug auf den möglichen bzw. erwarteten Grad der Beteiligung und des Engagements der Lernenden kategorisiert. Beachten Sie, dass höhere Niveaustufen die jeweils niedrigeren Niveaustufen einschließen. Wenn z.B. eine Aktivität eine/n Lernenden und seine Kolleg/innen bzw. Peers einbezieht (Niveaustufe 3 der sozialen Breite), dann sind automatisch die Niveaustufen 1 (nur der/die Lernende ist involviert) und 2 (nur der/die Lernende und eine weitere Person sind involviert) eingeschlossen. In vielen Fällen kann die spezifische Niveaustufe nur anhand der Einstellungen für die jeweilige Aktivität bestimmt werden.

Hinweis: In Moodle 3.4 unterstützt das Modell nur die Aktivitäten des Moodle-Standardpakets (auch wenn in der Grafik weitere zusätzliche Module eingetragen sind).

Analysierbare Elemente

Das "analysierbare Element" in diesem Modell ist der Moodle-Kurs. Das Modell iteriert also über die Kurse einer Moodle-Site und verarbeitet diesen, entweder um das Modell zu trainieren oder um Vorhersagen zu generieren. Vorhersagen werden für jede Stichprobe im Kontext des Kurses getroffen, siehe unten.

Aus Gründen der Skalierbarkeit werden alle Berechnungen pro Kurs ausgeführt. Die daraus resultierenden Daten werden zusammengeführt, nachdem alle Kurse verarbeitet wurden.

Stichproben

"Stichproben" kennzeichnen im Kontext des maschinellen Lernens die Einheiten der Analyse. In diesem Model sind die Stichproben die Kurseinschreibungen. Die Vorhersagen werden für jede Einschreibung in den Kursen getroffen. Die Vorhersagen werden dabei auf der Basis von Daten getroffen, die durch das Training des Modells mit Einschreibungen in bereits abgeschlossenen Kursen generiert wurden.

Gültige Stichproben

Gültige Stichproben werden jedes Modell in Bezug auf Training und Vorhersagen definiert. In diesem Modell sind die Kriterien folgende:

  • Für das Ttraining = abgeschlossene Kurse mit Aktivitäten
  • Für die Vorhersage = laufende Kurse

Einschätzungen

Einschätzungen sind spezifische Vorhersagen, die ein Modell für jede Einheit in der Stichprobe (in diesem Modell sind das die Einschreibungen in einem Kurs) im Kontext des Modells (in diesem Modell sind das alle Kurse) generiert. Der Kontext wird verwendet, um festzulegen, wer auf der Basis der Fähigkeit moodle/analytics:listinsights benachrichtigt wird. Standardmäßig ist in diesem Modell diese Fähigkeit für die Rolle Trainer/in auf Erlauben gesetzt.

In diesem Modell sind die Einschätzungen "binär", d.h. entweder ist ein/e Teilnehmer/in gefährdet auszusteigen oder nicht.

Aktionen

Zu jeder Einschätzung kann es eine oder mehrere Aktionen geben. Für dieses Modell gibt es folgende Aktionen:

  • eine Mitteilung an einen Kursteilnehmenden schicken
  • den Aktivitätenbericht eines Kursteilnehmenden ansehen
  • die Details der Vorhersagen ansehen
  • eine Einschätzung anerkennen
  • eine Einschätzung als "Nicht hilfreich" markieren

08 insights.png

Empfohlene Zeitaufteilungsmethoden

Die Zeitaufteilungsmethode wird bei der Aktivierung des Modells gewählt. Die Wahl hängt von der typischen Länge eines Kurses und der Länge des Einschreibezeitraums (falls vorhanden) ab. Wenn Sie z.B. innerhalb der ersten beiden Wochen Vorhersagen für einen 16-wöchigen Kurs haben wollen, dann müssen Sie als Zeitaufteilungsmethode Zehntel wählen (16 Wochen = 112 Tage, so dass Vorhersagen etwa alle 11 Tage generiert werden). Wenn Sie dagegen alle zwei Wochen Vorhersagen für einen 8-wöchigen Kurs benötigen, dann wählen Sie Viertel. Beachten Sie, dass der Berechnungsprozess über alle aktivierten zeitaufteilungsmethoden iteriert. D.h. je mehr Zeitaufteilungsmethoden aktiviert sind, um so länger dauert der Berechnungsprozess und um so länger dauert es, das Modell zu trainieren.