Analytics-Indikatoren

Überblick

Modelle können mehrere Indikatoren (Vorhersager) enthalten. Indikatoren sammeln und aggregieren Werte von Datensätze und kombinieren Ziele, um mit Hilfe von ausgewählten Algorithmen des maschinellen Lernens Vorhersagen zu berechnen. Indikatoren können in verschiedenen Modellen wiederverwendet oder spezifisch für ein neues Modell angelegt werden. Am besten ist es, erst das Ziel, das Sie vorhersagen möchten, zu verstehen, bevor Sie Indikatoren auswählen.

Damit Indikatoren in einem Modell verwendet werden können, müssen sie zentriert und skaliert werden. In Moodle Learning Analytics müssen Indikatoren Werte zwischen -1 und 1 liefern. and 1. Es muss nicht das gesamte Intervall [-1,1] verwendet werden, manche Indikatoren ergeben mehr Sinn, wenn man sie auf das Intervall [0,1] skaliert, wobei 0 bedeutet, dass ein Wert fehlt.

Wie die Datenpunkte verarbeitet werden ist mit wichtigen Annahmen verbunden, die sich auf die Indikatoren auswirken. Insbesondere können Indikatoren absolut sein, d.h. der Wert des Indikators bleibt derselbe unabhängig davon, welche anderen Stichproben in einem Kontext vorliegen. Indikatoren können auch relativ sein, d.h. der Indikator vergleicht verschiedene Stichproben in einem Kontext.

Aktuell filtert Moodle die für ein Modell verfügbaren Indikatoren nicht in Bezug auf den Analysierer (der durch das Ziel des Modells gesteuert wird). Gleichwohl sind nicht alle Indikatoren für alle Ziele geeignet. Z.B. funktioniert ein Indikator für eine Person nicht in einem Modell zum Kursdesign. In Zukunft kann Moodle mehr Unterstützung bei der Wahl von geeigneten Indikatoren für ein bestimmtes Ziel anbieten.

Allgemeine Indikatoren

• Zugriffe nach dem Enddatum: Dieser binäre Indikator ist gleich 1, wenn eine Person nach dem Kursende-Datum auf den Kurs zugegriffen hat.
• Zugriffe vor dem Anfangsdatum: Dieser binäre Indikator ist gleich 1, wenn eine Person vor dem Kursbeginn-Datum auf den Kurs zugegriffen hat.
• Irgendeine Schreibaktivität: Dieser binäre Indikator ist gleich 1, wenn eine Person eine "Schreibaktion" in der Moodle-Site abgeschlossen hat (gespeicherter Inhalt).
• Irgendeine Schreibaktivität im Kurs: Dieser binäre Indikator ist gleich 1, wenn eine Person eine "Schreibaktion" im Kurs, in dem sie eingeschrieben ist, abgeschlossen hat (gespeicherter Inhalt).
• Umfang der Leseaktionen: Dieser Indikator schätzt den Umfang der Inhalte, auf die eine Person zugegriffen (gelesen) hat, auf einer Skala von -1 bis 1 ein.
• Fälligkeitsdatum: Dieser binäre Indikator ist gleich 1, wenn eine Person in Aktivitäten mit Fälligkeitsdatumnoch nichts eingereicht hat.
• Abschluss aktiviert: Dieser binäre Indikator ist gleich 1, wennder Kurs die Abschlussverfolgung aktiviert hat.
• Keine Teilnehmer/innen: Dieser binäre Indikator ist gleich 1, wenn keine Teilnehmer/innen im Kurs eingeschrieben sind.
• Keine Trainer/innen: Dieser binäre Indikator ist gleich 1, wenn keine Trainer/innen im Kurs eingeschrieben sind.
• Nutzerprofil ist ausgefüllt: Dieser binäre Indikator ist gleich 1, wenn die Person ihr Nutzerprofil vollständig ausgefüllt hat.
• Nutzer/in verfolgt Foren: Dieser binäre Indikator ist gleich 1, wenn die Person das Forumsträcking in ihren persönlichen Einstellungen aktiviert hat.

Indikatoren der Community of Inquiry

Moodle stellt eine Reihe von Indikatoren bereit, die auf dem Modell der Community of Inquiry für die Teilnehmeraktivität basieren. Diese Indikatoren werden in zwei Typ unterteilt: kognitive Tiefe und soziale Breite. Für jede Aktivität im Moodle-Standardpaket ist je ein Indikator pro Typ implementiert. Es gibt auch zwei Indikatoren auf Kursebene, die die kognitive Tiefe und soziale Breite im Kurs insgesamt abschätzen.

Entwickler/innen von Zusatz-Plugins müssen eine entsprechende Implementierung vornehmen, damit Indikatoren beider Typen vom Plugin unterstützt werden.

Potentielle Niveaustufen für ausgewählte Aktivitäten

Das Potential der Beteiligung an Aktivitäten über kognitive Tiefe und soziale Breite bildet das "Instruktionsdesign", das ein Schlüsselelement der Trainerpräsenz ist.

Die folgende Grafik zeigt, welche Niveaustufen in den Aktivitäten des Moodle-Standardpakets und in auswählten Zusatz-Plugins in Bezug auf die kognitive Tiefe bzw. die soziale Breite maximal erreicht werden können.

Dadurch, dass jede Aktivität in Bezug auf die kongnitive Tiefe und soziale Breite kategorisiert wird, können wir vorhersagen, welcher Grad der Beteiligung der Lernenden unterstützt (und möglicherweise erwartet) wird, auch wenn keine Historie von Teilnehmeraktionen in einer bestimmten Aktivität vorliegt. Beachten Sie, dass höhere Niveaustufen die jeweils niedrigeren Niveaustufen einschließen. Wenn z.B. eine Aktivität eine/n Lernenden und seine Kolleg/innen bzw. Peers einbezieht (Niveaustufe 3 der sozialen Breite), dann sind automatisch die Niveaustufen 1 (nur der/die Lernende ist involviert) und 2 (nur der/die Lernende und eine weitere Person sind involviert) eingeschlossen. In vielen Fällen kann die spezifische Niveaustufe nur anhand der Einstellungen für die jeweilige Aktivität bestimmt werden.

Kognitive Tiefe

"Kognitive Tiefe" ist ein Maß für das Konzept "Kognitive Präsenz" im theoretischen Rahmenwerk der Community of Inquiry. "Kognitive Präsenz" definiert, inwieweit Teilnehmer/innen in einer beliebigen Konfiguration einer Community of Inquiry in der Lage sind, durch fortwährende Kommunikation Sinngehalte zu konstruieren (Garrison, Anderson & Archer, 2000, S. 89). Die kognitive Präsenz wurde in der Forschung meistens durch manuelles Analysieren der Inhalte gemessen. In diesen Indikatoren definieren wir das Konzept basierend auf der Art der Aktivität, die für die Teilnehmer/innen im Kurs bereitgestellt wird, und inwieweit die Teilnehmer/innen kognitive Beteiligung an der Aktivität zeigen. Das Maß der Tiefe reicht von 0 bis 5, wobei 0 bedeutet, dass ein/e Teilnehmer/in die Aktivität noch nicht einmal angesehen hat. Weitere Niveaustufen sind:

1. Der/die Lernende hat die Details der Aktivität angesehen.
2. Der/die Lernende hat inhaltliche Beiträge zur Aktivität eingereicht.
3. Der/die Lernende hat das Feedback angesehen, das Lehrende oder Kolleg/innen gegeben haben.
4. Der/die Lernende hat Feedback an den/die Lehrende/n oder Kolleg/innen gegeben.
5. Der/die Lernende hat seine/ihre inhaltliche Beiträge auf Basis des Feedbacks überarbeitet und neu eingereicht.

Das Modell weist nun jeder Aktivität eine maximale potentiell erreichbare kognitive Tiefe zu. Z.B. kann man bei der Aktivität Aufgabe maximal die Niveaustufe 5 der kognitiven Tiefe erreichen.

Sobald diese Zuweisung der maximalen Niveaustufe zu den einzelnen Aktivitäten erfolgt ist, werden alle eingeschriebenen Kursteilnehmer/innen darin bewertet, welche prozentuale Tiefe sie jeweils erreicht haben. Wenn z.B. eine Aktivität die Niveaustufe 3 hat und eine Person hat diese Aktivität auf Niveau 3 bearbeitet, dann sind das 100% der erreichbaren kognitiven Tiefe und der Wert des Indikators ist 1. Wenn die Person die Aktivität nicht ansieht, dann ist das Niveau gleich 0 und der Wert des Indikators ist -1. Wenn die Person die Aktivität angesehen und einen Beitrag eingericht, aber kein Feedback angesehen hat, dann ist das Niveau gleich 2 (von insgeamt 3 möglichen Niveaustufen) und der Wert des Indikators ist 0.33 (die Werte werden auf das Intervall [-1,1] zentriert und skaliert!).

Indikatoren für kognitive Tiefe auf Kursebene

• Potentielle kognitive Tiefe: wird von allen Aktivitäten im Kurs berechnet als Maß für die potentielle Beteiligung.

Indikatoren für kognitive Tiefe auf Kurseinschreibungsebene

Die folgenden Indikatoren für kognitive Tiefe haben eine Niveaustufe und nehmen die Wertet 0% (nicht angesehen) oder 100% (angesehen) an.

• Buch kognitiv
• Verzeichnis kognitiv
• IMS Paket kognitiv
• Textfeld kognitiv (wird als angesehen betrachtet, wenn der entsprechende Kursabschnitt angesehen wurde)
• Textseite kognitiv
• Datei kognitiv
• URL kognitiv

Die folgenden Indikatoren für kognitive Tiefe haben zwei Niveaustufen und nehmen die Wertet 0% (nicht angesehen), 50% (angesehen) oder 100% (mit mindestens einer anderen Person interagiert) an.

• Abstimmung kognitiv (wenn die Ergebnisse der Abstimmung für Teilnehmer/innen nicht sichtbar sind)
• Datenbank kognitiv
• Feedback kognitiv
• Glossar kognitiv
• Umfrage kognitiv
• Wiki kognitiv

Die folgenden Indikatoren für kognitive Tiefe haben drei Niveaustufen und nehmen die Wertet 0% (nicht angesehen), 33% (angesehen), 67% (eingereicht) oder 100% (eingereicht und Feedback angesehen) an.

• Abstimmung kognitiv (wenn die Ergebnisse der Abstimmung für Teilnehmer/innen sichtbar sind)
• LTI kognitiv
• Lernpaket kognitiv

Die folgenden Indikatoren für kognitive Tiefe haben vier Niveaustufen und nehmen die Wertet 0% (nicht angesehen), 25% (angesehen), 50% (eingereicht), 75% (eingereicht und Feedback angesehen) oder 100% (Feedback an Trainer/in oder Peer gegeben) an.

• Chat kognitiv
• Forum kognitiv

Die folgenden Indikatoren für kognitive Tiefe haben fünf Niveaustufen und nehmen die Wertet 0% (nicht angesehen), 20% (angesehen), 40% (eingereicht), 60% (eingereicht und Feedback angesehen), 80% (Feedback an Trainer/in oder Peer gegeben) oder 100% (Abgabe überarbeitet und erneut eingereicht) an.

• Aufgabe kognitiv
• Lektion kognitiv
• Test kognitiv
• Gegenseitige Beurteilung kognitiv

Soziale Breite

"Soziale Breite" ist ein Maß für das Konzept "Soziale Präsenz" im theoretischen Rahmenwerk der Community of Inquiry. "Soziale Präsenz" ist definiert als die Fähigkeit von Kursteilnehmer/innen, sich mit der Gruppe oder dem Kurs zu identifizieren, zielgerichtet in einer vertrauensvollen Umgebung zu kommunizieren, schrittweise persönliche und emotionale Beziehungen aufzubauen, indem sie ihre individuelle Persönlichkeit einbringen (Garrison, 2009, S. 352). In der Vergangenheit wurde die soziale Präsenz meistens durch Befragungen im Anschluss an einen Kurs und durch manuelles Analysieren des Diskurses in einem Kurs gemessen. Gleichzeitig gab es wachsende Bemühungen, diesen Messprozess zu automatisieren. Dieses Modell implementiert die soziale Präsenz als "soziale Breite", indem es die Breite an Gelegenheiten untersucht, die eine Person hat, um mit anderen zu kommunizieren. Das Maß der Breite reicht von 0 bis 5, wobei 0 bedeutet, dass ein/e Teilnehmer/in mit niemanden in Interaktion getreten ist. Die einzelnen Niveaustufen sind:

1. Der/die Lernende ist in einer Aktivität mit keinem/r anderen/r Lernenden in Interaktion getreten.
2. Der/die Lernende ist mit einem/r anderen/r Lernenden in Interaktion getreten (hat z.B. eine Aufgabenabgabe eingereicht oder einen Testversuch absolviert, der Feedback gibt)
3. Der/die Lernende ist mit mehreren anderen Lernenden in Interaktion getreten (hat z.B. einen Beitrag in einem Forum, in einem Wiki oder in einer Datenbank geschrieben).*
4. Der/die Lernende ist mit anderen Lernenden so in Interaktion getreten, dass es eine Kommunikation "hin" und "zurück" gab (Beitrag und Antwort/Feedback).*
5. Der/die Lernende ist in Interaktion mit Menschen außerhalb des Kurses getreten (also innerhalb einer "Community of practise"). *

*Noch nicht implementiert

Das Modell weist nun jeder Aktivität eine maximale potentiell erreichbare soziale Breite zu. Z.B. kann man bei der Aktivität Aufgabe maximal die Niveaustufe 2 der sozialen Breite erreichen. Weiter unten finden Sie eine detaillierte Übersicht, welche Niveaustufe in welcher Aktivität erreicht werden kann.

Sobald diese Zuweisung der maximalen Niveaustufe zu den einzelnen Aktivitäten erfolgt ist, werden alle eingeschriebenen Kursteilnehmer/innen danach bewertet, welche prozentuale Breite sie jeweils erreicht haben. Wenn z.B. eine Aktivität die Niveaustufe 4 hat und eine Person hat diese Aktivität auf Niveau 2 bearbeitet, dann sind das 50% der erreichbaren sozialen Breite.

Hinweis: Gegenwärtig stellt Moodle nur Indikatoren bis zur Niveaustufe 2 bereit. Alle Arbeitsmaterialien haben eine maximale soziale Breite von 1. Aktivitäten unterscheiden sich in der Niveuastufe der sozialen Breite. Diese Funktionalität wird in zukünftigen Moodle-Versionen weiter ausgebaut.

Indikatoren für soziale Breite auf Kursebene

• Potentielle soziale Breite: wird von allen Aktivitäten im Kurs berechnet.

Indikatoren für soziale Breite auf Kurseinschreibungsebene

Die folgenden Indikatoren für soziale Breite haben eine Niveaustufe und nehmen die Wertet 0% (nicht angesehen) oder 100% (angesehen) an.

• Buch sozial
• Datenbank sozial
• Verzeichnis sozial
• Glossar sozial
• IMS Paket sozial
• Textfeld sozial
• Textseite sozial
• Datei sozial
• Umfrage sozial
• URL sozial
• Wiki sozial

Die folgenden Indikatoren für soziale Breite haben zwei Niveaustufen und nehmen die Wertet 0% (nicht angesehen), 50% (angesehen) oder 100% (mit mindestens einer anderen Person interagiert) an.

• Aufgabe sozial
• Chat sozial
• Abstimmung sozial
• Feedback sozial
• Forum sozial
• Lekton sozial
• LTI sozial
• Test sozial
• Lernpaket sozial
• Gegenseitige Beurteilung sozial