Analyses de données
Remarque : la traduction de cette page n'est pas terminée. N'hésitez pas à traduire tout ou partie de cette page ou à la compléter. Vous pouvez aussi utiliser la page de discussion pour vos recommandations et suggestions d'améliorations.
Vue d'ensemble
Depuis la version 3.4, Moodle Core implémente désormais des outils d'analyse de l'apprentissage de nouvelle génération, transparents et open source, utilisant des programmes d'apprentissage machine qui vont au-delà de la simple analyse descriptive pour fournir aux étudiants et aux enseignants des prédictions de réussite et finalement des diagnostics et prescriptions (avis).
Dans Moodle 3.4, ce système est livré avec deux modèles intégrés :
- Étudiants risquant de décrocher
- Aucune activité d'enseignement
Le système peut être facilement étendu avec de nouveaux modèles personnalisés, basés sur des cibles réutilisables, des indicateurs et d'autres composants. Pour plus d'informations, voir la documentation développeur Analyses de données API.
Fonctionnalités
- Deux modèles de prédiction intégrés : "Étudiants risquant de décrocher" et "Pas d'enseignement".
- Un ensemble d'indicateurs d'engagement des étudiants basés sur la Communauté d'enquête.
- Outils intégrés pour évaluer les modèles par rapport aux données de votre site
- Notifications proactives pour les instructeurs utilisant les événements.
- Les enseignants peuvent facilement envoyer des messages aux étudiants identifiés par le modèle, ou sauter au rapport sommaire pour cet étudiant pour plus de détails sur l'activité étudiante.
- Une API pour construire des indicateurs et des modèles de prédiction pour les plugins Moodle tiers.
- Type de plugin programme machine d'apprentissage : supporte PHP et Python, et peut être étendu pour implémenter d'autres programmes ML
Remarque: PHP 7.x est requis.
Restrictions
Cette version de Moodle Learning Analytics présente les restrictions suivantes :
- Les modèles inclus dans cette version doivent être "formés" sur un site ayant déjà suivi des cours, idéalement en utilisant la fonction de fin de cours Moodle. Les modèles actuels ne peuvent pas faire de prévisions sur un site tant que cela n'est pas fait.
- Le modèle de prévision inclus avec cette version exige que les cours aient des dates de début et de fin fixes et n'est pas conçu pour être utilisé avec les cours à inscription continue. Des modèles qui prennent en charge un plus large éventail de types de cours seront inclus dans les futures versions de Moodle.
- Les modèles et les prévisions ne sont actuellement visibles que par les enseignants et les administrateurs.
Nous continuons à améliorer Moodle Learning Analytics, et des capacités étendues seront disponibles à l'avenir. Pour contribuer à nos progrès, nous vous invitons à vous joindre à la conversation à l'adresse https://moodle.org/project_inspire Communauté Moodle Learning Analytics]. En particulier, nous avons encore besoin d'ensembles de données provenant d'une grande variété d'institutions utilisant Moodle afin d'être en mesure d'envoyer un modèle de prévision fonctionnel qui ne dépend pas des données locales du site avant de pouvoir être utilisé.
Réglages
Vous pouvez accéder à Paramètres d'analyse à partir de Administration du site > Analyses de données > Modèles d'analyse de données.
Processeur de prédictions
Les processeurs de prédiction sont les machines d'apprentissage qui traitent les ensembles de données générés à partir des indicateurs et des cibles calculés et les prédictions de retour. Le noyau de Moodle comprend 2 processeurs de prédiction :
- Le processeur PHP est le processeur par défaut. Il n'y a aucune autre configuration système requise pour utiliser ce processeur.
- Celui de Python est plus puissant et il génère des graphiques qui expliquent la performance du modèle. Cela nécessite la mise en place d'outils supplémentaires : Python lui-même (https://wiki.python.org/moin/BeginnersGuide/Download) et le paquetage Python moodlemlbackend.
pip install moodlemlbackend
Méthodes de fractionnement du temps
Méthodes de fractionnement du temps permettent d'utiliser les idées générées par un cours pour un autre cours, même si les deux cours ne sont pas exactement de la même longueur.
Chaque méthode de fractionnement divise la durée du cours en segments. A la fin de chaque segment défini, le moteur de prédictions fonctionne et génère des informations. Il est recommandé d'activer uniquement les méthodes de fractionnement du temps que vous souhaitez utiliser; le processus d'évaluation se répétera pour toutes les méthodes de fractionnement du temps activées, de sorte que plus il y aura de méthodes de fractionnement du temps activées, plus le processus d'évaluation sera lent.
L'expression "plage unique" indique que les prédictions seront faites une seule fois, mais qu'elles tiendront compte d'une plage de temps, par exemple, une prédiction à la fin d'un cours. La prédiction se fait à la fin de la plage.
"Pas de fractionnement" indique que le modèle génère un aperçu basé sur un instantané de données à un moment donné, par exemple, le modèle "pas d'enseignement" vérifie s'il y a actuellement des enseignants ou des étudiants affectés à un cours à un point défini avant le début du trimestre, et émet un avis avertissant l'administrateur du site qu'aucun enseignement ne risque de se produire dans ce cours vide.
Les méthodes "cumulatives" diffèrent quant à la quantité de données incluses dans la prédiction. Les prédictions "trimestrielles" et "trimestrielles cumulatives" sont faites à la fin de chaque trimestre d'un intervalle de temps (par exemple, un cours), mais dans la prévision "trimestrielle", seule l'information du trimestre le plus récent est incluse dans la prévision, alors que dans la prévision "trimestrielle cumulative", toute information jusqu'à présent est incluse.
Les méthodes à plage unique et sans fractionnement n'ont pas de contraintes de temps. Ils s'exécutent lors de la prochaine exécution programmée de la tâche, bien que les modèles appliquent des restrictions différentes (par exemple, exigent qu'un cours soit terminé pour l'utiliser pour le cours ou certaines données du cours et que les étudiants l'utilisent pour obtenir des prédictions...). Les cours à plage unique et les cours sans fractionnement ne conviennent pas aux étudiants qui risquent d'abandonner leurs études. Ils sont destinés à être utilisés dans des modèles comme "Pas d'enseignement" ou "Utilisateur Spammer" où vous ne voulez qu'une seule prédiction à faire. Pour l'expliquer à l'aide d'un exemple : le modèle "Pas d'enseignement" utilise la méthode de fractionnement du temps "Plage unique" ; la classe cible (la classe PHP principale d'un modèle) n'accepte que les cours qui commenceront dans la semaine suivante. Une fois que nous donnons un aperçu de l'absence d'enseignement pour un cours, nous ne le donnons plus.
La différence entre "Plage unique" et "Pas de fractionnement" réside dans le fait que les modèles analysés à l'aide de "plage unique" seront limités aux dates de début et de fin des éléments analysables (le cours dans le modèle des étudiants à risque), tandis que "Pas de fractionnement" ne comporte aucune contrainte de temps et toutes les données disponibles dans le système sont utilisées pour calculer les indicateurs.
Remarque: Bien que les exemples ci-dessus se réfèrent à des cours, les méthodes de fractionnement du temps peuvent être utilisées sur tout élément analysable. Par exemple, les inscriptions peuvent avoir des dates de début et de fin, de sorte qu'une méthode de fractionnement temporel pourrait être appliquée pour générer des prévisions sur certains aspects d'une inscription. Pour les éléments analysables sans date de début et de fin, différentes méthodes de fractionnement du temps seraient nécessaires. Par exemple, une méthode de fractionnement du temps "hebdomadaire" pourrait être appliquée à un modèle destiné à prédire si un utilisateur est susceptible de se connecter au système dans le futur, sur la base de l'activité de la semaine précédente.
Répertoire de sortie des modèles
Ce paramètre vous permet de définir un répertoire dans lequel les données des programmes machine d'apprentissage sont stockées. Assurez-vous que ce répertoire existe et qu'il est accessible en écriture par le serveur Web. Ce paramètre peut être utilisé par les sites Moodle avec plusieurs nœuds frontaux (un cluster) pour spécifier un répertoire partagé entre les nœuds. Ce répertoire peut être utilisé par les programmes machine d'apprentissage pour stocker les algorithmes formés (ses poids de variables internes, etc.) afin de les utiliser plus tard pour obtenir des prédictions. Moodle cron lock empêchera l'exécution multiple des tâches d'analyse qui entraînent les algorithmes machines d'apprentissage et en tirent des prédictions.
Tâches programmées
La plupart des processus de l'API d'analyse sont exécutés via Tâches programmées. Ces processus lisent généralement le tableau de l'historique des activités et peuvent prendre un certain temps à terminer. Vous pouvez trouver les tâches programmées de Former les modèles et de Prévoir les modèles dans la liste des tâches programmées dans Administration du site > Serveur > Tâches programmées. Il est recommandé de modifier la programmation des tâches pour qu'elles s'exécutent tous les soirs.
Gestion des modèles
Moodle peut prendre en charge plusieurs modèles de prédiction à la fois, même au sein d'un même cours. Ceci peut être utilisé pour les tests A/B afin de comparer les performances et la précision de plusieurs modèles.
Moodle est livré avec deux modèles de prédiction, Élèves risquant de décrocher et 'Pas d'enseignement. Des modèles de prédiction supplémentaires peuvent être créés à l'aide de l'API Analytics API. Chaque modèle est basé sur la prédiction d'une seule "cible" ou d'un seul résultat spécifique (souhaitable ou non souhaitable), en fonction d'un certain nombre d'indicateurs choisis.
Vous pouvez gérer vos modèles système à partir de Administration du site > Analyses de données > Modèles d'analyse de données.
Voici quelques-unes des actions que vous pouvez effectuer sur un modèle :
Obtenir des prédictions
Former les algorithmes machine d'apprentissage avec les nouvelles données disponibles sur le système et obtenir des prédictions pour les cours en cours. "Les prédictions ne se limitent pas aux cours en cours, ça dépend du modèle.
Voir les aperçus
Une fois que vous avez formé un algorithme machine d'apprentissage avec les données disponibles sur le système, vous verrez ici des aperçus (prédictions) pour chaque "analysable". Dans le modèle inclus "Étudiants risquant de décrocher, les idées peuvent être sélectionnées par cours. Les prédictions ne se limitent pas aux cours en cours, ça dépend du modèle.
Évaluer
Évaluer le modèle de prédiction en obtenant toutes les données de cours disponibles sur le site, en calculant tous les indicateurs et la cible et en transmettant l'ensemble des données résultantes aux programmes machines d'apprentissage. Ce processus divisera l'ensemble de données en données de cours et en données d'essai et en calculera l'exactitude. Notez que le processus d'évaluation utilise toutes les informations disponibles sur le site, même si elles sont très anciennes. De ce fait, l'exactitude du processus d'évaluation peut être inférieure à l'exactitude réelle du modèle, car les indicateurs sont calculés de façon plus fiable immédiatement après que les données de cours sont disponibles, car l'état du site change avec le temps. La métrique utilisée pour décrire l'exactitude est le Coefficient de corrélation de Matthews. (une métrique utilisée dans l'apprentissage machine pour évaluer les classifications binaires)
Vous pouvez forcer le processus d'évaluation du modèle à s'exécuter à partir de la ligne de commande :
$ admin/tool/analytics/cli/evaluate_model.php
Historique
Visualisez les historiques d'évaluation précédents, y compris la précision du modèle ainsi que d'autres informations techniques générées par les programmes machines d'apprentissage comme les courbes ROC, les graphiques des courbes d'apprentissage, le répertoire historique du tendeur ou le coefficient de corrélation Matthews du modèle. Les informations disponibles dépendent de l'interface d'apprentissage de la machine utilisée.
Éditer
Vous pouvez modifier les modèles en modifiant la liste des indicateurs ou la méthode de fractionnement du temps. Toutes les prédictions précédentes seront supprimées lorsqu'un modèle est modifié. Les modèles basés sur des hypothèses (modèles statiques) ne peuvent pas être édités.
Activer/ Désactiver
La tâche programmée qui entraîne les algorithmes d'apprentissage automatique avec les nouvelles données disponibles sur le système et obtient des prédictions pour les cours en cours ignore les modèles désactivés. Les prédictions précédentes générées par des modèles désactivés ne sont pas disponibles tant que le modèle n'est pas réactivé.
Exporter
Exportez vos données de cours sur site pour les partager avec vos institutions partenaires ou pour les utiliser sur un nouveau site. L'action Exporter pour les modèles vous permet de générer un fichier csv contenant des données de modèle sur les indicateurs et les poids, sans exposer aucune donnée spécifique à votre site. Nous vous demanderons de nous soumettre ces fichiers modèles pour nous aider à évaluer la valeur des modèles sur différents types de sites. Veuillez consulter la Communauté Learning Analytics pour plus d'informations.
Éléments de site non valides
Rapports sur les éléments de votre site qui ne peuvent pas être analysés par ce modèle.
Des prédictions claires
Efface toutes les prédictions du modèle et les données de cours.
Modèles de base
Élèves risquant de décrocher
Ce modèle prédit les étudiants qui risquent de ne pas terminer (ou d'abandonner) un cours Moodle, en se basant sur une faible participation des étudiants. Dans ce modèle, la définition du "décrochage" est "aucune activité étudiante au dernier trimestre du cours". Le modèle de prédiction utilise le modèle d'engagement des étudiants Communauté d'enquête, qui se compose de trois parties :
Ce modèle de prédiction est capable d'analyser et de tirer des conclusions à partir d'une grande variété de cours, et d'appliquer ces conclusions pour faire des prédictions sur de nouveaux cours. Le modèle ne se limite pas à faire des prédictions sur la réussite des étudiants en reproduisant exactement les cours offerts dans le passé. Cependant, il y a certaines limites :
- Ce modèle nécessite une certaine quantité de données in-Moodle pour faire des prédictions. Actuellement, seules les activités de base de Moodle sont incluses dans l'ensemble des indicateurs (voir ci-dessous). Les cours qui n'incluent pas plusieurs activités de base de Moodle par "tranche de temps" (en fonction de la méthode de fractionnement du temps) auront un faible support prédictif dans ce modèle. Ce modèle de prédiction sera plus efficace avec des cours entièrement en ligne ou "hybrides" ou "mixtes" avec d'importantes composantes en ligne.
- Ce modèle de prédiction suppose que les cours ont des dates de début et de fin fixes et n'est pas conçu pour être utilisé avec des cours à inscription continue. Des modèles qui prennent en charge un plus large éventail de types de cours seront inclus dans les futures versions de Moodle. En raison de cette hypothèse de conception du modèle, il est très important d'établir correctement les dates de début et de fin de cours pour chaque cours afin d'utiliser ce modèle. Si les dates de début et de fin des cours passés et des cours en cours ne sont pas correctement établies, les prévisions ne peuvent être exactes. Parce que le champ date de fin de cours n'a été introduit que dans Moodle 3.2 et que certains cours peuvent ne pas avoir fixé de date de début de cours dans le passé, nous avons inclus un script d'interface en ligne de commande :
$ admin/tool/analytics/cli/guess_course_start_and_end.php
Ce texte tente d'estimer les dates passées de début et de fin de cours en examinant les inscriptions des étudiants et les registres d'activités des étudiants. Après avoir exécuté ce script, veuillez vérifier que les dates de début et de fin estimées des résultats du script sont raisonnablement correctes.
Pas d'enseignement
Ce modèle permettra d'informer les gestionnaires de site des cours qui n'auront pas d'activité d'enseignement et dont la date de début est imminente. Il s'agit d'un modèle simple et il n'utilise pas le programme machine d'apprentissage pour retourner les prédictions. Il fonde les prédictions sur des hypothèses, par exemple, il n'y a pas d'enseignement s'il n'y a pas d'étudiants.
Prédictions et perspectives
Les modèles commenceront à générer des prévisions à différents moments dans le temps, selon les modèles de prévision du site et les dates de début et de fin des cours sur le site.
Chaque modèle définit quelles prédictions vont générer des Observations et quelles prédictions seront ignorées. Par exemple, le modèle de prédiction Étudiants risquant de décrocher ne donne pas une idée si un élève est prédit comme "non à risque", puisque le principal intérêt est de savoir quels élèves risquent de décrocher des cours et non quels élèves ne sont pas à risque.
Les utilisateurs peuvent spécifier la façon dont ils souhaitent recevoir les notifications d'observation, ou les désactiver, via leur menu Utilisateur > Préférences > Préférences de notification.
Actions
Chaque aperçu peut avoir une ou plusieurs actions définies. Les actions fournissent un moyen d'agir sur l'intuition telle qu'elle est lue. Ces actions peuvent inclure un moyen d'envoyer un message à un autre utilisateur, un lien vers un rapport fournissant des informations sur l'échantillon pour lequel la prédiction a été générée (par exemple, un rapport pour un étudiant existant), ou un moyen de visualiser les détails de la prédiction du modèle.
Les observations peuvent également offrir deux actions générales importantes qui s'appliquent à toutes les idées. Tout d'abord, l'utilisateur peut reconnaître la perspicacité. Cela supprime cette prédiction particulière de la vue de l'utilisateur, par exemple, une notification concernant un étudiant à risque particulier est supprimée de l'affichage.
La deuxième action générale est de marquer la perspicacité comme "Pas utile". Cela supprime également de l'affichage les informations associées à ce calcul, mais le modèle est ajusté pour rendre cette prédiction moins probable à l'avenir.
Capacités
Il y a deux capacités d'analyse :
- Gérer les modèles - ne permettait que le rôle par défaut de gestionnaire
- Aperçu de la liste - permettait les rôles par défaut de gestionnaire, d'enseignant et d'enseignant non-éditeur.
