34/Analítica
¡Nueva característica
en Moodle 3.4!
Vista general
Comenzando con la versión 3.4, el núcleo de Moodle ahora implementa analítica del aprendizaje transparente, de próxima-generación, de código abierto, usando backends de aprendizaje de máquina que van más allá de la analítica descriptiva simple, para proporcionar predictores de éxito del estudiante, y diagnóstico final y prescripciones (recomendaciones) para estudiantes y profesores.
En Moodle 3.4, este sistema viene con dos modelos interconstruidos:
- Estudiantes en riesgo de abandonar
- Sin actividad de enseñanza
El sistema puede ser extendido fácilmente con nuevos modelos personalizados, basados en metas, indicadores y otros componentes reutilizables. Para más información, vea la documentación en idioma inglés para desarrolladores Analytics API.
Características destacadas
- Dos modelos de predicción interconstruídos: "Estudiantes en riesgo de abandonar cursos" y "Sin actividad de enseñanza".
- Un conjunto de indicadores de compromiso del estudiante basados en la Community of Inquiry.
- Herramientas interconstruídas para evaluar modelos contra sus datos del sitio
- Notificaciones proactivas para instructores usando Eventos
- Los instructores pueden enviar con facilidad mensajes a los estudiantes identificados por el modelo, o saltar al Reporte de perspectiva para ese estudiante para ver más detalles acerca de la actividad del estudiante
- Una API para construir indicadores y modelos de predicción para plugins Moodle de terceros
- Tipo de plugin de backend para aprendizaje de máquina - soporta PHP y Python, y puede ser extendido para implementar otros backends de aprendizaje de máquina
Nota: PHP 7.x es requerido.
Limitaciones
Esta versión de Analítica del Aprendizaje Moodle tiene las siguientes limitaciones:
- Los modelos incluidos en esta versión necesitan ser "entrenados" en un sitio que tenga cursos previamente completados; idealmente usando la característica de finalización del curso de Moodle. Los modelos actuales no pueden hacer predicciones en un sitio mientras no se haya hecho esto.
- El modelo de predicción incluido con esta versión requiere que los cursos tengan fechas fijas de inicio y fin del curso, y no están diseñados para ser usados con cursos con inscripciones contínuas. Los modelos que soporten una más amplia gama de cursos serán incluidos en versiones futuras de Moodle.
- Los modelos y las predicciones solamente son visibles para los profesores y administradores actualmente.
Nosotros continuamos mejorando la Analítica del Aprendizaje de Moodle y las capacidades expandidas serán liberadas conforme avancemos. Para ayudar a contribuir a nuestro progreso, por favor únase a la conversación en idioma inglés en Moodle Learning Analytics Community. En particular, nosotros aun necesitamos conjuntos de datos de una amplia variedad de instituciones que usan Moodle para poder producir un modelo de predicción funcional que no dependa de datos locales del sitio antes de que pueda ser usado.
Configuraciones
Usted puede acceder a Configuraciones de Analítica desde Administración del sitio > Analítica > Configuraciones de Analítica.
Procesador de predicciones
Los procesadores de predicción son los 'backends' del aprendizaje de máquina que procesan los conjuntos de datos generados de los indicadores calculados y las metas y regresan las predicciones. El núcleo de Moodle incluye 2 procesadores de predicción:
- El procesador PHP es el elegido por defecto. No hay otros requisitos del sistema para usar este procesador.
- El Python es más poderoso y genera gráficas que explican el desempeño del modelo. Requiere la configuración de herramientas extra: Python mismo (https://wiki.python.org/moin/BeginnersGuide/Download) y el paquete moodlemlbackend python. Tenga en cuenta que Usted necesitará compilar la dependencia tensorflow desde el código fuente si está usando Python 3 porque Google no generó paquetes tensorflow pip para Python 3
pip install moodlemlbackend
Métodos de división del tiempo
Los métodos de división del tiempo permiten que las intuiciones generadas de un curso sean usadas en otro curso, aunque los dos cursos no tengan exactamente la misma duración.
Cada método de división del tiempo divide la duración del curso en segmentos. Al final de cada segmento definido, el motor de predicciones correrá y generará intuiciones. Se le recomienda que solamente habilite los métodos de división del tiempo que Usted está interesado en usar; el proceso de evaluación iterará por todos los métodos de división del tiempo habilitados; por lo que, mientras más métodos de división del tiempo tenga habilitados, tanto más lento será el proceso de evaluación.
"Rango único" indica que las predicciones serán hechas una vez, pero tomarán en cuenta un rango de tiempo , por ejemplo una predicción al final de un curso. La predicción es hecha al final del rango.
"Sin división" indica que el modelo genera una intuición (predicción) basada en una instantánea de datos en un momento dado, como por ejemplo con el modelo de "sin enseñanza" busca para ver si actualmente hay algún profesor o estudiante asignado a un curso en un punto definido antes del inicio del período académico, y emite una intuición que le advierte al administrador del sitio que lo más probable es que no haya enseñanza en ese curso vacío.
Los métodos "Acumulativos" difieren en cuantos datos son incluidos en la predicción. Tanto las predicciones "cuartiles" y "cuartiles acumulativos" son hechas al final de cada cuarto de un lapso de tiempo (por ejemplo, de un curso), pero en "cuartiles," solamente la información del cuarto más reciente es incluida en la predicción, mientras que en "cuartiles acumulativa" toda la información hasta el presente es incluida en la predicción.
Los métodos de 'Rango único' y 'Sin división' no tienen limitantes por tiempo. ellos se ejecutan durante la siguiente ejecución de trabajo agendado, aunque los modelos aplican restricciones diferentes (por ejemplo, requerir que un curso esté terminado para usarlo para entrenar o requerir algunos datos en el curso y los estudiantes para usarlo para obtener predicciones ...). 'Rango único' y 'Sin división' no son apropiados para estudiantes en riesgo de abandonar cursos; están diseñados para ser usados en modelos como 'Sin enseñanza' o 'Usuario spammer' en donde Usted solamente desea una predicción y eso es todo. Para explicar esto con un ejemplo, el modelo 'Sin enseñanza' usa el método de división del tiempo de 'Rango simple'; la clase objetivo (la clase PHP principal de un modelo) solamente acepta cursos que iniciarán durante la siguiente semana. una vez que nosotros proporcionamos intuiciones de 'Sin enseñanza' para un curso nosotros no las proporcionamos más.
Nota: Urgente de Traducir. ¡ Anímese a traducir esta muy importante página !. ( y otras páginas muy importantes que urge traducir)
The difference between 'Single range' and 'No splitting' is that models analysed using 'Single range' will be limited to the analysable elements (the course in students at risk model) start and end dates, while 'No splitting' do not have any time contraints and all data available in the system is used to calculate the indicators.
Note: Although the examples above refer to courses, time splitting methods can be used on any analysable element. For example, enrolments can have start and end dates, so a time splitting method could be applied to generate predictions about aspects of an enrollment. For analysable elements with no start and end dates, different time splitting methods would be needed. For example, a "weekly" time splitting method could be applied to a model intended to predict whether a user is likely to log in to the system in the future, on the basis of activity in the previous week.
Directorio de salida de modelos
This setting allows you to define a directory where machine learning backends data is stored. Be sure this directory exists and is writable by the web server. This setting can be used by Moodle sites with multiple frontend nodes (a cluster) to specify a shared directory across nodes. This directory can be used by machine learning backends to store trained algorithms (its internal variables weights and stuff like that) to use them later to get predictions. Moodle cron lock will prevent multiple executions of the analytics tasks that train machine learning algorithms and get predictions from them.
Trabajos agendados
Most analytics API processes are executed through trabajos agendados. These processes usually read the activity log table and can require some time to finish. You can find Train models and Predict models scheduled tasks listed in Administration > Site administration > Server > Scheduled tasks. It is recommended to edit the tasks schedule so they run nightly.
Gestión del modelo
Moodle puede soportar varios modelos de predicción a la vez, aun adentro del mismo curso. Esto puede usarse para probar A/B para comparar el desempeño y la exactitud de múltiples modelos.
El núcleo de Moodle vienen con dos modelos de predicción: Estudiantes en riesgo de abandonar y Sin enseñanza . Modelos de predicción adicionales pueden ser creados usando Analytics API. Cada modelo está basado en la predicción de una única "meta" específica, o resultado (sea deseable o indeseable), basada en un número de indicadores selccionados.
Usted puede gestionar sus modelos del sistema desde Administración del sitio > Analítica > Modelos analíticos.
Estas son algunas de las acciones que Usted puede realizar sobre un modelo:
Obtener predicciones
Entrenar algoritmos de aprendizaje de máquina con nuevos datos disponibles y obtener predicciones para cursos en operación. Las predicciones no están limitadas a los cursos en marcha-- esto depende del modelo.'
Ver intuiciones
Once you have trained a machine learning algorithm with the data available on the system, you will see insights (predictions) here for each "analysable." In the included model "Estudiantes_en_riesgo_de_abandonar, insights may be selected per course. Predictions are not limited to ongoing courses-- this depends on the model.
Evaluar
Evaluate the prediction model by getting all the training data available on the site, calculating all the indicators and the target and passing the resulting dataset to machine learning backends. This process will split the dataset into training data and testing data and calculate its accuracy. Note that the evaluation process uses all information available on the site, even if it is very old. Because of this, the accuracy returned by the evaluation process may be lower than the real model accuracy as indicators are more reliably calculated immediately after training data is available because the site state changes over time. The metric used to describe accuracy is the Matthews correlation coefficient (a metric used in machine learning for evaluating binary classifications)
You can force the model evaluation process to run from the command line:
$ admin/tool/analytics/cli/evaluate_model.php
Log
View previous evaluation logs, including the model accuracy as well as other technical information generated by the machine learning backends like ROC curves, learning curve graphs, the tensorboard log dir or the model's Matthews correlation coefficient. The information available will depend on the machine learning backend in use.
Editar
You can edit the models by modifying the list of indicators or the time-splitting method. All previous predictions will be deleted when a model is modified. Models based on assumptions (static models) can not be edited.
Habilitar / Deshabilitar
The scheduled task that trains machine learning algorithms with the new data available on the system and gets predictions for ongoing courses skips disabled models. Previous predictions generated by disabled models are not available until the model is enabled again.
Exportar
Export your site training data to share it with your partner institutions or to use it on a new site. The Export action for models allows you to generate a csv file containing model data about indicators and weights, without exposing any of your site-specific data. We will be asking for submissions of these model files to help evaluate the value of models on different kinds of sites. Please see the Learning Analytics community for more information.
Elementos del sitio inválidos
Reports on what elements in your site can not be analysed by this model
Borrar predicciones
Clears all the model predictions and training data
Modelos del núcleo
Estudiantes en riesgo de abandonar
Este modelo predice estudiantes que están en riesgo de no-finalizar (abandonar / desertar) de un curso Moodle, basándose en un bajo compromiso del estudiante. En este modelo, la definición de "abandonar" es "sin actividad del estudiante en el último cuarto del curso." Este modelo de predicción usa el modelo de la Community of Inquiry de compromiso del estudiante, que consiste de tres partes:
Este modelo de predicción puede analizar y sacar conclusiones de una amplia variedad de cursos, y puede aplicar esas conclusiones para hacer predicciones sobre cursos nuevos. El modelo no está limitado a hacer solamente predicciones sobre éxito de estudiantes en duplicados exactos de cursos ofrecidos en el pasado. Sin embargo, hay algunas limitaciones:
- This model requires a certain amount of in-Moodle data with which to make predictions. At the present time, only core Moodle activities are included in the indicador set (see below). Courses which do not include several core Moodle activities per “time slice” (depending on the time splitting method) will have poor predictive support in this model. This prediction model will be most effective with fully online or “hybrid” or “blended” courses with substantial online components.
- Este modelo de predicción asume que los cursos tienen fechas fijas para inicio y fin, y no está diseñado para usarse con cursos con inscripciones contínuas. Los modelos que soportan una más amplia gama de tipos de cursos serán incluidos en versiones futuras de Moodle. Por esta presunción del diseño del modelo, es muy importante el configurar correctamente las fechas de inicio y fin del curso para cada curso para usar este modelo. Si ambos, tanto los cursos pasados como los cursos en operación no tuvieran adecuadamente configuradas sus fechas de inicio y fin, las predcciones no pueden ser exactas. Debido a que la fecha para fin del curso fue introducida en Moodle 3.2 y que algunos cursos podrían no tener configurada una fecha de inicio del curso en el pasado, hemos incluido un script para la interfaz por línea de comandos:
$ admin/tool/analytics/cli/guess_course_start_and_end.php
Este script intenta estimar las fechas pasadas de inicio y fin del curso al revisar las incripciones de los estudiantes y sus bitácoras de actividad. Después de ejecutar este script, por favor revise que las fechas estimadas de inicio y fin arrojadas por el script sean razonablemente correctas.
- Este modelo requiere una cierta cantidad de datos de Moodle con los cuales hacer las predicciones. Actualmente (marzo 2017), solamente las Actividades del núcleo estándar de Moodle están incluidas en el conjunto del indicador (vea abajo). Los cursos que no incluyan varias Actividades estándar del núcleo de Moodle por “rebanada de tiempo” tendrán un pobre soporte predictivo en este modelo. Este modelo de predicción será más efectivo con cursos que sean totalmente en-línea o “híbridos” o “blended” con componentes en-línea sustanciales.
Sin enseñanza
Las intuiciones de este modelo le informarán a los mánagers (gestores) del sitio sobre cursos con una fecha de inicio próxima que no tienen actividad de enseñanza. Este es un modelo simple y no usa el backend de aprendizaje de máquina para regresar predicciones. Basa las predicciones en supuestos; por ejemplo, no hay enseñanza si no hubiera estudiantes.
Predicciones e Intuiciones
Los modelos comenzarán a generar predicciones en diferentes momentos, dependiendo de los modelos de predicción del sitio y las fechas de inicio y fin de los cursos del sitio.
Cada modelo define cuales predicciones generarán intuiciones y cuales predicciones serán ignoradas. Este es un ejemplo del modelo de predicción de Estudiantes en riesgo de abandonar; si un estudiante está predicho como no-en-riesgo, no se generará intuición, ya que lo que es interesante es saber cuales estudiantes sí están en riesgo de abandonar los cursos, no los que no están en riesgo.
Users can specify how they wish to receive insights notifications, or turn them off, via their User menu > Preferences > Notification preferences.
Acciones
Each insight can have one or more actions defined. Actions provide a way to act on the insight as it is read. These actions may include a way to send a message to another user, a link to a report providing information about the sample the prediction has been generated for (e.g. a report for an existing student), or a way to view the details of the model prediction.
Insights can also offer two important general actions that are applicable to all insights. First, the user can acknowledge the insight. This removes that particular prediction from the view of the user, e.g. a notification about a particular student at risk is removed from the display.
The second general action is to mark the insight as "Not useful." This also removes the insight associated with this calculation from the display, but the model is adjusted to make this prediction less likely in the future.
Capabilities
There are two analytics capabilities:
- Manage models - allowed for the default role of manager only
- List insights - allowed for the default roles of manager, teacher and non-editing teacher
