Tipo de pregunta coincidencia de patrón

De MoodleDocs
Nota: Usted puede encontrar la documentaciónmás actualizada en idioma Inglés para este plugin en la página de la Open University. Esta página está puesta para los usuarios que siguieron el enlace hacia 'Moodle Docs para esta página' y lo susuarios hispanohablantes.


Vea la documentación más actualizada en idioma inglés en el sitio de la O.U.

El tipo de pregunta coincidencia de patrón (Pattern-match) le permite al estudiante dar una respuesta de hasta 20 palabras, que después puede ser calificada automáticamente al comparar la concordancia (coincidencia) de la respuesta del estudiante contra un número de patrones diferentes expresados en la sintaxis PMatch. El primer patrón concordante determina la puntuación y la retroalimentación.

SPA pmatch.png

Este tipo de pregunta fue creada y es mantenida por la Universidad Abierta del Reino Unido ( Open University ).

Nota: Este tipo de pregunta asume que el separador decimal es el punto decimal (como en el idioma inglés y el español de México). NO funcionará si Usted intenta usar una coma decimal (como es habitual en España y SudAmérica).


Nota: El Tipo de pregunta coincidencia de patrón (pmatch) está fuertemente basada en la gramática del idioma inglés y su empleo en idioma español puede ser particularmente dificil y truculento, por lo que no se recomienda a los novatos. Este tipo de preguntas al parecer ha sido poco empleada en idioma español, por lo que muy probablemente esta página sufrirá cambios conforme se le vayan descubriendo sus peculiaridades al usarla en español. Observe detenidamente los ejemplos en idioma español que si han funcionado y estudie muy cuidadosamente la sintaxis. Tenga especial cuidado si obtiene mensajes de advertencia de errores de sintaxis (en color rojo) cuando intente guardar una pregunta.


translator note icon.png Nota del traductor: Al momento de escribir esta documentación (septiembre 2014), las frases originales en idioma Inglés solamente estaban traducidas al Español de México, pero no se habían hecho las traducciones al Español internacional, por lo que posiblemente algunos usuarios tengan ciertas frases en el idioma inglés original y otras frases tengan una redacción diferente.. Por favor, si le es posible, ayúdenos con la Traducción en el sitio de AMOS, otras páginas muy importantes que denotan que faltan de traducir frases del Inglés, y después quite esta plantilla.



Características

El Tipo de pregunta coincidencia de patrón se usa para probar si la respuesta de texto-libre de un estudiante coincide con un patrón específico de respuesta.

El Tipo de pregunta coincidencia de patrón es una alternativa (más sofisticada) al Tipo de Pregunta de Respuesta corta y ofrece:

  • la habilidad de tomar en consideración errores de ortografía y de dedo, con o sin un diccionario (¿de idioma Inglés o español?)
  • especificación de sinónimos y frases alternativas
  • orden de palabras flexible
  • revisión de la proximidad de palabras.

Para algunos tipos de respuestas (en idioma inglés) se ha demostrado que proporciona una exactitud al calificar que está a la par con, o mejor que, la proporcionada por una cohorte de calificadores humanos.

La coincidencia de patrón funciona basándose en que Usted tiene una respuesta del estudiante que Usted desea comparar contra un número de patrones de respuesta coincidentes.Cada patrón es comparado por turno, hasta que se encuentra una coincidencia, y se asignan puntuación y retroalimentación.

La clave para utilizar el Tipo de pregunta coincidencia de patrón está en hacer preguntas para las que Usted tenga una esperanza razonable de calificar con exactitud. Por esto, la escritura del tallo (stem) de la pregunta es la parte más importante al escribir este tipo de pregunta.

SPA pmatch genral top.png SPA pmatch genral bottom.png

Componentes de la pregunta

Nombre de la pregunta : Un nombre descriptivo es confidencial. Este nombre no se mostrará a los estudiantes.

Texto de la pregunta (Enunciado de la pregunta): Usted puede usar la funcionalidad completa del Editor de texto para plantear la pregunta.


SPA pmatch question text.png


Colocación de la caja de respuesta

La caja para la respuesta puede colocarse dentro de la rúbrica de la pregunta, al incluir una secuencia de caracteres de guión bajo _____. Al momento de la ejecución la caja de respuesta remplazará a estos caracteres de guión bajo. El número mínimo de caracteres de guión bajo necesario para activar esta acción es de 5 caracteres seguidos. El tamaño de la caja de respuesta tambien puede especificarse por __XxY__ . Por ejemplo, __20x1__ producirá una caja de 20 columnas de ancho y de 1 fila de alto. Si no hay caracteres de guión bajo presentes, la caja de respuesta se colocará después de la pregunta.

Puntuación por defecto: Decida Usted cuantos puntos tendrán sus preguntas y sea consistente.

Retroalimentación general: Nosotros (en la Open University) recomendamos que todas las preguntas deben de tener completada esta caja con la respuesta correcta y una explicación detallada completa. Los contenidos de esta caja se mostrarán a todos los estudiantes, sin importar si su respuesta fuese correcta o incorrecta. Para este Tipo de pregunta coincidencia de patrón Usted no puede confiarse en usar la respuesta que la máquina genera al oprimir el botón para 'Respuesta correcta' (del formato de la definición de la evaluación).

Como siempre, el área de retroalimentación general contendrá la respuesta correcta y tendrá una primera coincidencia de patrón que Usted deberá de considerar:

SPA General feedback with first pattern match.png

translator note icon.png Nota del traductor: El texto rodeado por dos símbolos de $ es LaTeX y será interpretado por el Filtro MathJax (estándar desde Moodle 2.7), o el Filtro de notación TeX (plugin adicional) de matemáticas


En este caso, se mostrará la ecuación siguiente:

SPA densidad igual masa sobre volumen.png

Opciones para escribir las respuestas

SPA pmatch opciones de respuesta.png

Sensibilidad a MAY/minúsculas: No o Sí.

Permitir uso de subíndice/superíndice: No o Sí. Cualquier superíndice escrito por el estudiante está contenido dentro de su respuesta entre las marcas (tags) estándar de <sub> and </sub> o <sup> y </sup> . Por ejemplo:

  • La fórmula del agua es H<sub>2</sub>O producirá
    • La fórmula del agua es H2O
  • La velocidad de la luz es aproximadamente de 3x10<sup>8</sup> m s<sup>-1</sup> producirá
    • La velocidad de la luz es aproximadamente de 3x108 m s-1

Al momento de correr el examen, los usuarios del teclado pueden moverse entre normal, subíndice y superíndice al usar la flecha-hacia-arriba y la flecha-hacia-abajo. Usted podria querer incluir esta información dentro de su pregunta. Si así lo hiciera, por favor tome nota de que la flecha-hacia arriba y la flecha-hacia-abajo proporcionadas dentro del la lista del Editor HTML para 'insertar caracteres personalizados’ no son pronunciadas por un lector de pantalla (para invidentes) y Usted debería de incluir también las palabras ‘flecha-arriba’ y ‘flecha-abajo’.

Si la respuesta tiene más de 20 palabras: Nosotros en la Open University recomendamos encarecidamente que Usted limite las respuestas a 20 palabras. El permitir respuestas sin restricciones a menudo resulta en respuestas que están tanto correctas como incorrectas – y que son difíciles de calificar consistentemente de una o de otra manera.

Revisar ortografía del estudiante: ¿De cuantas formas conoce Usted que se pueda deletrear la palabra inglesa ‘'temperature'’? ¡Nosotros en la Open University hemos visto 14! Usted mejorará la exactitud al calificar si insiste en que se usen palabras que estén en el diccionario del sistema de Moodle

translator note icon.png Nota del traductor: ¿ortografía en idioma inglés solamente o también en español?: ¡No lo sabemos todavía!...


Añadir estas palabras al diccionario: Al trabajar con términos médicos, técnicos o científicos especializados, que no están dentro de un diccionario estándar, lo más probable es que Usted tenga que añadirlos al usar este campo. Escriba sus palabras dejando un espacio entre ellas.

Convertir los siguientes caracteres a un espacio: En el Tipo de pregunta coincidencia de patrón, las palabras están definidas como secuencias de caracteres entre los espacios. El signo de exclamación cerrado y el de interrogación cerrado se interpretan como señales del fin de una palabra. El punto es un caso especial; un punto y aparte también es un delimitador de palabra, pero el punto decimal no lo es. Todos los demás signos de puntuación se consideran como parte de la respuesta pero esta opción le permite removerlos.

translator note icon.png Nota del traductor: Muy posiblemente aquí convendrá incluir los signos de puntuación exclusivos del idioma español y que no existen en el inglés, tales como ¿ y ¡ . Debe recordarse que el idioma inglés y el Español de México usan el punto como Separador decimal, mientras que el Español internacional usa la coma decimal.


SPA pmatch sinonimos.png

Palabras y Sinónimos: Todas las palabras y sinónimos están especificadas como se aplican para la coincidencia de la respuesta. No es necesario que sean palabras completas, pues pueden ser tallos (stams) con un caracter que indique un comodín.

Los sinónimos solamente pueden ser palabras únicas, lo que significa que no está permitida la habilidad para especificar frases alternas dentro de la lista de sinónimos.

Del ejemplo de arriba, cualquier ocurrencia de la palabra aceite en la concordancia de respuesta será remplazada por aceite|glicer*|paraf* antes de que se lleve a cabo la búsqueda de coincidencia.

Con respecto al ejemplo del aceite sobre del agua:

SPA Response match specific gravity.png

Respuesta: Este ejemplo demuestra que la coincidencia de patrón soportará la coincidencia de respuestas compleja. Aquí hay cuatro frases aceptables y en cada una existen varias palabras alternativas.

Consideremos la primera frase match_mw (men*|pequeña dens*|[gravedad específica]|ge agua*) Esto coincidiría con menos denso que agua:

El aceite es menos denso que el agua.png

Esto también coincide con tiene menor gravedad específica que el agua:

El aceite tiene menor g e que el agua.png

Por favor, vea la sección sobre la sintaxis de la coincidencia de patrón para una descripción completa.

Vea otros ejemplos de diferentes respuestas correctas evaluadas:

Aceite tiene gravedad especifica mas baja.png

la densidad del aceite es (signo menor).png

Otro ejemplo, ahora con unidades de medición:

SPA pmgeneral.png

Respuesta: Este ejemplo muestra que la coincidencia de patrón soportará coincidencias complejas de respuesta. SPA pm three answers.png

SPA pm four more answers.png

Tome el primer campo de respuesta match_o (amperio candela kelvin mol) es la coincidencia exacta para las cuatro palabras con la característica adicional de que la opción de coincidencia 'o' permite que las palabras se den en cualquier orden.

El campo de respuesta match_ow (amperio candela kelvin mol) requiere las mismas cuatro palabras, una vez más en cualquier orden, pero tambien permite otras palabras.

El tercer campo de respuesta match_mow (amperio candela kelvin mol) permite las palabras incorrectamente deletreadas, pero que todavía están en el diccionario, como por ejemplo, mule en lugar de mole.

Por favor, vea la sección sobre la sintaxis de la coincidencia de patrón para una descripción completa.

Calificación: Entre ‘nada’ y 100%. Al menos una de las respuestas debe de tener una puntuación del 100%.

Retroalimentación: La retroalimentación específica que es proporcionada a cualquier estudiante cuya respuesta coincida con la regla de coincidencia de respuesta para la Respuesta.

SPA Feedback to all non-matched responses.png

La retroalimentación para las respuestas que no coincidan deberá de ir en el campo para ‘Cualquier otra respuesta’.

SPA The multiple tries section.png

Cómo se maneja la respuesta

La unidad básica de la respuesta del estudiante sobre la que opera la coincidencia de patrón es la palabra, en donde una palabra está definida como una secuencia de caracteres entre espacios. El signo de punto y aparte (pero no el punto decimal como Separador decimal), el signo de exclamación y el signo de interrogación finales (. ! ?) también son tratados como terminación de palabra..

Los números son casos especiales de palabras que son concordadas por su valor y no por la forma en la que se dan. match_w(25 ms-1) concordará con las siguientes respuestas correctas; 25 ms-1, 2.5e1 ms-1, 2.5x10-1 ms-1

Con la excepción de los números y los terminadores de palabras (<espacio><punto y aparte>? y !) Pattern match concordará con lo que le den. El hecho de que importen las MAYÚSCULAS/minúsculas se le deja al autor para que lo decida, al igual que la significancia de signos de puntuación tales como ,;: y otros.

La respuesta es tratada como un todo, con la excepción de que las palabras que seon requeridas que estén en proximidad también deben de estar en la misma oración.

Sintaxis de la coincidencia de patrón

La sintaxis de la coincidencia de patrón puede considerarse en tres partes:

Nota: Pendiente de Traducir. ¡Anímese a traducir esta página!.     ( y otras páginas pendientes)

  1. the matching options e.g. mow
  2. the words to be matched e.g.tom dick harry together with the in-word special characters.
  3. and, or and not combinations of matches e.g. match_any()

Opciones de coincidencia

the matching options top.png

the matching options bottom.png


The matching options are appended to the word match with an intervening underscore and may be combined. A typical match combines the options ‘mow’ to allow for

  1. misspellings
  2. any word order
  3. any extra words

and is written match_mow(words to be matched).

Caracteres especiales

Special characters.png

It is possible to match some of the special characters by ‘escaping’ them with the ‘\’ character. So match(\|) will match ‘|’. Ditto for _, [, ], and *. And if you wish to match round brackets then match(\(\)) will match exactly ‘()’

Combinaciones

Combining matches.png


match_all(), match_any()and not() may all be nested.


Ejemplos

Patternmatch examples top.png

Patternmatch examples bottom.png

Sugerencias para crear reglas de coincidencia

How can you possibly guess the multiplicity of phrases that your varied student cohort will use to answer a question? Of course you can’t, but you can record everything and over time you will build a bank of student responses on which you can base your response matching. And gradually you might be surprised at how well your response matching copes.

Before we describe the response matching it’s worth stressing:

  1. The starting point is asking a question that you believe you will be able to mark accurately.
  2. How you phrase the question can have a significant impact.
  3. Pattern match works best when you are asking for a single explanation that you will mark as simply right or wrong. You will find that dealing with multiple parts in a question or apportioning partial marks is a much harder task that will quickly turn into a research project.
  4. A bank of marked responses from real students is an essential starting point for developing matching patterns. Consider using the question in a human marked essay to get your first bank of student responses. Alternatively first use the question in a deferred feedback test where marks are allocated once all responses are received.
  5. This question type possibly more than all others demands that you monitor student responses and amend your response matching as required. There will come a point at which you believe that the response matching is ‘good enough’ and might wonder ‘how many responses might I need to check?’ Unfortunately there is no easy answer to this question. Sometimes 200 responses will be sufficient. At other times you may have to go much further than this. If you do bear in mind that
    1. Asking students to construct their response, as opposed to choosing it from a list, asks more of the student i.e. it is worth your while to do this.
    2. Human markers following a mark scheme are fallible too. Ditto.
  6. Stemming is the accepted method of catering for different word endings e.g. mov* will cater for ‘moved’ and ‘moves’ and ‘moving’ etc.
  7. Students do not type responses that are deliberately wrong. Why should they? This is in contrast to academics who try to defeat the system. Consequently you will not find students entering the right response but preceding it with ‘it is not..’ And consequently you do not have to match deliberate errors.
  8. The proximity control enables you to link one word to another.
  9. It is often the case that marking obvious wrong responses early in your matching scheme will improve your overall accuracy.
  10. Dealing with responses that contain both right and wrong answers requires you to take a view. You will either mark all such responses right or wrong. The computer will carry out your instructions consistently c.f. asking a group of human markers to apply your mark scheme consistently.
  11. You should aim for an accuracy of >95% (in our trials our human markers were in the range 92%-96%). But, of course, aim as high as is reasonable given the usual diminishing returns on continuing efforts.

Historia

The underlying structure of the response matching described here was developed in the Computer Based Learning Unit of Leeds University in the 1970s and was incorporated into Leeds Author Language. The basic unit of the word, the matching options of allowAnyChars, allowAnyWords, allowAnyOrder and the word OR feature all date back to Leeds Author Language.

In 1976 the CALCHEM project which was hosted by the Computer Based Learning Unit, the Chemistry Department at Leeds University and the Computer Centre of Sheffield Polytechnic (now Sheffield Hallam University) produced a portable version of Leeds Author Language.

A portable version for microcomputers was developed in 1982 by the Open University, the Midland Bank (as it then was; now Midland is part of HSBC) and Imperial College. The single and multiple character wildcards were added at this time.

The misspelling, proximity and Word groups in 'or' lists additions were added as part of the Open University COLMSCT projects looking at free text response matching during 2006 - 2009.

Referencias

Philip G. Butcher and Sally E. Jordan, A comparison of human and computer marking of short free-text student responses, Computers & Education 55 (2010) 489-499

This info was copied from http://www.open.edu/openlearnworks/mod/oucontent/view.php?id=52747&section=2.2.1 on september 17th 2014.


Documentación detallada en idioma inglés

También existe más documentación (en inglés) disponible en el sitio de the Open University OpenLearn site. Allí se incluye una descripción de la sintaxis pmatch. Hay otra página en inglés que explica The OU PMatch algorithm, pero esa se hizo antes de iniciar el desarrollo y puede que no sea 100% exacta la descripción de lo que finalmente se implementó.

Vea también