1.      ¿Cuál es el número de ítems más adecuado?

2.      Durante la formulación de los ítems, ¿qué puedo hacer para evitar pistas que faciliten responder correctamente sin conocer la respuesta?

3.      Qué es más adeucado, ¿utilizar un formato basado en preguntas propiamente dichas o en frases inacabadas?

4.      ¿Qué tengo que saber sobre el uso de partículas negativas (no, nunca, excepto, menos) en la formulación de las preguntas?

5.      ¿Qué información tienen que ofrecer los ítems?

6.      ¿Qué valoración se hace respecto el uso de "todas las anteriores" y "ninguna de las anteriores" como posibles respuestas a los ítems?

7.      ¿Cuál es el número de respuestas posibles más adecuado?

8.      En cuanto al número de respuestas posibles, ¿cuál es la opción más práctica?

9.      ¿Es adecuado el uso de preguntas Verdadero-Falso?, ¿Qué tengo que saber respecto su dificultad?

10.  ¿Qué tengo que saber sobre preguntas con varias respuestas correctas?

11.  ¿Qué fórmulas existen para corregir la respuesta por adivinación? (es decir, por respuestas azarosas emitidas por el estudiantado)

12.  ¿Es siempre razonable utilizar estas fórmulas para reducir la respuesta por adivinación?

13.  ¿Qué tengo que hacer para utilizar el serivio de corrección automática de la UPF?

14.  ¿Qué posibilidades hay de plantear nuevas pruebas objetivas en el Aula Global-Moodle?

 
1. ¿Cuál es el número de ítems más adecuado?

Inicialmente, cuantos más ítems incluya la prueba más fiable y válida será la evaluación. Aproximadamente, se estima que se pueden incluir unos 40 ítems en una prueba de una hora.

El número de ítems por apartado o bloque temático deberá definirse en función de la importancia asignada en la docencia.

2.  Para evitar pistas que faciliten responder correctamente sin conocer la respuesta:

• Evitar falta de concordancia gramatical
• Evitar que la respuesta correcta sea más larga, más elaborada
• Evitar alternativas absurdas
• Evitar el uso de determinantes muy específicos (como siempre, nunca, etc.)

3. Ante la duda: Pregunta propiamente dicha o Frase inacabada

• Las preguntas son ligeramente más fáciles que si se trata de frases incompletas
• No tiene especial efecto en la discriminación; los ítems discriminan de manera parecida (diferencian a los que más saben de los que menos saben) tanto si se formulan como preguntas como si se presentan como frases incompletas
• Las preguntas propiamente dichas suben algo la fiabilidad (en torno a .065) y la validez (correlaciones con otros criterios) de todo el test

4. Sobre el uso de partículas negativas (no, nunca, excepto, menos) en la formulación de las preguntas:

Como norma general no se deben incluir en la formulación del ítem partículas negativas porque se prestan a equivocaciones aun conociendo la respuesta. Si se utilizan lo que suele recomendarse es que la partícula negativa quede suficientemente destacada (subrayada, en cursiva o en MAYÚSCULAS)

5. En lo que a la información que contienen los ítems:

Es preferible mantener las preguntas cortas y no aportar más información de la necesaria.

6. Sobre el uso de "todas las anteriores" y "ninguna de las anteriores" como posibles respuestas:

o La respuesta "todas las anteriores" no es recomendable porque puede construir una pista importante para desechar algunas alternativas. Si un alumno sólo sabe que una de las alternativas propuestas es verdadera, sólo tiene que adivinar entre esa respuesta y "todas las anteriores"

o En cuanto al uso de "ninguna de las anteriores" como respuesta:

• Las preguntas en las que se incluye tienden a ser más difíciles (especialmente cuando esta es la correcta)
• Son ligeramente menos discriminantes (diferencian menos entre los que más y menos saben)
• En algunas ocasiones muestra que en los ítems que presentan pequeños problemas con respuestas numéricas, esta respuesta (ninguna de las anteriores) atrae a los que no confían en la que hubiera sido su propia respuesta

o Cuestiones a considerar para su uso:

• Es preferible que aparezcan entre las primeras preguntas del test
• Usarlas en lugar de distractores malos, a falta de otros mejores, y en no más de una cuarta o quinta parte de los ítems
• Debe ser la respuesta correcta en una proporción similar (en la cuarta o quinta parte de los ítems que tienen esta opción)
• Usarla en preguntas relativamente difíciles y en las que hay claramente una única respuesta correcta

7. En cuanto al número de respuestas más adecuado existen diversas posiciones basadas en múltiples investigaciones. De forma global se considera que:

• Dos alternativas (una correcta y otra incorrecta, o el clásico verdadero-falso) discriminan mejor solamente en la parte alta de la distribución: quedan más diferenciados los que saben más (que son quienes menos responden al azar) pero en el resto de la distribución quedan todos más indiferenciados
• Tres alternativas discriminan e informan mejor en el centro de la distribución (los "mejores" y los "peores" quedan menos diferenciados entre sí)
• Cuatro o más alternativas dan mejores resultados en la parte más baja de la distribución. Los que menos saben tienden más a adivinar, a mayor número de alternativas tienen más oportunidades de equivocarse

8. Yendo a lo más "práctico" parece que la opción óptima es la de tres respuestas (una verdadera y dos falsas) porque se ahorra tiempo en la preparación del text así como se reduce su longitud.

9. En general, las preguntas de Verdadero-Falso tienden a ser:

• Más fáciles (se acierta más adivinando)
• Menos discriminantes 
• La fiabilidad de todo el test es menor manteniendo constante el número de ítems

La dificuldad de estas preguntas depende dos factores, su formulación y cuál de ellas es la respuesta correcta, veamos a continuación cómo se relacionan estos elementos:

Para conseguir una fiabilidad suficiente y reducir el influjo de la adivinación hacen falta más ítems (5 ítems Verdadero-Falso por cada 3 de elección múltiple para obtener una fiabilidad comparable).

10. Los ítems con varias respuestas correctas admiten diferentes formas de presentación, de modalidad de respuesta (y consecuentemente de normas que se de al alumnado) y de corrección. Veamos a continuación algunos ejemplos:

a) Puede ser una pregunta (o su equivalente, una afirmación incompleta) con todas las respuestas pertenecientes al mismo ámbito y presentadas como posibles respuestas a la pregunta inicial.

b) También se pueden formular de manera que la pregunta sea un simple encabezamiento para el resto de las posibles preguntas, que pueden ser muy independientes entre sí aunque dentro del mismo tema general. La forma más sencilla sería preguntar ¿Cuáles de las siguientes afirmaciones son verdaderas (o falsas)?

En principio parece preferible que las respuestas o subpreguntas pertenezcan al mismo ámbito y centren bien la atención del alumno, por tanto, que sigan el modelo descrito en la opción a)

Cabe destacar que:

a) en términos de fiabilidad y validez son aceptables,

b) se controla mejor la adivinación que en el método alternativo de múltiple verdadero/ falso,

c) se prestan con facilidad a corrección mecánica o electrónica.

11. Existen múltiples formulas para minimizar el efecto de las respuestas por adivinación; a continuación algunos ejemplos:

Thurstone, 1919; Holzinger, 1924

Esta fórmula no supone que todos los ítems tienen un idéntico número de respuestas, aunque en este caso (el más corriente) la fórmula es de aplicación más fácil.

Si los ítems tienen un número diferente de posibles respuestas cada ítem puntúa de esta manera:

Thurstone, 1919; Holzinger, 1924

En esta fórmula el total definitivo es el número de respuestas correctas más las omitidas, dando a las omitidas el valor de 1/k (k es el número de respuestas en cada pregunta; si todas las preguntas tienen cuatro respuestas, cada respuesta omitida vale .25). En ese caso se trata de disuadir al alumno de responder al azar cuando realmente no sabe, premiando el silencio: en vez de castigar el error se premia el silencio.

Gulliksen, 1950

12. Circunstancias en las que es recomendable utilizar fórmulas de corrección por adivinación:

• Cuando hay poco tiempo para responder; en este caso hay más respuestas al azar aunque, esta circunstancia se debe evitar.
• En tests difíciles (o cuando se presume poca preparación en muchos de los examinados) o cuando los requisitos para el apto son más bien bajos, como puede ser el caso en algunas pruebas de selección poco exigentes. En general la fórmula es útil cuando presumiblemente muchos alumnosno van a saber responder a muchas preguntas.

13.   La UPF ofrece como recursos un servicio de corrección de exámenes tipo test por lectura óptica. Si estás interesado y/o quieres más información consulta su web o directamente el link de Biblioteca y TIC http://www.upf.edu/bibtic/serveis/lectura/
 

14.   Si estás interesado/a en hacer test en tu Aula Global y no sabes cómo hacerlo  puedes consultar, o bien la guía general de uso de Aula Global para docentes (http://www.upf.edu/bibtic/lafactoria/guiespdi.html) donde encontrarás información sobre todas las posibilidades o bien, directamente en el apartado de "Cuestionarios" (http://www.upf.edu/bibtic/lafactoria/_pdf/Questionaripreguntes.pdf)

Recomanaciones extraídas de:

Morales, P. Las pruebas objetivas: normas, modalidades y cuestiones discutidas. Facultad de Ciencias Humanas y Sociales, Universidad Pontificia Comillas, Madrid (última versió, 17, Des, 2006).