1.      Quin és el número d'ítems més adequat?

2.      Durant la formulació dels ítems, què puc fer per a evitar pistes que facilitin respondre correctament sense conèixer la resposta?

3.      Què és més adequat, emprar un format basat en preguntes pròpiament dites, o en frases inacabades?

4.      Què haig de saber sobre l'ús de partícules negatives (no, mai, excepte, menys) en la formulació de les preguntes?

5.      Quina informació han d'oferir els ítems?

6.      Quina valoració es fa respecte l'ús de "totes les anteriors" i "cap de les anteriors" com a possibles respostes als ítems?

7.      Quin és el número de respostes possibles més adequat?

8.      En quant al número de respostes possibles, quina és l'opció més pràctica?

9.      És adequat l'ús de preguntes Vertader-Fals? Què haig de saber respecte la seva dificultat?

10.  Què haig de saber sobre les preguntes amb varies respostes correctes?

11.  Quines formules existeixen per a corregir la resposta por endevinació? (és a dir, respostes atzaroses emeses pels estudiants)

12.  És sempre recomanable utilitzar aquestes formules per a reduir la resposta per endevinació?

13.  Què haig de fer per a utilitzar el servei de correcció automàtica UPF?

14.  Quines possibilitats hi ha de plantejar proves objectives a l'Aula Global- Moodle?

 
 
1. Quin és el número de ítems més adequat?

Inicialment, quants més ítems inclogui la prova més fiable i vàlida serà l'avaluació. Aproximadament, s'estima que es poden incloure uns 40 ítems en una prova d'una hora. 

El nombre d'ítems per apartat o bloc temàtic haurà de definir-se en funció de la importància assignada a la docència.

 
2.  Per a evitar pistes que facilitin respondre correctament sense conèixer la resposta:

• Evitar falta de concordança gramatical
• Evitar que la resposta correcta sigui més llarga, més elaborada
• Evitar alternatives absurdes
• Evitar l'ús de determinants molt específics (com sempre, mai, etc.)

3. Davant el dubte: Pregunta pròpiament dita o Frase inacabada?

• Les preguntes són lleugerament més fàcils si es tracta de frases incompletes
• No té especial efecte en la discriminació; els ítems discriminen de forma semblant (diferencien als que més saben dels que menys saben) tant si es formulen com a preguntes com si es presenten com a frases incompletes
• Les preguntes pròpiament dites augmenten en cert grau la fiabilitat (en torn a .065) i la validesa (correlacions amb d'altres criteris) de tot el test

4. Sobre l'ús de partícules negatives (no, mai, excepte, menys) en la formulació de les preguntes:

Com a norma general no s'han d'incloure en la formulació de l'ítem partícules negatives perquè presten a equivocacions malgrat conèixer la resposta. Si s'utilitzen el que es sol recomanar és que la partícula negativa quedi suficientment destacada (subratllada, en cursiva o en MAJÚSCULES)

5. Pel que fa a la informació oferta als ítems:

Es preferible mantenir les preguntes curtes i no aportar més informació de la necessària

6. Sobre l'ús de "totes les anteriors" i "cap de les anteriors" com a possibles respostes:

• La resposta "totes les anteriors" no és recomanable per què pot construir una pista important per a desestimar algunes alternatives. Si un alumne només sap que una de les alternatives proposades és veritable, només ha d'endevinar entre aquesta resposta i "totes les anteriors"
• En referència a l'ús de "cap de les anteriors" com a resposta:
  • Les preguntes en les que s'inclou tendeixen a ser més difícils (especialment quan aquesta és la correcta)
  • Són lleugerament menys discriminants (diferencien menys entre els que més i els que menys saben)
  • En algunes ocasions mostra que en els ítems que presenten petits problemes amb respostes numèriques, aquesta resposta (cap de les anteriors) atrau als que no confien en la que hagi estat la seva pròpia resposta
• Qüestions a considerar en el seu ús:
  • És preferible que apareguin entre les primeres preguntes del test
  • Emprar-les en comptes de distractors dolents, a falta d'altres millors, i en no més d'una quarta o cinquena part dels ítems
  • Ha de ser la resposta correcta en una proporció similar (en la quarta o cinquena parts dels ítems que tenen aquesta opció)
  • Utilitzar-la en preguntes relativament difícils i en les que hi ha clarament una única resposta correcta

7. En quant al nombre de respostes més adequat existeixen diverses posicions basades en múltiples investigacions. De forma global es considera que:

• Dues alternatives (una correcta i una altra incorrecta, o el clàssic vertader-fals) discriminen millor només en la part alta de la distribució: queden més diferenciats els que més saben (que són els que menys responen a l'atzar) però en la resta de la distribució queden tots més indiferenciats
• Tres alternatives discriminen i informen millor en el centre de la distribució (els "millors" i els "pitjors" queden menys diferenciats entre sí)
• Quatre o més alternatives donen millors resultats en la part més baixa de la distribució. Els que menys saben tendeixen més a endevinar, a major nombre d'alternatives tenen més oportunitats d'equivocar-se

8. Anant a allò més "pràctic" sembla que la opció òptima és la de tres respostes (una verdadera i dues falses) perquè s'estalvia temps en la preparació del test així com es redueix la seva longitud

9. En general, les preguntes de Vertader-Fals tendeixen a ser:

• Més fàcils (s'encerta més endevinant)
• Menys discriminants
• La fiabilitat de tot el test és menor mantenint constant el nombre d'ítems

La dificultat d' aquestes preguntes depèn de dos factors, la seva formulació i quina d'elles és la resposta correcta, veiem a continuació com es relacionen aquests elements:

Per tal d'aconseguir una fiabilitat suficient i reduir la influència de l'endevinació fan falta més ítems (5 ítems Vertader-Fals per cada 3 d'elecció múltiple per a obtenir una fiabilitat comparable)

10. Els ítems amb varies respostes correctes admeten diferents formes de presentació, de modalitats de resposta (i conseqüentment de normes que es donin als alumnes) i de correcció. Veiem a continuació alguns exemples:

a) Pot ser una pregunta (o el seu equivalent, una afirmació incompleta) amb totes les respostes que pertanyin al mateix àmbit i presentades com a possibles respostes a la pregunta inicial

b) També es poden formular de forma que la pregunta sigui un simple encapçalament per a la resta de possibles preguntes, que poden ser molt independents entre sí encara que dins del mateix tema general. La forma més senzilla seria preguntar Quines de les següents afirmacions són verdaderes (o falses)?

En principi sembla preferible que les respostes o subpreguntes pertanyin al mateix àmbit i centrin bé l'atenció de l'alumne, per tant, que segueixin el model descrit a la opció a)

Cal destacar que:

a) en termes de fiabilitat i validesa són acceptables,

b) es controla millor l'endevinació que en el mètode alternatiu de múltiple verdader/fals,

d) possibiliten la correcció mecànica o Electrònica. 

11. Existeixen múltiples formules per a minimitzar l'efecte de les respostes per endevinació; a continuació alguns exemples:

Thurstone, 1919; Holzinger, 1924

Aquesta formula no suposa que tots els ítems tenen un idèntic nombre de respostes, encara que en aquest cas (el més freqüent) la formula és d'aplicació més fàcil.

Si els ítems tenen un nombre diferent de possibles respostes cada ítem puntua d'aquesta forma:

Thurstone, 1919; Holzinger, 1924

En aquesta formula el total definitiu és el nombre de respostes correctes més les omeses, donant a les omeses el valor de 1/k (k és el nombre de respostes en cada pregunta; si totes les preguntes tenen quatre respostes, cada resposta omesa val .25). En aquest cas es tracta de dissuadir a l'alumne de respondre a l'atzar quan realment no ho sap, premiant el silenci: en comptes de premiar l'error es premia el silenci.

Gulliksen, 1950

12. Circumstàncies en les que és recomanable utilitzar formules de correcció d'endevinació:

• Quan hi ha poc temps per a respondre; en aquest cas hi ha més respostes a l'atzar, encara que aquesta circumstància s'hagi d'evitar.
• En tests difícils (o quan s'assumeix poca preparació en molts dels examinats) o quan els requisits per l'apte són més aviat baixos, com pot ser el cas d'algunes proves de selecció poc exigents. En general la formula és útil quan  es preveu que molts alumnes no sabran respondre a moltes preguntes.

13.   La UPF ofereix com a recursos un servei de correcció d'exàmens tipus test per lectura òptica. Si estàs interessat i/o vols més informació consulta la seva web o directament el link de Biblioteca i TIC http://www.upf.edu/bibtic/serveis/lectura/
 
14.   Si estàs interessat/da en fer tests en la teva Aula Global i no saps com fer-ho pots consultar, o bé la Guia general d'ús de l'Aula Global per a docents (http://www.upf.edu/bibtic/lafactoria/guiespdi.html) on trobaràs informació sobre totes les possibilitats o bé, directament en l'apartat de "Qüestionaris" (http://www.upf.edu/bibtic/lafactoria/_pdf/Questionaripreguntes.pdf)

Recomanacions extretes de:

Morales, P. Las pruebas objetivas: normas, modalidades y cuestiones discutidas. Facultad de Ciencias Humanas y Sociales, Universidad Pontificia Comillas, Madrid (última versió, 17, Des, 2006).