Jordi Renom «Hem trobat exàmens en els quals una pregunta no resposta indica qui està millor preparat»
Dins el Departament de Psicologia Social i Psicologia Quantitativa de la Universitat de Barcelona, el Dr. Jordi Renom es dedica a verificar de manera metodològica les qualitats d’un examen com a instrument d’avaluació.
Existeix el test perfecte?
Nosaltres no parlem de test perfecte, sinó del grau de validesa o de fiabilitat d’un test. El que intentem sempre és buscar la qualitat d’un instrument de mesura com és un qüestionari, un test o un examen.
Què fan exactament?
Fem el test del test. Si per exemple hi ha una entitat que fa una selecció de personal o unes oposicions o exàmens a nivell acadèmic i hi ha algun tipus de sospita o de problema al voltant de la qualitat d’aquella prova, el que nosaltres oferim és un servei d’auditoria, que consisteix a fer tot un procés de control de qualitat de les garanties que ofereix aquell instrument.
Duem a terme dos tipus d’auditories: una de preventiva i una altra de reactiva. Si per exemple hi ha algú que vol conèixer la qualitat d’un examen abans d’utilitzar-lo, se’n pot fer una auditoria de caràcter qualitatiu revisant el material i garantint que allò funciona correctament. Per exemple, ens trobem encara l’any 2019 amb molts exàmens en què encara apareix l’opció de resposta “cap resposta no és certa”. Aquesta opció és reclamable. El que cal és posar-hi “cap de les altres respostes” o “cap de les respostes anteriors”. És un lapsus, una petita bestiesa, però molts docents no se n’adonen i allà hi ha un punt al qual l’examinand pot agafar-se. O, per exemple, hi ha autèntics patrons que els alumnes coneixen, com ara que l’alternativa més llarga, si no tens clar quina és la correcta, és la que s’ha de triar. O que no s’han de triar les primeres opcions dels principis de pàgina ni les últimes dels finals de pàgina. Perquè els autors dels tests tendeixen a endarrerir la posició de les respostes correctes al principi de la pàgina i a avançar-les en les preguntes dels finals de pàgina. Són patrons, rutines que es van perpetuant any rere any. Per detectar aquests tipus de coses i eventuals problemes en l’expressió lingüística en fem l’auditoria prèvia.
L’auditoria reactiva o quantitativa es fa un cop ja s’ha fet l’avaluació. A partir de la nostra anàlisi, abans de donar els resultats de la prova podem donar un feedback als autors sobre si hi ha cap pregunta sospitosa o que té un mal funcionament, ja que això podria ocasionar una pèrdua de confiança dels examinands.
Com fan aquesta anàlisi quantitativa?
Nosaltres el que fem servir, bàsicament, és la matriu de respostes original, el que ha marcat la persona. A partir d’això se’ns acut una sèrie d’anàlisis i de simulacions que fan que es pugui constatar si l’alternativa que dóna l’autor com a correcta ho és realment o no. Quan detectem que hi ha ítems que psicomètricament no funcionen, el que fem, i aquesta és la part més delicada, és comunicar-ho als autors. Hi ha autors que admeten que hi ha hagut una anomalia, i d’altres que continuen endavant tal com ells havien dit.
Sovint quan fem una auditoria demanem una mica quin és l’escenari: per què es vol la prova, quina repercussió té de cara al futur dels examinands… Tot això és important, perquè no en fem pas una anàlisi asèptica, cal posar-hi context. Aquesta part final, però, la de donar sentit a les preguntes conflictives, correspon a l’autor.
En alguns cursos que vam fer a l’ICE vam donar als professors que hi assistien la possibilitat de portar-hi els seus exàmens. La pràctica de revisar-los la fèiem entre tots, però hi havia un moment en què es produïa el silenci: quan cada professor prenia consciència que potser aquell examen que havien fet feia dos anys tenia un 20% de preguntes que no funcionaven. Llavors s’adonaven que hi havia hagut una avaluació injusta, i això és dur.
Quins són els problemes més recurrents que tenen els tests?
El coneixement que una persona determinada pugui tenir d’un tema concret no està lligat a la capacitat o al coneixement que té aquesta persona per desenvolupar les eines per avaluar aquest coneixement. Ara hi ha més sensibilitat amb aquesta qüestió, però durant anys no hi ha hagut formació en aquesta pràctica. En el cas dels docents, han viscut una experiència com a alumnes que sovint propaguen com a docents més endavant. Moltes vegades això fa que es mantinguin els estils de com avaluar. Hi ha una mena d’herència adquirida que moltes vegades arrossega problemes.
En aquest sentit, alguna vegada ens hem trobat que més de la meitat d’una prova oficial tenia greus deficiències que la invalidaven completament. El que ens preocupa és que, si estem jugant amb la precisió que els autors adjudiquen a les seves proves (s’ha de treure un 5 per aprovar), això suposa que l’instrument ha de tenir la mateixa precisió. En canvi, ens trobem amb exàmens que tenen un error de +/- 2 punts sobre 10. Això ens porta de vegades a constatar que, per exemple, un 20% dels suspesos en un examen per a nosaltres potser haurien d’haver estat aprovats. I un 20% dels aprovats potser haurien d’estar en la categoria de suspesos. No pas perquè en sabessin més o menys, sinó perquè l’examen tenia uns problemes de disseny que feien que aquesta zona d’apte/no apte quedés molt difuminada.
Hi ha molts exàmens que penalitzen les respostes incorrectes en les quals l’alternativa correcta és deixar la resposta en blanc. És a dir, la gent més preparada ha vist alguna cosa estranya en la pregunta que els que no estan tan preparats no han vist, i com que volen evitar la penalització la deixen en blanc. Hem trobat proves en les quals deixar la pregunta en blanc és la resposta correcta, perquè és la que indica qui està millor preparat. I això és un problema greu. Els examinands ho noten, però són passius, confien en l’examen, confien en l’autoria… I en certa manera el que fem nosaltres és injectar desconfiança. Perquè, qui garanteix que una prova funciona amb garanties? Ningú.
A qui li interessa aquest tipus de servei?
Últimament tenim convenis amb empreses privades que volen garantir una certa qualitat de les seves avaluacions. No tenen experts, però volen avaluar algun concepte sobre els seus treballadors (resiliència, emprenedoria, perfil motivacional, etc.). Es tracta d’assegurar-se que l’avaluació permet assolir tot allò que es pretén assolir.
Quants llocs hi ha on pensen que el test és sagrat, que el qüestionari és el que és, que és indubtable i que funciona per defecte bé? En aquests casos no hi ha cap consciència, per tant, del fet que allò és una eina molt parcial. I si parlem d’una prova que es vinculant per al futur d’algú, cal anar amb molt de compte.
Més sobre Jordi Renom
El millor invent de la història:
La vela.
L’invent del futur que li agradaria veure:
La màquina del temps
El que més por li fa:
La màquina del temps, també
L’FBG és…
És una porta a la societat. Ens permet comunicar-nos i posar-nos en contacte a nivell acadèmic amb la societat. Per a mi és una peça importantíssima, i crec que en aquest sentit a la UB tenim molta sort. Veient companys d’altres entitats i universitats prens consciència que nosaltres tenim aquesta oportunitat, que no és tan habitual.
