Jordi Renom «Hemos encontrado exámenes en los que una pregunta no respondida indica quién está mejor preparado»
Dentro del Departamento de Psicología Social y Psicología Cuantitativa de la Universidad de Barcelona, el Dr. Jordi Renom se dedica a verificar metodológicamente las cualidades de un examen como instrumento de evaluación.
¿Existe el test perfecto?
Nosotros no hablamos de test perfecto, sino de su grado de validez o fiabilidad. Lo que intentamos siempre es buscar la calidad de un instrumento de evaluación como son los cuestionarios, tests o exámenes.
¿Qué hacen exactamente?
Hacemos el test del test. Si por ejemplo hay una entidad que hace una selección de personal o unas oposiciones o exámenes a nivel académico y hay algún tipo de sospecha o problema en torno a la calidad de aquella prueba, lo que nosotros ofrecemos es un servicio de auditoría, que consiste en realizar un proceso de control de calidad de las garantías que ofrece ese instrumento.
Llevamos a cabo dos tipos de auditorías: una preventiva y otra reactiva. Si por ejemplo hay alguien que quiere conocer la calidad de un examen antes de utilizarlo, se puede hacer una auditoría de carácter cualitativo del mismo revisando el material y garantizando que aquello funciona correctamente. Por ejemplo, nos encontramos todavía en el año 2019 con muchos exámenes en los que aún aparece la opción de respuesta “ninguna respuesta es cierta”. Esta opción es reclamable. Lo que hay que poner es «ninguna de las otras respuestas» o «ninguna de las respuestas anteriores». Es un lapsus, una pequeña tontería, pero muchos docentes no se dan cuenta de ello y allí hay un punto al que el examinado puede agarrarse. O, por ejemplo, hay auténticos patrones que los alumnos conocen, como que la alternativa más larga, si no tienes clara cuál es la correcta, es la que se debe elegir. O que no se deben elegir las primeras opciones de los principios de página ni las últimas de los finales de página. Porque los autores de los tests tienden a retrasar la posición de las respuestas correctas al principio de la página y a avanzarlas en las preguntas de los finales de página. Son patrones, rutinas que se van perpetuando año tras año. Para detectar este tipo de cosas y eventuales problemas en la expresión lingüística hacemos la auditoría previa de los tests.
La auditoría reactiva o cuantitativa se hace una vez ya se ha hecho la evaluación. A partir de nuestro análisis, antes de dar los resultados a las personas evaluadas, podemos dar un feedback a los autores sobre si hay alguna pregunta sospechosa o que tiene un mal funcionamiento, ya que esto podría ocasionar una pérdida de confianza de los examinandos.
¿Cómo realizan este análisis cuantitativo?
Nosotros lo que utilizamos, básicamente, es la matriz de respuestas original, lo que ha marcado la persona lo más original posible. A partir de esto se nos ocurre una serie de análisis y de simulaciones que hacen que se pueda constatar si la alternativa que da el autor como correcta lo es realmente o no. Cuando detectamos que hay ítems que psicométricamente no funcionan, lo que hacemos, y ésta es la parte más delicada, es comunicarlo a los autores. Hay autores que admiten que ha habido una anomalía, y otros que siguen adelante tal como ellos habían dicho.
A menudo, cuando hacemos una auditoría, pedimos cuál es el escenario: para qué se quiere la prueba, qué repercusión tiene de cara al futuro de los examinados… Todo esto es importante, porque no hacemos un análisis aséptico, hay que ponerle contexto. Esta parte final, la de dar sentido a las preguntas conflictivas, le corresponde al autor.
En algunos cursos que hicimos en el ICE dimos a los profesores que asistían la posibilidad de traer sus propios exámenes. La práctica de revisarlos la hacíamos entre todos, pero había un momento en el que se producía el silencio: cuando cada profesor tomaba conciencia de que tal vez aquel examen que habían hecho hacía dos años tenía un 20% de preguntas que no funcionaban. Entonces se daban cuenta de que había habido una evaluación injusta, y eso es duro.
¿Cuáles son los problemas más recurrentes que tienen los tests?
El conocimiento que una persona determinada pueda tener de un tema concreto no está ligado a la capacidad o al conocimiento que tiene esta persona para desarrollar las herramientas para evaluar dicho conocimiento. Ahora hay más sensibilidad con esta cuestión, pero durante años no ha habido formación en esta práctica. En el caso de los docentes, han vivido una experiencia como alumnos que a menudo propagan como docentes más adelante. Muchas veces esto hace que se mantengan los estilos de cómo evaluar. Hay una especie de herencia adquirida que muchas veces arrastra problemas.
En este sentido, alguna vez nos hemos encontrado con que más de la mitad de una prueba oficial tenía graves deficiencias que la invalidaban completamente. Lo que nos preocupa es que, si estamos jugando con la precisión que los autores adjudican a sus pruebas (hay que sacar un 5 para aprobar), esto supone que el instrumento debe tener la misma precisión. En cambio, nos encontramos con exámenes que tienen un error de +/- 2 puntos sobre 10. Esto nos lleva a veces a constatar que, por ejemplo, un 20% de los suspendidos en un examen para nosotros tal vez deberían haber sido aprobados. Y un 20% de los aprobados quizás deberían estar en la categoría de suspensos. No porque supieran más o menos, sino porque el examen tenía unos problemas de diseño que hacían que esta zona de apto/no apto quedara muy difuminada.
Hay muchos exámenes que penalizan las respuestas incorrectas en las que la alternativa correcta es dejar la respuesta en blanco. Es decir, la gente más preparada ha visto algo raro en la pregunta que los que no están tan preparados no han visto, y puesto que quieren evitar la penalización la dejan en blanco. Hemos encontrado pruebas en las que dejar la pregunta en blanco es la respuesta correcta, porque es la que indica quién está mejor preparado. Y esto es un problema grave. Los examinandos lo notan, pero son pasivos, confían en el examen, confían en la autoría del mismo… Y en cierto modo lo que hacemos nosotros es inyectar desconfianza. Por qué, ¿quién garantiza que una prueba funciona con garantías? Nadie.
¿A quién le interesa este tipo de servicio?
Últimamente tenemos convenios con empresas privadas que quieren garantizar una cierta calidad de sus evaluaciones. No tienen expertos, pero quieren evaluar algún concepto sobre sus trabajadores (resiliencia, emprendeduría, perfil motivacional, etc.). Se trata de asegurarse de que la evaluación consigue alcanzar todo lo que se pretende alcanzar.
¿Cuántos lugares hay donde piensan que el test es sagrado, que el cuestionario es lo que es, que es indudable y que funciona por defecto bien? En estos casos no hay ninguna conciencia, por tanto, de que aquello es una herramienta muy parcial. Y si hablamos de una prueba que es vinculante para el futuro de alguien, hay que tener mucho cuidado.
Más sobre Jordi Renom
El mejor invento de la historia
La vela
El invento del futuro que le gustaría ver
La máquina del tiempo
El que más miedo le da
La máquina del tiempo, también
La FBG es…
Es una puerta a la sociedad. Nos permite comunicarnos y ponernos en contacto a nivel académico con la sociedad. Para mí es una pieza importantísima, y creo que en este sentido en la UB tenemos mucha suerte. Viendo compañeros de otras entidades y universidades tomas conciencia de que nosotros tenemos esta oportunidad, que no es tan habitual.
