Tecnologies per llicenciar

Resumen ejecutivo

TestingQuest es un programa que analiza las cualidades métricas de un test o cuestionario. Su objetivo es hacer el test del test y comprobar si ofrece  garantías como instrumento de evaluación.

Las metodologías y tecnologías sobre test y cuestionarios suelen centrarse en el proceso de creación, administración y gestión de puntuaciones pero no es tan habitual que analicen su calidad evaluadora. Por lo general los usuarios de test aceptan que estos instrumentos tienen unas cualidades garantizadas. No obstante, en muchas ocasiones éstas no se calculan o simplemente se desconocen poniendo en duda la validez de las puntuaciones de los individuos evaluados.

TestingQuest calcula una serie de indicadores psicométricos que informan del funcionamiento global del instrumento, de cada una de sus preguntas y de cada una de las alternativas de respuesta de esas preguntas. Toda esta información permite valorar de manera objetiva las garantías del instrumento en el proceso de evaluación donde se emplea.

Introducción

Los test y cuestionarios se emplean en diferentes instituciones y especialidades (psicología, educación, RRHH, ergonomía, etc) para fines tan distintos como la evaluación de aprendizajes, la orientación, la elaboración de perfiles o la selección. La mayoría de estos instrumentos no pasan por un control de calidad que verifique sus prestaciones métricas y garantice la validez de las puntuaciones de los individuos evaluados. Este control no es obligado y suele causar evaluaciones sesgadas, reclamaciones e impugnaciones por parte de colectivos evaluados que sospechan de la adecuación del test. Todo ello deteriora la imagen y confianza hacia estos instrumentos.

La mayoría de exámenes, pruebas de evaluación de conocimientos y competencias se crean para un uso puntual. La falta de pruebas piloto con las preguntas y respuestas, impiden conocer sus cualidades psicométricas. Algo parecido sucede en test psicotécnicos y cuestionarios publicados pero desfasados o no adaptados al ámbito y entorno concreto donde se han de aplicar. En la actualidad no existe una normativa o reglamentación sobre las cualidades que ha de reunir un instrumento psicométrico. Por lo general, y en el mejor de los casos, se aplican directrices de buenas prácticas. Éste es el escenario de aplicación de TestingQuest. El programa permite auditar y garantizar la calidad de un test antes de publicar sus resultados (uso preventivo). TestingQuest también permite argumentar objetivamente un proceso de reclamación contra un test ya aplicado y sospechoso de mal funcionamiento (uso reactivo).

Descripción

TestingQuest analiza la fiabilidad y funcionamiento global del test, ofreciendo una primera impresión de sus prestaciones. Esto se concreta en el análisis de adecuación de cada pregunta y del patrón de respuestas de los sujetos evaluados. Si el test emplea ítems de alternativa múltiple (“tipo test”) o graduados (“tipo Likert”), el programa también verifica el funcionamiento y adecuación de cada una de las preguntas y de sus alternativas así como la coherencia de las respuestas en blanco. Todos estos indicadores se expresan tanto numérica como gráficamente y ayudan a identificar las preguntas y alternativas de respuesta conflictivas que es recomendable revisar o incluso excluir del test.

Como parte del proceso de auditoría de test con preguntas de alternativa múltiple, TestingQuest también pone a prueba la plantilla de corrección. Si se da el caso, el programa informa de posibles errores o conflictos en dicha plantilla que afectan a posibles errores y sesgos a la hora de puntuar a los evaluados.

A nivel de usuario, TestingQuest permite un doble tipo de uso. El programa puede ser utilizado a nivel de usuario final o como parte de un dictamen. En el primer caso, el propio usuario gestiona el proceso de análisis i extrae sus conclusiones prácticas sobre el test. En el segundo, se entrega al usuario un dictamen especializado sobre el funcionamiento del test incluyendo propuestas de cambio. En ambos casos solo se precisa de un ejemplar del test y de la matriz de respuestas en bruto (respuestas) de los examinados.

Estado actual de desarrollo

Actualmente se dispone de una versión plenamente operativa de TestingQuest©UB para ser utilizada con soporte profesional.