TEST ADAPTATIVOS INFORMATIZADOS (TAI)
Introducción
EL uso de la tecnología
se hace cada vez mas patente en nuestra disciplina. Los TAI son un
buen ejemplo de ello. En este tipo de sistema de evaluación, esto
es, el uso de test adaptativos, llevan consigo, la idea subyacente de
administrar únicamente ítems que reporten información útil de
cara a la medición de un determinado rasgo (habilidad, personalidad,
etc.).
Por consiguiente, y gracias al empleo de la tecnología, se ha llegado a desarrollar multitud de tests adaptativos informatizados para su aplicación en diversas áreas. No obstante, es en el área de la educación, donde existe un mayor uso de los mismos.
Antes de adentrarnos mas en el posible campo de aplicación de interés, seria conveniente conocer cuales son las particularidades de este tipo de tests.
Por consiguiente, y gracias al empleo de la tecnología, se ha llegado a desarrollar multitud de tests adaptativos informatizados para su aplicación en diversas áreas. No obstante, es en el área de la educación, donde existe un mayor uso de los mismos.
Antes de adentrarnos mas en el posible campo de aplicación de interés, seria conveniente conocer cuales son las particularidades de este tipo de tests.
Los
tests adaptativos informatizados.
Antecedentes:
Para establecer el origen de los mismos, hemos de dirigirnos a la obra de Lord y Novick (1968), en la cual se sientan las bases de la TRI y los fundamentos estadísticos para ordenar a los diversos evaluandos en la misma escala de medida aunque hayan respondido ítems distintos.
De hecho, la idea original de los Tests Adaptativos Informatizados fundamentados en la TRI, pertenece a Lord (1970), desde esa fecha y durante los años 80, se desarrollaron éstos en la universidad de Minnesota junto con el ejercito de los Estados unidos, dada la necesidad de éste ultimo a la hora de realizar estimaciones precisas acerca de los niveles aptitudinales de numerosas y heterogéneas muestras de posibles reclutas (No olvidemos, que la aplicación masiva de tests en el ejército, en lápiz y papel, tuvo dos importantes precedentes, los test Alpha y Beta en concreto).
No obstante, y en paralelo al desarrollo de los test psicométricos, comienzan a desarrollarse los primeros TAIs en contextos aplicados para la evaluación de conocimientos, exámenes, aptitudes intelectuales o dominio del inglés.
Para establecer el origen de los mismos, hemos de dirigirnos a la obra de Lord y Novick (1968), en la cual se sientan las bases de la TRI y los fundamentos estadísticos para ordenar a los diversos evaluandos en la misma escala de medida aunque hayan respondido ítems distintos.
De hecho, la idea original de los Tests Adaptativos Informatizados fundamentados en la TRI, pertenece a Lord (1970), desde esa fecha y durante los años 80, se desarrollaron éstos en la universidad de Minnesota junto con el ejercito de los Estados unidos, dada la necesidad de éste ultimo a la hora de realizar estimaciones precisas acerca de los niveles aptitudinales de numerosas y heterogéneas muestras de posibles reclutas (No olvidemos, que la aplicación masiva de tests en el ejército, en lápiz y papel, tuvo dos importantes precedentes, los test Alpha y Beta en concreto).
No obstante, y en paralelo al desarrollo de los test psicométricos, comienzan a desarrollarse los primeros TAIs en contextos aplicados para la evaluación de conocimientos, exámenes, aptitudes intelectuales o dominio del inglés.
Definición:
Un Test Adaptativo Informatizado (TAI), es una prueba construida para fines de evaluación psicológica, cuyos ítems se presentan y responden a través del uso del ordenador, siendo su característica fundamental, el irse adaptando al nivel de competencia / habilidad /constructo que va manifestado el sujeto sometido a evaluación, siendo sus elementos básicos:
a) Un banco de ítems con propiedades psicométricas conocidas.
b) Un procedimiento que establezca la manera de comenzar y finalizar la prueba, así como la forma en la que se seleccionaran de manera progresiva los mejores ítems.
c) Un método estadístico de estimación de los niveles de rasgo
Un Test Adaptativo Informatizado (TAI), es una prueba construida para fines de evaluación psicológica, cuyos ítems se presentan y responden a través del uso del ordenador, siendo su característica fundamental, el irse adaptando al nivel de competencia / habilidad /constructo que va manifestado el sujeto sometido a evaluación, siendo sus elementos básicos:
a) Un banco de ítems con propiedades psicométricas conocidas.
b) Un procedimiento que establezca la manera de comenzar y finalizar la prueba, así como la forma en la que se seleccionaran de manera progresiva los mejores ítems.
c) Un método estadístico de estimación de los niveles de rasgo
Cómo
funciona un TAI :
Cualquier tipo de Test se administra siguiendo un algoritmo de aplicación, esto es, respetando unas reglas que definen cual es el orden en que se le van a presentar los ítems al evaluando. Aunque existen multitud de algoritmos diferentes, todos ellos tienen una característica común, y es que se definen en base a respuestas como ¿Cuál es el primer ítem que se va a administrar?, ¿Qué ítem se va a administrar después de cada respuesta?, ¿Cuándo se deja de administrar ítems?
El algoritmo para el caso de un test convencional de lápiz y papel es sencillo, simplemente se comienza por el primer ítem de la hoja, se continúa respondiendo el siguiente ítem de la secuencia, y se finaliza cuando no quedan mas preguntas por contestar.
De hecho es en el caso de los TAI cuando la complejidad en los algoritmos de aplicación se hace patente, porque la secuencia de ítems administrados no se conoce a priori, sino que depende de las respuestas que el examinado ha dado a ítems previos.
La siguiente ilustración, nos muestra el diagrama de flujo de la aplicación de un TAI.
La mayoría de los TAI siguen estrategias de selección de ítems denominados como estrategias de ramificación variable, lo que significa que se realiza una estimación del nivel de rasgo tras la respuesta dada a cada uno de los ítems, a partir de la cual se seleccionará el siguiente ítem a presentar.
Una vez calibrados los ítems, la aplicación de este tipo de test requiere un algoritmo que incluya:
a)
Un procedimiento para determinar el primer ítem a presentar:
su elección dependerá de si se dispone o no de información previa
de los evaluandos. En el caso de que se disponga de la misma, ésta
puede considerarse como predictora del nivel de rasgo a evaluar y
realizar estimaciones mediante regresión para decidir el primer
nivel que se asignará a cada evaluando. Si no se dispone de
información alguna, puede comenzarse con una prueba de acceso,
permitir que el evaluando elija un nivel inicial, o elegir un ítem
al azar de dificultad media.b)
Un método estadístico para estimar después de cada respuesta un
nivel de rasgo provisional y la precisión asociada a dicha
estimación, entre los que
podemos mencionar el método de máxima verosimilitud o el de métodos
bayesianos. Ambos métodos presentan una serie de inconvenientes,
entre los cuales, podemos mencionar para el primero de los casos el
que no proporciona estimaciones finitas mientras un evaluando tiene
un patrón de respuestas constante, y en caso del segundo de los
métodos, podríamos mencionar que la estimación del nivel de rasgo
no depende únicamente del rendimiento del sujeto en particular, sino
de los valores de media y varianza que se asignan a la distribución
a priori del rasgo en la población de estudio.c)
Un algoritmo para la selección sucesiva de ítems:
En este caso, para un nivel de rasgo estimado de forma provisional,
se seleccionará el siguiente de los ítems mediante dos posibles
criterios: el criterio de máxima información, consistente en
seleccionar, de un banco de ítems en particular, aquel con mayor
nivel de información para el nivel de rasgo actual estimado, o,
mediante el criterio de máxima precisión esperada (método Owen),
consistente en elegir el ítem que proporciona una varianza menor de
la distribución posterior del nivel de rasgo. Este último criterio
se fundamente en el supuesto de distribución normal a priori de los
niveles de rasgo en la población.
No obstante, ambos criterios presentan un inconveniente común, y no es otro que el hecho de presentar muchas veces los ítems más discriminativos, lo cual puede tener como consecuencia que dichos ítems se difundan entre los evaluandos, poniendo en riesgo la seguridad del mismo test y por tanto, la validez de las puntuaciones estimadas a partir de los de las respuestas de los evaluandos.d) Un criterio para finalizar la presentación de ítems: esto es, la estimación definitiva del rasgo estudiado para el evaluando. Las posibilidades existentes son 4: un criterio de longitud variable, el cual detiene la aplicación cuando el error típico de medida desciende de un valor determinado, un criterio de longitud fija, consistente en parar el test tras la presentación de un determinado número de ítems, el tercer criterio seria una combinación de los dos anteriores, y por ultimo, el cuarto criterio, procedimiento especial de longitud variable, que consiste en dejar de presentar ítems cuando el nivel de rasgo estimado se aleja significativamente del punto de corte pre-establecido.
No obstante, ambos criterios presentan un inconveniente común, y no es otro que el hecho de presentar muchas veces los ítems más discriminativos, lo cual puede tener como consecuencia que dichos ítems se difundan entre los evaluandos, poniendo en riesgo la seguridad del mismo test y por tanto, la validez de las puntuaciones estimadas a partir de los de las respuestas de los evaluandos.d) Un criterio para finalizar la presentación de ítems: esto es, la estimación definitiva del rasgo estudiado para el evaluando. Las posibilidades existentes son 4: un criterio de longitud variable, el cual detiene la aplicación cuando el error típico de medida desciende de un valor determinado, un criterio de longitud fija, consistente en parar el test tras la presentación de un determinado número de ítems, el tercer criterio seria una combinación de los dos anteriores, y por ultimo, el cuarto criterio, procedimiento especial de longitud variable, que consiste en dejar de presentar ítems cuando el nivel de rasgo estimado se aleja significativamente del punto de corte pre-establecido.
La elección de uno u
otro, dependerá de los objetivos de la aplicación en cuestión.
El núcleo fundamental de un algoritmo adaptativo consiste en establecer la estrategia de selección progresiva de ítems que facilite una estimación precisa del nivel de rasgo con la presentación de un numero reducido de ítems para cada evaluando.
El núcleo fundamental de un algoritmo adaptativo consiste en establecer la estrategia de selección progresiva de ítems que facilite una estimación precisa del nivel de rasgo con la presentación de un numero reducido de ítems para cada evaluando.
En
resumen, la aplicación se
inicia con una determinada estrategia de arranque, que consiste en
establecer de alguna forma el nivel de rasgo inicial que se asigna al
evaluando y que determina de esta manera cual será el primer ítem
que se presentará. Después de que se produzca la primera respuesta
al ítem, mediante procedimientos bayesianos o de máxima
verosimilitud, se realiza una primera estimación del nivel de rasgo
evaluado. Aquí también se emplean procedimientos derivados de la
TRI para seleccionar el segundo de los ítems a presentar al
evaluando, considerando que sea apropiado para el primer ítem
provisionalmente aceptado.
De todo esto se desprende que, en cada paso del proceso, se procederá a la selección y presentación sucesiva de ítems, considerando el patrón de respuestas, aciertos o fallos, que se dan a los ítems precedentes para la estimación del nivel de rasgo provisional en ese preciso momento de la aplicación de los TAI.
No obstante, se requiere además, de algún criterio para dar por terminada la secuencia de presentación de ítems, que normalmente viene establecido por la consecución de un determinado grado de precisión o el establecimiento de una determinada longitud del mismo.
De todo esto se desprende que, en cada paso del proceso, se procederá a la selección y presentación sucesiva de ítems, considerando el patrón de respuestas, aciertos o fallos, que se dan a los ítems precedentes para la estimación del nivel de rasgo provisional en ese preciso momento de la aplicación de los TAI.
No obstante, se requiere además, de algún criterio para dar por terminada la secuencia de presentación de ítems, que normalmente viene establecido por la consecución de un determinado grado de precisión o el establecimiento de una determinada longitud del mismo.
Ventajas:
1993):
• Permite el almacenamiento de los datos sin etapas previas de codificación, escritura, etc.
• Posibilita la calificación inmediata de los sujetos en distintas variables, modelos de puntuación y baremos.
• Permite el diseño y el empleo de tests adaptados al sujeto.
• Facilita el registro de tiempo de latencia de la respuesta a cada ítem y de otras variables. Este aspecto es de gran importancia para el desarrollo de test actitudinales a partir del enfoque del procesamiento de la información.
• Los efectos negativos que la fatiga del evaluando pueda generar se reduce considerablemente.
• Permite el almacenamiento de los datos sin etapas previas de codificación, escritura, etc.
• Posibilita la calificación inmediata de los sujetos en distintas variables, modelos de puntuación y baremos.
• Permite el diseño y el empleo de tests adaptados al sujeto.
• Facilita el registro de tiempo de latencia de la respuesta a cada ítem y de otras variables. Este aspecto es de gran importancia para el desarrollo de test actitudinales a partir del enfoque del procesamiento de la información.
• Los efectos negativos que la fatiga del evaluando pueda generar se reduce considerablemente.
Reducción considerable
en el tiempo de administración.
Inconvenientes:
No obstante, también llevan consigo una serie de inconvenientes, los cuales se relacionan, en la mayoría de los casos, en lo referente al costo de los mismos, tanto de la aplicación en si, como lo que ello supone, tales como el mantenimiento y renovación de bancos de ítems, relación coste – amortización escasa, en el sentido, sobre todo en determinados ámbitos de aplicación, es decir, el empleo de forma adecuada a una amplia muestra de estudio, no solo a unos pocos sujetos cada un cierto periodo de tiempo, etc., tal y como establece Wainer (2000), el cual indica que, la aplicación de test adaptativos sólo resulta auténticamente útil bajo determinadas circunstancias, a saber, cuando el rasgo es muy difícil de medir sin el uso de un ordenador, cuando el tests ha de ofrecerse forma continuada y no solo unas pocas veces al año, etc.
No obstante, también llevan consigo una serie de inconvenientes, los cuales se relacionan, en la mayoría de los casos, en lo referente al costo de los mismos, tanto de la aplicación en si, como lo que ello supone, tales como el mantenimiento y renovación de bancos de ítems, relación coste – amortización escasa, en el sentido, sobre todo en determinados ámbitos de aplicación, es decir, el empleo de forma adecuada a una amplia muestra de estudio, no solo a unos pocos sujetos cada un cierto periodo de tiempo, etc., tal y como establece Wainer (2000), el cual indica que, la aplicación de test adaptativos sólo resulta auténticamente útil bajo determinadas circunstancias, a saber, cuando el rasgo es muy difícil de medir sin el uso de un ordenador, cuando el tests ha de ofrecerse forma continuada y no solo unas pocas veces al año, etc.
Los
TAI proporcionan innumerables ventajas frente a los procedimientos
clásicos de evaluación, pero debemos tener en cuenta que su
implantación no resulta fácil, pues el mero hecho de tener que
calibrar el banco de ítems a partir de grandes muestras de sujetos,
no siempre resulta viable e incluso ha llegado a frustrar muchos
proyectos e iniciativas hacia la construcción de este tipo de
tests.
En definitiva, el proceso de desarrollar un TAI es más complejo que redactar un conjunto de ítems en un soporte informático y administrarlos mediante algún tipo de software, pudiendo llegar a requerir varios años de trabajo.
Tal y como indicamos en uno de los puntos, la aplicación de test adaptativos sólo resulta auténticamente útil bajo determinadas circunstancias, a saber, cuando el rasgo es muy difícil de medir sin el uso de un ordenador, cuando el tests ha de ofrecerse forma continuada y no solo unas pocas veces al año, etc. (Wainer -2000-).
En definitiva, el proceso de desarrollar un TAI es más complejo que redactar un conjunto de ítems en un soporte informático y administrarlos mediante algún tipo de software, pudiendo llegar a requerir varios años de trabajo.
Tal y como indicamos en uno de los puntos, la aplicación de test adaptativos sólo resulta auténticamente útil bajo determinadas circunstancias, a saber, cuando el rasgo es muy difícil de medir sin el uso de un ordenador, cuando el tests ha de ofrecerse forma continuada y no solo unas pocas veces al año, etc. (Wainer -2000-).
