¿Son útiles los test de comprensión lectora para diseñar y evaluar los efectos de las intervenciones educativas? Críticas y algunas propuestas

Actualmente, contamos con diversos test estandarizados y comercializados que se emplean para medir la comprensión lectora. Su uso se encuentra bastante extendido y, sin embargo, su utilidad se ha ido poniendo en duda en la última década de forma continuada (Clemens y Fuchs, 2021; Kamhi y Catts, 2017; Keenan y Meenan, 2014). Dejo un pequeño resumen de algunas de las críticas que llaman a usar estos instrumentos con cautela.

                                        

1. Los diferentes test de comprensión lectora no parecen correlacionar fuertemente entre sí ni medir las mismas habilidades

En un estudio muy conocido, Keenan y Meenan (2014) obtuvieron una correlación media de tan solo .54  entre cuatro test estandarizados que evaluaban la comprensión lectora.  Se trata de una correlación más baja de la que teóricamente cabría esperar para instrumentos que están, teóricamente, midiendo el mismo constructo. Esto parecía ocurrir incluso teniendo en cuenta los potenciales fallos en la fiabilidad de los diferentes instrumentos. Cutting y Scarborough (2006), por su parte, encontraron que, en tres test usados frecuentemente en EEUU, solo el 25% de los niños detectados como malos comprendedores en alguna de las pruebas mostró tener dificultades en la comprensión lectora en los tres test. Calet et al. (2019) reportaron, igualmente, que diversos test de comprensión lectora en castellano correlacionaban modestamente entre sí. Clemens y Fuchs (2021) revisaron diferentes trabajos que señalaban cómo las características de los test de comprensión lectora hacen que estos puedan estar midiendo diversas habilidades. De esta forma:

1. La capacidad de decodificar, esto es, de leer las palabras de forma precisa y fluida es más relevante en aquellos instrumentos que implican la lectura de pasajes cortos o completar preguntas tipo cloze.
2. Las habilidades relacionadas con el lenguaje oral son más importantes en test largos y en instrumentos que miden las respuestas verbalmente.
3. Los conocimientos previos tienen más influencia cuando las pruebas incorporan textos informativos que cuando incorporan textos narrativos.
4. Las pruebas muy largas parecen dar ventaja a los niños con mejores habilidades de autorregulación.

2. La comprensión lectora no es una habilidad unitaria: los test que la evalúan no suelen ayudar al diseño de la respuesta educativa

La comprensión lectora no es una habilidad unitaria (Kamhi y Catts, 2017). Algunos modelos (como el DIME; Ahmed et al., 2016) indican que la comprensión lectora es un constructo complejo que se compone de diversas habilidades (la decodificación, los conocimientos previos sobre el tema, el vocabulario, la capacidad de autorregulación o las habilidades inferenciales) que están interrelacionadas entre sí. Dichas habilidades, además, generan una interacción con al menos dos cosas más: a) las características concretas del texto que el niño enfrenta y b) el tipo de tareas diseñadas para la evaluación (respuestas abiertas, de verdadero o falso, de elección múltiple...). Siguiendo a Kamhi y Catts (2017), resulta difícil concebir cómo una puntuación global en un test de comprensión lectora puede orientar una respuesta educativa concreta y específica sobre una habilidad compleja y multidimensional.

3. Los test en comprensión lectora no evalúan el efecto que tienen las intervenciones que actúan sobre aspectos mediacionales

Puesto que la comprensión lectora es una habilidad compleja, las intervenciones suelen abordar aspectos mediacionales, es decir, desarrollan habilidades específicas que influyen en la comprensión lectora (Clemens y Fuchs, 2021). De esta forma contamos con intervenciones para la mejora de la capacidad inferencial (Hall, 2016), la aplicación de estrategias eficaces (Filderman et al., 2021) o centradas en la mejora del lenguaje oral (Clarke et al., 2010). Clemens y Fuchs (2021) cuestionan el sinsentido de que algunas intervenciones hayan medido, por ejemplo, la mejora de las habilidades inferenciales, que ayudan a los niños a manejar información implícita en el texto, mediante la administración de pruebas estandarizadas que evalúan la comprensión de textos muy cortos, dónde las habilidades inferenciales son menos importantes. 

El problema: la necesidad de evaluar la transferencia con medidas distales

Sin embargo, es fácil argumentar que las intervenciones en comprensión lectora deben tener algún tipo de aprendizaje cuya transferencia vaya más allá de la mejora en tareas cercanas a las que se han abordado en la intervención. ¿Cómo evaluar esa transferencia de forma razonable? Últimamente contamos con algunas ideas que tienen bastante interés. 

Una interesante propuesta (Patton et al., 2022)

Patton et al. (2022) aplicaron en los grados 4 y 5 de la enseñanza elemental un programa de intervención cuya finalidad era la de mejorar la comprensión lectora de los textos de ciencias sociales y naturales. Se diseñó una intervención para la mejora de la comprensión lectora que dividía la intervención en tres fases (antes, durante y tras la lectura) y que incorporaba la enseñanza de vocabulario, conocimientos previos, el estudio de la estructura del texto, realizar predicciones sobre el contenido, así como la aplicación de diferentes estrategias para clarificar el texto, comprender sus características y extraer las ideas principales Los niños fueron asignados de forma aleatoria a uno de estos tres grupos:

1. Comprensión + transferencia: en este grupo los niños recibían la intervención en comprensión lectora y los profesionales les enseñaban, simultáneamente, estrategias para transferir lo aprendido a textos no trabajados.
2. Solo comprensión: en este grupo los niños recibían, únicamente, la intervención en comprensión lectora.
3. Grupo control: este grupo recibió la respuesta educativa habitual que se daba en su centro educativo.

Lo interesante del estudio es que Patton et al. (2022) usaron tres niveles de transferencia para evaluar los efectos de la intervención. Transferencia cercana: pruebas muy similares a los materiales de intervención. Transferencia media: pruebas con un grado menor de similitud a los materiales de intervención. Transferencia lejana: un test totalmente diferente a los materiales trabajados en intervención. Los dos primeros niveles de transferencia se evaluaban con pruebas validadas por los propios investigadores y la última era un test comercializado de comprensión lectora. El grupo comprensión + transferencia superó los resultados del grupo control en 1.30, .71 y .18 desviaciones típicas en las tres medidas de transferencia. El grupo de solo comprensión obtuvo unos resultados respecto al grupo control de 1.23, 0.53 y -.05 desviaciones típicas. Estos resultados son interesantes por lo siguiente:

1. Apoyan lo que sabemos respecto a las dificultades para transferir las mejoras observadas en comprensión lectora a textos que difieren enormemente de los vistos durante la intervención.
2. Apoyan que es posible diseñar las intervenciones para que se mejore esa transferencia. Esta última parte quizá merezca una entrada más adelante.

Clemens et al. (2021) detallan, en esa línea, un paradigma para evaluar las intervenciones en comprensión lectora mediante cuatro niveles de transferencia. He tratado de describirlos en la siguiente imagen.

Conclusiones

De estas últimas aportaciones es posible sacar dos apuntes interesantes:

1. Los test comercializados de comprensión lectora no parecen medir, en todos los casos, las mismas habilidades. Además, la puntuación global en los mismos no parece ser enormemente útil para enfocar las intervenciones en una habilidad tan compleja como la comprensión lectora.
2. Usar diversos niveles de transferencia para evaluar las intervenciones en comprensión lectora y desarrollar en los niños habilidades para transferir las mejoras conseguidas a otros contextos puede ser muy útil.

Referencias

Ahmed, Y., Francis, D. J., York, M., Fletcher, J. M., Barnes, M. y Kulesz, P. (2016). Validation of the direct and inferential mediation (DIME) model of reading comprehension in grades 7 through 12. Contemporary Educational Psychology, 44, 68-82.

Clemens, N. H. y Fuchs, D. (2021). Commercially Developed Tests of Reading Comprehension: Gold Standard or Fool’s Gold?. Reading Research Quarterly, 57(2), 385-397.

Calet, N., López‐Reyes, R., y Jiménez‐Fernández, G. (2020). Do reading comprehension assessment tests result in the same reading profile? A study of Spanish primary school children. Journal of Research in Reading, 43: 98– 115.

Clarke, P. J., Snowling, M. J., Truelove, E. y Hulme, C. (2010). Ameliorating children’s reading-comprehension difficulties: A randomized controlled trial. Psychological science, 21(8), 1106-1116.

Cutting, L. E., y Scarborough, H. S. (2006). Prediction of reading comprehension: Relative contributions of word recognition, language proficiency, and other cognitive skills can depend on how comprehension is measured. Scientific studies of reading, 10(3), 277-299.

Filderman, M. J., Austin, C. R., Boucher, A. N., O’Donnell, K. y Swanson, E. A. (2022). A Meta-Analysis of the Effects of Reading Comprehension Interventions on the Reading Comprehension Outcomes of Struggling Readers in Third Through 12th Grades. Exceptional Children, 88(2), 163-184.

Hall, C. S. (2016). Inference instruction for struggling readers: A synthesis of intervention research. Educational Psychology Review, 28(1), 1-22.

Kamhi, A. G. y Catts, H. W. (2017). Epilogue: Reading comprehension is not a single ability—Implications for assessment and instruction. Language, speech, and hearing services in schools, 48(2), 104-107.

Keenan, J. M., y Meenan, C. E. (2014). Test differences in diagnosing reading comprehension deficits. Journal of learning disabilities, 47(2), 125-135.

Patton, S. A., Fuchs, D., Hendricks, E. L., Pennell, A. J., Walsh, M. E., Fuchs, L. S., Tracy, W. Z., Haga, L. Y. (2022). An Experimental Study to Strengthen Students’ Comprehension of Informational Texts: Is Teaching for Transfer Important?. Learning Disabilities Research y Practice, 00, 1– 15. https://doi.org/10.1111/ldrp.12276