No se esperaban grandes sorpresas, sobre los resultados de la enseñanza en Uruguay mediados a través del indicador PISA, por lo que se estimó que serían más o menos similares a los de ciclos anteriores. En una primera mirada rápida llamó la atención, positivamente, que había una mejora entre 2012 y 2015, si bien en el largo plazo (desde 2003 en adelante) los resultados aparecían como bastante estables.
La “ficha técnica” de las encuestas de opinión pública, y los anexos metodológicos del Volumen I del Informe de la OCDE. señalan en su Anexo A5: “Cambios en la administración y escalamiento de PISA 2015 e implicaciones para los análisis de tendencias”, me encontré con una sorpresa.
En ese Anexo la OCDE explica una serie de cambios metodológicos en la forma en que se calcularon los promedios por país. Se trata de un procedimiento muy complejo: para realizar comparaciones con mediciones anteriores es necesario asegurarse de que los cambios de los resultados estimados no sean consecuencia de cambios en las pruebas o en las muestras, sino de cambios reales en los desempeños de los estudiantes.
Es un poco largo de explicar, intentaremos hacerlo el próximo martes en la columna de Educación de No Toquen Nada.
La cuestión es que en este Anexo se explica que los cambios introducidos en el modo de estimar los puntajes permitirán mejorar las futuras comparaciones en el tiempo, pero pueden afectar las comparaciones hacia atrás, con las mediciones anteriores.
El Informe indica que esto último efectivamente ocurrió para varios países, lo que obligó a hacer una estimación específica. Y pone a texto expreso las siguientes afirmaciones:
a) en Ciencias, las estimaciones fueron afectadas en Colombia, Chile, Brasil, Indonesia y Uruguay. En estos países los cambios en los puntajes obedecen a los cambios metodológicos y no a mejoras en los desempeños.
Traduzco textualmente: “Estos países hubiesen tenido tendencias menos positivas si los puntajes promedio de las mediciones anteriores hubiesen sido reportados sobre la base de escalamiento de PISA 2015… una causa posible para estas diferencias es la nueva forma de considerar las preguntas no alcanzadas por los estudiantes. En todos estos países, muchos estudiantes no llegaron a responder las preguntas ubicadas al final de las pruebas”.
b) en Lectura, las estimaciones resultaron afectadas en los siguientes países: Corea, Tailandia, Dinamarca, Estonia, Holanda, Colombia, Trinidad y Tobago, Perú, Moldavia y Uruguay.
c) en Matemática los países en que es necesario recalcular las tendencias son: Taipei, Vietnam, Turquía, Albania, Uruguay y Singapur.
En el resto de los países las estimaciones de tendencias no fueron afectadas. Todo esto se encuentra consignado en la página 308 del Volumen I del Informe de la OCDE sobre PISA 2015.
Al final del Anexo se incluye un link a una serie de tablas en las que constan los datos resultantes de la revisión de las tendencias, es decir, qué puntaje hubiese tenido cada país en los ciclos anteriores, utilizando la metodología de estimación de puntajes de 2015. Para Uruguay los datos incluidos en esas tablas son los siguientes:
En Ciencias:
2006 = 445
2009 = 440
2012 = 429
2015 = 436
Entre 2012 y 2015 la mejora fue de 7 puntos. Entre 2006 y 2015 hubo una caída de 9 puntos. Ninguno de estos cambios es estadísticamente significativo.
En Lectura:
2006 = 427
2009 = 435
2012 = 424
2015 = 437
En Matemática:
2006 = 437
2009 = 435
2012 = 417
2015 = 418
El lector interesado puede descargar estas tablas en: http://dx.doi.org/10.1787/888933433162
En síntesis, la medición de tendencias es estadísticamente compleja. No hubo grandes cambios a lo largo de los 12 años de evaluaciones PISA en Uruguay, salvo una pequeña caída en Matemática.
Con información de 180.com.uy
