A lo largo del día me dediqué a bajar y revisar los informes, tanto los de la OCDE como los de países como México y Chile. Al mismo tiempo miraba las noticias. Me generó cierta sonrisa la metida de pata del diario El País, que se adelantó a decir que los resultados eran los peores de la historia. No es nuevo en ese diario. Luego empecé a escuchar las declaraciones excesivamente optimistas de algunas autoridades, hablando de “cambios sustantivos”.
En mi opinión, ni hubo una “debacle educativa” en 2012, ni hubo “cambios sustantivos” en 2015. En general mi posición es no dramatizar con estos datos. En 2012 expresé públicamente que si bien los resultados habían caído algo, eso era razonable en un contexto de aumento de cobertura (ingreso de más alumnos en la educación media básica) sin cambios en lo que se hace dentro de las aulas. Bajo esas condiciones, no cabía esperar cambios en los resultados. No compartí el tono catastrófico de los partidos de oposición.
Hoy (miércoles) me dediqué a mirar con más detalle los informes. Al igual que se hace con la “ficha técnica” de las encuestas de opinión pública, me puse a leer los anexos metodológicos del Volumen I del Informe de la OCDE.
Al llegar al Anexo A5, “Cambios en la administración y escalamiento de PISA 2015 e implicaciones para los análisis de tendencias”, me encontré con una sorpresa. En ese Anexo la OCDE explica una serie de cambios metodológicos en la forma en que se calcularon los promedios por país. Se trata de un procedimiento muy complejo: para realizar comparaciones con mediciones anteriores es necesario asegurarse de que los cambios de los resultados estimados no sean consecuencia de cambios en las pruebas o en las muestras, sino de cambios reales en los desempeños de los estudiantes.
Es un poco largo de explicar, intentaremos hacerlo el próximo martes en la columna de Educación de No Toquen Nada.
La cuestión es que en este Anexo se explica que los cambios introducidos en el modo de estimar los puntajes permitirán mejorar las futuras comparaciones en el tiempo, pero pueden afectar las comparaciones hacia atrás, con las mediciones anteriores.
El Informe indica que esto último efectivamente ocurrió para varios países, lo que obligó a hacer una estimación específica. Y pone a texto expreso las siguientes afirmaciones:
a) en Ciencias, las estimaciones fueron afectadas en Colombia, Chile, Brasil, Indonesia y Uruguay. En estos países los cambios en los puntajes obedecen a los cambios metodológicos y no a mejoras en los desempeños. Traduzco textualmente: “Estos países hubiesen tenido tendencias menos positivas si los puntajes promedio de las mediciones anteriores hubiesen sido reportados sobre la base de escalamiento de PISA 2015… una causa posible para estas diferencias es la nueva forma de considerar las preguntas no alcanzadas por los estudiantes. En todos estos países, muchos estudiantes no llegaron a responder las preguntas ubicadas al final de las pruebas”.
b) en Lectura, las estimaciones resultaron afectadas en los siguientes países: Corea, Tailandia, Dinamarca, Estonia, Holanda, Colombia, Trinidad y Tobago, Perú, Moldavia y Uruguay.
c) en Matemática los países en que es necesario recalcular las tendencias son: Taipei, Vietnam, Turquía, Albania, Uruguay y Singapur.
En el resto de los países las estimaciones de tendencias no fueron afectadas. Todo esto se encuentra consignado en la página 308 del Volumen I del Informe de la OCDE sobre PISA 2015.
Al final del Anexo se incluye un link a una serie de tablas en las que constan los datos resultantes de la revisión de las tendencias, es decir, qué puntaje hubiese tenido cada país en los ciclos anteriores, utilizando la metodología de estimación de puntajes de 2015. Para Uruguay los datos incluidos en esas tablas son los siguientes:
En Ciencias:
2006 = 445
2009 = 440
2012 = 429
2015 = 436
Entre 2012 y 2015 la mejora fue de 7 puntos. Entre 2006 y 2015 hubo una caída de 9 puntos. Ninguno de estos cambios es estadísticamente significativo.
En Lectura:
2006 = 427
2009 = 435
2012 = 424
2015 = 437
En Matemática:
2006 = 437
2009 = 435
2012 = 417
2015 = 418
El lector interesado puede descargar estas tablas en: http://dx.doi.org/10.1787/888933433162
En síntesis, la medición de tendencias es estadísticamente compleja. No hubo grandes cambios a lo largo de los 12 años de evaluaciones PISA en Uruguay, salvo una pequeña caída en Matemática.
Las opiniones vertidas en las columnas son responsabilidad de los autores y no reflejan necesariamente posiciones del Portal 180.
