1. Trabajo como profesional e investigador independiente, sin vínculo con ningún partido político. No me mueve un interés particular en inclinar la percepción pública sobre la educación hacia un lado o hacia otro. Tampoco una intención de atacar a la ANEP ni a sus equipos técnicos. Simplemente leí con atención el Informe de la OCDE y encontré elementos suficientes para advertir que había una lectura equivocada de las tendencias en el tiempo y que es importante corregir esos datos para poder hacer un análisis adecuado de la situación de nuestro país.
2. No es cierto que se trata de Anexo raro perdido al final del informe, ni de un “ejercicio metodológico” o una “simulación” de datos realizada por la OCDE por fuera de su Informe principal. El Anexo en cuestión tiene como título “Cambios en la administración y escalamiento de PISA 2015 e implicaciones para los análisis de tendencias”. Es un Anexo especialmente importante porque explica los cambios metodológicos que hubo en 2015 en el cálculo de los resultados y cómo dichos cambios inciden en la comparación con los resultados de los ciclos anteriores. Y, en particular, qué países deben tener especial cuidado al analizar dichas tendencias.
3. A lo largo de todo el Informe, cada vez que se presentan comparaciones en el tiempo, la OCDE advierte al lector que hubo un cambio de metodología en 2015 y se le remite al Anexo A5 para analizar el impacto de estos cambios en las tendencias. Véanse por ejemplo las páginas 46, 153 y 182 del Informe principal de la OCDE. Finalmente, en la página 308 del Anexo A5 se indica expresamente que, en Ciencias, las comparaciones en el tiempo se vieron afectadas en Colombia, Chile, Brasil, Indonesia y Uruguay. En estos países los cambios en los puntajes obedecen a los cambios metodológicos y no a mejoras en los desempeños. Traduzco textualmente: “Estos países hubiesen tenido tendencias menos positivas si los puntajes promedio de las mediciones anteriores hubiesen sido reportados sobre la base de escalamiento de PISA 2015”.
4. En la página 306 se explica la razón principal de este problema: “hubo cambios en el tratamiento de las preguntas no alcanzadas. En PISA 2015, las preguntas no alcanzadas (i.e. las que quedan sin responder al final de los cuadernillos de pruebas) fueron tratadas como no administradas, mientras que en los ciclos previos de PISA habían sido consideradas como respuestas incorrectas... Este nuevo tratamiento de las preguntas no alcanzadas puede resultar en puntajes más altos de los que habrían sido estimados en el pasado en países con muchas preguntas sin responder”.
5. Para explicar al lector de manera sencilla qué significa lo anterior, vale el siguiente ejemplo. Imagine que un estudiante de Medicina se presenta a un examen que tiene 100 preguntas (algo habitual en dicha Facultad). Un estudiante responde 80 de las 100 preguntas y deja sin responder las últimas 20 porque no le alcanza el tiempo. De las 80 respuestas dadas, 40 con correctas y 40 son incorrectas. El resultado final para este estudiante es de 40 puntos, porque las preguntas no respondidas valen ‘0’ punto.
Pero al año siguiente la Facultad modifica el criterio de corrección y decide no tener en cuenta en el puntaje final las preguntas “no alcanzadas”, es decir, aquellas para que el estudiante no tuvo tiempo de responder. Un estudiante B rinde el examen y responde las mismas 80 preguntas, responde 40 en forma correcta y 40 en forma incorrecta. Las mismas que el estudiante A. Sin embargo, ahora la Facultad no tiene en cuenta las “no alcanzadas”. Por tanto, el estudiante B tiene 40 puntos sobre 80, es decir, 50 sobre 100. Tuvo un resultado 10 puntos superior al del estudiante A, pero sabe exactamente lo mismo. El cambio en el puntaje de estos estudiantes, y del promedio de toda su generación, mejora como consecuencia del cambio en el tratamiento de las preguntas no alcanzadas. Esto es lo que ocurrió con los resultados de PISA en 2015 con respecto a los ciclos anteriores.
6. Por lo explicado, el Director de la División de Investigación, Evaluación y Estadística (DIEE) de ANEP, Andrés Peri, se equivoca cuando afirma que: “El ciclo 2015 mostró mejoras entre los estudiantes de los sectores más vulnerables. Hay ofertas educativas que crecen más de 50 puntos entre 2012 y 2015”. O cuando señala que: “De la misma forma que se toma el último valor de desempleo y se lo compara con el mes anterior y con la tendencia pasada, si uno mira la tabla anterior, concluye que Uruguay mejora sobre 2012 en todas las áreas (coyuntura de tres años), y si analiza toda la serie concluye que el resultado 2015 es el mayor valor de la serie en Ciencias y en Lectura”. Se equivoca porque, como consecuencia del cambio metodológico los datos no son comparables en Uruguay. Sí lo son en la mayoría de los países, tal como se explica en el propio Anexo A5 (de allí que la OCDE haya publicado esas tablas en el cuerpo principal del Informe). Lo que omitió la OCDE fue incluir un asterisco en cada cuadro indicando que los datos de tendencias estaban sobreestimados en algunos países. Pero las advertencias estaban en el texto del cuerpo principal del Informe.
7. De nuevo, para que el lector comprenda. La situación es equivalente a un cambio en la metodología de medición de la “línea de pobreza” por parte del Instituto Nacional de Estadísticas. Si no hay cambio en la metodología, no hay problema en comparar los nuevos datos con los anteriores Pero cuando hubo un cambio en la metodología fue necesario revisar todas las estimaciones previas para poder establecer tendencias.
8. Es preciso agregar, además, que en Uruguay sabíamos que tenemos un problema con la cantidad de preguntas no respondidas por los alumnos. Este tema ocupó 7 páginas en el Informe de Resultados de la ANEP en 2012 (páginas 143 a 149). Allí se mostraba que una parte de los malos resultados de Uruguay en Matemática obedecía a que la tasa de preguntas sin responder de Uruguay era una de las más altas de los países participantes y el doble del promedio de la OCDE. De allí que, al dejar de considerarlas como incorrectas, los puntajes mejoren aún cuando los aprendizajes no. De hecho, Uruguay fue el único país cuyos resultados se vieron afectados en todas las áreas (Ciencias, Lectura y Matemática).
9. Como consecuencia de lo anterior, no tenemos evidencia, por ahora y hasta tanto no se recalculen los resultados de ciclos anteriores en nuestro país, para afirmar que los estudiantes de peor desempeño mejoraron más que el resto. No podemos saber si esto es así o si, como en el ejemplo antes planteado, la mejora es consecuencia de que estos estudiantes dejan muchas preguntas en blanco y en este ciclo no fueron consideradas incorrectas. Tampoco podemos hacer análisis válidos y confiables de tendencias por quintiles, tipo de centro educativo, área geográfica ni ningún otro.
10. Estoy convencido de que en todo esto no hubo mala fe ni intención de tergiversar los datos. Hubo sí descuido, cierto apresuramiento y falta de prudencia en reportar datos de tendencias, cuando existían todas estas advertencias para nuestro país. Ante esta situación lo más prudente hubiese sido postergar los análisis retrospectivos y concentrarse en los datos de 2015. Si algo sobra en PISA son datos para analizar, de todo tipo: actitudes hacia la ciencia, familiaridad con las tecnologías, datos de los centros de enseñanza, la apertura de datos en los componentes principales de Ciencias...Y esperar a tener una estrategia apropiada para lidiar con el cambio en la metodología de estimación de puntajes de 2015.
11. Es importante señalar que muchos otros países tuvieron este tipo de problemas. Hasta el BID utilizó en sus boletines los datos sin corregir. Perú no publicó su informe nacional y va a publicar las dos tablas juntas, con los datos corregidos y sin corregir. Suiza canceló la publicación de su informe nacional hasta que la OCDE aclare la situación y emitió un comunicado formal al respecto. Con esto quiero decir en varios países hubo confusión, no fue algo exclusivo de Uruguay. Al mismo tiempo, el que otros se hayan equivocado no significa que el error no sea tal. En particular en nuestro país, que fue el más afectado por la situación. Significa sí, en mi opinión, que no hubo mala voluntad ni negligencia.
12. Para finalizar, una breve mención a la nota publicada por Peri en La Diaria: “Nosotros hemos hecho una consulta a la OCDE y la respuesta de Andreas Schleicher (Director de Educación de la OCDE) fue la siguiente: “La comparación con el Anexo A5 no debe utilizarse para arrojar dudas sino para comprender las fuentes de esa mejora”. Esto es correcto y estoy completamente de acuerdo. Hay que usar el Anexo A5 para comprender las fuentes de la mejora. Esto es lo que no hizo la DIEE (reitero, no por negligencia sino por descuido): comprender que la principal fuente de mejora en los puntajes en Uruguay radica en que hasta 2012 las respuestas en blanco de los estudiantes se consideraban incorrectas y, a partir de 2015, se las considera como no alcanzadas y se las retira de la estimación de puntajes.
En definitiva, el título de mi columna anterior estuvo equivocado. Los resultados de Uruguay en PISA sí mejoraron en 2015 (como consecuencia del cambio en la metodología). Los que no mejoraron fueron los aprendizajes de nuestros estudiantes.
Lee también: Los resultados de Uruguay en PISA no mejoraron, por Pedro Ravela.
Las opiniones vertidas en las columnas son responsabilidad de los autores y no reflejan necesariamente posiciones del Portal 180.
