Recientemente se han publicado los resultados del Informe del Proyecto PISA (evaluación de competencias en Matemáticas, Ciencias y Comprensión Lectora en alumnado de 15 años) sobre la evaluación de los sistemas educativos de los países de la OCDE. Desde principios del s. XXI, siempre que se presentan los resultados del Informe PISA los comentarios que realizan políticos y medios de comunicación respecto a los resultados de España son llamativos. Incluso estos resultados fueron argumento para proponer la LOMCE, indicando que en España eran muy malos, cuando en realidad se situaba en la media de los países de la OCDE y de la UE.

En esta ocasión, los resultados dan más que hablar. Se observa que hay una bajada de resultados promedios en toda España, en general y por CCAA, a la vez que el propio staff de PISA ha advertido de resultados inexplicables referidos a que en un 5% aproximadamente de la muestra se han detectado lo que técnicamente identificamos como «seriación de respuesta» y «respuesta al azar en menor tiempo». Esta situación que «todavía se está investigando» para poderla explicar, técnicamente parece claramente explicable. La seriación se refiere a que los alumnos han respondido a todas las preguntas poniendo la misma respuesta y en menor tiempo que el esperado y la respuesta al azar, se asocia al menor tiempo en responder (se controla el tiempo que se tarda en responder porque se aplica mediante ordenador); es decir, en ambos casos se ha hecho lo que se hace cuando no se quiere responder a una encuesta: rellenar la encuesta sin mirar tan siquiera las preguntas.

Otro tema: las pruebas de uno a otro año no incluyen las mismas preguntas y, aunque existen sistemas de igualación entre las pruebas de diversos años, pueden fallar y no ser comparables.

El problema que deberíamos plantear a la OCDE es que PISA ofrece una evaluación que no responde a lo que se pretende: no evalúa calidad de sistemas educativos. Tan sólo ofrece un ránking (como si fuera el resultado de una carrera de fórmula 1) en el que se ordenan países. Políticos y medios de comunicación se quedan mirando el orden. No analizan si las distancias son estadísticamente significativas o no, tampoco se plantean cómo son las pruebas, si se ajustan a nuestro sistema educativo más o menos que a otros sistemas (no se ha estudiado nunca si representan mejor o peor el currículum de cada uno de los países; por lo que es posible que el orden dependa en parte de la distancia entre el currículum nacional o de las CCAA y el tipo de prueba: a más distancia, peor posición ¿quién sabe?). Tampoco se ha analizado la Validez Cultural de las pruebas y, sin embargo, estudios que se realizaron hace ya años acerca de la validez de la traducción de las pruebas para países de habla hispana pusieron de manifiesto que el sistema de diseño de preguntas implicaba que, al traducirse al español, en muchas de ellas, había errores. De este tipo de problemas los docentes suelen ser conscientes y el alumnado también (tienen 15 años; no son niños de 3 ó 6 añitos) y están ya hartos de que se les quite su tiempo para un ejercicio evaluativo al que no le ven utilidad. En muchas instituciones nacionales de evaluación están profundamente preocupados acerca de cómo motivar al alumnado para que responda con seriedad a este tipo de pruebas. El problema no es de ahora. En otros países ese 5% que se ha detectado aquí se dio antes y en mayor porcentaje.

La cuestión central es si evaluar es para mejorar ¿por qué no se plantean realizar evaluaciones que realmente impliquen una mejora? En nuestro país, la respuesta es bipolar: unos a favor de evaluar tomando los resultados de evaluaciones mal diseñadas como si ofrecieran la palabra divina y, por el contrario, ante esas malas evaluaciones, la respuesta alternativa es simplemente no evaluar. Por ello, en más de una comunidad autónoma se han dejado de realizar las evaluaciones diagnósticas españolas y de las propias CCAA. Hay alternativas de hacer una evaluación que ayude a la mejora y, con seguridad, motivarían al profesorado porque la gran mayoría está comprometido en mejorar la educación y buscan ayuda. Si la evaluación ayudara, la aceptarían y al alumnado lo motivarían.

No hace falta crear alarmas sobre los puntos que han bajado las CCAA y España en PISA, porque la calidad de la educación en tres años no varía tanto. ¿No se dan cuenta de que es más realista encontrar la explicación a ese hecho en fenómenos como la falta de motivación para responder o las deficiencias en el diseño de pruebas?