Programa Internacional de Evaluación de Estudiantes (PISA)
La semana pasada, durante el revuelo que causó un comunicado del Departamento o área de Educación de la Organización para la Cooperación y el Desarrollo Económico (OCDE), organismo que diseña las pruebas del Programa Internacional de Evaluación de Estudiantes (PISA por sus siglas en inglés), en el sentido de que el gobierno mexicano no aplicaría la prueba en su versión o edición más reciente, varios observadoras y observadores nos dimos a la tarea de revisar la información disponible al respecto.
El desmentido: Según el boletín de prensa No. 88 de la SEP: “La secretaria de Educación Pública, Delfina Gómez Álvarez, informó que no será suspendida la prueba del Programa para la Evaluación Internacional de Alumnos (PISA), y que para el próximo año está programada la aplicación internacional, con una fase piloto que sirva de antecedente, para ser aplicada este año.” Por lo tanto, el rumor de la no aplicación de la evaluación internacional de estudiantes (de 15 años de edad) en México, quedó despejado.
La Mtra. Delfina “Puntualizó que es voluntad de la dependencia a su cargo continuar con la aplicación de la prueba PISA, y reconoció la importancia que tiene la evaluación para las maestras y maestros como un diagnóstico para detectar las fortalezas y debilidades que contribuyan a un plan de trabajo con base en los resultados que se obtengan.”
¿Qué evalúa PISA?
La ficha técnica de la evaluación PISA (1) indica que ésta: “… evalúa hasta qué punto los estudiantes, que están a punto de concluir su educación obligatoria, han adquirido los conocimientos y habilidades fundamentales para una participación plena en las sociedades modernas. La evaluación se centra en las materias escolares básicas de Ciencia, Lectura y Matemáticas. También se evalúan las capacidades de los alumnos en un ámbito innovador (en 2015, ese ámbito fue la resolución colaborativa de problemas).”
“La evaluación no determina únicamente si los estudiantes pueden reproducir lo que han aprendido, sino que también examina cómo pueden extrapolar lo que han aprendido y aplicar ese conocimiento en circunstancias desconocidas, tanto dentro como fuera de la escuela. Este enfoque refleja el hecho de que las economías modernas recompensan a los individuos no por lo que saben, sino por lo que pueden hacer con lo que saben”. (Tomado del Informe 2015, p. 3, versión digital)
La visión “economicista” de la Prueba PISA es quizá uno de sus inconvenientes principales, que han sido señalados por los especialistas, porque ésta no evalúa otro tipo de habilidades distintas de aquellas que son identificadas como del tipo “llave” (key skills), en términos de las llamadas “competencias educativas” (que puedan ser evaluadas por su desempeño).
¿Acaso no hay otros procesos de aprendizaje escolar que, hasta el momento, no han sido evaluados por esos proyectos internacionales y nacionales, tales como son los casos de los aprendizajes generados a través de la educación artística, la educación física, la formación cívica y ética, o la formación en ciencias sociales y humanas? Más que pensar en las evaluaciones educativas de las y los jóvenes para el mundo del trabajo y los círculos de la mercancía (con visión instrumental) ¿no sería conveniente evaluar los procesos educativos y aprendizajes que están implicados a lo largo de la vida?
Por otra parte, el contexto social e institucional en que se llevan a efecto dichos procesos de aprendizaje y las oportunidades para transferirlo a distintos escenarios (laborales o no laborales), son aspectos aparte que habrán de tomarse en cuenta, para arribar a conclusiones más completas sobre el estado en que se encuentran los sistemas educativos nacionales.
Por eso, cada día se habla con más frecuencia sobre la pertinencia de diseñar y llevar a cabo evaluaciones situadas. Para ello, los expertos en evaluación educativa consideran que será importante revisar tanto las aplicaciones de las pruebas como los resultados de manera estratificada: ¿Los jóvenes evaluados están matriculados en la escuela pública o privada? ¿Cuál es el grado de escolaridad de los padres? ¿En qué condiciones sociales, económicas y culturales viven estos jóvenes? Al respecto, tengo entendido que en las versiones 2012 y 2015 de PISA se trabajaron estos aspectos contextuales durante la evaluación.
Una de diversas críticas internas
Aun cuando se ha dado y existe un amplio debate científico técnico sobre esta evaluación estandarizada, tanto en lo que concierne a los aspectos macro sociales como en la consistencia interna de la prueba referida, uno de los textos, con visión crítica, que encontré en internet para identificar las fortalezas y áreas de oportunidad metodológicas de la prueba en cuestión, es el que lleva por título: “Una crítica metodológica de las evaluaciones PISA”, escrito por Antonio Fernandez-Cano, de la Universidad de Granada, España.
Fernández-Cano escribe en el resumen general del artículo científico lo siguiente: “En este trabajo realizamos una evaluación metodológica de las evaluaciones internacionales PISA, presentando un análisis crítico de sus deficiencias y limitaciones.”
“Presentamos una revisión metodológica o meta-evaluación de los múltiples informes PISA, en un intento de demostrar la validez plausible de las inferencias que PISA mantiene, teniendo en cuenta una serie de limitaciones metodológicas tales como: una lógica incoherente, toma de muestras opacas, diseño evaluativo inestable, instrumentos de medición de validez cuestionables, el uso oportunista de las puntuaciones transformadas por la normalización, la confianza reverencial en la significación estadística, la ausencia de estadísticas sustantivamente importantes centradas en las magnitudes de los efectos, una presentación problemática de los hallazgos e implicaciones cuestionables extraídas de los resultados para las prácticas y las legislaciones educativas.
“Recae sobre PISA la responsabilidad de proporcionar y demostrar mayor rigor metodológico en los futuros informes técnicos y la consiguiente necesidad de ser cuidadosos para no mostrar inferencias sin fundamento a partir de sus hallazgos.” (2)
Fragmentos importantes del texto de Fernández-Cano
“Los factores explicativos que PISA propone como relevantes son de naturaleza correlacional y no causal; en consecuencia, ninguna decisión causal puede generalizarse como subrepticiamente hace PISA utilizando modelos de regresión múltiple o modelo de multinivel.”
“Estos modelos son estadísticos y no admiten relaciones causales por mucho que los hallazgos de PISA obtenidos y expuestos en los propios informes sean erradamente interpretados como inferencias causales ad nauseam; una relación sobre advertencias acerca de inferencias en PISA 2009 puede leerse en Ercikan, Roth y Asil (2015). Concretamente su inferencias sobre los que hace que las escuelas sean exitosas (OECD, 2015b; Vol. IV); la relación entre alumnos y dinero-gasto (OECD, 2015b; Vol. VI); la causación espuria por única y lineal de que la predisposición para el aprendizaje es condicionada por el compromiso, dirección y auto-creencias del alumno (OECD, 2015b; Vol. III)”
“El contenido de la pruebas PISA se define antes bien por el juicio de expertos nacionales (un supervisor por país) que por una derivación de los contenidos curriculares nacionales; aunque PISA se sustente sobre un marco curricular (una teoría del currículo) funcional no siempre coincidente plenamente con los currículos convencionales, centrados en el logro de conocimientos más académicos.
La consecuencia de tan emergente y sutil currículo para las políticas educativas nacionales es clara: adaptemos los currículos a las demandas de PISA; la evidencia de cambios curriculares auspiciados por PISA es abundante: Chisholm (2015) en Alemania y Sudáfrica; Dolin y Krogh (2010) in el contexto danés, y especialmente en Turquía (Gur, Celik & Ozoglu, 2012) donde las autoridades educativas ya decidieron realizar reformas del viejo currículo mucho antes de antes de que saliesen los resultados de PISA 2003, y que después utilizaron para justificar tales reformas. Debe entonces comprenderse que, aunque PISA es una encuesta intencional a gran escala, es difícil pero no imposible y quizás necesario conectarla con los currículos nacionales.”
En fin, sería interesante ir a la lectura completa de este reporte de investigación (ver liga al final de este comentario) con la intención de contar con más elementos de juicio para opinar, de manera informada, sobre las ventajas y las desventajas que tiene tanto el diseño como la aplicación de la prueba (PISA).
Por último, considero que en el futuro, sin duda, será necesario realizar revisiones finas sobre los avances o retrocesos que se registren como producto de la evaluación internacional motivo de este comentario. Me refiero específicamente al análisis de los valores o puntuaciones, “del desempeño o de logro, en términos competenciales”, que se obtengan por entidades federativas, para el caso de México, y qué medidas se habrán de poner en práctica tanto por parte del gobierno federal como por los gobiernos estatales, como políticas públicas educativas específicas, siempre en colaboración con las maestras, los maestros y directivos escolares.
Fuente consultada:
(1) OCDE (OECD, por sus siglas en inglés). PISA. Informe 2015. Paris.
(2) Fernandez-Cano, Antonio (2016). Una crítica metodológica de las evaluaciones PISA. RELIEVE, 22(1), art. M15. DOI:
http://dx.doi.org/10.7203/relieve.22.1.8806
jcmqro3@yahoo.com