N.87 – Un replanteo de los criterios de evaluación

En el Reino Unido la evaluación sustentada en el Marco de Excelencia en la Investigación (Research Excellence Framework (REF)) juega un relevante papel en la participación de cada universidad en los £ 2.000 millones de financiamiento gubernamental anual para la educación superior.

La próxima vez que las universidades presenten sus indicadores de desempeño ante los organismos financiadores, los criterios de evaluación de la investigación serán notablemente distintos de los del pasado. Por ejemplo, la “cultura de la investigación” tendrá mayor peso que las publicaciones. Las instituciones deberán mostrar cómo están mejorando su entorno de trabajo y su diversidad, y se les pedirá que exhiban evidencia de una gama más amplia de “contribuciones al conocimiento”, como conjuntos de datos y software.

Estos cambios son parte de un plan más amplio, publicado el 15/06/2023 por los cuatro organismos nacionales de financiamiento del Reino Unido, para cambiar la forma en que se define la “excelencia” en el REF. Los cambios se implementarán durante la próxima ronda de evaluaciones, que concluirá en 2028.

En la comunidad de investigación predomina un cauteloso optimismo acerca del nuevo plan, señalándose que las buenas intenciones necesitarán una implementación cuidadosa. El cambio responde a las tendencias globales que consideran a la evaluación de la investigación como una poderosa herramienta para mejorar la cultura de la investigación, más que solo como una medida del prestigio y la productividad en la investigación. Según los críticos, los REF anteriores pusieron demasiado énfasis en los “resultados” de la investigación (por ejemplo: artículos revisados ​​por pares, impacto de las publicaciones), lo cual alentó a las instituciones e investigadores a priorizar las publicaciones en revistas prestigiosas sobre proyectos o contribuciones a largo plazo. La estrecha definición de “excelencia” de la REF contribuyó también a mayores desigualdades. Incentivó a las universidades a contratar personal que aumentaría el puntaje REF de la institución, con mayor detrimento de los investigadores que enfrentan barreras para producir gran cantidad de artículos y tienen más trabajo de tutoría y diversidad, lo que reduce el tiempo disponible para la investigación. Un artículo de 2020 en Proceedings of the National Academy of Sciences informó que los investigadores de grupos marginados tienden a producir trabajos más innovadores, pero menos valorados.

Los cambios planificados están diseñados para abordar esos problemas, dice Catriona Firth, directora de políticas de investigación y cultura en el organismo nacional de financiamiento Research England, que, junto con sus análogos de Escocia, Gales e Irlanda del Norte, realizó la nueva revisión de la REF. Según las nuevas propuestas, el 25% de la puntuación de cada universidad se basará en la evaluación de “personas, cultura y medio ambiente”, frente al 15% en la REF de 2021. Las consultas durante los próximos 18 meses ayudarán a definir los indicadores que las universidades deberán presentar para esta categoría, pero Wilsdon y sus colaboradores ya han sugerido medidas como las “brechas salariales” o el “porcentaje de personal con contratos de corto plazo”.

Otro cambio importante será dejar de evaluar individualmente a investigadores. En rondas anteriores, las universidades debían mostrar, por ejemplo, como “resultados de investigación” la cantidad de: artículos publicados por investigadores individuales. Ello enfatizٴó en la productividad de determinadas personas, dice Firth, lo que creó desigualdades y baja moral dentro de los departamentos, e incentivó las contrataciones de corto plazo. El REF 2028 tendrá una visión más amplia de la productividad: las universidades presentarán los resultados de la investigación por disciplinas completas, sin vincularlos a investigadores individuales. Esto debería reducir el desincentivo para que las instituciones inviertan en proyectos más riesgosos o de más largo plazo. En un sector con empleo cada vez más precarizado, “esperamos que esto fomente inversiones de largo plazo en personal”, dice Firth. Las contribuciones de la investigación representarán ahora solo el 50% del puntaje de cada institución, en lugar del 60%. El 25% final provendrá de las evidencias de impacto y compromiso.

Estas propuestas son “una respuesta realmente madurada a las preocupaciones más apremiantes del sector sobre el REF”, dice Elizabeth Gadd, especialista en evaluación de investigaciones de la Universidad de Loughborough. Junto con Wilsdon, Gadd asesoró al equipo responsable de la revisión. Ella señala que “será fundamental trabajar sobre las sutilezas, dado que el diablo estará en los detalles”.