Newsletter DPT Nro. 92/94 - Enero/Marzo
ISSN 2618-236X
Enero-Marzo / 2024
NOTICIAS DE INTERES GENERAL
Replanteos en la evaluación de investigaciones académicas
Nuevas políticas, criterios y métricas
La evaluación de la actividad científico-tecnológica es un componente imprescindible en los programas de investigación, tecnología y desarrollo. La cienciometría ha contribuido al desarrollo de herramientas clave en la gestión de la política científica y tecnológica, así como en la adopción de decisiones estratégicas.
La presente reseña comprende cuatro artículos. En el primero (1) se presenta la base de datos Reformscape, la cual, con el objetivo de proporcionar a los administradores universitarios ejemplos de sistemas de evaluación, reúne políticas, planes de acción y otros contenidos pertinentes de instituciones de investigación de todo el mundo. El segundo (2) y el tercero (3) tratan sobre el actual replanteo de políticas de evaluación de investigadores en España. El cuarto (4) se refiere a una revisión de criterios de evaluación de propuestas de investigación recibidas por la National Science Foundation NSF) de EE.UU
1.- Primer artículo: “Reformscape”: base de datos sobre políticas, criterios y métricas de evaluación de investigadores académicos (1)
La base de datos Reformscape (*), lanzada recientemente por la Declaración sobre Evaluación de la Investigación (Declaration on Research Assessment, DORA), recopila políticas, planes de acción y otros documentos disponibles públicamente de instituciones de investigación de todo el mundo. Su objetivo es proporcionar a los administradores ejemplos de instituciones que han cambiado sus sistemas de evaluación y mostrar formas prácticas y viables de mejorar las políticas de evaluación de sus propias instituciones. Las políticas de evaluación incluidas van más allá de los criterios convencionales caracterizados por una excesiva dependencia de las publicaciones en revistas con alto impacto. “Esta es una herramienta para ayudar a salir del estancamiento”, afirma Zen Faulkes, director del programa de DORA.
La base de datos se desarrolló como parte del Proyecto “Herramientas para avanzar en la evaluación de la investigación” (Tools to Advance Research Assessment, TARA) (**). Incluye hoy documentos provenientes de más de 200 instituciones de 20 países y se prevé un significativo crecimiento. “Esperamos que se convierta en un recurso comunitario con contribución abierta”, dice Faulkes.
Reformscape podría ser un punto de partida muy útil para las universidades que buscan ejemplos de cómo otras están reformando sus políticas de evaluación de la investigación y desarrollo profesional, para ayudar a la comunidad académica a hacer que los procedimientos de contratación, promoción y titularidad sean más justos, sólidos y adaptados a las propias realidades. Lo primero que quieren las universidades es compararse con universidades con calificaciones similares o superiores a las propias en distintos rankings internacionales, así como con otras instituciones de su región geográfica.
(*) Reformscape
https://sfdora.org/reformscape/discover-reformscape/
(**) Tools to Advance Research Assessment (TARA)
https://www.cwts.nl/projects/current-projects/tools-to-advance-research-assessment-tara
2.- Segundo artículo: España: Nuevos criterios para la evaluación de investigadores académicos (2.1.) (2.2) (2.3.) (2.4.)
En el sistema español de evaluación de investigadores académicos, el criterio primordial (si no único) para el avance profesional es la publicación de artículos. Actualmente, la Agencia Nacional de Evaluación y Acreditación (ANECA) evalúa el “desempeño investigador” de los académicos cada 6 años. Para acceder a un aumento salarial y ser elegible para un ascenso, los investigadores deben haber publicado un mínimo de 5 artículos, durante ese período, en revistas de alto impacto indexadas en Journal Citation Reports (JCR), una base de datos producida por la empresa Clarivate. El cumplimiento de ese parámetro también permite a los investigadores supervisar a estudiantes de doctorado y figurar como investigadores principales en sus universidades. El gobierno español introdujo este sistema en 1994 en un esfuerzo por aumentar la productividad de los investigadores del país. Y lo logró: según el Ministerio de Ciencia e Innovación, en 2021 España ocupaba el puesto 11° a nivel mundial en producción científica, con más de 100.000 publicaciones al año.
Pero muchos investigadores dicen que el sistema tuvo un impacto negativo en la calidad de su trabajo y en la ciencia en general. Algunos trabajan frenéticamente para alcanzar el parámetro, otros publican un artículo cada 2 días, mientras que otros toman atajos, publicando artículos de baja calidad o recurriendo a coautorías fraudulentas. Algunos admitieron haber recibido pagos de investigadores de Arabia Saudita o de la India para ser coautores de artículos en los que no contribuyeron. Los críticos señalan también que el sistema alentó a los investigadores a priorizar la publicación sobre la enseñanza y a utilizar fondos públicos para pagar tarifas cada vez más elevadas -impuestas por algunas revistas- por el procesamiento de sus artículos.
Pero dicho criterio de evaluación -al que se caracterizó como una “dictadura de las revistas”- será revisado con base en nuevas propuestas. Las reformas anunciadas permitirían, por primera vez, evaluar a los investigadores de las universidades públicas españolas en función de una variedad de resultados (además de los artículos publicados), y también fomentarían la difusión de los hallazgos a través de plataformas de acceso abierto. La ANECA postula que las evaluaciones deben considerar una amplia gama de resultados de investigación, incluidas “publicaciones, patentes, informes, estudios, trabajos técnicos, obras artísticas, exposiciones, excavaciones arqueológicas y la creación de registros bibliográficos”. Además, los evaluadores deben ya no sólo considerarán el factor de impacto de las revistas en las que publican los investigadores, sino también detalles como en qué medida la investigación llega a audiencias no académicas a través de informes noticiosos o documentos gubernamentales. Los artículos también obtendrán una mayor puntuación cuando sean coproducidos con comunidades locales u otros autores no académicos. Y en un intento por reducir el gasto público en “costos de publicación”, los evaluadores tendrán en cuenta los artículos publicados en plataformas de publicación no comerciales y de acceso abierto que no cobran tarifas a los autores (como Open Research Europe).
Se procura recomponer un sistema que priorizó “la cantidad sobre la calidad” y de “reconocer que hay diferentes maneras de hacer ciencia”, dice Pilar Paneque, directora de la ANECA. También se espera que el nuevo sistema contribuya a reducir el fraude y a erradicar las prácticas poco éticas en las publicaciones. Mientras algunos críticos señalan que las propuestas son una “apuesta audaz”, otros dicen que se necesita una reforma aún más radical; por ejemplo, aboliendo por completo los ciclos de evaluación de 6 años, porque “sólo sirven para enriquecer a las principales editoriales científicas, lo que aumenta la frustración de investigadores más jóvenes”. Con el objetivo de finalizar el nuevo sistema de evaluación, la ANECA está revisando actualmente unos 600 comentarios recibidos sobre cambios propuestos.
3.- Tercer artículo: España: impulsan la reforma de la evaluación de investigadores académicos (3)
El Ministerio de Ciencia, Innovación y Universidades, a través de la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) y el Consejo Superior de Investigaciones Científicas (CSIC), en colaboración con la Conferencia de Rectores de las Universidades Españolas (CRUE) organizaron, en la sede del Ministerio, una jornada para presentar el National Chapter Spain, un grupo de trabajo cuyo objetivo es apoyar al proceso de reforma de la evaluación de la investigación en España.
La jornada fue inaugurada por el secretario de Estado de Ciencia, Innovación y Universidades, Juan Cruz Cigudosa, quien señaló que “la ciencia abierta debe ser una poderosa palanca de cambio para democratizar y acelerar la llegada del conocimiento a todos los rincones de la sociedad con la garantía de que sea un verdadero motor de progreso económico y de bienestar social”. “Mejoramos los métodos científicos para mejorar la vida de las personas”, dijo Cigudosa, quien también apeló al compromiso y la colaboración de todos los actores del mundo científico y universitario y de todas las administraciones.
Durante la jornada se analizó el contexto europeo y nacional, así como los objetivos y líneas de trabajo. También se dieron a conocer diferentes experiencias institucionales relativas a criterios y metodologías de evaluación, sensibilización y formación multi e interdisciplinaria.
Actualmente, participan en esta iniciativa nacional un total de 84 instituciones españolas: 58 universidades, 12 agencias de calidad, 11 centros de investigación, un organismo financiador de la investigación y 2 asociaciones. Este grupo de trabajo procura concertar una iniciativa conjunta que promueva y apoye la revisión y el desarrollo de criterios, herramientas y procedimientos de evaluación de la investigación en España mediante un proceso de co-creación. Además, se procura generar un espacio de aprendizaje mutuo interno, pero también en colaboración con otros National Chapters y con los grupos de trabajo de la Coalición para el Avance de la Evaluación de la Investigación (CoARA, por sus siglas en inglés) en Europa.
En el acto también participaron la presidenta del CSIC, Eloísa del Pino, la directora de la ANECA, Pilar Paneque, y la presidenta de CRUE y rectora de la Universitat Jaume I, Eva Alcón, además de rectores, vicerrectores de docencia e investigación, directores/as de agencias nacionales de acreditación, de centros de investigación o de escuelas de Doctorado, entre otros expertos.
4.- Cuarto artículo: Una revisión de criterios de evaluación de propuestas de investigación recibidas por la National Science Foundation NSF) de EE.UU. (4)
El órgano rector de la Fundación Nacional de Ciencia (National Science Foundation NSF) de EE.UU. recomendaría cambiar la denominación de uno de sus dos criterios utilizados para evaluar unos 50.000 proyectos con solicitudes de subvención recibidos cada año.
Desde 1997, la NSF ha pedido a sus evaluadores externos que califiquen tanto el “mérito intelectual” de los proyectos (la novedad y la importancia de la investigación propuesta) como sus “impactos más amplios” (cómo el proyecto aborda las necesidades de la sociedad). La expresión “impactos más amplios’ se consideró, en su momento, como una forma de aumentar la participación de grupos tradicionalmente subrepresentados en la ciencia. Pero muchos evaluadores parecen asignar poca importancia a los criterios de “impactos más amplios”.
Stephen Willard, presidente de una comisión de revisión de méritos creada por la Junta Científica, adelantó -entre otras cosas. que se espera que el panel recomiende que la NSF aclare los criterios de “impactos más amplios” cambiando su denominación por “beneficios sociales”. Esos beneficios incluyen, por ejemplo, mejorar la salud pública, el bienestar económico y la seguridad nacional, así como diversificar la fuerza laboral científica y aumentar la equidad y la inclusión. Willard dijo que, además de cambiar la denominación, la comisión podría recomendar que los revisores asignen una puntuación separada para los “beneficios sociales”, que luego se incorporaría en la calificación general de la propuesta. Ello mejoraría la transparencia de la evaluación -dado que en la actualidad no se sabe cuánta importancia asignan los evaluadores a cada criterio- y haría evidente cómo cada evaluador tomó en cuenta ese aspecto de los proyectos con propuesta de subvención.
Referencias:
(1) How to make academic hiring fair: database lists innovative policies: Reformscape is designed to inspire university leaders by collecting examples of responsible career assessment” By Brian Owens. Nature. News. 30 January 2024. DOI: 10.1038/d41586-024-00273-8
(2.1.) “Spain wants to change how it evaluates scientists—and end the ‘dictatorship of papers: Officials aim to use wider range of research outputs to assess researchers at public universities” By María de los Ángeles Orfila, Science Insider Europe. 29 Nov 2023. DOI: 10.1126/science.zehwqlq
(2.2.) “¿Por qué se marchan los investigadores de España?” c) 2023 Europa Press.
(2.3.) “Algunas reflexiones sobre la situación de la investigación y la ciencia en España” Por Roberto Marco Cuéllar y Jesús Lizcano Alvarez (Catedráticos de la Universidad Autónoma de Madrid). Encuentros Multidisciplinarios.Nº 20 Mayo-Agosto 2005
(2.4.) “El Gobierno aprueba 1.000 millones de euros para atracción de talento y financiación de la investigación” Boletín SINC.Política Científica. 29/11/2023
(3) “El Ministerio de Ciencia, Innovación y Universidades y la CRUE impulsan la reforma de la evaluación de la investigación en España”. Ciencia. Ministerio de Ciencia, Innovación y Universidades. 9 de febrero de 2024
(4) “National Science Foundation grant reviewers urged to think more about ‘societal benefits‘: Agency’s governing board expected to recommend renaming one of two criteria used to judge research proposals” By Jeffrey Mervis. Science. Science Insider. Scientific Community. 23 Feb 2024. DOI: 10.1126/science.zu7er78
