N.62 – La crisis de reproducibilidad

La presente reseña comprende dos artículos relativos a la “crisis de reproducibilidad” (o de “replicabilidad”) en la investigación. El primero (1) se refiere a las posibles vías para afrontar y superar la crisis, mientras que el segundo (2) alude a la mayor citación de artículos con resultados no reproducibles.

1.- Primer artículo: Posibles vías para afrontar y superar la crisis de reproducibilidad (1).

La reproducibilidad es un principio clave del método científico. Para que la ciencia sea creíble y confiable, debe producir resultados reproducibles. Un resultado obtenido en un estudio es reproducible solo si puede alcanzarse nuevamente, con un alto nivel de coincidencia, cuando el estudio se repite usando idéntica metodología.

Sin perjuicio de la importancia vital de la reproducibilidad para la ciencia, la investigación biomédica continúa experimentando una “crisis de reproducibilidad”, donde muchos hallazgos no pueden reproducirse ni replicarse de forma independiente, mientras que algunos ni siquiera pueden ser replicados por los propios investigadores originarios.

El artículo reseñado tiene el objetivo de considerar cómo comenzó la crisis de reproducibilidad y qué pasos deben transitar los investigadores individuales para abordar los problemas de reproducibilidad en la investigación biomédica.

a.- Crisis de reproducibilidad y factores determinantes

La conciencia colectiva de que la ciencia biomédica estaba experimentando una “crisis de reproducibilidad” se manifestó particularmente tras la publicación –en 2005- del artículo “Por qué la mayoría de los hallazgos de investigación publicados son falsos“, donde “falso” significa “no reproducible”. Esto fue seguido, a principios de la década de 2010, cuando se intentó replicar los hallazgos de 53 estudios “emblemáticos” en investigación del cáncer y se determinó que los hallazgos solo podían replicarse en el 11% de los casos.

Hoy se manifiesta un altísimo nivel de coincidencia acerca de la existencia de una “crisis de reproducibilidad”. Se trata de un problema complejo que resulta de sesgos en diferentes niveles, desde los sesgos cognitivos de los investigadores hasta los prejuicios de la cultura académica. Pero los principales factores se dividen en tres amplias categorías que se caracterizan a continuación: (a) deficiencias en el diseño del estudio, (b) incentivos perversos, y (c) prácticas de investigación cuestionables.

(i) Deficiencias en el diseño del estudio

La insuficiente comprensión o aplicación de los principios básicos de diseño, como el tamaño y significación de la muestra, el cegamiento, la aleatorización y la necesidad de utilizar adecuados grupos de control, puede introducir sesgos por confusión. Esto no solo aumenta la probabilidad de resultados falsos, sino que también reduce el valor predictivo de los hallazgos.

(ii) Incentivos perversos

Otro factor problemático es que la cultura de la investigación no incentiva adecuadamente la realización de investigaciones con resultados replicables. En general, es mucho más fácil publicar resultados positivos novedosos que resultados negativos o estudios de replicación, con prescindencia de cuán rigurosamente se hayan llevado a cabo. El relevante papel asignado a las métricas de publicación en las promociones académicas, coloca a los investigadores en una situación de “publicar o perecer”, lo que cambia el énfasis de realizar investigaciones precisas y reproducibles a producir resultados de investigación “publicables”.

(iii) Prácticas de investigación cuestionables

La presión por publicar, entre otras presiones de investigación y carrera, puede llevar a los investigadores a involucrarse en prácticas de investigación cuestionables para aumentar la probabilidad de obtener hallazgos más novedosos o concluyentes.

Tales prácticas incluyen “p-hacking” (cambiar las rutinas de preprocesamiento o análisis para hacer más probable la significancia estadística) y harking (donde los investigadores formulan sus hipótesis después de haber conocido los resultados del estudio). La consecuencia de esto es un aumento en la frecuencia de resultados falsos positivos y tamaños de efecto inflados en la literatura publicada.

b.- ¿Cómo afrontar los problemas?

Si bien no existe una solución fácil para la crisis de reproducibilidad, pueden sugerirse pequeños pasos para que los investigadores puedan garantizar la integridad de sus datos y la transparencia de las investigaciones publicadas.

La Red de Reproducibilidad del Reino Unido (UKRN) es una organización dirigida por investigadores que tiene el objetivo de promover la investigación replicable en el Reino Unido, proporcionando oportunidades de formación y difundiendo las mejores prácticas. La UKRN identifica cuatro facetas clave de la reproducibilidad: (a) organización, (b) documentación, (c) análisis y (d) difusión.

(i) Organización

Después de completar un estudio, los investigadores deben tener acceso completo a sus datos y materiales para resolver problemas y abordar consultas de otros investigadores. Para ello debe crearse -con anticipación- un plan de gestión de datos, describiendo qué datos se producirán y cómo se organizará, documentará, estandarizará y almacenará cada tipo de datos. De esta manera los investigadores maximizan su capacidad para recuperar -de manera oportuna- información sobre sus proyectos de investigación.

(ii) Documentación

Otro desafío importante para la reproducibilidad reside en la preservación de registros. Para que los resultados de la investigación sean reproducibles, es fundamental que los investigadores dispongan de claros registros de todas las decisiones que se tomaron durante la recopilación y el análisis de datos, de modo que la difusión de los métodos de estudio y los resultados pueda realizarse de la forma más detallada y transparente posible.

Los “cuadernos de laboratorio” se utilizan desde el siglo XV para registrar decisiones de investigación y observaciones. Hoy se han difundido los cuadernos de laboratorio electrónicos (ELN), que pueden compartirse instantáneamente con colaboradores y la comunidad de investigación en general. A medida que aumenta el número de herramientas disponibles (muchas gratuitas y de código abierto), es útil poder comparar las ventajas y limitaciones de diferentes plataformas ELN.

Para promover la reproducibilidad, los investigadores deben hacer accesibles los protocolos detallados y digitalizados relacionados con los resultados de sus investigaciones. Los protocolos de investigación deben documentarse con el mayor detalle posible (pasos, duración, reactivos, resultado esperado y paquetes de software utilizados). La publicación de protocolos en un repositorio de protocolos permite su reutilización por parte de investigadores que procuran replicar o extender el trabajo publicado.

(iii) Análisis

Cuando los investigadores no disponen de un plan de análisis detallado o de una justificación claramente documentada de las decisiones de análisis, pueden incurrir involuntariamente en malas prácticas. Para protegerse contra la posible influencia de los propios sesgos cognitivos, los investigadores pueden publicar una declaración que describa los resultados primarios y el plan de análisis antes de comenzar la investigación planificada. Un beneficio adicional del pre-registro es que obliga al investigador a pensar en aspectos clave del diseño del estudio que son importantes para la reproducibilidad (por ejemplo, hipótesis claras, cegamiento, justificación del tamaño de la muestra).

(iv) Diseminación

Al compartir sus datos y los procedimientos de análisis, los investigadores pueden validar sus hallazgos y reproducir los resultados, así como brindar acceso a materiales que podrían ser valiosos para otros investigadores, aumentando así el impacto de la investigación. Para maximizar el impacto, el intercambio de datos y códigos debe ser preciso, localizable, accesible, interoperable y reutilizable.

Hacer que los datos y el código sean de acceso abierto mientras se aplica una licencia de datos adecuada, como Creative Commons, ayuda a que los datos sean accesibles y garantiza que los autores originales reciban el crédito adecuado por su trabajo. Compartir los datos junto con documentación detallada y metadatos enriquecidos permite que los datos sean reutilizables.

2.- Segundo artٕículo: mayor citación de artículos con resultados no replicables (2)

La expresión “crisis de reproducibilidad” (o de “replicabilidad”) alude a la imposibilidad de reproducir (o replicar) una gran parte de los experimentos publicados. En el artículo reseñado se usan datos disponibles públicamente para mostrar que los artículos con resultados no reproducibles publicados en las principales revistas son más citados que los que exhiben resultados reproducibles, y que esa diferencia en la citación no varía tras la difusión de las dificultades para la replicación. Solo el 12% de las citas posteriores al intento de replicar hallazgos no replicables reconocen el fracaso de la replicación.

Cabe preguntar: Si la evidencia disponible muestra que los revisores pueden predecir qué artículos se intentarán replicar en sus resultados: ¿Por qué aceptan publicar artículos con resultados no replicables? Una posible respuesta es que cuando los resultados son más “interesantes”, los revisores aplican estándares menos exigentes en cuanto a su reproducibilidad.

En el estudio aquí reseñado se utilizaron los hallazgos de tres proyectos de replicación para correlacionar la replicabilidad con las citas y determinar la frecuencia en la citación de artículos con resultados no replicables con relación a los artículos cuyos resultados se replicaron exitosamente.

A los fines del estudio se recopilaron dos tipos de medidas: (i) medidas de replicabilidad y resultados de predicción del mercado, que están disponibles públicamente para los tres proyectos de replicación; y (ii) citas de Google Scholar desde la fecha de publicación hasta finales de 2019. Además, se recopilaron varios indicadores de la calidad de las citas: la frecuencia de las citaciones, publicación y factor de impacto de las revistas en que se publican.

El número de citas es una medida básica que se utiliza para evaluar el impacto académico de un artículo publicado, así como la calidad del trabajo científico en una variedad de disciplinas. En el estudio aquí reseñado se comenzó examinando la correlación entre el recuento de citas y la replicabilidad. Luego se examinó la relación entre otras medidas de impacto, como los factores de impacto de las revistas en las que se publican las citas y la replicabilidad.

El principal hallazgo del estudio es que los artículos con resultados no replicables se citan en mayor medida que los artículos con resultados replicables, incluso después de la publicación de casos de réplicas fallidas. En cuanto a la “calidad” de las citas, no se halló una diferencia significativa en la frecuencia con la que son citados los artículos con resultados no replicables o en el factor de impacto de las revistas en las que se publican las citas.

Suponiendo que los artículos más citados presentan hallazgos más “interesantes”, una correlación negativa entre la replicabilidad y el recuento de citas podría reflejar un proceso de revisión más laxo cuando los resultados son más interesantes (atraen más atención y trabajo de seguimiento).

Dado que el recuento de citas se consideró, durante mucho tiempo, como un indicador de la calidad de la investigación, el hallazgo de que se citan con mayor frecuencia investigaciones menos confiables apunta más a un “problema fundamental” en la forma en que se evalúan los estudios.

Si bien una replicación fallida no significa necesariamente que el hallazgo original sea falso, podría ocurrir que los pares revisores reduzcan su nivel de exigencia de evidencia cuando los resultados son particularmente sorprendentes o emocionantes.

La directriz de que “las afirmaciones extraordinarias requieren evidencia extraordinaria” parece atenuarse en las decisiones de publicación. Eso apunta a la necesidad de fortalecer la credibilidad de los trabajos publicados, priorizando la buena evidencia y la reproducibilidad por encima de los “hallazgos llamativos”.

Se concluye señalando que los artículos más sólidos y menos sensacionales pueden acumular más citas a largo plazo, una vez que se se agota la competencia por popularidad de resultados sorprendentes: los resultados creíbles y reproducibles no se notan tanto, pero persisten y al final ganan.