N.44 – Cómo mejorar el rigor, la transparencia y la reproducibilidad de los estudios por publicar

NOTA: La siguiente reseña –reducida y parcial- tiene como único propósito motivar la lectura del documento fuente.

RESEÑA

1.- Introducción

El progreso en la investigación básica y clínica depende, en gran medida, de: (a) la relevancia de las preguntas de investigación, (b) la solidez de los métodos con que se intenta responderlas, y (c) el rigor y la precisión en la comunicación de los resultados. Dicho progreso se ralentiza y desvirtúa cuando no pueden reproducirse los resultados de estudios publicados, debido a que éstos no proporcionan suficiente información sobre cómo se diseñaron y ejecutaron los estudios (métodos, protocolos, materiales, procedimientos) y cómo se evaluaron los resultados.

Frente al frecuente incumplimiento de las directrices para publicación, así como de un insuficiente control por parte de editores, árbitros y revisores, el objetivo del trabajo aquí reseñado es delinear un conjunto de pautas que promuevan el rigor y la transparencia en las investigaciones, así como la sostenibilidad y reproducibilidad de sus resultados.

El trabajo proporciona una descripción general y actualizada de cómo: (a) los autores pueden facilitar la reproducibilidad de sus resultados describiendo -de manera precisa y transparente- el diseño experimental, los protocolos, métodos, procedimientos, pruebas estadísticas, técnicas de visualización y resultados, y (b) los revisores puedan mejorar la efectividad de su labor.

2.- Barreras a la reproducibilidad

En el trabajo se señala que entre el 50% y el 90% de los artículos publicados en revistas académicas presentan hallazgos y resultados irreproducibles. Con dicha base. se enuncian algunas de las barreras más comunes para la reproducibilidad; entre ellas las siguientes:

2.1 Descuidar la descripción de materiales y métodos

El descuido en la sección “materiales y métodos” puede conducir a la carencia de información requerida para que otros investigadores puedan replicar los protocolos y métodos.

2.2 Apuntar a la novedad y al impacto

La presión para publicar resultados novedosos, sensacionales o con alto impacto puede conducir a apresurar experimentos, especular con posibles atajos, cometer errores en los análisis estadísticos, sesgar o sobreinterpretar resultados y hasta impulsar malas conductas como la falsificación o “fabricación” de datos.

2.3 Capacitación inadecuada en diseño experimental y redacción de informes

Con frecuencia los investigadores cometen errores al diseñar y realizar sus estudios, al seleccionar pruebas estadísticas y al informar los resultados, adicionándose revisores que no detectan oportunamente tales errores.

3.- Criterios para mejorar rigor y transparencia

En el artículo reseñado se describen los siguientes requisitos para mejorar la transparencia y el rigor científico durante el diseño y ejecución de los experimentos:

3.1 Unidad experimental y sujetos

La descripción de las unidades y sujetos experimentales (humanos o animales) debe incluir la aprobación ética, la caracterización cuanti-cualitativa de los sujetos involucrados, así como una clara descripción de los criterios de inclusión y exclusión.

3.2 Aleatorización y cegamiento

Deben informarse claramente los métodos y procedimientos de aleatorización y cegamiento utilizados en cada experimento.

3.3 Cría y alojamiento de animales

Dado que las condiciones de cría y alojamiento de animales podrían tener relevantes implicaciones en los resultados experimentales, debe proporcionarse información sobre la muestra: especie, raza, líneas celulares, sexo, edad, peso, etc, así como sobre su cría, transporte y alojamiento (temperatura, humedad, horarios, manejo, tamaño y características de jaula, etc).

3.4 El sexo como variable biológica

La investigación debería potenciarse con las diferencias entre sexos en las muestras y su eventual significación para el estudio.

3.5 Descripción del diseño experimental y de los enfoques estadísticos

La descripción del diseño experimental debe especificar claramente la planificación y cobertura de todos los factores por probar, el orden de las pruebas y las condiciones experimentales. Sus componentes principales son: (a) enunciación de las preguntas de investigación, con variables dependientes, intervinientes e independientes, (b) lista de los procedimientos experimentales utilizados en el estudio, incluida su secuencia y momentos; y (c) discusión de eventuales desvíos en relación al diseño original y sus motivos.

3.5.1 Materiales

Se requiere una descripción completa de los recursos y materiales, así como de su preparación y utilización.

3.5.2 Análisis estadísticos

Deben enunciarse los enfoques y herramientas estadísticas usados para verificar la significación de los resultados, el software estadístico y sus versiones específicas, así como dar cuenta completa de los resultados estadísticos.

3.5.3 Análisis de potencia

El análisis de potencia es fundamental durante la etapa de diseño experimental. La potencia (o poder estadístico) representa la probabilidad de no incurrir en errores del tipo “falso negativo”.

3.5.4 Representación gráfica de los datos

Es conveniente presentar gráficos que faciliten la visualización de datos, relaciones y resultados, así como ilustrar los hallazgos más importantes de un estudio.

3.5.5 Consideración de hallazgos positivos y negativos

Deben considerarse tanto los hallazgos significativos como los no significativos. La omisión o minimización de evidencia negativa, junto al sesgo hacia resultados “positivos” puede “inflar” hallazgos espurios.

3.5.6 Conflictos de interés reales y percibidos

Deben revelarse todas las relaciones que puedan considerarse como conflictos de intereses que puedan afectar la objetividad; por ejemplo, relaciones laborales, subsidios, patentes, posesión de acciones o titularidad de empresas.

3.5.7 Informes registradosde prácticas abiertas

Los informes registrados tienen el propósito de promover las mejores prácticas científicas y evitar sesgos de publicación. Los autores envían al potencial editor -como propuesta inicial- una introducción, una descripción de la pregunta clave de investigación y literatura pertinente, hipótesis, diseño y procedimientos experimentales, análisis estadísticos previstos, análisis de potencia, una descripción completa de los experimentos planificados, así como los resultados de experimentos piloto (cuando corresponda) asociados a la propuesta.

Las propuestas son revisadas por editores, revisores y pares, para verificar si se cumplen los requisitos para llevar a cabo la investigación propuesta. En caso favorable los autores de las propuestas reciben una aceptación inicial, lo que significa que la revista garantiza la publicación si los autores ejecutan el estudio en concordancia con el protocolo aprobado. Una vez culminado el estudio, el manuscrito se somete –previamente a su publicación- a una revisión completa por parte de árbitros.

4. Revisión por pares

El proceso de revisión por pares tiene el propósito de evaluar la validez, calidad y originalidad de los artículos para publicación. Sin embargo, los revisores no son inmunes a incurrir en errores u omisiones al considerar el rigor, la transparencia y la reproducibilidad de los estudios y de sus resultados

5. Conclusiones

Uno de los desafíos en el avance de las ciencias reside en la reproducibilidad de los resultados, la cual requiere que los investigadores informen –de manera abierta y transparente- los procedimientos utilizados para obtener los resultados declarados. La educación y la responsabilidad son esenciales para que la investigación sea transparente y reproducible.