N.52 – Ciencia Abierta y replicabilidad de resultados de investigación

Dado que algunos investigadores tienden a ver sus hallazgos como “posesiones personales”, visualizan las réplicas como amenazas que agudizan sus reflejos defensivos y sus imperativos de tener razón. La replicación de investigaciones, como componente relevante y deseable de la ciencia abierta y del desarrollo científico, exige un compromiso teórico con las características y condiciones necesarias para repetir experimentos con independencia de los resultados y hallazgos (que podrán ser similares o disímiles). Aun cuando dos estudios usen el mismo protocolo, diferirán en diversos aspectos, tales como: época del año, clima, muestras utilizadas, características de los sujetos y los experimentadores, entre muchos otros.

Durante la última década se han difundido diversas políticas y programas de financiamiento para promover la replicabilidad de la investigación, hallándose tanto caminos promisorios como callejones sin salida. Las dificultades en la replicación implican un estancamiento cognitivo. Cuando los resultados de la replicación son contradictorios con los hallazgos originales suele cundir la confusión y el desacuerdo acerca de las responsabilidades. Los replicadores insistirán en que sus resultados refutan las ideas del artículo original; mientras que los autores originales seguramente hallarán fallas en el proceso de replicación. Con base en la naturaleza humana y en el sistema de incentivos académicos, tanto los replicadores como los autores originales tenderٔán a defender sus conclusiones, o al menos su competencia, en lugar de colaborar en el difícil trabajo intelectual de revisar ideas a partir de la nueva evidencia.

Para evitar tales estancamientos es necesario dedicar tiempo a concertar las hipoٴtesis de trabajo, lo que se procura probar y las características y condiciones para lograrlo, en un proceso que promueva la mejor naturaleza humana en favor de la búsqueda de respuestas precisas en lugar de defender posiciones contrapuestas. Las autoras del artículo reseñado, que cuentan con amplia experiencia en evaluación de procesos de replicación denominan “compromiso previo” (o “pre-compromiso”) a ese proceso de concertación. Después de la publicación de un artículo científico, pero antes de iniciar una replicación, los autores originales y los replicadores independientes colaboran para diseñar un experimento de replicación que ambos consideren significativo, con independencia de los posibles resultados. Este proceso se documenta (idealmente) mediante un informe registrado.

Pero aún faltan las herramientas para aprovechar al máximo las experiencias de replicación, las cuales son percibidas -con demasiada frecuencia- como un acto hostil en lugar de una parte ordinaria y deseable del proceso científico. El “pre-compromiso” contribuirá a: (a) favorecer la colaboración por encima de la confrontación, (b) promover la humildad científica, (c) centrar la energía en mejorar la calidad de las replicas y en maximizar los aprendizajes resultantes, y (d) reducir la tendencia a evaluar las réplicas en función de su correspondencia con las creencias anteriores.

Pero cabe reconocer que la factibilidad de ese “pre-compromiso” depende del momento de la propuesta. Si antes de realizar una replicación se pregunta a los investigadores originales acerca de la importancia de determinadas variables (como temperatura, edad, luz, higiene, etnia), muchos reconocerán que no saben o que ni siquiera tuvieron en cuenta si la condición se mantuvo constante durante el experimento original. Pero si se hace la misma pregunta después que una replicación arrojó resultados distintos de los publicados en el estudio original, el sesgo retrospectivo proporcionará una respuesta diferente adicionando requisitos a posteriori: “Por supuesto que la temperatura, la edad, la luz, la higiene o la etnia son condiciones fundamentales”.

Hacia una confrontación colaborativa

Los investigadores originales y los replicadores deben “comprometerse” con un diseño de replicación acordado y hacer explícitas sus diferentes predicciones. El “pre-compromiso” se basa en la “confrontación colaborativa “, un proceso en el cual los investigadores con puntos de vista incompatibles acuerdan realizar pruebas para resolver un debate con la asistencia de un árbitro.

La clave de este enfoque reside en que los adversarios sean buenos oyentes y que realmente estén dispuestos a definir objetivos conjuntos, fomentar la curiosidad, reconocer las competencias y asumir las buenas intenciones de los otros, así como aprender a evaluar objetivamente sus experimentos y críticas.

El pre-compromiso ofrece a todos una oportunidad de alejarse del marco de la confrontación improductiva y perseguir objetivos compartidos en beneficio del desarrollo de la ciencia. Las autoras prevén que la visibilidad de los “pre-compromisos” contribuirá paulatinamente a una transformación de los incentivos. Concluyen señalando que el pre-compromiso promoverá avances en el conocimiento, ya sea que los resultados salgan o no como los defensores o escépticos esperaban.