N.84 – La diferenciación por calidad y confiabilidad

Los “preprints” son trabajos de investigación que no han sido revisados por pares; es decir: no transitaron el proceso mediante el cual los fundamentos, métodos y hallazgos de los estudios son revisados y evaluados por expertos que no participaron en la investigación. Tradicionalmente, los investigadores solían hacer circular sus “preprints” dentro de sus comunidades científicas, con la finalidad de compartir los fundamentos, métodos y hallazgos de sus investigaciones y recibir -de sus colegas- aportes, observaciones y sugerencias que pudieran contribuir a mejorar el trabajo antes de someterlo a la revisión formal para su publicación. Pero la pandemia de Covid-19 provocó –debido a la ansiedad por difundir hallazgos- un inmenso caudal de preprints que inundaron sitios y redes de Internet. El hecho de difundir evidencias preliminares (aun señalando explícitamente que al estudio no fue aún revisado por pares ni publicado) sentó un precedente problemático.

El artículo aquí reseñado se refiere a un estudio realizado por investigadores de la Universidad de Georgia, con adultos estadounidenses, para comprender cómo el público interpreta las referidas advertencias. Los resultados del estudio sugieren que: (a) La mayoría de las personas tienen poca o ninguna comprensión de lo que realmente es un “preprint” y no entienden sus diferencias con un artículo publicado en una revista académica, y (b) Ello podría conducir a una desconfianza pública en la ciencia, ya que los hallazgos y sus alcances podrían variar significativamente entre la fase de preprint y la publicación después de la revisión por pares.

“Con los preprints, todavía hay incertidumbres que no se han resuelto”, dijo Chelsea Ratcliff, autora principal del estudio. “Muchos preprints ni siquiera se publican. Realmente es importante que el público entienda eso”. “Si las personas basan sus actitudes o sus decisiones de salud en la evidencia exhibida en un preprint, por ejemplo, sobre un nuevo medicamento, deberían tener clara su naturaleza preliminar”.

Los investigadores asignaron a 415 personas la lectura de noticias sobre un estudio preliminar acerca de la relación entre la eficacia de la vacuna Covid-19 y sus efectos secundarios. Un grupo leyó noticias en las que el estudio se calificaba como “un estudio preliminar publicado recientemente en línea y aún no evaluado por expertos externos”, mientras que el otro grupo leyó noticias en las que simplemente se lo calificaba como “un estudio”.

Se verificó que las advertencias acerca del concepto de “preprint” y la mención expresa de que el estudio no se había sometido a revisión por pares, no habrían tenido ningún efecto manifiesto en los participantes del primer grupo. Ambos grupos calificaron de la misma manera la confiabilidad de la investigación. Cuando los investigadores pidieron a los participantes que describieran lo que creían que significa “preprint” en una noticia científica, el 75% enunció ideas que mostraron claramente que no entendían el concepto.

“Es evidente que necesitamos encontrar otras estrategias para referirnos a los preprints de manera efectiva”, agregó Alice Fleerackers, coautora del estudio. “El mero hecho de etiquetar a un trabajo como un ‘preprint’, incluso con una breve definición de ese concepto, no parece mover la aguja”. Los periodistas que informan sobre preprints deberían explicar brevemente la importancia del proceso de revisión por pares y advertir a los lectores que los hallazgos de los preprints están sujetos a cambios, dijeron los investigadores.

“Antes de la pandemia, el objetivo principal de un preprint era que los investigadores compartieran sus trabajos y hallazgos con otros investigadores”, dijo Ratcliff. “No estaban destinados a influir en las políticas públicas, ni en las actitudes o los comportamientos de las personas”.

Se concluye señalando que una contribución novedosa del estudio fue medir las respuestas del público a la mención explícita del estado de ”preprint” en la cobertura mediática de una investigación científica. Se verificó que: (a) el mero hecho de revelar el estado de “preprint” de un trabajo de investigación no tuvo efectos sobre la percepción del público acerca de su confiabilidad, y (b) en general, los participantes exhibieron una baja comprensión del concepto de “preprint” y de su diferencia con un artículo científico publicado tras haber sido revisado por pares.

Dada la alta probabilidad de que los preprints continúen siendo una herramienta básica para difundir investigaciones, es fundamental continuar examinando cómo percibe el público la confiabilidad de los preprints, particularmente en materia de salud.

3.- Tercer artículo: Buenas prácticas para usar inteligencia artificial en la elaboración de artículos científico-tecnológicos: Precaución, cuidado y consideración (3)

La incursión de chatbots con herramientas generativas de inteligencia artificial (IA), como ChatGPT, provoca preocupación en la comunidad académica por su manifiesta tendencia a producir textos engañosos, superficiales, plagados de errores, con referencias e inferencias falsas o carentes de sentido. Es que los actuales chatbots generan texto mediante conexiones lingüísticas, con sustento en sus bases de datos. Carecen totalmente de capacidad para comprender, analizar, proporcionar nueva información o generar conocimiento.

En el artículo aquí reseñado se traza un breve resumen de algunas de las fortalezas y debilidades de los actuales chatbots con IA, y se concluye enunciando un conjunto de recomendaciones a los investigadores para usar tales herramientas en cualquier etapa de su investigación, particularmente en la etapa de escritura del manuscrito.

Recomendaciones para el uso de chatbots con IA en comunicación científico-tecnológica

(a) Declare expresamente el uso de un chatbot IA para preparar su manuscrito. Indique claramente en qué partes del manuscrito se utilizó y trascriba las indicaciones, preguntas e información proporcionada al sistema.

(b) Tenga en cuenta que, en el mejor de los casos, el resultado de un chatbot es sólo un borrador sumamente inicial, y que puede contener información incorrecta. Por tanto, cada oración y declaración debe considerarse críticamente: “verificar, comprobar y volver a comprobar. Y luego…, verificar nuevamente”.

(c) No trascriba textualmente la salida de un chatbot, ya que las palabras del chatbot no son las suyas. Dado que es posible que el chatbot haya reutilizado texto de otras fuentes, su trascripción podría implicar un plagio involuntario.

(d) Verifique, con la literatura original, todas las referencias y citas proporcionadas por un chatbot de IA, dado que podrían ser erróneas.

(e) No incluya a ningún chatbot como coautor, dado que se trata simplemente de una herramienta para ayudar en la formulación y redacción de borradores de manuscritos.

(f) Los chatbots no ”asumen” responsabilidad alguna por ninguna de las declaraciones que generan ni por la ética de su operación. Quienes comparten esa responsabilidad son exclusivamente los autores humanos de un manuscrito.

(g) Y lo más importante, no permita nunca que un chatbot sofoque su creatividad y pensamiento profundo.