Newsletter DPT Nro. 98/100 - Julio/Septiembre
ISSN 2618-236X
Julio-Septiembre / 2024
NOTICIAS EDUCATIVAS Y PEDAGOGICAS
NOTICIAS EDUCATIVAS Y PEDAGÓGICAS INTERNACIONALES
El fraude en la investigación/publicación científico-tecnológica – Segunda parte
Fraude a escala industrial: Tipología, magnitud, motivaciones y estrategias de prevención, detección y control
La tensión competitiva, la presión por publicar y la vanidad conducen, en algunos casos, a incurrir en conductas inapropiadas de investigación/publicación. El denominado “fraude científico” se define como una tergiversación deliberada de autorías, roles, marcos teóricos, métodos, datos o resultados por parte de personas involucradas en actividades de investigación. El fraude implica importantes consecuencias negativas para la ciencia, entre ellas: (a) la difusión de información falsa, errónea o redundante conlleva un engaño que puede desviar focos de atención hacia rumbos inconducentes, con retroceso en el conocimiento científico, (b) tiene graves consecuencias en términos de confusión, desconfianza e interferencia en el avance de las disciplinas, y (c) el uso de recursos en prácticas fraudulentas implica malversación, despilfarro y dilapidación.
Frente a la creciente difusión del fraude, se han desarrollado diferentes estrategias para: (a) prevenirlo (p. ej.: programas de Conducta de Investigación Responsable (RCR), (b) detectarlo, mediante evaluadores e indagadores (“detectives”), (c) contrarrestarlo, mediante denuncia pública, y (d) enmendarlo mediante la corrección, la retractación y la penalización.
En la primera parte de esta reseña -publicada en el Newsletter DPT 95-97 (Abril-Junio 2024)- señalamos que, dentro del fraude científico, pueden distinguirse -por alcance y escala- dos categorías: (1) fraude tradicional, que se practica generalmente a escala individual o grupal, y (2) fraude industrial, que se ejerce generalmente a gran escala con una combinación de tipos tradicionales. En esa primera parte focalizamos en el fraude tradicional, presentando reseñas de 17 artículos.
En esta segunda parte focalizaremos en el fraude a escala industrial que se viene manifestando -durante las últimas décadas- a través de nuevos tipos de fraude en investigación/publicación. Los principales tipos fraude a escala industrial son los siguientes:
(a) Fábricas de artículos” (“paper factories”, “paper mills”): Son organizaciones producen artículos espurios para vender sus autorías o coautorías a supuestos “investigadores” que, ansiosos por acreditar publicaciones, están dispuestos a comprarlas.
(b) Multiplicadoras de referencias: Son organizaciones que diseminan ampliamente las referencias y citaciones de determinados artículos, con el propósito de generar una falsa imagen de protagonismo de sus autores e instituciones en determinadas temáticas.
(c) Uso no declarado de herramientas de inteligencia artificial (IA): Permite producir artículos redundantes en gran escala. Ello puede generar una falsa imagen de productividad de ciertos autores e instituciones en determinadas temáticas.
Con base en los referidos tipos de fraude a gran escala (industrial), esta segunda parte comprende diecisiete (17) artículos. El primero (1) trata sobre la relevancia del fraude científico a escala industrial. El segundo (2) trata sobre los factores institucionales que promueven el fraude en la investigación-publicación, con particular referencia al caso de China. El tercero (3) se refiere a las características de las fábricas de artículos. El cuarto (4) aborda los perjuicios provocados por las fábricas de artículos y la posibilidad de detectarlas. El quinto (5) se refiere a las fábricas de artículos disfrazadas de tutorías de investigación. En el sexto (6) se presentan estrategias para identificar artículos producidos por fábricas de artículos. En el séptimo (7) se sugieren diversos indicios para inferir que un artículo proviene de una fábrica de artículos El octavo (8) alude a las citaciones intensivas fraudulentas en gran escala. El noveno (9) trata sobre expectativas y riesgos en el uso de la IA en la investigación. El décimo (10) se refiere a las actuales prevenciones sobre el uso de la IA en la redacción de artículos. El decimoprimero (11) trata sobre el mal uso de la IA en la investigación. El decimosegundo (12) trata sobre una iniciativa para la concertación de directrices sobre el uso de la IA en la elaboración de artículos. El decimotercero (13) aborda el rechazo de las agencias financiadoras al uso de IA en la revisión por pares. El decimocuarto (14) se refiere tanto a la detección de artículos generados por IA, como a la “humanización” de artículos para ocultar que han sido generados por IA, presentándose ejemplos de ambos tipos de software. En el decimoquinto (15) se trata sobre el “fraude” perpetrado, de manera autónoma, por los propios sistemas de investigación por IA. En el decimosexto (16) se caracteriza al software disponible para la detección de artículos sospechosos. El decimoséptimo (17) se refiere a un proyecto legislativo en Perú para penalizar la compra y venta de tesis y artículos académicos.
(*) Ver las siguientes noticias publicadas en el Newsletter DPT:
“Integridad de la investigación: Una cuestión con creciente prioridad en países con mayor desarrollo científico-tecnológico” Newsletter DPT Nº 88-90. Septiembre-Noviembre 2023
“Proliferan los artículos científicos adulterados: Cómo detectarlos y cómo evitar su propagación” Newsletter DPT Nº 86. Julio 2023
“Humildad intelectual, integridad académica y porfía editorial: El “sacrilegio” de señalar deslices en artículos publicados” Newsletter DPT Nro. 68. Enero 2022
1.- Primer artículo: Relevancia del fraude científico a escala industrial (1.1.) (1.2.) (1.3.) (1.4.)
Durante los últimos años, las revistas científicas -en todo el mundo- fueron “inundadas” con artículos fraudulentos, lo que resultó en miles de retractaciones y pérdidas millonarias. Por ejemplo, dos grupos editoriales tradicionales cerraron revistas tras reportar fraude en miles de artículos publicados. The Wall Street Journal (WSJ) informó el caso de la editorial Wiley (con 217 años de antigüedad), la cual se retractó en más de 11.300 artículos cuestionados y cerró -en los últimos 2 años- 19 revistas por fraude. Aunque ese fraude develado sólo representa una pequeña fracción de los artículos publicados, amenaza la credibilidad de la industria editorial académica, valorada en U$S 30.000 millones al año según WSJ, así como la credibilidad de la ciencia. Para Wiley, que gestiona más de 2.000 publicaciones periódicas, la problemática emergió poco después de su adquisición de Hindawi, una compañía egipcia fundada en 1997, que englobaba unas 250 revistas. En 2022, apenas un año después de la transacción, se detectaron irregularidades en múltiples artículos publicados en revistas pertenecientes a Hindawi.
Las principales fuentes de fraude son las “fábricas de artículos” (en adelante: FA), entidades que venden autorías de los artículos que “fabrican”. La proliferación de esas entidades parece responder a 3 factores interrelacionados: (a) los investigadores enfrentan presiones para publicar en revistas revisadas por pares, como requisito para recibir subvenciones o para avanzar en sus carreras, (b) ello puede motivarlos a engañar al sistema, y (c) muchas revistas cobran tarifas a los autores por publicar en ellas. La magnitud del problema de las FA quedó al descubierto gracias a miembros de la comunidad científica que, por cuenta propia, recopilaron patrones para reconocer este fraude y desarrollaron herramientas para detectar artículos sospechosos. La magnitud y complejidad del fraude podrían incrementarse por el auge de la inteligencia artificial
2.- Segundo artículo: Factores institucionales que promueven el fraude en la investigación/publicación científica: el caso de China (2.1.) (2.2.)
Si bien se sabe que en China abundan las fallas éticas en la investigación, poco se ha indagado acerca de los factores causales de tales fallas. En el artículo aquí reseñado se desarrolla un análisis institucional de la investigación en universidades chinas, examinando tanto a las instituciones como a sus entornos políticos como contextos condicionantes de conductas inapropiadas. El artículo se centra específicamente en el impacto de la “Iniciativa China para la Duplicación de Universidades de Primera Clase” (“China’s Double First-Class University Initiative”), que generó nuevas estructuras de incentivos y otorgó mayor flexibilidad -a las facultades y departamentos- para promover la productividad en la investigación. Para permanecer en ese programa, las universidades necesitan mejorar sus calificaciones internacionales y, para ello, sus investigadores deben publicar más artículos en revistas internacionales indexadas en bases de datos relevantes. Se señala que ello genera enormes tensiones institucionales, ya que suelen establecerse metas de publicación difíciles de alcanzar. Algunos investigadores admitieron haber participado en prácticas poco éticas (tales como plagio, falsificación de datos, explotación de estudiantes, soborno a editores, entre otras) por temor a perder sus empleos.
El artículo se funda en datos empíricos recopilados en 3 universidades de elite, así como en una revisión de documentos pertinentes. Se reunió una vasta colección de entrevistas que ofrecen relatos de primera mano de investigadores sobre sus prácticas y las sensaciones asociadas. La mayor parte de los investigadores destacan la culpa que experimentaron cuando debieron incurrir en comportamientos poco éticos para preservar sus puestos de trabajo. Pero otros investigadores expresan que: (a) los hallazgos trazan una imagen demasiado negativa del programa, (b) el tamaño de la muestra fue demasiado pequeño para obtener conclusiones confiables (sólo se relevaron 3 instituciones de élite, entre más de 140 instituciones incluidas en el programa), (c) el artículo se centra casi exclusivamente en los aspectos negativos de los incentivos para publicar investigaciones, sin hacer referencia a los positivos, (d) los hallazgos podrían estar sesgados, porque quienes aceptaron la entrevista podrían no representar las opiniones de quienes la rechazaron, y (e) la mala conducta en la investigación no es resultado del programa, sino de un “insuficiente énfasis en la educación sobre integridad en la investigación”. Concluye señalando que: (a) las políticas gubernamentales deberían ser más específicas en cuanto a cómo definen y castigan los diferentes tipos de mala conducta, (b) cultivar la integridad de la investigación lleva tiempo y requiere esfuerzos coordinados de todas las partes involucradas, y (c) la presión para publicar más artículos “no es exclusiva de China”. “Cuando y dondequiera que se establezcan incentivos y requisitos para producir más, siempre habrá quienes ‘jueguen con las métricas'”.
3.- Tercer artículo: Características de las “fábricas de artículos” (3.1.) (3.2.)
Las fábricas de artículos (en adelante: FA) basan su modelo de negocios en explotar la creciente presión -sobre los investigadores de todo el mundo- para acumular publicaciones, y publican -cada año- decenas de miles de artículos espurios con falsas coautorías. Para asegurar la publicación de los artículos que producen, las FA más poderosas sobornan a editores, ubican a sus propios agentes en consejos editoriales, y organizan números especiales de ciertas revistas. Sus anuncios de venta de coautorías expresan, por ejemplo: “se ofrecen 5 coautorías en un artículo de investigación original sobre genética y enfermedades autoinmunes, ya aceptado para publicación”. Una investigación realizada por Science y Retraction Watch, en colaboración con Wise y otros expertos de la industria, identificó numerosas FA y más de 30 editores de revistas que parecen estar involucrados en el “negocio”. Frente a esta grave amenaza contra la integridad de la investigación-publicación, varios editores y revistas reforzaron sus equipos de evaluación, se retractaron de numerosos artículos y están invirtiendo en técnicas y herramientas para detectar artículos sospechosos. Hay quienes opinan que las medidas de control sobre las FA son ineficaces, ya que muchos supuestos investigadores que no disponen del tiempo, la motivación ni de la capacidad para realizar investigaciones, están dispuestos a pagar unos miles de dólares para comprar autorías.
4.- Cuarto artículo: Las fábricas de artículos: perjuicios y detección, (4.1.) (4.2.) (4.3.)
El artículo aquí reseñado se refiere a un estudio de la Universidad de Santiago de Compostela (España), junto a las universidades estadounidenses de Yale y Brown (EE.UU.) y a otros autores españoles, publicado en el British Medical Journal (BMJ). Muestra que el 21,8% de los artículos retirados de revistas científicas en 2021 fueron retractados debido a su procedencia de “fábricas de artículos” (en adelante: FA). Para el estudio se identificaron, a través de la base de datos Retraction Whatch, 1.182 artículos falsos publicados a partir de 2004. Casi todos los autores de esos artículos provienen de China (96,8%), la inmensa mayoría están vinculados con alguna institución hospitalaria (76,9%), y las áreas más afectadas son farmacología y farmacia, con un 22% del total. El gran “boom” de la identificación de artículos provenientes de FA tuvo lugar a partir de 2020 (cuando “saltó la alarma”). Pero todo parece ser sólo la punta del iceberg, dado que solo están registrados los artículos ya retirados, pero seguramente habrá miles aún no identificados o en revisión. Los artículos “fabricados” se publican en todo tipo de revistas, muchas con alto factor de impacto. Ello es posible porque muchos de esos artículos hacen referencia a detalles muy concretos que los revisores de las revistas no pueden verificar (replicar ese tipo de investigaciones requeriría cuantiosos recursos, laboratorios, material y personal especializado). Por otra parte, recurrir a FA es un atajo fraudulento que rara vez resulta penalizado. Cuando eventualmente se descubre, el defraudador ya se graduó, realizó su tesis o logró el ascenso que buscaba. Los principales perjudicados son los editores de revistas. Cuando una revista detecta un artículo “fabricado”, simplemente lo rechaza y los autores pueden probar suerte en otras, o incluso enviarlo simultáneamente a varias revistas. Debería haber un sistema de alarma para evitar que ese artículo se cuele a otros editores menos prevenidos. Otra víctima evidente son los investigadores legítimos, quienes deben invertir mucho más tiempo en sus trabajos que alguien que compra una coautoría espuria. Concluye señalando que la lucha contra las FA es sumamente compleja, dado que éstas seguramente crearán sistemas para superar los filtros que se establezcan, y que todo puede complicarse aún más con las nuevas herramientas de inteligencia artificial. Por todo ello, se propone una solución radical: que disminuya la presión por publicar o que sean más realistas las cuotas de publicación impuestas a los investigadores.
5.- Quinto artículo: Fábricas de artículos disfrazadas de tutorías de investigación (5)
Diversas organizaciones en EE.UU. ofrecen, a médicos jóvenes de todo el mundo, la oportunidad de mejorar sus currículums para aspirar a posiciones laborales en EE.UU. Concretamente, ofrecen publicaciones “fáciles” para los más de 12.000 médicos extranjeros que -cada año- solicitan puestos de residencia en EE.UU. Si bien algunas de estas organizaciones ofrecen cierta capacitación en investigación, la mayor parte son “fábricas de artículos” disfrazadas. Sus anuncios expresan, por ejemplo: “Podrás contribuir en cada etapa de la investigación, desde la selección del tema hasta el envío del artículo, así como desempeñarte sólidamente en las exposiciones y entrevistas” “Contarás con el apoyo de mentores, y con la ayuda de un equipo experimentado de investigadores”. Hay quienes señalan que el modelo de negocio de esas organizaciones resulta “admirable”: Hacer que los interesados paguen por “capacitación”, y “regalarles” la coautoría de un artículo prefabricado con publicación garantizada en una revista con laxos sistemas de revisión y evaluación. Concluye señalando que “la actual cultura de investigación, que prioriza la cantidad de publicaciones sobre la calidad, genera una demanda de autorías que es muy fácil de explotar”.
6.- Sexto artículo: Identificación de artículos “fabricados” (6.1.) (6.2.)
Hasta ahora, los esfuerzos para detectar los productos de “fábricas de artículos” (en adelante: FA) se centraron en el análisis del contenido de los textos. Pero, frente a la creciente sagacidad de las FA, podría ser útil analizar las relaciones entre autores, que es más difícil de ocultar mediante el uso de la IA generativa. Dado que los compradores de autorías sólo se asocian en un artículo a través de transacciones individuales, no es frecuente que los “coautores” de artículos fabricados aparezcan juntos más de una vez. En el artículo aquí reseñado se describe un modelo desarrollado en la firma Digital Science (Londres), que -con el objetivo de crear un método robusto para detectar artículos fabricados- codifica algunas de las características clave de una red de “autorías comercializadas”. De este modelo surge una huella digital característica que proporciona un enfoque estadístico sólido para detectar artículos fraudulentos y redes de FA. Concluye señalando que, si bien a las FA les resultará difícil eludir la detección por parte de estas nuevas herramientas manteniendo su actual modelo de negocio, es aún difícil demostrar que un artículo publicado es –concluyentemente- producto de una FA. Como consecuencia, más que un conjunto de indicios, se necesitarán todos los indicios posibles para obtener resultados convincentes para la retractación.
7.- Séptimo artículo: Indicios para inferir la intervención de una fábrica de artículos (7.1.) (7.2.)
Iindagadores (o detectives) de artículos científicos sobe cáncer hallaron una nueva señal de alerta para identificar artículos fraudulentos: líneas celulares inexistentes. Esa es la conclusión de un reciente estudio sobre 8 líneas celulares que están mal escritas en 420 artículos publicados entre 2004 y 2023, incluso en revistas altamente calificadas en investigación del cáncer. Un subconjunto de 235 de esos artículos proporcionó indicios de que los experimentos reportados no se realizaron y que se trató de invenciones masivas de datos.
La indagación comenzó como un examen de líneas celulares mal escritas en artículos sobre cáncer. El equipo comenzó a sospechar de un subconjunto de artículos que se referían a las mismas 7 líneas celulares como si no fueran las mismas. Estos artículos también exhibían otras señales de alerta: carecían de una descripción de cómo se derivó la línea celular sospechosa y no proporcionaron su huella genética única comúnmente utilizada por los investigadores. Es más, varios artículos enunciaron 3 repositorios en los cuales se habían adquirido -supuestamente- algunas líneas celulares, pero esas líneas no aparecían en los respectivos catálogos. El equipo indagador identificó finalmente 235 artículos de este tipo en 150 revistas, incluidas publicaciones de alto impacto. La mayoría exhibe autores chinos afiliados a hospitales (un grupo ya identificado como una fuente de clientes para “fábricas de artículos” (FA)). Cabe inferir que los redactores de las FA pueden haber copiado los nombres mal escritos de artículos legítimos, sin conocer la ortografía correcta. Y estos documentos pueden ser la punta de un iceberg. El equipo planea realizar más exámenes y espera que otros también lo hagan.
8.- Octavo artículo: Citaciones intensivas fraudulentas (8.1.) (8.2.)
El negocio de las citaciones intensivas de artículos (8.1.)
En el mundo académico, el “número de citas” de artículos publicados suele utilizarse como indicador de “impacto” para decisiones de calificación, contratación y ascenso de investigadores. Dada la relevancia asignada a dicho indicador, existen grupos (“cárteles de citaciones”) dedicados a aumentar artificialmente el número de citas de determinados autores y sus instituciones, haciendo repetidas referencias a sus trabajos en artículos producidos en serie. Como resultado, algunas universidades (o autores) con escasos antecedentes en ciertas disciplinas acreditan un mayor número de “artículos más citados” que aquellas con sólidas trayectorias en esos campos. Por ejemplo, un indagador en matemáticas observó que la lista de “autores más citados” de Clarivate estaba siendo gradualmente dominada por autores escasamente reconocidos. “Había personas que publicaban en revistas que ningún matemático serio lee, cuyos trabajos eran intensamente citados en artículos que ningún matemático serio leería, provenientes de instituciones que nadie conoce en matemáticas”, dice. Ante tal evidencia, profundizó en los datos de Clarivate de los últimos 15 años para explorar qué universidades publicaban los artículos más citados y quiénes los citaban. Los datos entre 2021 y 2023 mostraron que: (a) instituciones con escasa tradición matemática habían desplazado -en “artículos más citados”- a instituciones con notoria trayectoria, (b) la mayor parte de las citas esos artículos provenían de integrantes de la misma institución que los autores citados, y (c) los artículos que citaban esos artículos se publicaban regularmente en revistas propensas a consentir prácticas cuestionables de citación. Si bien el campo de las matemáticas es particularmente vulnerable a la manipulación, las citas fraudulentas se están difundiendo en diversas disciplinas. Concluye señalando que, debido a la difusión de esas prácticas, el “número de citas” ya no es hoy una buena medida de calidad científica.
La compraventa mayorista de citaciones fraudulentas (8.2.)
Otro equipo de indagación, después de revisar los perfiles en Google Scholar de más de 1,6 millones de investigadores y observar autores con al menos 200 citas, identificó a 1.016 investigadores que habían experimentado un aumento de 1.000% en citaciones en un solo año. Para profundizar la indagación, el equipo se puso en contacto -utilizando el nombre y los trabajos de un investigador ficticio- con una organización “diseminadora de citaciones” y compró el “paquete de 50 citas”. En 40 días, salieron publicados 5 artículos, cada uno de los cuales incluía 10 citas de trabajos del investigador ficticio. Para identificar patrones de citas compradas, los indagadores proponen una nueva métrica denominada “índice de concentración de citas” que computa la cantidad de artículos que citan repetidamente a un determinado investigador. Concluye señalando que, incluso con dicho índice, los malos actores se adaptarán inventando métodos para ocultar sus prácticas; en un juego interminable.
9.- Noveno artículo: Expectativas y riesgos en el uso de la IA en la investigación (9.1.) (9.2.)
En el artículo aquí reseñado se cuestiona el uso de herramientas de inteligencia artificial (IA) en las distintas fases del proceso de investigación. Para ello se enuncian las expectativas de los investigadores respecto de la IA, particularmente en términos de mejora en productividad y objetividad. Pero la IA también puede agudizar nuestras propias limitaciones cognitivas, haciéndonos percibir y creer que entendemos más de lo que realmente entendemos. Tales ilusiones oscurecen nuestra capacidad para percibir la formación de “monocultivos científicos”, en los que algunos tipos de métodos, preguntas y puntos de vista llegan a dominar los enfoques vigentes y a desplazar enfoques alternativos, incrementando así nuestra vulnerabilidad a errores, sesgos y riesgos de producir más, pero entender menos. Concluye señalando que este tipo de análisis es imprescindible para avanzar en los debates sobre la producción responsable del conocimiento en la era de la IA.
10.- Décimo artículo: Prevenciones sobre el uso de la IA en la elaboración de artículos (10)
Diversos análisis lingüísticos y estadísticos sugieren que la IA generativa pudo haberse utilizado -sin declararlo- para escribir una enorme cantidad de artículos científicos. Ese uso intensivo de la IA estaría motivado por la escasez de tiempo y la necesidad de publicar tanto como sea posible. Sin embargo, el uso de herramientas de IA para escribir artículos puede ser arriesgado, ya que a menudo dichas herramientas producen textos inexactos, inventan citas o fabrican referencias. Concluye planteando que, como una cuestión de integridad en la investigación, se debe presionar a los autores para que reconozcan y declaren formalmente la utilización de herramientas de IA en la elaboración de artículos.
La revista Physica Scripta publicó, el 9/08/2023, un artículo cuyo objetivo era develar nuevas soluciones a una ecuación matemática compleja. Si bien el artículo parecía genuino, un indagador (detective) científico detectó en el texto la etiqueta de un botón en ChatGPT y publicó una captura de pantalla de la página en PubPeer, un sitio web donde se discuten investigaciones publicadas. La anomalía no había sido detectada durante 2 meses de revisión por pares ni durante la composición gráfica. Tras el referido hallazgo, el editor decidió retirar el artículo porque los autores no habían declarado el uso de la herramienta cuando lo enviaron.
Varios editores, incluidos Elsevier y Springer Nature, anunciaron a los autores que -siempre que lo declaren- pueden utilizar ChatGPT y otras herramientas LLM para producir sus artículos. Sin embargo, son muchos los casos de artículos asistidos por ChatGPT que -sin declarar dicha asistencia- llegan a revistas revisadas por pares. La búsqueda de expresiones clave solo detecta usos ingenuos del ChatGPT, en los que los autores olvidan eliminar signos reveladores, por lo que es probable que la cantidad de artículos en infracción sea mucho mayor. Se trataría esencialmente de una “carrera armamentista” entre embaucadores e indagadores. Cabe prever que la meteórica difusión de herramientas de IA generativa potenciará aún más a las “fábricas de artículos”, lo que multiplicará y empeorará el problema. Por otra parte, los pares revisores no dispondrán de tiempo ni de medios técnicos para revisar a fondo los manuscritos en busca de señales de alerta.
11.- Decimoprimer artículo: Mal uso de la IA generativa en la investigación (11.1.) (11.2.) (11.3.)
Varios editores, incluidos Elsevier y Springer Nature, anunciaron a los autores que -siempre que lo declaren- pueden utilizar ChatGPT y otras herramientas LLM para producir sus artículos. Sin embargo, son muchos los casos de artículos confeccionados con o por ChatGPT que -sin declarar dicha asistencia- llegan a revistas revisadas por pares. La búsqueda de indicios clave solo detecta usos ingenuos del ChatGPT, en los que los autores olvidan eliminar signos reveladores, por lo que es probable que la cantidad de artículos en infracción sea mucho mayor que la detectada. Se trataría esencialmente de una “carrera armamentista” entre embaucadores e indagadores (“detectives”). Cabe prever que la meteórica difusión de herramientas de IA generativa potenciará aun más a las “fábricas de artículos”, lo que multiplicará y empeorará el problema.
12.- Decimosegundo artículo: Iniciativa para la concertación de directrices sobre el uso de la IA en la elaboración de artículos (12)
Desde la difusión pública de herramientas de IA generativa -como ChatGPT- a finales de 2022, editores e investigadores vienen debatiendo acerca de cuándo, cómo y en qué medida pueden usarse esas herramientas para elaborar artículos de investigación. Hay quienes temen que podrían usarse para redactar rápidamente trabajos redundantes o espurios. Algunas revistas (como Science y Nature) y diversas instituciones publicaron reglas sobre el uso de dichas herramientas, pero la diversidad de directrices resulta confusa tanto para investigadores como para editores. Con el propósito de concertar un conjunto único de estándares que represente un consenso de la comunidad involucrada en la investigación/publicación científico-tecnológica, 4.000 investigadores de diversas disciplinas y países debatirán sobre las directrices que podrían adoptarse en las publicaciones académicas. Esta iniciativa (conocida como CANGARU) surge de una asociación entre investigadores y editores (incluidos Elsevier, Springer Nature, Wiley); representantes de las revistas eLife, Cell y BMJ; así como del Comité de Ética en Publicaciones. Durante 2024 está previsto publicar un conjunto final de directrices que se actualizarán cada año. CANGARU procederá a una revisión sistemática de la literatura relevante, y luego, un panel (de investigadores, informáticos, ingenieros, metodólogos y editores) evaluará las directrices. El éxito de las directrices dependerá -en última instancia- de que las instituciones y agencias financiadoras, así como comités de contratación, permanencia y promoción, alienten la adhesión a las normas y penalicen a los investigadores que no lo hagan.
13.- Decimotercer artículo: Agencias financiadoras de investigación rechazan el uso de IA en la revisión por pares (13)
Un investigador y revisor de los Institutos Nacionales de Salud (NIH) dijo –pública y apasionadamente- que la herramienta de IA ChatGPT resulta ya imprescindible para redactar revisiones críticas de propuestas de investigación. Otros participantes coincidieron y dijeron que ChatGPT permitía un gran ahorro de tiempo: “para redactar una revisión crítica sólo es necesario pegar partes de la propuesta por revisar -como el resumen, los objetivos y la estrategia de investigación- y pedirle a la IA que evalúe críticamente la información”. Sin embargo, tanto los NIH como otras agencias de financiamiento están prohibiendo el uso de herramientas de IA en las revisiones. El 23/06/2023 lo hizo el NIH y el 7/07/2023 el Consejo Australiano de Investigación (ARC). La Fundación Nacional de Ciencias de EE.UU. constituyó un grupo de trabajo interno para analizar si puede haber usos apropiados de la IA durante el proceso de revisión, así como las “barreras de protección” necesarias. Por su parte, el Consejo Europeo de Investigación prevé discutir acerca del uso de la IA tanto para escribir como para evaluar propuestas.
La mayor preocupación reside en la confidencialidad. Cuando componentes de una propuesta se introducen en una herramienta de IA en línea, la información pasa a formar parte de sus datos de entrenamiento y causa inquietud el hecho de no tener claro “dónde se envían, guardan, visualizan o utilizan los datos”. Por otra parte, las actuales herramientas de IA han sido entrenadas con información preexistente y carecen de creatividad; por tanto: “Se pierde la originalidad del pensamiento e incluso puede incurrirse en plagio”, señalaron funcionarios de los NIH. Lo que realmente hace ChatGPT es “regurgitar” respuestas. Si bien algunos revisores humanos hacen lo mismo, hay una gran diferencia entre una revisión adecuada -que proporciona información crítica, opinión informada y evaluación de un experto- y un mero comentario sobre lo que ya está en una propuesta. Sin embargo, algunos revisores señalan que la IA ofrece la oportunidad de mejorar el proceso de revisión por pares y consideran a la prohibición de los NIH como una “retirada tecnofóbica” de un cambio positivo: “Los revisores pueden usar las herramientas de IA para verificar sus propias críticas y chequear si han pasado por alto algún aspecto relevante”.
14.- Decimocuarto artículo: Detección y camuflaje (“humanización”) de contenidos generados por IA (14.1.) (14.2.)
En el actual escenario de difusión global de contenidos generados por IA, es importante poder distinguir entre lo que escribe una persona y una máquina. Pero paralelamente proliferan las herramientas para eludir tal distinción mediante la “humanización” de contenidos generados por IA.
En los artículos aquí reseñados se caracteriza a dos tipos de herramientas -detectores y humanizadores de contenidos generados por IA- cuyos propósitos son netamente opuestos:
- (a) Los detectores de contenido generado por IA: analizan las palabras, frases y estilo del texto; comparan esas características con las pautas de escritura de la IA y proporcionan una probabilidad de que el contenido analizado haya sido generado por un humano o usando IA. Los detectores se entrenan con extensos conjuntos de datos y se mejoran continuamente a través de aprendizaje automático. Están destinados a un amplio conjunto de usuarios, incluyendo: (i) creadores de contenido, (ii) instituciones educativas, (iii) administradores de sitios web, (iv) investigadores, y (v) empresas.
- (b) Los humanizadores (encubridores, conversores o camufladores) de contenidos generados por IA: tienen el propósito de evitar la detección del uso de IA, haciendo que el contenido parezca totalmente generado por un autor humano. Están destinados a creadores de contenido y a investigadores que desean encubrir la intervención de IA en los contenidos que generan.
- (a) Los detectores de contenido generado por IA: analizan las palabras, frases y estilo del texto; comparan esas características con las pautas de escritura de la IA y proporcionan una probabilidad de que el contenido analizado haya sido generado por un humano o usando IA. Los detectores se entrenan con extensos conjuntos de datos y se mejoran continuamente a través de aprendizaje automático. Están destinados a un amplio conjunto de usuarios, incluyendo: (i) creadores de contenido, (ii) instituciones educativas, (iii) administradores de sitios web, (iv) investigadores, y (v) empresas.
A continuación, se presentan algunos ejemplos de ambos tipos de herramientas:
1.- Ejemplos de herramientas para detectar contenidos generados por IA:
Neural Writer: https://neuralwriter.com/es/content-detector-tool/#progress=4
Quillbot: https://quillbot.com/es/detector-de-ia
Smodin: https://smodin.io/es/detector-de-contenido-de-ia
Plag: https://www.plag.es/servicios/ia
Plagiarism Detector: https://plagiarismdetector.net/es/ai-content-detector
Editpad: https://www.editpad.org/tool/es/detector-de-ia
Monica: https://monica.im/es_419/tools/ai-content-detector
2.- Ejemplos de herramientas para “humanizar” contenidos generados por IA:
Bypass GPT: https://bypassgpt.ai/
Undetectable AI: https://undetectable.ai/?lang=es_es
HIX Bypass: https://bypass.hix.ai/
Humbot: https://humbot.ai/es
StealthGPT: https://www.stealthgpt.ai/es
15.- Decimoquinto artículo: “Fraude” perpetrado por sistemas de inteligencia artificial autónomos (15.1.) (15.2.) (15.3.)
Así como la inteligencia artificial abre inmensas posibilidades, también podría perpetrar “fraude” de manera autónoma. El artículo aquí reseñado trata sobre acciones “fraudulentas” del sistema “The AI Scientist” (*). Se señala que, durante las pruebas, el sistema mostró un comportamiento inesperado que preocupó a la comunidad tecnológica y científica. En lugar de optimizar su código para cumplir con las limitaciones impuestas por sus desarrolladores, el sistema comenzó a modificar su propio código para sortear esas restricciones. En otro caso, al enfrentar un límite de tiempo para completar un experimento, no optimizó su código para cumplir con este límite, sino que simplemente extendió el límite de tiempo modificando su propio código. Si bien estos comportamientos ocurrieron en un entorno de prueba controlado, muestran los riesgos de permitir que una IA opere de manera autónoma. La posibilidad de que una IA modifique su propio código sin supervisión humana podría llevar a consecuencias imprevisibles, especialmente en entornos no controlados.
(*). Ver: “El primer sistema impulsado por IA para la investigación científica: Totalmente automático y autónomo” en la sección Noticias Científicas Internacionales de este mismo Newsletter.
16.- Decimosexto artículo: Software para detección de artículos sospechosos (16.1) (16.2) (16.3)
Las fábricas de artículos (FA) suelen disfrazar sus plagios mediante software que altera la redacción de los artículos fuente. Pero ahora las revistas cuentan con una herramienta automatizada para detectar esas alteraciones sospechosas. El equipo de detección, dirigido por el informático Guillaume Cabanac de la Universidad de Toulouse, desarrolló previamente una gama de detectores automáticos de fraude en el Problematic Paper Screener (PPS), disponible públicamente. El sistema escanea semanalmente la literatura científica y señala los artículos con indicios de problemas potencialmente graves. Pero si bien PPS es un importante aporte para la detección del fraude, tal detección sólo representa la mitad de la batalla. Hasta la fecha, el PPS permitió denunciar más de 15.000 artículos problemáticos, pero sólo 2.760 fueron retractados. La indagación sobre artículos sospechosos suele revelar muchos otros problemas (identidades falsas, citas y referencias irrelevantes o incluso inventadas). Concluye señalando que los problemas detectados por el PPS son una señal de problemas más amplios en las publicaciones científicas. La cultura de “publicar o perecer” incentiva, a algunos “investigadores”, a comprar autorías en “fábricas de artículos”. Por su parte, los editores que cobran a los autores por procesar y publicar sus trabajos también tienen un incentivo para un control de calidad más laxo. Es poco probable que la evaluación de artículos aminore efectivamente la marea de artículos problemáticos. La única manera real de resolver adecuadamente el problema es transformar los sistemas de incentivos; abordando la problemática desde su origen.
17.- Decimoséptimo articulo: Perú: Compra y venta de tesis y artículos académicos podría tener una pena de cárcel de hasta 8 años (17.1.) (17.2.) (17.3.) (17.4.) (17.5.) (17.6.) y (17.7.)
En Perú, una investigación periodística reveló decenas de casos de investigadores que compraron autorías de artículos para avanzar en sus carreras. Por su parte, el programa Punto Final reveló cómo funcionaba un grupo de WhatsApp para la compra de autorías, que incluía a un 70% de usuarios peruanos y al 30% de otros países latinoamericanos. Una parte de ellos compartían coautorías con “investigadores” de Nepal, Pakistán o Irak, también ávidos por publicar para lograr beneficios. Con base en esos antecedentes, se presentó un proyecto de ley para tipificar y sancionar el delito de fraude cometido por científicos, investigadores, docentes, académicos, empresarios, o cualquier persona natural o jurídica que tenga a la ciencia como actividad principal. “Con la finalidad de sancionar el daño social a la comunidad científica del país, consistente en la devaluación de la confianza dentro de la comunidad científica, mediante la alteración de la verdad y la desviación ética de la actividad intelectual”, se lee en el documento. Sería necesario modificar el artículo 196 del Código Penal Peruano, de manera que quienes incurran en estafa en perjuicio de la comunidad científica, puedan ser condenados con entre 1 y 6 años de cárcel.
Referencias:
(1.1.) Fuente primaria: “Flood of Fake Science Forces Multiple Journal Closures: Wiley to shutter 19 more journals, some tainted by fraud” By Nidhi Subbaraman. The Wall Street Journal. May 14, 2024
(1.2.) Fuente secundaria: “Fraudes en revistas científicas en el mundo: Crisis entre editoriales de revistas científicas y académicas ante citas y fuentes falsas” Por Joaquín Mauricio López Bejarano. La República Más. 20 de mayo de 2024.
(1.3.) “The papers that most heavily cite retracted studies: Data from giant project show how withdrawn research propagates through the literature”. By Richard Van Noorden & Miryam Naddaf. Nature. 28 August 2024. DOI:10.1038/d41586-024-02719-5
(1.4.) “More than 10,000 research papers were retracted in 2023 — a new record: The number of articles being retracted rose sharply this year. Integrity experts say that this is only the tip of the iceberg.” By Richard Van Noorden. Nature. Ners. 12 December 2023. DOI: 10.1038/d41586-024-02554-8
(2.1.) Fuente primaria: “Research misconduct in China: towards an institutional analysis” Xinqu Zhang and Peng Wang. Research Ethics. Open access. Research article. April 19, 2024. DOI: 10.1177/17470161241247720
(2.2.) Fuente secundaria: “Elite researchers in China say they had ‘no choice’ but to commit misconduct” By Smriti Mallapaty. Nature. News. 11 June 2024. DOI: 10.1038/d41586-024-01697-y
(3.1.) “Paper Trail: In the latest twist of the publishing arms race, firms churning out fake papers have taken to bribing journal editors” By Frederik Joelving, editor de Retraction Watch. Science, A version of this story appeared in Science, Vol 383, Issue 6680.18 Jan 2024. DOI: 10.1126/science.zrjehzt
(3.2.) “How big is science’s fake-paper problem?: An unpublished analysis suggests that there are hundreds of thousands of bogus ‘paper-mill’ articles lurking in the literature” By Richard Van Noorden. Nature. News. 06 November 2023
(4.1.) “Retracted papers originating from paper mills: cross sectional study” Cristina Candal-Pedreira, Joseph S Ross, Alberto Ruano-Ravina, David S Egilman, Esteve Fernández, Mónica Pérez-Ríos. BMJ 2022; 379 28 November 2022. DOI: 10.1136/bmj-2022-071517
(4.2.) “Así son los talleres clandestinos que producen miles de investigaciones científicas falsas: gran parte de los artículos retirados de las revistas científicas proceden de empresas que venden la autoría al mejor postor” Por José Pichel. El Confidencial. 26/12/2022
(4.3.) “Publishing nightmare: a researcher’s quest to keep his own work from being plagiarized: A scientist reviewing a study spotted figures that looked identical to his own, leading to a frustrating campaign to prevent its publication” By Dan Garisto, Nature. News. 04 September 2024. DOI: 10.1038/d41586-024-02554-8
(5) “Firms Offering A Fast Track To Publication Target Foreign Applicants To U.S. Medical Residency Programs” By Frederik Joelving, Retraction Watch. Science. American Association for the Advancement of Science. Historia producida en colaboración con Retraction Watch y apoyada por el Science Fund for Investigative Reporting. 3 May 2024. DOI: 10.1126/science.z7vuqtq
(6.1.) Fuente primaria: “Identifying Fabricated Networks within Authorship-for-Sale Enterprises” Simon J. Porter, Leslie D. McIntosh. arXiv:2401.04022 [cs.DL] or arXiv:2401.04022v1 [cs.DL] (for this version). 8 Jan 2024. DOI: 10.48550/arXiv.2401.04022
(6.2.) Fuente secundaria: “Fake research papers flagged by analysing authorship trends: A new approach to detecting fraudulent paper-mill studies focuses on patterns of co-authors rather than manuscript text” By Dalmeet Singh Chawla. Nature. News. 07 February 2024
(7.1.) Fuente primaria: “Misspellings or “miscellings”—non-verifiable and unknown cell lines in cancer research publications” Danielle J. Oste, Pranujan Pathmendra, Reese A. K. Richardson, Gracen Johnson, Yida Ao, Maya D. Arya, Naomi R. Enochs, Muhammed Hussein, Jinghan Kang, Aaron Lee, Jonathan J. Danon, Guillaume Cabanac, Cyril Labbé, Amanda Capes Davis, Thomas Stoeger, Jennifer A. Byrne. International Journal of Cancer. . 2024;1–12. May 2024. DOI: 10.1002/ijc.34995
(7.2.) Fuente secundaria: “Hundreds of cancer papers mention cell lines that don’t seem to exist: Finding could be an indicator of paper mill activity” By Jeffrey Brainard. Science. 21 May 2024. DOI: 10.1126/science.z8nplpa
(8.1.) “Citation cartels help some mathematicians—and their universities—climb the rankings: Widespread citation manipulation has led entire field of math to be excluded from influential list of top researchers” By Michele Catanzaro. Science. Science Insider Scientific Community. 30 Jan 2024. DOI: 10.1126/science.zcl2s6d
(8.2.) “Vendor offering citations for purchase is latest bad actor in scholarly publishing: Unscrupulous researchers have many options for gaming citations metrics, new study highlights” By Katie Langin. Science. Science Careers. 12 Feb 2024. DOI: 10.1126/science.zk7dou0
(9.1.) “Artificial intelligence and illusions of understanding in scientific research” By Lisa Messeri & M. J. Crockett. Nature. Perspectives. Volume 627, 06 March 2024. pp. 49–58 (2024). DOI: 10.1038/s41586-024-07146-0
(9.2.) “As scientists face a flood of papers, AI developers aim to help: New tools show promise, but technical and legal barriers may hinder widespread use” By Jeffrey Brainard. Science. 21 Nov 2023. A version of this story appeared in Science, Vol 382, Issue 6673. DOI: 10.1126/science.adn0669
(10) “Some scientists can’t stop using AI to write research papers” By Matthew Connatser. The Register. 3 May 2024
(11.1.) “Scientific sleuths spot dishonest ChatGPT use in papers: Manuscripts that don’t disclose AI assistance are slipping past peer reviewers” By Gemma Conroy. Nature. News- 08 September 2023. DOI: https://doi.org/10.1038/d41586-023-02477-w
(11.2.) “Medical AI chatbots: are they safe to talk to patients: Artificial intelligence chatbots based on large language models can pass medical exams but their diagnoses are often inaccurate?” By Paul Webster. Nature. Medicine (2023). News Feature. 08 September 2023
(11.3.) “Críticas a revista científica por usar IA para redactar contenidos: Cosmos, publicada por una agencia científica respaldada por el gobierno australiano, usó el programa de Open AI Chat GPT-4 para producir seis artículos el mes pasado”. Empresas & Management (E&M) 8(08/2024
(12) “Should researchers use AI to write papers? Group aims for community-driven standards: Tools such as ChatGPT may be used for 1% to 5% of manuscripts, recent estimates suggest” By Holly Else. Science. Careers, Technology. 16 Apr. 2024. DOI: 10.1126/science.z9gp5zo
(13) “Science funding agencies say no to using AI for peer review: Concerns include confidentiality, accuracy, and “originality of thought”. By Jocelyn Kaiser. Science. Science Insider. Scientific Community. 14 Jul 2023. DOI: 10.1126/science.adj7663
(14.1.) ¿Qué tan buenos son los detectores de IA en la clasificación de contenido? White Press. 6/07/2023
(14.2.) “Cómo eludir la detección de contenidos por IA: un método infalible” Por Bars Juhasz. octubre 31, 2023
(15.1.) “Artificial Intelligence Can Generate Fraudulent but Authentic-Looking Scientific Medical Articles: Pandora’s Box Has Been Opened” Monitoring Editor: Taiane de Azevedo Cardoso. Reviewed by Yao Wang, Beenish Chaudhry, and Weihua Yang Martin Májovský, corresponding author Martin Černý, Matěj Kasal, Martin Komarc, and David Netuka. Journal of Medical Internet Research. 2023; 25: e46924.PMCID: PMC10267787. PMID: 37256685. Published online 2023 May 31, DOI: 10.2196/46924
(15.2.) “AI systems are already deceiving us — and that’s a problem, experts warn” AFP-JIJI. The Japan Times. Science & Health. May 11, 2024
(15.3.) “Los temores se hacen realidad: una IA cambia su propio código para evadir controles humanos” Por Juan Ríos. Infobae. 25 Ago, 2024
(16.1) “Software that detects ‘tortured acronyms’ in research papers could help root out misconduct: Generated by plagiarism disguisers, these red flags can point to deeper problems with a paper” By Cathleen O’Grady. Science. Science Insider, Scientific Community. 31 May 2024. DOI: 10.1126/science.znqe1aq
(16.2) “The ‘Problematic Paper Screener’ automatically selects suspect publications for post-publication (re)assessment”.Cabanac, G., Labbé, C., & Magazinov, A. (2022). Presented at WCRI 2022: 7th World Conference on Research Integrity. arXiv preprint. DOI: 10.48550/arXiv.2210.04895
(16.3) Problematic Paper Screener
(17.1.) “Escándalo por compraventa de investigaciones en América Latina: Un grupo de WhatsApp creado en Perú, pero con científicos de toda la región, se dedicaba a ofertar autorías en revistas especializadas” Por Pablo Corso. Perfil.com. 13-12-2023
(17.2.) “Peru moves to crack down on fraud in research publishing” By María de Los Ángeles Orfila. Science. 2024 Jan 5;383(6678):17. DOI: 10.1126/science.adn8382.
(17.3.) “Peru moves to crack down on scientific fraudsters: Legislation sets penalties for buying authorship and other misdeeds” By María de Los Ángeles Orfila. Science. 21 Dec 2023. A version of this story appeared in Science, Vol 383, Issue 6678. DOI: 10.1126/science.z5jx4cj
(17.4.) Perú. Congreso: Compra y venta de tesis y artículos académicos podría tener una pena de cárcel de hasta 8 años: El proyecto de ley fue presentado luego de que se diera a conocer que profesionales pagaban para ser incluidos indebidamente en investigaciones que nunca hicieron. Por Ricardo Mc Cubbin. Infobae. 15 Feb, 2024.
(17.5.) “Comisión de Ciencia analizará proyecto que sanciona el fraude científico” Perú Radio Nacional. 19 Feb 2024
(17.6.) Perú. Formalizan aprobación del “Código Nacional de Integridad Científica”. Resolución de Presidencia N° 028-2024-CONCYTEC-P. Lima, 4 de marzo de 2024. El Peruano, 07/03/2024
(17.7.) Perú. Video de Sesión Plenaria del Congreso de la Republica. Compraventa de autorías de artículos científicos.
