N.83 – Cómo detectar contenidos generados

Mientras el chatbox ChatGPT (de la empresa OpenAI) puede generar informes, ensayos y manuscritos científico-tecnológicos fluidos y aparentemente informados, las autoridades y docentes de instituciones universitarias, así como los editores y pares revisores de revistas -preocupados por la ética, veracidad y precisión de los contenidos que les conciernen- se esfuerzan por proteger la literatura académica de una previsible avalancha de manuscritos escritos –total o parcialmente- por programas de IA. Pero no disponen -hasta hoy- de herramientas confiables para detectar de forma consistente esos textos.

ChatGPT y sus similares, incluido Bard de Google y Galactica de Meta, son algoritmos de IA generativa sustentados en “grandes modelos de lenguaje”, entrenados con una gran cantidad de muestras de texto extraídas de Internet. El software identifica patrones y relaciones entre palabras, lo que le permite generar respuestas supuestamente relevantes y pertinentes a preguntas y pedidos. En algunos casos es imposible distinguir el texto resultante del que podría escribir un experto humano. Sin embargo, mediante análisis rigurosos pueden identificarse, en los textos generados, una miríada de respuestas erróneas a las consultas, así como sesgos hacia ideas, hipótesis y resultados contenidos en los textos con los que se entrenaron los algoritmos. Si bien se prevé que los desarrolladores de “chatbots inteligentes” crearán versiones aún más poderosas en capacidades de generación de literatura científico-tea, si el software no es expuesto a suficientes datos de entrenamiento para generar una respuesta correcta, seguramente la “fabricará”.

Las nuevas políticas de muchas revistas subrayan la responsabilidad del autor humano por la calidad, veracidad y precisión del texto, y exigen que los autores declaren expresamente el uso de herramientas de generación de texto y prohíban la inclusión de un chatbot como coautor,. Ese es el caso de Nature y todas las revistas de Springer Nature, JAMA Network y otros grupos que adhieren a las mejores prácticas de publicación, así como del Comité de Ética de Publicaciones y la Asociación Mundial de Editores Médicos. La familia de revistas Science anunció, en enero, una prohibición total de textos generados por software. Aún se están resolviendo detalles sobre las directivas a los editores y a los revisores para el examen de textos. Se confía en poder monitorear la nueva tecnología usando detectores automáticos que puedan identificar texto generado por IA. Pero ello no es fácil.

Los actuales detectores dejan mucho que desear. El “clasificador” de OpenAI clasifica el texto sometido a análisis en una escala que va desde “probable” que haya sido escrito por una computadora hasta “muy poco probable”. El clasificador estaba entrenando usando muestras de escritura humana y de texto generado por 34 algoritmos de cinco compañías diferentes, incluida la propia OpenAI. Pero OpenAI reconoce varias limitaciones. La herramienta, aún en desarrollo, aplica correctamente la etiqueta “probable” solo el 26% de las veces. Y es muy posible que no clasifique de manera consistente textos sobre temas que no se incluyeron en los datos de capacitación.

OpenAI anunció en diciembre de 2022 que está trabajando con distintas normas de “marcas de agua” en los textos generados por sus modelos, insertando palabras, ortografía y puntuaciones para crear un código secreto detectable por los motores de búsqueda. Y en enero 2023 un equipo de la Universidad de Stanford publicó una preimpresión que describe al detector DetectGPT, que –sin requerir entrenamiento- infiere la probabilidad de que una muestra provenga de un determinado programa de software IA. Por su parte, la empresa TurnItIn, que comercializa un detector de plagio ampliamente utilizado, anunció que planea lanzar -a partir de abril- un detector entrenado en escritura académica, para identificar el 97% del texto generado por ChatGPT, con una tasa de falsos positivos de 1%. En materia de calificación de la precisión objetiva del texto generado por un robot y la calidad de sus resúmenes, la empresa está trabajando en un verificador automático que examinaría la literatura científica existente para determinar si una determinada cita en un manuscrito presenta realmente el hallazgo que el manuscrito afirma que presenta. Esa herramienta podría revelar referencias “fabricadas”, así como otras irrelevantes o incorrectas proporcionadas por humanos.