Cientistas sabem o que está acontecendo, mesmo que eles próprios não o façam. Alguns de seus colegas estão usando chatbots, como o ChatGPT, para escrever total ou parcialmente seus artigos.
Em um artigo publicado na última quarta-feira (2) na revista Science Advances, Dmitry Kobak da Universidade de Tübingen (Alemanha) e seus colegas disseram ter encontrado uma forma de rastrear com que frequência os pesquisadores estão usando chatbots de inteligência artificial para escrever os resumos de seus artigos.
As ferramentas de IA, segundo eles, tendem a usar certas palavras —a exemplo de aprofunda, crucial, potencial, significativo e importante— com muito mais frequência do que autores humanos.
O grupo analisou o uso de palavras nos resumos de mais de 15 milhões de resumos biomédicos publicados entre 2010 e 2024.
As descobertas alimentam um debate nas ciências sobre quando é apropriado, ou não, recorrer a assistentes de IA para escrever artigos.
Quando o ChatGPT surgiu, em novembro de 2022, um conjunto de palavras começou a aparecer com frequência incomum nos resumos. Essas palavras, segundo os pesquisadores, não eram tão adotadas antes do lançamento. Com isso, eles inferem que a mudança é um sinal do uso da IA.
Em 2024, houve um total de 454 palavras usadas excessivamente por chatbots, relatam os pesquisadores. Com base na frequência das palavras favorecidas pela IA, Kobak e sua equipe calculam que ao menos 13,5% de todos os resumos biomédicos analisados parecem ter sido escritos com a ajuda de chatbots. E até 40% dos resumos de autores de alguns países que publicam em algumas revistas menos seletivas foram gerados por IA.
Na avaliação de Adam Rodman, diretor de programas de IA do Centro Médico Beth Israel Deaconess em Boston (EUA), esses números "são quase certamente um limite inferior", porque não levam em conta a edição humana do que o chatbot escreveu ou a edição do chatbot sobre o que os humanos escreveram. Rodman não participou do estudo.
Autor da pesquisa, Kobak disse que ficou um pouco surpreso ao ver tanto uso de IA em resumos, sumários dos resultados e conclusões de artigos que frequentemente são as únicas coisas que as pessoas leem.
"Eu pensaria que, para algo tão importante como escrever o resumo do seu artigo, você não faria isso", disse ele. Kobak e colegas afirmaram que nenhuma IA foi utilizada na redação do artigo deles.
Alguns pesquisadores têm se tornado cautelosos com qualquer indício de assistência de IA em suas publicações.
Cientistas da computação estão cientes de que a IA favorece certas palavras, embora não esteja claro o motivo, de acordo com Subbarao Kambhampati, professor de ciência da computação na Universidade Estadual do Arizona (EUA) e ex-presidente da Associação para o Avanço da Inteligência Artificial.
Alguns cientistas, segundo ele, têm evitado usar palavras como "aprofundar" por medo de que sejam considerados suspeitos de usar IA para escrever.
Outros parecem indiferentes ao risco de serem flagrados usando chatbots.
Kambhampati dá alguns exemplos, como um relato de caso em uma revista de radiologia que inclui: "Sinto muito, mas não tenho acesso a informações em tempo real ou dados específicos de pacientes, pois sou um modelo de linguagem de IA".
Recentemente, a revista Nature entrevistou mais de 5.000 pesquisadores e perguntou quando, se é que alguma vez, é aceitável usar IA para escrever um artigo.
Não houve consenso.
As opiniões variaram, dependendo se a IA foi utilizada para escrever um resumo ou o artigo inteiro, e se foi usada para editar ou resumir.
Para a situação analisada no novo artigo —escrever um resumo—, só 23% dos entrevistados da Nature disseram que era aceitável usar IA sem reconhecer a assistência. Cerca de 45% afirmaram que era aceitável apenas se o pesquisador relatasse o uso de IA, e 33%, que nunca era aceitável.
"Tudo está muito ambíguo no momento", disse Jonathan H. Chen, diretor de educação médica em inteligência artificial em Stanford. "Estamos em uma zona cinzenta."
Às vezes, é difícil perceber a mão da IA, uma questão que levanta dúvidas sobre se uma submissão gerada por IA a uma revista deve ser rejeitada simplesmente porque não há um autor humano.
Keith Humphreys, professor de psiquiatria e ciência comportamental em Stanford, diz que foi enganado uma vez por uma carta ao editor da revista "Addiction".
O docente, que é editor-adjunto da publicação, disse que achou que uma carta sobre um artigo recente fazia observações razoáveis. Como é costume da revista, ele enviou a carta aos autores do artigo para dar-lhes a oportunidade de responder.
Eles lhe disseram que nunca tinham ouvido falar dos autores da carta, que supostamente eram da China, e que "nossa área não é tão grande e ninguém nunca ouviu falar dessas pessoas".
Os autores do artigo original também fizeram uma pesquisa para ver o que os autores da carta haviam publicado. Eles encontraram muitas publicações —todas cartas e comentários em uma variedade de revistas em diversas especialidades, incluindo cardiologia, medicina de emergência, endocrinologia, gastroenterologia, hepatologia, imunologia, medicina intensiva, psiquiatria, cirurgia e urologia.
"E isso foi tudo dentro de um período de seis meses", afirmou Humphreys. "Eles dominaram todas as áreas."
Parecia bastante provável que o grupo tivesse processado artigos de revistas por meio de um chatbot e pedido para gerar cartas aos editores das revistas. Humphreys desconfia que os autores possam ter posições acadêmicas nas quais seus salários dependiam de uma lista de publicações.
Então, ele escreveu aos autores da carta informando que, se eles tivessem usado IA, precisariam declarar isso.
Não houve resposta.
"Não publicamos a carta", afirmou Humphreys.
"Mas o problema é que não era uma carta ruim. E não é fraude no sentido tradicional de prejudicar a ciência", acrescentou. "Devemos negar a todos a chance de vê-la?"
English (US) ·