Inteligência Artificial: resumo da apresentação relâmpago

Inteligência Artificial: resumo da apresentação relâmpago

21 de fevereiro de 2024
Novas ferramentas e direções da IA na publicação científica
Apresentação relâmpago de janeiro de 2024

Na primeira de uma nova série de apresentações relâmpago, Marie Soulière e Nishchay Shah falaram sobre novas ferramentas e caminhos da inteligência artificial (IA) na publicação científica. As apresentações relâmpago são eventos curtos e informais, projetados para apresentar ao público temas atuais ou novas diretrizes, oferecendo também a oportunidade de fazer perguntas. O evento foi presidido pelo presidente do COPE, Dan Kulp.

Marie (membro do Conselho do COPE e chefe de Ética em Publicações e Garantia de Qualidade da Frontiers Open Access Publishing) e Nishchay (chefe de Negócios de Produtos Emergentes e diretor de tecnologia da Cactus Communications) começaram descrevendo o estado atual da IA no setor editorial científico. Marie destacou o aumento generalizado de fraudes científicas cometidas por atores mal-intencionados com acesso a ferramentas de IA cada vez mais sofisticadas. Nishchay trouxe uma visão ampla do cenário da IA, situando os desafios para editores e revisores dentro de um contexto maior de ferramentas emergentes com diferentes escalas de atuação e capacidades multimodais.

Ambos os palestrantes conhecem bem os desafios trazidos pela IA para quem tenta equilibrar padrões éticos elevados com a livre circulação de ideias. Marie apresentou a ferramenta interna da Frontiers, chamada AIRA (Assistente de Revisão por Inteligência Artificial), em uso desde 2016 para apoiar verificações de integridade conduzidas por humanos. A ferramenta da Cactus Communications chama-se Paperpal Preflight e, como a AIRA, realiza uma ampla variedade de checagens para verificar informações dos autores, detectar sinais de problemas éticos em submissões e monitorar o processo de revisão quanto a possíveis conflitos de interesse ou manipulações. Ambas as empresas veem essas ferramentas como apoios valiosos ao julgamento humano, pois conseguem analisar grandes volumes de dados e detectar padrões invisíveis ao olho humano. No entanto, não substituem as decisões humanas; na verdade, segundo Nishchay, elas reforçam o poder dos humanos para proteger a integridade do registro científico.

Os palestrantes encerraram com um chamado para que todos continuem aprendendo uns com os outros e busquem novas ferramentas para detectar problemas éticos na publicação científica. Melhores sistemas e acordos de compartilhamento ético de informações entre editores facilitarão esse processo. O COPE e a STM (International Association of Scientific, Technical and Medical Publishers) estão desenvolvendo diretrizes e ferramentas nessa área, o que também beneficiará editores que não têm acesso a ferramentas próprias ou pagas de detecção.

Perguntas do público

Quais conjuntos de dados de treinamento são usados?
Ambas as plataformas foram treinadas com conjuntos de dados internos, variando conforme cada ferramenta. Por exemplo, ferramentas de imagem foram treinadas com imagens manipuladas e não manipuladas, e os softwares de linguagem com exemplos textuais. A Frontiers usa dados de seu próprio repositório de artigos submetidos e avaliações internas; o Preflight da Cactus usa mais fontes de acesso aberto e sua experiência de mercado.

Alguns exemplos mostraram checagens após a revisão por pares. Por que essas checagens não são feitas antes?
As ferramentas de IA realizam verificações em diferentes estágios: no início, durante a revisão e até depois, caso novos dados tenham sido adicionados à base de treinamento. É um processo complexo, já que o manuscrito também passa por alterações ao longo da revisão.

Há muitos falsos positivos nas detecções feitas pelas ferramentas de IA?
Sim, há uma taxa significativa de falsos positivos, mas como as ferramentas são usadas como um dos sinais para compor uma pontuação final, isso não é visto como um grande problema. Melhor sinalizar demais do que deixar passar conteúdos problemáticos.

Como deve ser feita a divulgação do uso de IA? Isso deve mudar no futuro?
O uso de IA tem aumentado rapidamente e o conhecimento sobre seu uso responsável também. É provável que, futuramente, ferramentas de IA se tornem tão comuns quanto corretores ortográficos. No entanto, ferramentas generativas como o ChatGPT trazem preocupações éticas adicionais, pois podem ser usadas de muitas formas (ex.: gerar hipóteses, analisar dados, criar figuras ou redigir discussões). Vários consórcios estão trabalhando em orientações consensuais sobre o uso adequado dessas ferramentas.

Há tecnologia para detectar imagens geradas por IA?
Nem a AIRA nem o Preflight, por enquanto, detectam imagens criadas por IA. Isso ainda está em pesquisa. A evolução rápida da IA torna essas ferramentas difíceis de manter, e a falta de dados para treinamento também é um obstáculo. No entanto, ambas as plataformas incluem verificações de integridade de imagem, como duplicação, manipulação ou rotação.

O que as ferramentas de verificação de autores analisam?
É difícil verificar identidades quando os autores usam e-mails não institucionais ou variações de nome. A AIRA usa dados da Frontiers e fontes externas como Google Scholar, Pubpeer e ORCID para checar se o autor já publicou antes, se pertence à instituição indicada, se tem artigos retratados ou se apresenta padrões suspeitos de submissão.

Os dados das ferramentas de IA ajudam humanos a detectar problemas éticos?
Ainda não há uma transferência direta de conhecimento, mas as equipes estão aprendendo com a experiência. Grandes editoras relataram que o Preflight confirma muitas de suas suspeitas humanas. Contudo, empresas como a Cactus e a Frontiers evitam divulgar detalhes dos padrões que suas ferramentas detectam, para não dar pistas a agentes mal-intencionados.

Ferramentas de IA conseguem detectar textos aprimorados por IA?
É amplamente aceito que é impossível detectar com precisão textos gerados por IA. A Frontiers exige que os autores declarem o uso de IA em seus contratos de autoria. Mas há um debate mais amplo sobre até que ponto importa se a IA ajudou na escrita, especialmente considerando a equidade linguística entre autores nativos e não nativos de inglês.

As ferramentas de IA conseguem detectar artigos falsos usados em revisões?
O Preflight consegue detectar citações circulares ou autocitações como parte da verificação de problemas nos dados. No entanto, essa capacidade ainda não está disponível para a maioria dos editores e exige desenvolvimento adicional.

Fonte: COPE https://publicationethics.org/news-opinion/artificial-intelligence-lightning-talk-summary