Microscopia eletrônica vegetativa: o fóssil digital que contamina a IA

No começo deste ano, cientistas perceberam que um termo bem estranho estava aparecendo em artigos científicos publicados: "microscopia eletrônica vegetativa".

Apesar de soar como jargão especializado, a expressão não faz sentido. Mesmo assim, ela virou um "fóssil digital" - um erro que acaba preservado e reforçado por sistemas de inteligência artificial (IA) e que se torna quase impossível de retirar dos nossos repositórios de conhecimento.

Do mesmo modo que fósseis biológicos ficam presos em camadas de rocha, esses artefatos digitais podem se consolidar como elementos permanentes do ecossistema de informação.

O episódio da microscopia eletrônica vegetativa dá uma visão preocupante de como sistemas de IA conseguem manter e amplificar falhas ao longo do que entendemos como conhecimento coletivo.

Uma digitalização ruim e um erro de tradução

Tudo indica que a microscopia eletrônica vegetativa nasceu de uma coincidência improvável: uma combinação de erros sem relação entre si.

Para começar, dois artigos da década de 1950, publicados na revista Bacteriological Reviews, foram escaneados e convertidos para formato digital.

Só que, nesse processo, a digitalização juntou indevidamente "vegetativa" de uma coluna de texto com "eletrônica" de outra. Foi assim que surgiu o termo fantasma.

Muitas décadas depois, a expressão reapareceu em alguns artigos científicos do Irã. Em 2017 e 2019, dois trabalhos passaram a usar o termo em inglês em legendas e resumos.

A explicação mais provável é um erro de tradução: em farsi, as palavras para "vegetativa" e "varredura" se diferenciam por apenas um ponto.

Um erro em ascensão

Qual foi o resultado prático? Até hoje, "microscopia eletrônica vegetativa" aparece em 22 artigos, de acordo com o Google Scholar. Um deles esteve no centro de uma retratação contestada em um periódico da Springer Nature, e a Elsevier publicou uma correção para outro.

O termo também aparece em reportagens que tratam de investigações de integridade realizadas depois disso.

A partir dos anos 2020, a microscopia eletrônica vegetativa começou a surgir com mais frequência. Para entender o motivo, foi preciso olhar por dentro dos modelos modernos de IA - e fazer uma espécie de escavação arqueológica nas enormes camadas de dados usadas no treinamento.

Evidências empíricas de contaminação por IA

Os grandes modelos de linguagem por trás de chatbots atuais, como o ChatGPT, são "treinados" com volumes gigantescos de texto para prever a palavra mais provável que vem a seguir em uma sequência. Em geral, o conteúdo exato dos dados de treinamento é tratado como segredo.

Para verificar se um modelo "sabia" sobre a microscopia eletrônica vegetativa, inserimos trechos dos artigos originais e observamos se ele completaria o texto com o termo sem sentido ou com alternativas mais plausíveis.

Os achados foram claros. O GPT-3, da OpenAI, completava as frases de modo consistente com "microscopia eletrônica vegetativa". Já modelos anteriores, como GPT-2 e BERT, não faziam isso. Esse padrão ajudou a delimitar quando e onde a contaminação provavelmente aconteceu.

Também constatamos que o erro continua presente em modelos mais recentes, incluindo o GPT-4o e o Claude 3.5, da Anthropic. Isso indica que o termo nonsense pode já estar incorporado de forma permanente nas bases de conhecimento desses sistemas de IA.

Ao cruzar o que se sabe sobre os conjuntos de dados de treinamento de diferentes modelos, apontamos o CommonCrawl - um conjunto de dados formado por páginas da internet coletadas automaticamente - como o vetor mais provável pelo qual os modelos de IA aprenderam o termo pela primeira vez.

O problema de escala

Detectar erros desse tipo não é simples. Corrigi-los pode ser praticamente inviável.

Um dos motivos é a escala. O CommonCrawl, por exemplo, tem milhões de gigabytes. Para a maioria dos pesquisadores fora de grandes empresas de tecnologia, o poder computacional necessário para trabalhar nesse nível está fora de alcance.

Outro fator é a pouca transparência dos modelos comerciais de IA. A OpenAI e muitos outros desenvolvedores não divulgam detalhes precisos sobre os dados de treinamento. Além disso, tentativas de engenharia reversa de parte desses conjuntos foram dificultadas por remoções relacionadas a direitos autorais.

Quando um erro é identificado, não existe uma correção simples. Uma filtragem por palavra-chave poderia bloquear termos específicos como microscopia eletrônica vegetativa. Só que isso também apagaria menções legítimas (como as deste artigo).

Em um plano mais profundo, o caso deixa uma pergunta incômoda. Quantos outros termos sem sentido já existem dentro de sistemas de IA, apenas esperando para serem encontrados?

Implicações para a ciência e a publicação

Esse "fóssil digital" também coloca em pauta questões centrais sobre a integridade do conhecimento, sobretudo à medida que a pesquisa e a escrita assistidas por IA se tornam mais comuns.

Quando alertadas sobre artigos que continham microscopia eletrônica vegetativa, editoras reagiram de forma desigual. Algumas retrataram os trabalhos afetados; outras os defenderam. A Elsevier, em especial, chegou a tentar justificar a validade do termo antes de, por fim, publicar uma correção.

Ainda não sabemos se outras peculiaridades desse tipo afetam os grandes modelos de linguagem, mas é muito provável que sim. De todo modo, o uso de sistemas de IA já trouxe problemas ao processo de revisão por pares.

Por exemplo, observadores registraram o aumento de "frases torturadas" usadas para driblar softwares automáticos de integridade, como "consciência falsificada" no lugar de "inteligência artificial". Além disso, frases como "Sou um modelo de linguagem de IA" já foram encontradas em outros artigos que acabaram retratados.

Algumas ferramentas de triagem automática, como o Problematic Paper Screener, agora sinalizam microscopia eletrônica vegetativa como um alerta de possível conteúdo gerado por IA. Porém, estratégias assim só conseguem lidar com erros já conhecidos - não com os que ainda não foram descobertos.

Convivendo com fósseis digitais

Com a expansão da IA, aumentam as chances de erros ficarem incorporados de forma permanente nos nossos sistemas de conhecimento, por meio de processos que nenhum ator controla sozinho. Isso cria desafios simultâneos para empresas de tecnologia, pesquisadores e editoras.

Empresas de tecnologia precisam ser mais transparentes sobre dados e métodos de treinamento. Pesquisadores precisam desenvolver novas formas de avaliar informação diante de um nonsense convincente gerado por IA. Editoras científicas precisam fortalecer a revisão por pares para detectar falhas tanto humanas quanto produzidas por IA.

Os fósseis digitais expõem não apenas a dificuldade técnica de monitorar bases gigantescas, mas a dificuldade fundamental de preservar conhecimento confiável em sistemas nos quais erros podem se autoalimentar.

Aaron J. Snoswell, Research Fellow em Responsabilização de IA, Queensland University of Technology; Kevin Witzenberger, Research Fellow, GenAI Lab, Queensland University of Technology; e Rayane El Masri, doutoranda, GenAI Lab, Queensland University of Technology

Este artigo foi republicado de The Conversation sob licença Creative Commons. Leia o artigo original.