Desde que o ChatGPT foi lançado no fim de 2022, milhões de pessoas passaram a recorrer a modelos de linguagem de grande porte (LLMs) para acessar conhecimento. O motivo é fácil de entender: basta fazer uma pergunta, receber uma síntese bem escrita e seguir em frente - a sensação é de aprendizado sem esforço.
Um novo artigo acadêmico que coassinei, porém, traz evidências experimentais de que essa praticidade pode ter um preço: quando as pessoas deixam que LLMs resumam um tema para elas, tendem a construir um conhecimento mais superficial do que quando aprendem por meio de uma busca comum no Google.
Eu e o coautor Jin Ho Yun, ambos professores de marketing, descrevemos esse resultado em um trabalho baseado em sete estudos com mais de 10.000 participantes.
Como os estudos com ChatGPT e Google foram conduzidos
Na maioria dos estudos, usamos o mesmo desenho básico: pedimos que os participantes aprendessem sobre um assunto - por exemplo, como cultivar uma horta - e os distribuímos aleatoriamente para aprender de duas formas: usando um LLM como o ChatGPT ou, “à moda antiga”, navegando por links em uma busca padrão do Google.
Não impusemos limites sobre como as ferramentas poderiam ser usadas; as pessoas podiam pesquisar no Google pelo tempo que quisessem e continuar enviando prompts ao ChatGPT caso julgassem necessário obter mais informações.
Depois de concluírem a pesquisa, solicitamos que escrevessem conselhos para um(a) amigo(a) sobre o tema, com base no que tinham aprendido.
Os dados mostraram um padrão estável: em comparação com quem aprendeu via busca na web, quem usou um LLM relatou ter aprendido menos, dedicou menos esforço ao redigir o conselho e, ao final, escreveu orientações mais curtas, com menos fatos e mais genéricas.
O que os leitores acharam dos conselhos
Em seguida, apresentamos esses textos a um grupo independente de leitores, que não sabia qual ferramenta havia sido usada para aprender o tema. Esses leitores consideraram os conselhos produzidos por usuários de LLM menos informativos e menos úteis - e também demonstraram menor probabilidade de adotá-los.
Observamos que essas diferenças se mantinham em diversos contextos. Uma explicação possível para o fato de usuários de LLM escreverem recomendações mais breves e genéricas seria simplesmente que os resultados do LLM expuseram essas pessoas a informações menos variadas do que a busca no Google.
Controles e variações dos experimentos
Para lidar com essa possibilidade, realizamos um experimento em que os participantes foram expostos ao mesmo conjunto de fatos tanto nos resultados de suas buscas no Google quanto nas respostas do ChatGPT.
Em outro teste, mantivemos a plataforma fixa - o próprio Google - e variamos se os participantes aprendiam por resultados tradicionais ou pelo recurso AI Overview (Visão geral de IA) do Google.
Os resultados reforçaram a conclusão: mesmo quando os fatos apresentados e a plataforma são mantidos constantes, aprender por respostas sintetizadas de LLMs leva a um conhecimento mais superficial do que quando a pessoa coleta, interpreta e sintetiza as informações por conta própria a partir de links da web.
Por que isso importa
Por que o uso de LLMs pareceu reduzir o aprendizado? Um dos princípios mais básicos do desenvolvimento de habilidades é que as pessoas aprendem melhor quando estão ativamente envolvidas com o conteúdo que buscam aprender.
Ao pesquisar um assunto no Google, encontramos muito mais “fricção”: é preciso abrir diferentes links, ler fontes informativas e, então, interpretar e juntar essas informações por conta própria.
Apesar de exigir mais, essa fricção favorece a formação de uma representação mental mais profunda e mais original do assunto. Já com LLMs, boa parte desse processo é feita em nome do usuário, o que transforma o aprendizado - de algo ativo - em algo mais passivo.
E agora?
Para deixar claro, não acreditamos que a solução seja evitar LLMs, sobretudo diante dos benefícios inegáveis que eles oferecem em muitos cenários.
A nossa mensagem é outra: as pessoas precisam se tornar usuárias mais inteligentes, ou mais estratégicas, de LLMs - e isso começa por entender em quais domínios eles ajudam e em quais atrapalham os objetivos de quem usa.
Precisa de uma resposta rápida e factual para uma dúvida? Fique à vontade para usar o seu copiloto de IA preferido. Mas, se a meta é desenvolver conhecimento profundo e generalizável em uma área, depender apenas de sínteses de LLMs tende a ser menos útil.
Como parte da minha pesquisa sobre a psicologia de novas tecnologias e novas mídias, também me interessa saber se é possível tornar o aprendizado com LLMs um processo mais ativo. Em outro experimento, testamos isso fazendo com que os participantes interagissem com um modelo GPT especializado que oferecia links da web em tempo real junto com suas respostas sintetizadas.
Mesmo assim, verificamos que, depois de receber um resumo do LLM, os participantes não se sentiam motivados a aprofundar a consulta às fontes originais. O resultado foi que eles continuaram desenvolvendo um conhecimento mais superficial do que aqueles que usaram o Google tradicional.
Com base nisso, em pesquisas futuras, pretendo estudar ferramentas de IA generativa que introduzam fricções saudáveis em tarefas de aprendizagem - especificamente, quais tipos de limitações, travas ou “redutores de velocidade” conseguem motivar melhor os usuários a aprender ativamente para além de respostas fáceis e sintetizadas.
Ferramentas assim parecem especialmente importantes no ensino fundamental e médio, onde um grande desafio para educadores é como capacitar estudantes a desenvolver habilidades básicas de leitura, escrita e matemática e, ao mesmo tempo, preparar para um mundo real em que LLMs provavelmente serão parte integral do dia a dia.
O Research Brief é um texto curto sobre trabalhos acadêmicos interessantes.
Shiri Melumad, Professora Associada de Marketing, Universidade da Pensilvânia
Este artigo foi republicado de The Conversation sob uma licença Creative Commons. Leia o artigo original.
Comentários
Ainda não há comentários. Seja o primeiro!
Deixar um comentário