Novo sistema da Universidade Brown ajuda robôs a encontrar objetos com linguagem e gestos usando POMDP

Se você já apontou para o outro lado de um quarto cheio de coisas e disse “aquele ali”, então já percebeu como a comunicação humana vai muito além das palavras.

No dia a dia, a gente não se limita a descrever: faz gestos, direciona o olhar e usa o contexto compartilhado para completar o que ficou implícito. Na maioria das vezes, isso acontece sem esforço.

Para robôs, porém, a mesma cena vira um problema bem mais espinhoso. Mesmo quando conseguem reconhecer objetos, basta haver desordem, movimento, itens repetidos ou partes encobertas para a incerteza crescer rapidamente.

Pesquisadores da Universidade Brown criaram agora um sistema pensado para lidar com essa incerteza de um jeito mais parecido com o humano.

A proposta junta linguagem, gestos, apontar e direção do olhar em um único processo de decisão, permitindo que o robô procure melhor - sem fingir que tem certeza quando não tem.

Robôs ficam melhores para encontrar coisas

Em testes de laboratório, o método acertou o objeto correto em ambientes complexos em 89 por cento das tentativas, superando outras abordagens de busca e recuperação.

“Buscar coisas exige que um robô navegue por ambientes grandes”, disse Ivy He, pós-graduanda da Brown e autora principal do estudo.

Segundo ela, as tecnologias atuais até identificam objetos com competência, mas a bagunça, o movimento e a oclusão (quando algo fica parcialmente bloqueado) tornam a tarefa muito mais difícil.

“Então este trabalho é sobre usar tanto linguagem quanto gesto para ajudar nessa tarefa de busca”, afirmou He.

Por que os robôs têm dificuldade com a incerteza

No mundo real, a informação não chega perfeita para a máquina. Uma caneca pode parecer outra caneca. Pode haver dois itens idênticos na mesa. Alguma coisa pode estar atrás de uma cadeira. E alguém pode pedir “o vermelho”, só que existem três coisas vermelhas.

Quando um robô não sabe administrar esse tipo de ambiguidade, normalmente cai em dois comportamentos ruins: ou trava por não conseguir decidir, ou decide cedo demais e pega o objeto errado com confiança total.

Por isso, a equipe da Brown estruturou o sistema em torno de um arcabouço de planejamento chamado POMDP (processo de decisão de Markov parcialmente observável).

Na prática, é uma forma de raciocinar com probabilidades: em vez de agir como se já soubesse a resposta, o robô mantém uma “crença” atualizada sobre o que é mais provável.

À medida que coleta novos sinais, ele ajusta essa crença e escolhe ações que diminuem a ambiguidade - como se reposicionar para enxergar melhor antes de tomar a decisão final.

Ensinando robôs a interpretar apontar

Muitos sistemas robóticos já tentam explorar linguagem. O salto aqui foi colocar o gesto dentro do mesmo “encanamento” matemático de tomada de decisão.

Para viabilizar isso, Ivy He buscou inspiração em um lugar pouco óbvio: o Laboratório do Cão Brown, coordenado pela cientista cognitiva Daphna Buchsbaum.

Cães são conhecidos por entender bem quando humanos apontam. Mas eles não tratam o gesto como se fosse um ponteiro a laser exato. Em vez disso, interpretam o sinal como comunicação relevante - porém imprecisa - e combinam com o contexto para inferir o que realmente queremos dizer.

Ivy He e a doutoranda Madeline Pelgrim analisaram tanto a maneira como pessoas apontam quanto como cães interpretam esses sinais.

A partir disso, criaram um modelo que não entende o apontar como uma direção única e perfeitamente definida, e sim como um cone de probabilidade - uma “área mais provável” onde o objeto pretendido deve estar.

Tornando os gestos úteis para os robôs

Essa noção probabilística fica ainda mais forte quando se considera como humanos se comunicam de fato. Apontar não envolve só o dedo: entram o olhar, a posição do braço e o movimento.

Os pesquisadores observaram que a direção do olhar ajuda a alinhar aquilo que a pessoa pretende indicar. Ao acompanhar esse alinhamento, a equipe conseguiu construir um modelo mais robusto da intenção humana.

“O que descobrimos é que humanos usam a direção do olhar para se alinhar com aquilo para o qual estão apontando”, disse He. “Então foi natural criar um cone com base em uma linha de conexão do olho ao cotovelo e ao pulso.”

A ideia também se apoia em estudos de comportamento animal. Pesquisas no Laboratório do Cão Brown indicam que cães são muito hábeis em interpretar sinais humanos, mesmo quando não estão claros.

“Este trabalho traduz a compreensão intuitiva do cão sobre o olhar e o apontar humanos em um modelo probabilístico”, disse Buchsbaum.

Linguagem só funciona quando é usada do jeito certo

O grupo combinou o modelo de apontar com um modelo visão-linguagem (VLM), um tipo de IA que interpreta imagens e descrições em linguagem natural em conjunto.

Assim, o robô consegue lidar com um pedido como “pegue a garrafa azul” enquanto examina a cena, e então usa o cone do apontar para decidir onde procurar.

O ponto central é que tudo alimenta o mesmo POMDP, evitando que linguagem e gesto sejam tratados como “comandos” separados.

Em vez disso, o sistema encara ambos como evidências que deslocam probabilidades: o gesto reduz a região onde buscar, e a linguagem restringe o que buscar.

Robôs se saem bem em ambientes bagunçados

Nos experimentos de laboratório, os pesquisadores colocaram um robô quadrúpede em um espaço com objetos espalhados. A tarefa era localizar alvos específicos.

Quando gesto e linguagem foram usados em conjunto, o robô encontrou o item certo em quase 90% das vezes - um desempenho bem superior ao de usar apenas linguagem ou apenas gesto.

Isso resume a intenção do projeto: humanos não se comunicam por um canal único. Além da fala, apontamos, olhamos, assentimos e gesticulamos. Um robô que entende só palavras perde metade do recado.

O futuro dos robôs assistentes

A equipe apresenta o trabalho como um passo em direção a robôs capazes de atuar ao lado de pessoas em casa e em locais de trabalho - assistentes que possam buscar ferramentas, recuperar objetos ou ajudar quando ninguém consegue dar instruções perfeitas.

“O arcabouço que desenvolvemos ajuda a abrir caminho para uma interação multimodal humano-robô fluida”, disse o coautor Jason Liu, que trabalhou no projeto durante o doutorado na Brown.

“No futuro, poderemos nos comunicar com nossos robôs assistentes do mesmo modo que as pessoas interagem - por meio de linguagem, gestos, direção do olhar e demonstrações.”

“Este é um exemplo forte de como podemos viabilizar uma interação humano-máquina mais natural ao combinar ciência da computação e ciência cognitiva”, disse a pesquisadora Ellie Pavlick, da Brown.

Projetar sistemas com base na forma como humanos se comunicam naturalmente é um caminho promissor. No mínimo, o estudo deixa um recado claro: robôs não precisam apenas de câmeras melhores ou de modelos de linguagem melhores.

Eles precisam compreender melhor como as pessoas realmente expressam intenção - o que, como qualquer tutor de cachorro sabe, muitas vezes inclui um dedo apontando e um olhar que diz: “Não, não esse. O outro.”

O trabalho foi apresentado na Conferência Internacional sobre Interação Humano-Robô.