Antes do robô mordomo, falta resolver um problema básico: lembrar-se onde deixou as coisas
Um novo benchmark da Georgia Tech testa memória espacial, temporal e multiobjetivo em modelos visão-linguagem usados em robótica — e os resultados mostram que ainda há um longo caminho até uma memória doméstica fiável.
Um robô pode limpar a casa, arrumar objetos e reconhecer o que está à sua frente. Mas há uma pergunta muito mais banal — e talvez mais importante — para um assistente doméstico: onde deixou as chaves?
Investigadores da Georgia Tech criaram um novo benchmark para medir precisamente esse tipo de memória em modelos visão-linguagem usados em robótica. O teste inclui sistemas como GPT-4o e Gemini 2.0 Flash e procura perceber se conseguem manter contexto suficiente para funcionar durante períodos prolongados num ambiente real.
O problema nasce da quantidade de informação. Um robô equipado com câmaras pode observar milhões de frames ao longo de um dia. Guardar tudo e recuperar apenas o momento relevante — por exemplo, quando viu uma carteira ser colocada numa determinada divisão — é muito mais difícil do que manter uma conversa de texto.
Memória espacial, temporal e de vários objetivos
O benchmark reúne 60 tarefas e organiza os desafios mais difíceis em três categorias: espacial, temporal e multiobjetivo.
Memória espacial significa saber onde está um objeto relativamente ao resto da casa. Memória temporal implica recordar quando algo aconteceu ou o que mudou desde uma observação anterior. E tarefas multiobjetivo exigem combinar várias instruções e acontecimentos sem perder contexto pelo caminho.
Os testes simulam aproximadamente um dia de experiência. Entre os exemplos estão pedidos como navegar até um objeto com o qual o agente não interagiu no dia anterior ou chegar a uma divisão que não visitou.
Os melhores modelos ainda falham muito
Segundo a Georgia Tech, o melhor resultado nas tarefas de maior dificuldade ficou perto de 50% de sucesso. O modelo mais forte nesse conjunto específico não foi GPT nem Gemini, mas um modelo aberto de raciocínio da família Qwen.
Os investigadores sugerem uma razão possível: modelos de raciocínio podem transformar partes do vídeo em descrições textuais mais compactas e depois procurar informação relevante nesse resumo, em vez de tentar conservar todas as imagens em memória.
Outra hipótese é criar hierarquias de memória: preservar acontecimentos importantes e descartar imagens redundantes ou sem utilidade. É uma lógica semelhante à forma como sistemas informáticos gerem cache e armazenamento, mas aplicada à experiência contínua de um agente físico.
Reconhecer não é recordar
A robótica doméstica tem sido frequentemente apresentada como um problema de manipulação: abrir uma gaveta, agarrar um copo ou dobrar roupa. Mas um assistente útil precisa também de construir uma história persistente do ambiente onde trabalha.
Se mover medicamentos, documentos ou objetos pessoais e depois não conseguir explicar onde os colocou, uma máquina tecnicamente competente pode criar mais problemas do que aqueles que resolve.
É aqui que o benchmark é mais interessante. Não demonstra que um robô doméstico já tenha memória comparável à humana. Mostra, pelo contrário, uma forma sistemática de medir uma limitação que tende a ficar escondida atrás de demonstrações curtas.
O próximo passo é lembrar durante dias — ou anos
Os investigadores sublinham que, numa casa real, os utilizadores esperariam que o robô aprendesse preferências e mantivesse memória durante muito mais do que um dia. Idealmente, durante todo o período em que estivesse instalado.
Isso transforma memória num dos problemas centrais dos agentes físicos: não basta perceber o mundo no momento. É preciso saber o que mudou, o que aconteceu antes e qual informação ainda interessa agora.
Antes do robô mordomo, talvez seja necessário resolver o robô que simplesmente não perde as nossas coisas.