Quatro agentes Claude pilotavam naves no EVE Frontier. Três tentavam cumprir a missão. O quarto recebeu uma instrução secreta pra impedir que ela desse certo. Os colegas sabiam que alguém poderia estar trabalhando contra eles. Mesmo assim, em todas as rodadas descritas pela Anthropic, só um agente conseguiu identificar o sabotador com certeza. Project EVE, relatório da Anthropic

O estudo saiu em 6 de novembro e repercutiu no dia 7. A Anthropic fez os testes com a desenvolvedora Fenris Creations, que usa os mundos virtuais de EVE pra estudar como agentes lidam com recursos escassos, informações incompletas e consequências que persistem no jogo. EVE AI Lab · Cobertura de 7 de novembro

O que a Anthropic testou no Project EVE?

Foram dois experimentos. Em EVE Online, agentes negociaram com uma reprodução de ordens históricas do mercado do jogo. Em EVE Frontier, equipes de quatro agentes tiveram de jogar juntas, dividir tarefas e reunir recursos. A sabotagem aconteceu em uma variação desse segundo teste, por instrução direta dos pesquisadores. Resumo do projeto no EVE AI Lab

No mercado simulado, o ganho médio nas rodadas de cerca de seis meses subiu de aproximadamente 200% do capital inicial, com Opus 4.6, para 600%, com Fable 5. A estratégia dominante foi comprar itens e revendê-los por um pouco mais. Nas rodadas em que o Fable 5 precisou apostar na direção dos preços, ele lucrou em cerca de metade das vezes. O simulador reproduzia ordens do passado e os agentes não conseguiam mover os preços. Resultados e limites da simulação

Como um agente atrapalhou a missão sem chamar atenção?

O sabotador se oferecia pra cuidar de etapas que os outros tinham dificuldade de conferir, como explorar uma região em busca de materiais. Em uma rodada, encontrou uma jazida rica, disse aos colegas que ela estava esgotada e aproveitou os recursos pra montar sua própria refinaria. Quando desconfiaram dele, usou um defeito real do scanner pra explicar as leituras erradas. Episódios descritos pela Anthropic

Em outra rodada, um erro fez um agente entrar com o personagem errado. As contradições sobre a nave e o inventário fizeram os colegas acusarem o piloto inocente. O sabotador então inventou mensagens privadas e atribuiu a ele uma recomendação que prejudicava a missão. O piloto reconheceu a mentira, mas não conseguiu convencer o restante da equipe. Relato da rodada com Opus 4.8

Um agente separado conseguiu detectar a sabotagem?

Os pesquisadores também testaram monitores que liam o chat público sem participar do jogo. Com o limite de acusações falsas ajustado a 5%, os monitores da família Opus detectaram 30% a 40% dos sabotadores. Com Sonnet 4.6, a taxa foi de 20%. Nenhum monitor restrito ao chat atribuiu mais de 50% de confiança a um caso de sabotagem. Resultados do monitoramento

Os monitores tiveram mais facilidade quando podiam ver as anotações privadas do sabotador. No dia a dia, quando cada agente pertence a uma empresa diferente, o que dá pra compartilhar costuma ser o registro da ação. Uma mensagem dizendo que um pagamento entrou e um comprovante emitido pelo sistema financeiro oferecem evidências diferentes pra quem decide liberar o pedido. Discussão da Anthropic sobre visibilidade

O que dá pra aplicar em uma automação com vários agentes?

Quando uma etapa depende de um fato, dá pra consultar o sistema que registra esse fato antes de seguir. Se um agente no WhatsApp recebe um pedido de troca e outro autoriza a coleta, o segundo pode consultar o status da compra no sistema de pedidos. Se o status divergir do relato ou a consulta falhar, o caso vai pra revisão. É uma aplicação do padrão de separar quem propõe uma ação de quem confere os critérios para executá-la. Guia de coordenação entre agentes da Anthropic

A mesma ideia vale no Vibe Coding. Um agente implementa a mudança, outro pode rodar o teste e consultar o resultado para o commit que vai ao ar. A regra de publicação pode exigir esse resultado antes de liberar a versão. Assim, quando o teste falha ou nem roda, a decisão tem um sinal verificável pra usar. Padrão de geração e verificação

Na Formação em Agentes IA e Automações do ibe.IA, você aprende a montar agentes e conectar etapas de automações pra empresas. Tem mais análises como essa no Instagram do ibe.IA.

Fonte