Equipes de agentes IA custam até 5 vezes mais: quando vale dividir a criação do seu app

Equipes de agentes custaram entre 1,8 e 5,1 vezes mais em um experimento da Vals AI. Só uma das quatro comparações teve ganho estatisticamente significativo.

O estudo é de 9 de outubro. A cobertura do The Decoder saiu neste domingo, 11/10, às 15h39 UTC. Esta é uma leitura dos dados originais, com foco em quem cria apps com IA.

O que foi comparado?

A Vals testou GPT 6 Sol e Claude Opus 5.5 em 50 apps, com esforço de raciocínio médio ou máximo, individualmente ou em equipe. Cada configuração rodou uma vez; a nota mede testes de interface aprovados. Fonte do experimento.

O Vibe Code Bench avalia a construção de aplicações completas a partir de especificações em linguagem natural. O avaliador abre o app e percorre ações como cadastro, criação de registros e envio de formulários.

Isso aproxima a avaliação de uma pergunta concreta: a pessoa consegue usar o que foi criado? Uma tela bonita e um botão que não salva o cadastro produzem experiências bem diferentes.

Na metodologia pública, cada especificação tem de 20 a 60 testes, revisados por profissionais. Os serviços de apoio incluem Supabase, pagamentos Stripe em ambiente de teste e e-mail com MailHog, segundo a documentação do benchmark.

Quanto custou cada configuração?

O maior salto ocorreu no Opus com esforço máximo: de US$ 23,77 para US$ 122 por app. Os custos abaixo são médias; os tempos são medianas. Tabela original da Vals.

Modelo e esforço	Nota solo → equipe	Custo solo → equipe	Minutos solo → equipe
Sol médio	77,6% → 84,9%	US$ 1,22 → US$ 3,07	12,4 → 11,9
Sol máximo	89% → 90,4%	US$ 4,82 → US$ 8,54	38,4 → 27,6
Opus médio	91,5% → 91,2%	US$ 4,08 → US$ 9,10	20,3 → 26,6
Opus máximo	89,8% → 93,2%	US$ 23,77 → US$ 122	74,7 → 174,1

Só o ganho de 7,3 pontos do Sol médio foi significativo, com p = 0,005. Os resultados são específicos desse experimento, segundo os autores.

Uma diferença sem significância estatística ainda pode existir; este teste não estabeleceu sua consistência. E os valores são estimativas de uso de modelos no experimento, não orçamentos de desenvolvimento: não incluem seu trabalho de revisão, hospedagem ou manutenção.

A nota mede um produto pronto para vender?

A nota mede os fluxos definidos no teste. Ela ajuda a comparar configurações sob critérios comuns, mas não certifica segurança, adequação ao cliente ou viabilidade comercial de um produto.

O artigo científico do Vibe Code Bench descreve 100 especificações, divididas em dois conjuntos de 50, e 964 fluxos de navegador com 10.131 etapas menores. Esses números descrevem a base da avaliação, não o tamanho do experimento de equipes de outubro.

O trabalho também encontrou associação entre o agente testar o próprio app durante a criação e a nota final, com correlação de 0,72. Correlação não prova que adicionar testes, sozinho, causa o ganho. É um sinal que merece atenção, com essa limitação explícita. Pesquisa original.

Para um app de agendamento, por exemplo, eu usaria uma lista de aceitação que começa no cadastro e termina na confirmação da reserva. Também incluiria dois clientes tentando reservar o mesmo horário. Esse é um exemplo hipotético de avaliação, não um teste que fizemos nesta matéria.

Quando dividir a tarefa pode fazer sentido?

Dividir ajuda quando as partes podem avançar separadamente e existe um jeito claro de conferir o resultado combinado. Esse é um dos critérios descritos pela Anthropic no guia Building effective agents, publicado em dezembro de 2024.

O guia distingue tarefas repartidas em paralelo de um agente central que decide, durante o trabalho, quais partes delegar. Também recomenda começar pela solução mais simples e acrescentar complexidade quando houver benefício demonstrável, considerando custo e demora.

Uma aplicação hipotética: enquanto um agente constrói a tela de reservas, outro prepara o envio de confirmação. Os dois precisam combinar quais dados representam uma reserva e quando o e-mail deve sair. Sem esse acordo, cada peça pode funcionar isoladamente e o conjunto falhar.

Minha leitura é que a quantidade de agentes precisa ser uma decisão de projeto sustentada por comparação. Para quem cria um produto, faz sentido observar custo por entrega aceita, tempo até a entrega e quantos ajustes humanos foram necessários.

O guia da Anthropic é contexto técnico anterior à notícia, não uma reação ao estudo. O próprio documento avisa que parte das ferramentas citadas mudou desde 2024.

O que isso muda para quem cria com Vibe Coding?

Uma comparação útil mantém o mesmo pedido e os mesmos critérios de aceitação, registra os gastos e verifica os fluxos finais. Assim, a escolha entre agente individual e equipe responde ao problema do seu app, sem depender da aparência de sofisticação da ferramenta.

No exemplo da reserva, a entrega aceita exige que o cliente consiga escolher um horário disponível, confirmar e receber o aviso correto. Esse resultado é a referência para avaliar se o custo adicional trouxe algo que você precisava.

A Formação em Vibe Coding do ibe.IA ensina a transformar uma ideia em app ou sistema próprio. É o caminho para quem quer construir produto e entender as decisões por trás da entrega.

Para acompanhar outras análises sobre criação com IA, você pode seguir o @ibe.ia no Instagram.