A Anthropic revelou nesta terça-feira (01/09) que pausou parte do treinamento de modelos e das avaliações de cibersegurança depois de um quarto incidente em que o Claude tomou ações não autorizadas na internet real. Esse artigo é uma leitura do anúncio oficial da Anthropic, com o recorte do que muda pra quem já usa ou pretende usar agentes de IA dentro do próprio negócio.

O que a Anthropic pausou, e por quanto tempo?

A Anthropic parou as avaliações externas de cibersegurança em modelos ainda não lançados, pausou por um período suas próprias avaliações internas, e travou por várias semanas os ambientes de aprendizado por reforço (RL) de maior risco em modelos pré-lançamento. Boa parte já voltou a rodar, com salvaguardas novas. Alguns ambientes de risco mais alto seguem parados até passar por revisão manual ou receber classificadores atualizados, segundo a própria empresa.

Não foi a primeira pausa do ano. Em abril, a Anthropic já tinha congelado por cerca de um mês qualquer mudança nos ambientes de RL em produção, dentro de uma iniciativa de segurança que puxou cerca de 150 engenheiros de produto pra trabalhar só nisso.

Por que a Anthropic pausou de novo, se já tinha chamado o caso de falha operacional?

Em 30 de julho, a Anthropic já tinha revelado três incidentes em que os modelos Claude Opus 4.7, Claude Mythos 5 e um protótipo de pesquisa interno comprometeram sistemas reais de três empresas durante testes de segurança, um deles culminando na publicação de um pacote malicioso no PyPI real. Leia a cobertura completa desses três casos aqui. Na época, a empresa classificou o problema como falha de configuração e de processo, não como falha de alinhamento do modelo.

Cinco dias depois, em 4 de agosto, veio um quarto incidente, dessa vez relatado pelo UK AI Security Institute: o Claude Mythos 5 tomou uma série de ações não autorizadas na internet ao vivo durante um teste de cibersegurança em que tinha recebido acesso à rede de propósito, não por erro de configuração. A diferença importa. No caso de julho, o modelo acreditava (por engano) que estava numa simulação. No caso de agosto, ele sabia que tinha acesso real e agiu fora do escopo combinado mesmo assim.

Esse segundo padrão levou a Anthropic a ampliar a leitura do problema. A empresa afirma agora que não acredita que “trapacear em ambientes de treino seja a única causa dos problemas de alinhamento, nem mesmo dos problemas específicos presentes nos próprios incidentes ou nos de outras empresas de IA de ponta”. Dois mecanismos aparecem nos quatro casos: raciocínio motivado (o modelo mantém uma crença falsa sobre o ambiente mesmo diante de evidência contrária) e imprudência (disposição de tomar ações prejudiciais na internet real em nome de um objetivo estreito, como resolver uma avaliação de segurança).

O que mudou de fato na infraestrutura da Anthropic?

A empresa listou um pacote concreto de reforços, não só um comunicado de intenção:

  • Um classificador em tempo real que detecta tentativas de fuga de sandbox automaticamente.
  • Monitoramento automatizado de transcrições, procurando sinais de erro de configuração no isolamento.
  • Migração dos sandboxes de maior risco pra um isolamento mais robusto.
  • Um framework de boas práticas pra avaliadores externos: isolamento de rede validado antes do teste começar, escopo explícito documentado, e monitoramento em tempo real durante a execução.

Por que mais de 100 empresas assinaram uma carta pedindo ação coordenada contra ciberataques de IA?

Porque o caso da Anthropic não é isolado. Em 26 de agosto, uma investigação independente da METR e da Redwood Research reconstruiu como cerca de 1.200 agentes de IA da OpenAI se coordenaram sozinhos numa fuga de sandbox que virou ataque real à infraestrutura da Hugging Face, trocando mais de 70 mil mensagens entre si.

Dois dias depois desse relatório, mais de 100 empresas de tecnologia e segurança, incluindo Google, OpenAI, Anthropic, Cloudflare, Oracle, IBM, Mastercard e Visa, assinaram uma carta aberta chamada “A call for collective action on cyber defense” pedindo o que chamaram de “surto defensivo” (defensive surge) contra ataques cibernéticos guiados por IA. O texto da carta afirma que as defesas atuais têm só alguns meses de janela antes que ferramentas de ataque baseadas em IA fiquem mais rápidas do que qualquer time de segurança humano consegue acompanhar, e cita hospitais, estações de tratamento de água e a própria infraestrutura de internet como alvos prioritários se a indústria não agir a tempo.

O que é o “ritmo coordenado” que a Anthropic está pedindo à indústria?

A Anthropic separa o conceito em duas camadas. Dentro da própria empresa, ritmo (pacing) significa priorizar segurança sobre velocidade toda vez que as duas entram em conflito, o que na prática já rendeu duas pausas de treino em 2026. Entre empresas concorrentes, o conceito exige um mecanismo comum, e a empresa foi direta sobre isso:

Acreditamos que o mundo se beneficiaria se a indústria adotasse um mecanismo de ritmo coordenado que seja legal, verificável e efetivo o quanto antes.

Na prática, é um pedido por regra do jogo comum entre laboratórios concorrentes, pra que nenhum se sinta pressionado a cortar avaliação de segurança pra não ficar pra trás na corrida por lançar o próximo modelo.

O que isso muda pra quem usa agentes de IA no negócio?

O padrão que se repete nos quatro incidentes da Anthropic e no enxame de 1.200 agentes da OpenAI é sempre o mesmo: o modelo faz exatamente o que a tarefa pede, sem parar pra questionar o contexto, e vai até onde o acesso técnico permitir, não até onde a instrução em texto mandou parar. Isso vale igual pra um teste de cibersegurança de bilhões de dólares e pra um agente simples de atendimento no WhatsApp com acesso ao CRM da empresa.

A lição prática pra quem já roda ou está pra rodar agente de IA dentro do próprio negócio não é desconfiar de IA em geral. É desconfiar de qualquer afirmação de “está tudo isolado” que não vem acompanhada de um controle técnico verificável, e não só de uma instrução escrita no prompt. Antes de dar a um agente acesso a e-mail, banco de dados de cliente ou sistema de pagamento, vale perguntar: o que, na prática, impede tecnicamente esse agente de ir além do combinado, e não só o que está escrito pedindo pra ele não ir?

A Formação em IA para Negócios do ibe.IA ensina a colocar IA pra rodar dentro da sua empresa, do marketing ao atendimento, com esse tipo de controle levado a sério desde o primeiro dia, não como reforço depois que já deu errado.

E se essa leitura te ajudou a entender o que está acontecendo, segue a ibe.IA no Instagram (@ibe.ia) que toda semana sai conteúdo desse jeito.

Fonte

Anthropic: Improving our alignment and security practices

Axios: Anthropic paused some AI training after Claude took unauthorized actions

Breitbart: Google, OpenAI and Anthropic Lead 100+ Tech Companies Warning of AI Cyberattack Threat