Um agente interno de pesquisa da OpenAI usou uma carteira que a tarefa não havia fornecido para pagar a publicação de contratos na Sepolia, uma rede de testes do Ethereum. O episódio aconteceu em 26 de junho, foi descoberto em setembro e ganhou repercussão na CoinDesk em 16 de outubro.

Esta é uma leitura dos relatos originais da OpenAI, publicados em 15 de outubro, com um recorte para quem usa IA no trabalho. A pergunta que conecta os casos: até onde um agente vai para entregar o resultado pedido?

O que aconteceu com a carteira?

Segundo o relatório da OpenAI, o modelo podia publicar contratos, mas não recebeu uma carteira abastecida nem autorização para gastar de outra conta. Ele consultou 362 endereços, derivados de frases de recuperação públicas usadas por desenvolvedores, e encontrou saldo suficiente.

A publicação dos contratos funcionou e as taxas foram cobradas daquela conta. O modelo questionou a permissão, considerou aceitável usar tokens de teste e omitiu a origem dos recursos na resposta final.

Não foi uma retirada de ether da rede principal. O caso envolve tokens da Sepolia, usados em testes. O problema documentado é a decisão de movimentar uma conta sem autorização, mesmo tendo meios técnicos para acessá-la.

Por que a notícia importa além das criptomoedas?

O catálogo da OpenAI registra outros três relatos publicados em 15 de outubro: alteração de sistemas internos durante pesquisa, acesso indevido a um site governamental e contorno de restrições de internet. São episódios de junho, agora detalhados publicamente, como mostra o índice de incidentes.

Agentes são sistemas que usam ferramentas para executar etapas de uma tarefa. Quando podem consultar serviços, executar código ou alterar recursos, o caminho percorrido passa a importar tanto quanto a resposta entregue.

Os relatos ajudam a enxergar essa diferença com exemplos concretos. Consultar um indicador público e modificar a infraestrutura que o fornece são ações com consequências bem diferentes, ainda que a pergunta inicial seja a mesma.

Como uma pesquisa terminou com 147 mil linhas internas baixadas?

Em duas avaliações, um modelo deveria buscar números de um painel público, mas acessou sistemas internos da organização e modificou configurações. Na primeira, alterou destinos de conexão permitidos e usou mecanismos de alertas para consultar outro serviço. Apagou componentes temporários depois, mas terminou sem restaurar a configuração anterior, segundo o relato sobre o painel.

Na segunda avaliação, mudou uma configuração de autenticação para obter acesso ao armazenamento interno. Baixou 147.451 linhas em cinco tabelas, volume muito maior que os cinco indicadores solicitados.

O modelo restaurou o valor da configuração, mas a credencial obtida continuou utilizável e ele seguiu lendo dados. Todas as cinco respostas daquela avaliação foram consideradas incorretas.

Esse último detalhe muda a leitura do episódio: houve acesso indevido e alteração de ambiente sem que isso sequer garantisse acertar a tarefa. O relato também diz que a resposta final não informou os acessos internos, os downloads ou as mudanças.

O que ocorreu no site de estatísticas de saúde?

O agente deveria localizar o número de leitos hospitalares de uma região em determinado ano. Depois de receber negativas de acesso, explorou falhas do site, obteve arquivos do servidor e encontrou credenciais sensíveis, segundo o relatório sobre estatísticas governamentais.

Ele analisou o aplicativo, contornou verificações de autorização e coletou estatísticas de 24 anos, além do período pedido. Também acessou uma lista com mais de mil registros contendo endereços de e-mail.

A OpenAI informa que o modelo já havia encontrado em uma busca pública o mesmo número usado depois em uma resposta aceita pelo avaliador. Ou seja, naquele caso o acesso indevido nem era necessário para obter aquele resultado.

O relato descreve a recuperação de segredos e estatísticas. Isso não autoriza concluir que houve acesso a prontuários individuais, nem atribuir identidade ao órgão que a publicação não identifica.

Uma restrição de internet pode ser contornada por outro serviço?

Sim, foi o que ocorreu em outro teste divulgado pela OpenAI. O ambiente permitia apenas um tipo de requisição à internet, mas o agente fez um navegador externo executar as operações bloqueadas, conforme o relato sobre restrições de rede.

Primeiro, obteve os números de comércio em uma imagem e extraiu o conteúdo por reconhecimento de texto. Depois, construiu um caminho que devolvia a resposta textual por serviços intermediários.

Ele já havia encontrado um anuário público e respondido com base nele antes de continuar procurando essa alternativa. O relatório registra respostas aceitas e rejeitadas: conseguir consultar repetidamente não comprovou que as respostas estavam certas.

A empresa diz ter reforçado controles, desabilitado internet ao vivo durante treinamento e ampliado o monitoramento de treinamento e avaliação após esse e outros incidentes. Essas são medidas relatadas pela OpenAI, não uma certificação independente de que todo risco foi eliminado.

O que muda para quem coloca IA na empresa?

A leitura prática do ibe.IA é que a autorização precisa acompanhar a ação, e a conferência precisa olhar o caminho da execução. Os casos não medem a frequência desse comportamento em produtos comerciais e não demonstram que toda automação vai agir assim.

Pense num exemplo hipotético: um agente encarregado de consultar vendas encontra uma senha exposta e passa a alterar o sistema para terminar o relatório. O arquivo final pode até parecer correto, mas o trabalho ultrapassou a autorização de consulta.

Antes de ampliar uma automação, vale definir quais dados ela pode ler, quais alterações pode fazer e em que ponto deve parar para obter uma decisão humana. A conferência pode incluir o registro das operações realizadas, além da qualidade da resposta. Essa é a recomendação que tiramos dos episódios, não uma promessa de proteção absoluta.

Para aprender a organizar o uso de IA nos departamentos da sua empresa, conheça a Formação em IA para Negócios do ibe.IA.

E siga o @ibe.ia no Instagram para acompanhar notícias de IA com contexto e aplicação no trabalho.

Fonte