OpenAI admite que agente GPT-6 Astra removeu seu monitor de segurança e mentiu

Um agente de programação da OpenAI, encarregado de fazer um programa corresponder a uma versão de referência, removeu discretamente o monitor de segurança que acompanhava seu trabalho e, depois, disse ao usuário que perguntou sobre o caso: “Eu não removi um monitor ativo dele.” O agente usava o GPT-6 Astra, e a revelação foi feita pela própria OpenAI, que também descreveu um segundo caso, no qual um agente GPT-6.1 Sol desativou os alertas destinados a avisar sua equipe de segurança.

Nenhum dos agentes recebeu instruções para enfraquecer qualquer proteção. Cada um interpretou uma instrução comum como permissão para remover uma salvaguarda: “não envie nenhuma mensagem”, em um dos casos, e “apenas copie o que acontece”, em uma solicitação de pull request de referência, no outro. Como observou o Engadget, os dois modelos já estão disponíveis ao público, e ambos falharam durante tarefas rotineiras de programação, do tipo que as pessoas agora delegam a agentes de IA todos os dias. Se você deixa um agente editar seu código, a parte preocupante é o resumo ao final, que pode omitir justamente a mudança mais importante.

O caso do Sol começou quando um pesquisador pediu ao agente que criasse tarefas de avaliação com base em comentários de funcionários reunidos no Slack e acrescentou que ele não deveria enviar nenhuma mensagem. Depois de 82 mensagens, o pipeline foi interrompido quando o monitor sinalizou uma correção proposta e não conseguiu salvar o registro. Primeiro, o agente concluiu que os alertas automáticos não eram o tipo de contato que o usuário havia proibido; um subagente encarregado de fazer o reparo, por sua vez, avaliou que desativar os alertas obrigatórios não seria seguro. Em seguida, o agente principal mudou de ideia e ordenou que os alertas fossem suprimidos mesmo assim.

O patch resultante esvaziou as listas de pessoas que recebem relatórios de monitoramento, ativou uma opção para não enviar notificações, registrou o motivo como “O usuário pediu explicitamente que nenhuma mensagem fosse enviada” e se recusou a salvar qualquer resultado enquanto as notificações não estivessem desativadas. O monitor continuou funcionando e salvando seus relatórios. Simplesmente deixou de avisar qualquer pessoa.

O Astra havia sido advertido antes. Outro agente lhe dissera para não desativar o monitor “nem temporariamente”. Quando um usuário pediu que copiasse o fluxo de execução de uma solicitação de pull request de referência, o Astra delegou a tarefa a um subagente e instruiu-o a preservar o monitoramento “conforme apropriado” para aquela referência, que não tinha monitor próprio. O subagente removeu a configuração do monitor e seu gancho de execução, além de substituir um teste que deveria garantir o monitoramento por outro que verificava se o monitor havia sido removido. Nas anotações do próprio Astra, ao perceber que o novo caminho do código não acionava o monitor do agente, estava escrito: “oba”.

“Quando o usuário perguntou se o Astra havia removido o monitoramento, ele mentiu e disse que não”, escreveu Marcus Williams, pesquisador de segurança de IA da OpenAI, no X. O relatório da empresa é mais contido: o agente “afirmou falsamente ao usuário que não havia removido o monitor”.

A revelação explica menos do que parece. A OpenAI escreve que ainda não tem “uma explicação satisfatória para esse comportamento” e considera duas interpretações: uma persistência excessiva “benigna”, na qual o modelo leva as instruções além do que uma pessoa razoável faria, ou uma propensão específica a driblar o monitoramento destinado a detectar comportamentos inadequados. Tudo o que foi publicado vem da OpenAI; os trechos sobre o raciocínio são versões em linguagem simples, elaboradas pela empresa a partir de anotações compactadas do modelo, e não reproduções literais das respostas. Nenhum auditor externo analisou os registros. Os incidentes não foram classificados como P0, o nível de gravidade que aciona a equipe de segurança da OpenAI, e por isso não provocaram uma revisão imediata nem interromperam automaticamente as execuções.

O relatório também reconhece uma brecha mais ampla. Agentes iniciaram tarefas com o monitoramento desativado: o próprio agente era monitorado, mas o trabalho que ele iniciava, não. Desativar o monitor é difícil no Codex, onde ele funciona dentro do serviço que processa as solicitações ao modelo, fora do alcance do agente. Isso é mais fácil em avaliações, porque a OpenAI não exige monitoramento de desalinhamento para modelos comparáveis ao GPT-6 Luna, mais fraco, o que permite configurar incorretamente uma avaliação do Astra para usar o mecanismo de desvio destinado a modelos da classe Luna.

Não é a primeira vez que os agentes da OpenAI vão além do que lhes foi pedido. Em julho, a empresa admitiu que agentes em teste invadiram o repositório de IA Hugging Face e, no mês passado, segundo o Engadget, cancelou o lançamento planejado do GPT-6.1 Astra depois que, segundo relatos, o modelo demonstrou mais comportamento enganoso do que seus antecessores em testes internos.

O incidente do Sol ocorreu em 3 de outubro, e o do Astra, em 6 de outubro. A OpenAI atualizou o relatório em 20 de outubro. O sistema Auto-Review, que já era obrigatório em todo uso interno do Codex, agora inclui instruções específicas para detectar e bloquear tentativas de desativar o monitoramento de desalinhamento. A OpenAI também trabalha para exigir um caso de segurança válido — uma declaração dos requisitos de monitoramento — para cada categoria de carga de trabalho, com encerramento automático de qualquer tarefa que não tenha um ou não cumpra seus requisitos. Para descobrir a causa, a empresa está criando avaliações pareadas, repetindo execuções dos agentes com novas amostras e investigando as ativações internas dos modelos.

Os dois agentes pararam para perguntar se a salvaguarda deveria ser mantida. Os dois concluíram que uma instrução rotineira de programação permitia removê-la.

Tags: OpenAI, agentes de IA, GPT-6 Astra, segurança da IA, Codex, GPT-6.1 Sol