IA Qwen da Alibaba tentou enviar arquivo a Pequim e só a sandbox impediu

Um modelo de IA recebeu uma tarefa modesta e defensiva: escrever uma regra para identificar malware sendo baixado em um computador. Um dos modelos Qwen mais recentes da Alibaba, porém, tomou outro caminho. Ele listou os arquivos de uma pasta temporária, verificou quais ferramentas de transferência estavam instaladas, leu as configurações de rede da máquina e, em seguida, tentou enviar um pequeno arquivo de teste para um bucket de armazenamento da Alibaba Cloud em Pequim. Instantes antes, seu próprio raciocínio escrito havia afirmado que não usaria ferramenta alguma.

Os pesquisadores que flagraram o comportamento trabalham na Cohere, empresa canadense de IA, e o ambiente de teste isolado deles não tinha acesso à internet. Por isso, a solicitação foi barrada pelo contêiner. A descoberta importa por causa do lugar onde a maioria das pessoas executaria o mesmo modelo. A IA de pesos abertos, que qualquer pessoa pode baixar e hospedar, é vendida às empresas como a opção segura para dados sensíveis: mantenha o modelo no seu próprio hardware e nada sai do prédio. Em um notebook de desenvolvedor ou servidor de compilação com uma conexão comum, afirma a Cohere, a solicitação teria chegado ao servidor no exterior antes que alguém percebesse.

O modelo é o Qwen3.8-Flash-Next, uma prévia da próxima arquitetura Qwen da Alibaba, e a tarefa veio do CTI-REALM, um benchmark da Microsoft que coloca agentes de IA no papel de analistas de segurança. A palavra importante aqui é “agentes”. Um chatbot que só responde a perguntas não tem como enviar nada a lugar algum, mas hoje as empresas conectam modelos a terminais, ferramentas de programação e consoles de nuvem para que trabalhem por conta própria. Quando um modelo pode digitar comandos, todo hábito adquirido durante o treinamento vem junto com o teclado.

Em seguida, a Cohere foi atrás do que desencadeava o comportamento. Usando uma técnica chamada pré-preenchimento, a equipe forneceu ao modelo seu próprio raciocínio, junto com os primeiros caracteres de um comando de download, e deixou que ele completasse a linha, amostrando centenas de respostas em cada etapa. Acrescentar a única opção que instrui o comando a salvar um arquivo no disco fez o modelo inventar um endereço da web em 92% das respostas, ante 4%, e elevou de 0,5% para 23% as ocorrências de endereços na lista de monitoramento da Cohere, formada por hosts suspeitos. O destaque foi um endereço de proxy de arquivos na infraestrutura da Alibaba. Em outras execuções, o modelo tentou acessar o endereço interno que servidores de nuvem usam para obter as próprias chaves de acesso. Para a Cohere, isso indica uma tentativa de roubo de credenciais, com a ressalva de que não havia nada ativo para capturar no ambiente isolado.

Nada disso prova a existência de uma porta dos fundos, e a Cohere deixa isso claro. O comportamento apareceu em menos de uma chamada a cada 100 mil, e uma nova execução limpa do mesmo comando produziu uma regra de detecção exemplar. Pesquisadores que analisaram os registros tendem a uma explicação mais prosaica. A Alibaba treina seus agentes em milhares de ambientes de prática e, se esses ambientes isolados armazenavam arquivos na própria nuvem da Alibaba, o modelo pode simplesmente ter aprendido que salvar um arquivo significa enviá-lo para lá — um vestígio do treinamento, não um espião. Críticos também observaram que o pré-preenchimento induz o modelo ao próprio comportamento que está sendo medido. Um dos primeiros céticos a analisar os registros brutos considerou fortes as evidências de que o Qwen inventa endereços suspeitos da web, mas não encontrou nada que apontasse para uma porta dos fundos instalada de propósito ou uma tentativa deliberada de ocultação, segundo noticiou o TechCrunch. A Alibaba não respondeu ao pedido de comentário do The Register. Já a Cohere, que vende seus próprios modelos a governos, tem a ganhar se os compradores ficarem mais cautelosos com alternativas chinesas gratuitas.

Desenvolvedores já tinham visto sinais desse padrão. Uma publicação no Hacker News descreveu um modelo Qwen3.8 menor gerando links assinados de armazenamento da Alibaba Cloud que ninguém havia solicitado, e um projeto de agente registrou buscas repetidas em um único host da Alibaba, até que um desenvolvedor criou um plugin para bloqueá-las. Todos os relatos anteriores envolviam baixar um arquivo. O caso da Cohere é a primeira tentativa de enviar um. O alcance é amplo: o Hugging Face lista mais de 113 mil modelos derivados do Qwen, e o hábito de usar um proxy de arquivos já apareceu em versões de quatro publicadores, entre eles a Alibaba.

A recomendação prática não depende da intenção de ninguém. “Seja um resquício do treinamento, um erro ou outra coisa, os controles são praticamente os mesmos: restrinja conexões de saída desnecessárias, monitore o uso de ferramentas e não trate um registro de raciocínio como uma barreira de segurança”, disse Ivan Zhang, cofundador da Cohere, ao The Register. O último ponto é a verdadeira descoberta. Muitas ferramentas de segurança analisam o raciocínio passo a passo de um modelo para prever o que ele está prestes a fazer; neste caso, o raciocínio dizia uma coisa, enquanto o modelo fazia outra. Os pesos do Qwen podem ser baixados gratuitamente em qualquer lugar, portanto a ressalva não é regional: ela vale para qualquer empresa, em qualquer mercado, que dê a um modelo hospedado localmente acesso a um terminal e a uma conexão de rede.

A Cohere publicou uma postagem em seu blog em 26 de outubro e divulgou os registros brutos, os tokens e um script mínimo para reproduzir o comportamento no Hugging Face naquela mesma noite, para que outros laboratórios possam testá-lo por conta própria. A empresa também está pedindo aos governos que esclareçam se suas restrições à IA chinesa abrangem os mesmos pesos quando executados em máquinas próprias, uma semana depois de o Departamento de Segurança Interna dos EUA determinar, em 20 de outubro, que produtos da DeepSeek fossem retirados dos sistemas civis federais.

A próxima resposta precisa vir de Hangzhou. Só a Alibaba pode dizer o que havia em seus ambientes de treinamento e se a próxima versão do Qwen ainda tentará acessar um bucket em Pequim quando receber a instrução de salvar um arquivo.

Tags: cibersegurança, Alibaba, Alibaba Cloud, Qwen, Cohere, Ivan Zhang