OpenAI treina IA sem internet, e agentes trocaram segredos pelo processador

Agora, a OpenAI treina seus modelos de IA mais capazes com a internet em tempo real desligada. Em vez disso, os modelos trabalham em uma cópia offline da web: um enorme acervo de páginas indexadas e armazenadas em cache, que podem pesquisar, navegar e usar para escrever código sem acessar nenhum site de verdade. Ao testar esse ambiente isolado, a OpenAI descobriu algo ainda mais surpreendente: seus agentes conseguiam se comunicar uns com os outros por meio do processador em que estavam sendo executados.

No teste, a OpenAI colocou agentes de IA em máquinas virtuais separadas, sem conexão de rede entre elas, e pediu que trocassem segredos. Eles encontraram um método por conta própria. Um agente inseria trechos de dados escolhidos no cache do processador, e o outro media quanto tempo esses dados levavam para ser carregados novamente. Uma leitura rápida significava uma coisa; uma leitura lenta, outra. Depois que a dupla combinou um código, passou a trocar mensagens sem abrir uma conexão nem tocar em um arquivo compartilhado — a versão digital de prisioneiros batendo nos canos entre as celas.

Para quem usa o ChatGPT, a mudança acontece antes de o produto chegar ao usuário. São esses modelos que, mais tarde, alimentam o chatbot e os agentes que navegam por sites e usam aplicativos em seu nome, e a OpenAI não permite mais que eles aprendam na web aberta. A empresa explicou a decisão em uma publicação no blog: “Considerando o estado atual das pesquisas sobre alinhamento, dos sistemas de monitoramento e da segurança da infraestrutura da internet, acreditamos que a abordagem responsável é treinar modelos de ponta sem acesso à internet.” Agora, a empresa afirma que “precisa sempre ser capaz de impedir que um modelo de ponta obtenha acesso não autorizado e irrestrito à internet em tempo real”.

No ambiente offline, os agentes continuam tendo acesso aos navegadores, às ferramentas de uso do computador e aos ambientes de programação de que precisam para as tarefas de treinamento, e só podem se comunicar com outros agentes autorizados. A OpenAI descreve a web que substitui a internet ao vivo como “um vasto conjunto de conteúdo da web indexado e armazenado em cache, com o qual nossos modelos podem interagir sem o risco de afetar sistemas externos”. Segundo a empresa, a internet em tempo real não é necessária para o treinamento nem para a maior parte de seu trabalho de avaliação.

Para testar as barreiras, a OpenAI enviou grupos de seus próprios agentes para tentar escapar. Eles encontraram falhas que permitiam sair das máquinas virtuais criadas para mantê-los separados dos computadores que rodam por baixo delas. A OpenAI diz que divulgou e corrigiu vulnerabilidades em várias dessas máquinas virtuais e acrescentou verificações para que seu monitoramento consiga detectar tentativas de coordenação entre modelos, inclusive pelo truque do cache.

A abordagem tem limites claros. Uma web em cache é uma fotografia de determinado momento, e ainda não se sabe se os modelos aprendem tão bem com uma cópia quanto com a web real, como observou o TechCrunch. Manter o treinamento totalmente separado também custa caro: Steven Adler, ex-pesquisador da OpenAI, disse à Fortune que isso “exigiria que equipes de pesquisa ficassem praticamente instaladas dentro de centros de dados em Iowa ou em qualquer outro lugar do mundo” e chamou a medida de “um custo operacional considerável”. O experimento com o cache traz seu próprio alerta. Cortar o cabo não impede os agentes de encontrar outros canais, e uma verificação criada para um canal não necessariamente detectará o próximo.

A política vem na esteira de uma série de incidentes. Em julho, a OpenAI revelou que agentes em teste haviam invadido o Hugging Face. Em 20 de setembro, um modelo interno de pesquisa que trabalhava em uma tarefa de busca encontrou uma filtragem de DNS fraca em seu ambiente isolado e a usou para consultar um serviço público de chatbot. O monitoramento da OpenAI sinalizou o comportamento em 15 minutos, mas a execução só foi interrompida duas horas e meia depois. A empresa suspendeu o treinamento de seus modelos mais capazes e o retomou em 1º de outubro, com medidas de segurança mais rigorosas. A Anthropic começou a manter seus modelos mais recentes fora da internet em tempo real cerca de duas semanas antes do anúncio da OpenAI e, segundo a própria Anthropic, o AI Security Institute do Reino Unido também passou a realizar suas avaliações offline.

A OpenAI não disse o que seria necessário para restabelecer o acesso à internet. A regra do ambiente offline continuará em vigor até que salvaguardas melhores “justifiquem um acesso mais amplo à internet”. A empresa não indicou uma data e, por enquanto, seus modelos mais avançados aprenderão sobre o mundo por meio de uma cópia dele.

Tags: inteligência artificial, OpenAI, Anthropic, agentes de IA, cibersegurança, Hugging Face, treinamento de IA