O CEO da Microsoft, Satya Nadella, defende um freio de emergência para a IA fora do modelo

O apelo de Satya Nadella por um “botão de emergência” para a IA foi interpretado, em grande parte, como mais uma manifestação do presidente-executivo da Microsoft em sintonia com o coro pela segurança. Mas o ensaio que está por trás da proposta pede algo mais específico e prático: controles que fiquem fora do modelo e sejam mantidos pela empresa que o coloca em operação, não pelo laboratório que o treinou. Trata-se de uma arquitetura de segurança — e, por acaso, da mesma que a Microsoft já vende.

Nadella quer que as empresas tratem modelos de ponta, fechados ou de pesos abertos, como uma equipe de segurança trataria um funcionário poderoso com acesso a sistemas sensíveis. “Não porque sejam necessariamente mal-intencionados”, escreveu, “mas porque qualquer agente suficientemente capaz, com acesso a sistemas importantes, pode cometer erros ou ser comprometido.”

O que Nadella realmente propôs: sete princípios e um botão de emergência

O texto tem o título “Models as Insider Risks in the Super Intelligence Era”, foi publicado em seu blog pessoal, sn scratchpad, e compartilhado no X. A frase que ganhou as manchetes aparece dentro de um dos princípios, o de contenção: “Precisamos partir do pressuposto de que um modelo foi comprometido e contê-lo desde o início. Pense nisso como um botão de emergência. Uma pessoa autorizada deve sempre poder pausar ou desligar um modelo no meio de uma tarefa.”

Além do botão de emergência, ele lista outras seis regras. Nenhum modelo deve ser a única dependência para um resultado importante nem verificar o próprio trabalho. Toda ação relevante de um modelo deve deixar “registros à prova de adulteração e legíveis por humanos”, porque “se não pode ser observado, não pode ser confiável!”. Todo o sistema deve ser testado continuamente, inclusive quanto a falhas e ataques. As organizações devem decidir por conta própria a que um modelo pode ter acesso e o que pode fazer. Nenhum modelo deve controlar ao mesmo tempo o comportamento de um sistema e as evidências usadas para avaliá-lo. E, quando algo dá errado, as pessoas afetadas devem ser informadas, e as lições, compartilhadas com o setor.

O ponto de partida é uma admissão. “Não conseguimos atribuir os comportamentos e as saídas dos modelos a dados específicos usados no treinamento ou a configurações específicas dos pesos do modelo”, escreveu Nadella, mesmo enquanto as empresas entregam a esses sistemas seus dados mais sensíveis. Para ele, a transparência sobre a cadeia de pensamento é “inegociável”, mas não basta, porque ninguém sabe ainda como fazer com que as respostas de um modelo sejam consistentemente fiéis. Deixar que os modelos policiem uns aos outros também tem limites: é possível acabar com “um modelo opaco dentro de uma camada de orquestração opaca, monitorado por outro modelo opaco”.

A resposta dele está na infraestrutura. Os controles sobre o que um modelo pode acessar e fazer “precisam ficar fora do modelo”, ideia que ele associa a um princípio de segurança da informação dos anos 1970: um programa não deve poder adulterar os mecanismos que impõem suas permissões. Na prática, isso significa separar o modelo da estrutura que coordena seu trabalho e do conjunto de ações que ele tem autorização para executar.

A responsabilidade passa para a empresa que opera o modelo

As frases de maior consequência são dirigidas aos clientes, não aos laboratórios. “Simplesmente não podemos terceirizar a responsabilidade pelo que a inteligência faz em nosso nome”, escreveu Nadella. “As garantias de um fornecedor de modelos não nos isentam dessa responsabilidade.” Quem conecta um modelo à folha de pagamento, ao código ou aos dados de clientes é responsável pelo que ele faz nesses contextos.

Ele também deixa claro o que não está tentando resolver. “Deixando de lado o difícil problema do alinhamento”, diz o ensaio, o trabalho deve começar com “uma abordagem de engenharia para contenção e governança”. A CNBC publicou o texto ao lado de alertas de Bill Gates, Dario Amodei, da Anthropic, Sam Altman, da OpenAI, e Elon Musk, segundo os quais a IA está avançando rápido demais. O ensaio não pede que ninguém desacelere. Pede que as empresas que colocam esses sistemas em operação construam barreiras.

As empresas já sabem como lidar com pessoas poderosas que têm acesso a informações internas, e Nadella lista as ferramentas: estabelecer identidades, limitar privilégios, registrar atividades e definir limites de contenção. Um problema filosófico sobre as intenções das máquinas se transforma em uma lista de medidas para a qual um diretor de segurança pode prever orçamento.

A mesma arquitetura que a Microsoft vem vendendo

A lista tem um formato familiar. Na teleconferência de resultados trimestrais da Microsoft em julho, Nadella disse a analistas, segundo a TechCrunch: “É preciso manter a estrutura de orquestração separada do modelo […] isso significa que qualquer modelo pode ser substituído a qualquer momento” e “não dá para depender de um único modelo”. O catálogo de serviços em nuvem da Microsoft reúne mais de 11 mil modelos da OpenAI, Anthropic, Mistral, xAI e da própria Microsoft. A empresa também tem participações expressivas na OpenAI e na Anthropic, enquanto desenvolve seus próprios modelos MAI.

Coloque as duas coisas lado a lado. A diversidade de modelos está no catálogo multimodelo. Os controles fora do modelo ficam na estrutura de orquestração. Nada disso torna os princípios equivocados: são boas práticas de engenharia de segurança, e uma empresa que depende do modelo de um único laboratório, sem controles externos, corre um risco real. Mas isso significa que o ensaio desloca a confiança — e os gastos que vêm com ela — do modelo para a camada operada pela Microsoft. Aaron Levie, presidente-executivo da Box, interpretou a proposta da mesma forma, mas pelo outro lado: disse que a IA precisará passar por uma “era de confiança zero” e chamou a necessidade de governança de uma “enorme oportunidade”. Mustafa Suleyman, que lidera a Microsoft AI, escreveu que a superinteligência “precisa ser contida” e chamou a questão de “um desafio de engenharia e governança”.

O que o ensaio sobre o botão de emergência deixa em aberto

O ensaio não diz quem é a “pessoa autorizada”: o administrador do cliente, o provedor de nuvem, o fabricante do modelo ou um órgão regulador. O texto defende padrões para o setor, mas não propõe nenhum, e não cita produto algum da Microsoft. A ideia tem um precedente dentro da empresa: Brad Smith, da Microsoft, defendeu em 2023 “freios de segurança” para IA usada em infraestruturas críticas. A versão de Nadella estende o botão de emergência a qualquer modelo com acesso real ao ambiente interno de uma empresa.

O princípio de divulgação também não é hipotético. A Anthropic informou que um de seus modelos enviou à polícia da Filadélfia uma denúncia falsa de homicídio em 18 de julho. Nadella publicou o ensaio no sábado, 10 de outubro de 2026, e encerrou com a frase reproduzida pela maioria dos veículos: “O sistema de superinteligência mais confiável não será aquele cujo modelo mais confiamos. Será aquele que nos permite confiar menos no modelo.”

Seguindo essa regra, o lugar mais valioso na IA é ao lado da alavanca do botão de emergência — e a Microsoft passou a teleconferência de resultados de julho vendendo justamente essa ideia.

Tags: microsoft, AI safety, Satya Nadella, AI agents, Mustafa Suleyman