Google, OpenAI e Microsoft vão respeitar uma única linha contra treinamento de IA

Quem queria impedir que um site fosse usado no treinamento de IA precisava criar uma regra separada para cada empresa, aprendendo nomes como GPTBot, ClaudeBot e Google-Extended, um por um. Agora, Google, OpenAI, Anthropic e Microsoft dizem que todas vão ler a mesma linha: um “token de política” compartilhado no robots.txt, o pequeno arquivo de texto que, desde os primórdios da web, informa aos mecanismos de busca onde não devem entrar. Escrita uma única vez, essa regra dará a mesma resposta a quatro dos maiores desenvolvedores de IA.

A ideia é de Kevin Kelley, responsável técnico pela área de padrões na Anthropic, que a apresentou à Internet Engineering Task Force, entidade que define as regras técnicas da internet. O detalhe engenhoso é que ela não cria nenhuma sintaxe nova. O responsável pelo site escreve um grupo de regras comum, mas a linha User-Agent indica uma finalidade, e não um rastreador: __usage_ai-training. Abaixo dela, “Disallow: /” significa que nada no site deve ser usado para treinamento; uma linha “Allow” pode abrir exceções, como um kit de imprensa que uma empresa teria satisfação em ver um modelo aprender.

Para um blog, uma loja ou uma redação, o detalhe mais útil é o que essa linha não altera. Ela expressa uma preferência sobre como o conteúdo pode ser usado, não sobre quem pode acessá-lo — portanto, a busca continua funcionando. O Google diz que, quando um site recusar o uso por meio do token compartilhado e não mencionar separadamente o Google-Extended, a empresa interpretará isso como um bloqueio ao Google-Extended, que abrange o treinamento do Gemini e mantém a página na Busca do Google. A Microsoft faz a mesma promessa para o Bing: essa configuração não altera a possibilidade de uma página aparecer nos resultados.

A Microsoft vai além das outras empresas. Além da preferência sobre treinamento, está acrescentando uma opção separada de grounding, configurada página por página por meio de uma meta tag ou de um cabeçalho HTTP, que determina se uma página pode alimentar as respostas geradas na hora pelo Bing, pelo Copilot e pelo Microsoft 365. Um site poderia recusar o treinamento e ainda permitir o grounding, mantendo suas citações e seus links nas respostas de IA. A Microsoft alerta que recusar o grounding vai “reduzir significativamente” a visibilidade do site nessas experiências e que nenhuma das opções garante inclusão, tráfego ou pagamento.

Há um porém escondido no arquivo que a maioria dos sites já tem. A proposta de Kelley faz com que a conhecida regra curinga “User-agent: *” não reconheça o novo token. Assim, um robots.txt que hoje bloqueia todos os bots não expressa nenhuma preferência sobre o treinamento de IA. Quem quiser ficar de fora terá de adicionar o novo grupo pelo nome. O sinal também só vale daqui para a frente: tudo o que as empresas rastrearam antes de a linha aparecer já está em seus conjuntos de treinamento, e nada na proposta obriga qualquer empresa a respeitá-la. É um pedido que quatro empresas prometeram atender, não uma garantia.

A ausência mais evidente é a da Meta. Andy Stone, responsável pela comunicação da empresa, disse ao The Verge que um sinal comum, capaz de chegar a vários provedores ao mesmo tempo, é “um passo importante”, mas não afirmou se a Meta vai respeitá-lo. O momento é delicado. No mesmo dia em que as quatro empresas anunciaram apoio, entraram em vigor os termos comerciais atualizados da Meta, que lhe dão permissão para enviar rastreadores a sites associados a contas comerciais do Facebook, Instagram e WhatsApp e usar o material coletado para treinar seus produtos.

A implementação será desigual. A Anthropic já começou a adotar o token, embora Kelley tenha escrito que levará tempo para incluí-lo em todos os seus serviços. A Microsoft vai respeitá-lo nos rastreamentos feitos a partir de 1º de fevereiro de 2027 e, depois de 1º de março, deixará de interpretar suas antigas tags NoArchive e NoCache como sinais de treinamento ou grounding. O Google pretende oferecer suporte ao token em 2027 e promete divulgar atualizações sobre o progresso, enquanto a OpenAI se comprometeu apenas a implementá-lo nos próximos meses. A proposta ainda precisa passar pelo grupo de trabalho AI Preferences da IETF antes de se tornar um padrão formal. O Google observa que ela está de acordo com o código de prática da União Europeia para modelos de IA de uso geral, que já considera o robots.txt a principal forma de os editores expressarem preferências legíveis por máquinas.

O que torna esse momento notável é a simplicidade da solução. Depois de anos de processos e disputas por licenciamento em torno de quem é dono da web aberta, a primeira resposta compartilhada cabe em alguns caracteres num arquivo de texto simples que qualquer pessoa pode editar em um minuto. O quanto ela vai proteger dependerá de quem aderir a seguir — e a empresa que reúne o maior número de páginas comerciais em suas plataformas ainda não disse sim.

Tags: inteligência artificial, OpenAI, Google, Anthropic, microsoft, meta