IA

Google, OpenAI e Microsoft vão respeitar uma única linha contra treinamento de IA

Susan Hill
Adicione-nos no Google

Google, OpenAI, Anthropic e Microsoft concordaram em ler um único token no robots.txt, __usage_ai-training, como a resposta de um site sobre treinamento de IA. É mais simples que as listas atuais, rastreador por rastreador, mas é voluntário, só vale daqui para a frente e não significa exatamente a mesma coisa em todas as empresas.

Quem queria impedir que um site fosse usado no treinamento de IA precisava escrever uma regra separada para cada empresa, aprendendo nomes como GPTBot, ClaudeBot e Google-Extended um por um e atualizando a lista toda vez que outro desenvolvedor lançava um rastreador. Na sexta-feira, 30 de outubro, Google, OpenAI, Anthropic e Microsoft disseram que todas vão ler a mesma linha: um “token de política” compartilhado no robots.txt, o pequeno arquivo de texto que, desde os primórdios da web, informa aos mecanismos de busca onde não devem entrar. Escrita uma única vez, essa regra dará a mesma resposta a quatro dos maiores desenvolvedores de IA.

A ideia é de Kevin Kelley, responsável técnico pela área de padrões na Anthropic, que a apresentou como Internet-Draft à Internet Engineering Task Force (IETF), entidade que define as regras técnicas da internet. O Google publicou seu apoio no blog Search Central, em texto assinado por John Mueller, seu Search Advocate; a Microsoft fez o mesmo no blog do Bing, por meio de Krishna Madhavan, gerente de produto principal; e a OpenAI divulgou um breve comunicado da empresa. Kelley anunciou a proposta na mesma tarde, na lista de discussão do grupo de trabalho AI Preferences da IETF, conhecido como AIPREF, e escreveu que a Anthropic “já começou a implementar o suporte” ao mecanismo.

Como a linha funciona

O detalhe engenhoso é que ela não cria nenhuma sintaxe nova. O responsável pelo site escreve um grupo de regras comum no robots.txt, mas a linha User-Agent indica uma finalidade, e não um rastreador: __usage_ai-training. Abaixo dela, “Disallow: /” significa que nada no site deve ser usado para treinamento, e uma linha “Allow” pode abrir exceções. O próprio exemplo da proposta libera uma pasta /press-kit/, o tipo de material que uma empresa teria satisfação em ver um modelo aprender. A correspondência segue as regras de caminho e a precedência da correspondência mais longa do RFC 9309, o Robots Exclusion Protocol que a IETF formalizou em setembro de 2022, quase três décadas depois de Martijn Koster propor a convenção, em 1994.

O sublinhado duplo no início é proposital. Alguns analisadores de robots.txt em uso comparam nomes de bots de forma pouco rigorosa, e o prefixo torna improvável uma coincidência acidental com um rastreador real. Um único grupo pode listar vários tokens de política, e esses tokens podem ficar ao lado de nomes comuns de rastreadores. Kelley escreveu que passou muito tempo estudando o comportamento dos analisadores em uso e que projetou o mecanismo para ficar longe dos pontos em que eles divergem. Assim, um software que não conhece o token simplesmente ignora o grupo, como faria com qualquer grupo dirigido a um bot que não reconhece.

A definição de treinamento foi emprestada, não inventada. A proposta usa a definição do documento de vocabulário do grupo de trabalho AIPREF, editado por Paul Keller, da Open Future, e Martin Thomson, da Mozilla: treinamento de IA significa usar um conteúdo “para modificar os parâmetros aprendidos de um modelo de IA generativa”. Modelos usados apenas para classificação, ranqueamento ou pontuação ficam de fora, mesmo quando geram uma explicação para o resultado. A preferência que vale para uma página é a que estava no arquivo robots.txt em vigor no momento em que a página foi coletada.

A busca continua onde está

Para um blog, uma loja ou uma redação, o detalhe mais útil é o que essa linha não altera. A proposta diz com todas as letras que o token “não é uma diretiva de comportamento de rastreamento”: ele expressa uma preferência sobre como o conteúdo pode ser usado, não sobre quem pode acessá-lo, portanto a busca continua funcionando. Regras dirigidas ao Googlebot, ao Bingbot ou a qualquer outro rastreador identificado pelo nome mantêm exatamente o significado que têm hoje. Um site que quer manter um bot totalmente afastado ainda precisa dizer isso em um grupo com o nome desse bot.

A Microsoft diz que a configuração não altera a possibilidade de uma página aparecer nos resultados do Bing. O Google diz que, quando um site recusar o treinamento por meio do token compartilhado e não mencionar separadamente o Google-Extended, a empresa vai interpretar isso como um bloqueio ao Google-Extended. O Google-Extended, que o Google oferece desde 2023, não tem efeito sobre a inclusão na Busca do Google, mas cobre mais do que treinamento: segundo a documentação de rastreadores do Google, ele também decide se uma página pode ser usada para grounding nos Gemini Apps e na Vertex AI, processo em que páginas do índice de busca são entregues ao modelo enquanto ele responde. Pelo plano anunciado pelo Google, a recusa compartilhada ao treinamento também tira o site dessas respostas do Gemini com grounding, a menos que o site adicione um grupo explícito de permissão para o Google-Extended, que o Google trata como a regra mais específica. AI Overviews e AI Mode, na Busca do Google, são outra história: seguem as regras do Googlebot e uma configuração do Search Console que a empresa liberou para todos os sites em agosto.

A Microsoft separa treinamento de respostas

A Microsoft vai além das outras empresas. Além da preferência sobre treinamento, está acrescentando uma opção separada de grounding, configurada página por página por meio de uma meta tag ou de um cabeçalho HTTP, que determina se uma página pode alimentar as respostas geradas na hora pelo Bing, pelo Copilot e pelo Microsoft 365. Essa opção aceita três valores: Allow, o padrão; Disallow; e um novo DisallowExtended, que mantém a página disponível para as experiências de IA da própria Microsoft, mas fora dos serviços de grounding que a Microsoft vende a outras empresas, como o Web IQ. Um site poderia recusar o treinamento e ainda permitir o grounding, mantendo suas citações e seus links nas respostas de IA. A Microsoft também permite definir a preferência de treinamento para uma única página, e essa configuração no nível da página se sobrepõe ao robots.txt.

A Microsoft alerta que restringir o grounding vai reduzir a visibilidade do site nessas experiências e afirma que “nenhuma das opções garante inclusão, tráfego ou pagamento”. A empresa também vai aposentar as tags NoArchive e NoCache, que lançou em 2023 como controles de IA. Ela vai respeitar as novas preferências nos rastreamentos feitos a partir de 1º de fevereiro de 2027 e, depois de 1º de março, deixará de interpretar as tags antigas como sinais de treinamento ou de grounding. Sites que dependem dessas tags para ficar fora do grounding poderão registrar uma preferência temporária no Bing Webmaster Tools a partir de 15 de dezembro. A Microsoft acrescenta que, assim que detectar qualquer uma das novas preferências em um site, vai desconsiderar as tags antigas que ainda estiverem lá. Ou seja, um editor que adicionar apenas a linha compartilhada de treinamento pode perder uma restrição de grounding que configurou antes.

O porém escondido na regra curinga

Há um porém escondido no arquivo que a maioria dos sites já tem. A proposta de Kelley faz, de propósito, com que a conhecida regra curinga “User-agent: *” não enxergue o novo token, e um arquivo sem um grupo __usage_ai-training não expressa preferência nenhuma, o que, como Kelley observou, vale para todos os arquivos robots.txt publicados até hoje. Pela proposta, um site que hoje bloqueia todos os bots não disse nada sobre treinamento de IA. Quem quiser ficar de fora terá de adicionar o novo grupo pelo nome. Os tokens antigos de cada empresa também não são aproveitados: um bloqueio ao Google-Extended continua valendo no Google, mas não vira uma recusa compartilhada para a OpenAI ou a Microsoft.

O sinal também só vale daqui para a frente. Tudo o que as empresas rastrearam antes de a linha aparecer já está em seus conjuntos de treinamento, e nada na proposta obriga qualquer empresa a respeitá-la. Acordos privados de licenciamento podem se sobrepor a ela, acrescenta a proposta; assim, um editor com um contrato de conteúdo pode publicar uma recusa geral e, mesmo assim, ter sua relação com determinado desenvolvedor regida por esse contrato. A própria OpenAI chama sua participação de “esforço voluntário”. É um pedido que quatro empresas prometeram atender, não uma tranca.

Quem ficou de fora

A ausência mais evidente é a da Meta. Andy Stone, chefe de comunicação da empresa, disse ao The Verge que um sinal comum, capaz de chegar a vários provedores ao mesmo tempo, é “um passo importante”, mas não afirmou se a Meta vai respeitá-lo. O momento é delicado. Os termos comerciais revisados da Meta, que permitem à empresa enviar rastreadores a sites ligados a contas comerciais do Facebook, Instagram e WhatsApp e usar o material coletado para treinar seus produtos, deveriam entrar em vigor originalmente em 30 de outubro, o dia do anúncio. Depois de reclamações de editores às autoridades de concorrência da União Europeia e do Reino Unido, a Meta disse à Reuters, em 23 de outubro, que tinha adiado essa data para 20 de novembro.

A Meta não é a única grande empresa fora dos compromissos. A Amazon não estava entre as quatro, nem a Apple, cujo token Applebot-Extended aparece em muitas listas de recusa já existentes. Funcionários da Meta e da Amazon aparecem, sim, na longa tabela de agradecimentos da proposta, ao lado de pessoas do Google, da Microsoft e da OpenAI, de editoras como News Corp, Financial Times e BBC e de organizações como Electronic Frontier Foundation, Creative Commons, Internet Archive e Common Crawl. A proposta observa que essas afiliações aparecem apenas para fins de identificação, já que os participantes da IETF contribuem como indivíduos.

Uma proposta ainda sem status oficial

A implementação será desigual. A Anthropic já começou a adotar o token, embora Kelley tenha escrito que levará tempo para incluí-lo em todos os seus serviços e que a leitura da empresa sobre esses sinais pode mudar à medida que os padrões evoluírem; os controles já existentes de ClaudeBot, Claude-User e Claude-SearchBot continuam valendo. O cronograma da Microsoft é o único fechado. O post do Google no blog mira 2027, e a documentação de rastreadores da empresa fala em início de 2027, enquanto a OpenAI se comprometeu apenas com “os próximos meses” e diz que o novo sinal não vai substituir os controles de robots.txt que ela já oferece, como o GPTBot. O post da OpenAI também descreve o sinal como voltado ao “treinamento fundacional de IA generativa”, e a empresa não disse se essa palavra restringe a definição mais ampla do documento de vocabulário.

O token também ainda não tem status formal. O datatracker da IETF registra o texto de Kelley como uma submissão individual, e não como um documento do grupo de trabalho, e ele expira em 3 de maio de 2027, a menos que uma nova versão o substitua. Kelley ofereceu o texto como contribuição para a proposta separada do grupo de trabalho sobre como associar preferências a conteúdos, escrita em coautoria por Gary Illyes, do Google, um dos autores do RFC 9309. O Google observa que o plano está de acordo com o código de prática da União Europeia para modelos de IA de uso geral, publicado em julho de 2025, que já considera o robots.txt a principal forma de os editores expressarem preferências legíveis por máquinas e pede aos signatários que usem rastreadores que o respeitem.

O que torna esse momento notável é a simplicidade da solução. Depois de anos de processos e disputas por licenciamento em torno de quem é dono da web aberta, a primeira resposta compartilhada cabe em alguns caracteres num arquivo de texto simples que qualquer pessoa pode editar em um minuto. Para a maioria dos donos de sites, o passo prático é curto: adicionar um grupo para __usage_ai-training, manter as regras atuais para rastreadores e verificar o que a interpretação do Google faz com as citações no Gemini antes de confiar nela. O quanto essa linha vai proteger dependerá de quem aderir a seguir — e a empresa que reúne o maior número de páginas comerciais em suas plataformas ainda não disse sim.

Tags: , , , , ,

Adicione-nos no Google

Discussão

Há 0 comentários.