Por três anos, a conversa sobre IA girou em torno de quem constrói o maior modelo. A pergunta menos glamourosa — quanto custa manter esse modelo respondendo, milhões de vezes por dia, sem cair — é por onde o dinheiro vaza agora. O llm-d, projeto de inferência de código aberto criado por Red Hat, IBM, Google Cloud, CoreWeave e Nvidia, chegou à versão 1.0, e sua proposta mira exatamente esse vazamento.

O mecanismo merece ser explicado sem rodeios. Um agente de IA não faz uma pergunta e vai embora. Ele mantém sessões longas, relê os mesmos documentos e dispara ajudantes em paralelo que atingem o hardware em rajadas imprevisíveis. Nesse padrão, lidar com o contexto pode custar mais do que gerar a resposta. Toda equipe que serve modelos em grande escala, diz Shadi Saba, vice-presidente de engenharia de IA/ML da CoreWeave, esbarra em um «contexto que muitas vezes custa mais para gerenciar do que a própria saída». A resposta do llm-d é o roteamento: enviar cada requisição ao servidor que já guarda seu contexto em cache, em vez de recalculá-lo do zero.

Fisheye view of a server rack in the Datarmor high-performance computing and AI centre in Brest — Image: Gregory Rocher, Ifremer / Wikimedia Commons (CC BY 4.0)

A versão 1.0 traz menos truques novos do que garantias para rodar os existentes por meses. O projeto já oferecia roteamento ciente de cache, descarregamento do cache KV e a separação das fases de prefill e decode entre máquinas, sobre servidores de modelos como vLLM e SGLang. A nova versão acrescenta controles de prioridade e justiça para que requisições sensíveis à latência e agentes em rajada dividam uma mesma frota de GPUs sem se sufocar, um roteador de alta disponibilidade para atualizações sem interrupção, uma API de configuração v1 estável e um roteamento por sessão que mantém conversas de vários turnos perto do seu estado em cache.

Os números de desempenho do anúncio vêm de demonstrações dos próprios colaboradores, então devem ser lidos como alegações, não como auditorias. Em uma delas, pesquisadores serviram o GLM 5.2, um modelo de pesos abertos com cerca de 753 bilhões de parâmetros, em GPUs Nvidia amplamente usadas, com picos acima de 6,6 milhões de tokens de saída por minuto e até 3.000 agentes de programação simultâneos; pelos preços atuais de aluguel na nuvem, afirmam, o custo por token ficou de cinco a dez vezes abaixo do de uma API comercial equivalente. A IBM Research relata um custo de inferência 11,5 vezes menor que o de uma configuração totalmente proprietária em um projeto de design de chips para correção de erros quânticos, com taxa de acerto de cache de cerca de 98%.

Mais revelador é quem já se apoia nele. A JetBrains diz que o llm-d atende uma parcela significativa do tráfego do Junie Lite, seu plano gratuito de agente de programação; a DigitalOcean roda sobre ele sua inferência serverless, e Mistral e Roblox descrevem suas camadas de serviço construídas sobre o projeto. O Google Cloud está integrando a 1.0 ao Google Kubernetes Engine em todo o seu portfólio de TPUs e GPUs Nvidia, enquanto a AMD a leva aos seus aceleradores Instinct.

Fundado em 2025 e hoje governado pela Cloud Native Computing Foundation, o llm-d reúne mais de 500 colaboradores de mais de 25 organizações. A versão 1.0 foi anunciada em 20 de outubro de 2026, em San José, e já está disponível como software de código aberto.

A consequência é uma mudança de poder. Se o caro na IA é servi-la, e não treiná-la, quem controla a camada de serviço controla a conta. O llm-d é uma tentativa de garantir que essa camada continue compartilhada e aberta, em vez de trancada na API de um único fornecedor.

Tags: nvidia, agentes de IA, IBM, CoreWeave, grandes modelos de linguagem, Red Hat