IA

Elon Musk diz que reescrita total do software em C/C++ atrasou o Grok 4.8

O novo Grok está atrasado porque a xAI descartou as ferramentas de código aberto com as quais treinou e serviu os modelos. Musk chama o resultado de "ainda não incrível" e aposta que a reescrita valerá a pena no Grok 5.
Adrian Kessler
Adicione-nos no Google

O mais interessante na atualização mais recente de Elon Musk sobre o Grok não é a linguagem de programação. É a admissão embutida nela: o próximo modelo está atrasado porque a equipe que o desenvolve descartou as ferramentas de código aberto que usava para treinar e disponibilizar modelos e criou as próprias.

Lido como uma prévia do lançamento, o post é otimista: treinamento concluído, avaliações em alta e uma liberação gradual antes do fim da semana. Como história sobre sistemas, porém, ele diz algo maior. A xAI, agora parte da SpaceX, decidiu que os frameworks compartilhados estavam limitando seu avanço e aposta este modelo — e o próximo — no controle de cada camada de software entre seus pesquisadores e suas GPUs.

“Abandonamos JAX/SGLang e reescrevemos do zero toda a pilha de RL e inferência em C/C++, o que tomou um pouco mais de tempo”, escreveu Musk no X, em resposta a um usuário que perguntou quando esperar o Grok 4.8. JAX é a biblioteca numérica baseada em Python com a qual a xAI vinha treinando; SGLang é um framework de código aberto para disponibilizar grandes modelos de linguagem. O pré-treinamento foi concluído, disse ele, depois que “foi preciso fazer muita limpeza nos dados de SFT”, o conjunto de ajuste fino supervisionado. “Agora, o 4.8 está em RL e as avaliações estão começando a subir.”

Essa frase explica um intervalo que o próprio Musk criou. Em meados de setembro, ele apresentou o modelo como “um modelo de 2,5 trilhões de parâmetros treinado com nossa nova pilha de software em C++”, que iria “concluir o treinamento esta semana e começar o RL”. Na mesma época, segundo noticiou a Analytics India Magazine, ele descreveu a parte de aprendizado por reforço como “ainda um amontoado de sistemas de software de terceiros, em grande parte legados”, que seria corrigido “no momento oportuno”. No fim de outubro, escreveu: “Sei que está demorando mais do que o esperado, mas o Grok 4.8 não vai decepcionar.” A correção acabou sendo o motivo do atraso. O código de pré-treinamento já era novo; a parte que ensina o modelo a se comportar e a que responde aos usuários precisavam ser reconstruídas antes que o modelo pudesse avançar.

A “reescrita em C++” das manchetes é, em grande parte, em C. Questionado sobre a linguagem, Musk respondeu: “C com um pouco de C++, mas não muito.” Segundo ele, a pilha deriva do software que engenheiros da SpaceX escreveram para o Starlink (“Na SpaceX, escrevemos nossos próprios cabeçalhos e calculamos nosso próprio tempo”, acrescentou). Em setembro, ele afirmou que o código de pré-treinamento foi escrito pela equipe do Starlink e “não foi escrito por IA”, porque “a IA ainda não é boa o bastante para criar software de altíssimo desempenho (mas será)”.

A justificativa é pública desde a primavera. No fim de maio, Musk disse que a SpaceX estava quase concluindo uma pilha de treinamento própria em C que “mapeia com exatidão” para um cluster de 220 mil chips Nvidia GB300, e estimou que ela poderia ser “mais de uma ordem de grandeza” mais rápida que o JAX em grandes execuções de treinamento. No fim de junho, prometeu “ganhos realmente enormes” em cerca de três meses, quando toda a pilha de treinamento e inferência fosse reescrita e “a maioria das camadas de software fosse completamente eliminada”. Comparada a esse cronograma, a reescrita ficou pronta com cerca de seis semanas de atraso. Nenhuma das alegações de velocidade foi medida fora da empresa.

Ter o controle da pilha tem vantagens e desvantagens. Abandonar JAX e SGLang livra a xAI das abstrações e dos cronogramas de lançamento de terceiros, além de permitir que seus engenheiros adaptem o software diretamente a um hardware específico. O custo é que cada falha no ciclo de treinamento e no sistema que atende às solicitações agora é responsabilidade exclusiva da xAI, em um código que nenhuma comunidade externa usou antes de ele chegar aos usuários.

Musk também está baixando bastante as expectativas. “O Grok 4.8 não terá nada a ver com o 4.7 (ainda bem)”, escreveu, em uma crítica pública ao modelo que a xAI lançou em 21 de setembro. “Ainda não é incrível, mas, desta vez, os fundamentos foram construídos direito, então espero que ele evolua e se torne algo especial.” Menos de uma hora depois, perguntaram como o 4.8 se compararia ao Opus 5.5, da Anthropic. Ele respondeu: “Não será tão bom. O Opus 5.5 é uma obra-prima.” A promessa de verdade aponta para mais adiante: “O Grok 5 deve superar o Opus 5.5, e talvez isso aconteça em dois ou três meses.”

Todo o resto continua faltando. A página de notícias e a documentação para desenvolvedores da xAI não trazem nenhuma informação sobre o modelo, segundo sites que monitoram essas fontes; não há ficha técnica, benchmark, preço nem listagem de API. O número de 2,5 trilhões de parâmetros vem apenas de Musk, assim como os resultados das avaliações que, segundo ele, estão melhorando. A liberação gradual chegará aos usuários do Grok Bot “mais tarde nesta semana”, sem indicação de um dia específico. Em outubro, Musk disse que a maioria dessas solicitações seria atendida por “uma versão extremamente rápida do Grok 4.8”.

Isso faz da liberação desta semana um teste mais da infraestrutura do que do modelo. Se o modelo se sair bem com o tráfego real do Grok Bot, a reescrita se tornará a plataforma sobre a qual o Grok 5 será treinado. Se falhar, não haverá mais um framework de terceiros para culpar.

Tags: , , , ,

Adicione-nos no Google

Discussão

Há 0 comentários.