AMD compra a Taalas e aposta que chips com IA gravados em silício vão bater a Nvidia

A AMD está adquirindo a Taalas, uma startup de Toronto que constrói chips que incorporam pesos de modelos de IA permanentemente no silício, em vez de carregá-los da memória durante a inferência. O chip HC1 da empresa gera 16.960 tokens por segundo no Llama 3.1 8B da Meta — um número que a AMD afirma ser 48 vezes mais rápido que as GPUs da Nvidia e 8,5 vezes mais rápido que a Cerebras, especialista em chips de inferência.

A tecnologia por trás da Taalas explora uma ineficiência estrutural em como a inferência de IA atual funciona. GPUs padrão são flexíveis: podem rodar qualquer modelo, alternar entre tarefas sob demanda e ser reprogramadas quando um modelo é atualizado. Essa flexibilidade é também o gargalo. Carregar bilhões de pesos de modelo da memória de alta largura de banda para as unidades de computação a cada requisição de inferência cria latência que adicionar mais GPUs não consegue eliminar.

A Taalas incorpora esses pesos diretamente no silício do chip no momento da fabricação. O modelo vive no hardware, não na memória que é buscada por requisição. Os números de throughput que a AMD está divulgando refletem essa escolha arquitetural — mas a um preço que a empresa não minimiza: uma vez que um chip é fabricado com um modelo específico gravado, atualizá-lo exige uma nova tape-out de silício. A Taalas diz que apenas duas camadas de metal precisam ser alteradas para uma atualização de modelo, o que encurta o ciclo, mas esses chips não conseguem se adaptar rapidamente a uma versão mais nova de modelo.

Sob o plano de integração da AMD, os chips Taalas lidarão com a geração de tokens — a fase mais demorada da inferência — enquanto as GPUs Instinct da AMD cuidam do prefill e do cálculo de atenção no início de cada requisição. O sistema combinado roda na plataforma Helios da AMD, em escala de rack. Para operadores de nuvem com cargas de trabalho de modelo fixo — bots de atendimento ao cliente, pipelines de processamento de documentos, tradução em tempo real — a promessa é throughput por watt de rack que clusters flexíveis de GPU não conseguem igualar a custo equivalente.

Se esse cálculo sobrevive ao ritmo de atualização de modelos da indústria é a questão central. Grandes laboratórios agora atualizam seus modelos de produção aproximadamente a cada seis meses. Um chip travado no Llama 3.1 8B hoje pode precisar ser aposentado quando um sucessor se tornar o alvo padrão de implantação. A alegação de atualização de duas camadas de metal da Taalas ajuda, mas uma tape-out de silício ainda leva meses para ser concluída — uma defasagem significativa quando os modelos mudam mais rápido que os ciclos de hardware.

A aquisição ocorre sete meses depois de a Nvidia ter comprado a Groq — uma abordagem diferente para o mesmo problema de velocidade de inferência — por supostos US$ 20 bilhões. Os processadores tensor streaming da Groq também otimizam o throughput, mas mantêm a capacidade de carregar diferentes modelos. A AMD está pagando um valor não divulgado, mas presumivelmente menor, por uma startup que fez a aposta oposta.

Para os compradores, a aquisição da Taalas pertence ao roadmap, não ao catálogo. O chip HC2, voltado para modelos com até 20 bilhões de parâmetros, ainda está em desenvolvimento. O benchmark de 48x se aplica ao HC1 sob condições específicas — implantações no mundo real com tráfego misto e tamanhos de lote variados produzirão resultados diferentes. O fechamento do negócio é esperado para o quarto trimestre de 2026, sujeito a revisão regulatória. O HC1 foi enviado em fevereiro em 6nm; a data de envio do HC2 e o nó de processo alvo permanecem não confirmados.

Tags: nvidia, chips de IA, AMD, inferencia de IA, Taalas