Anthropic revela dado que mostra onde estamos com IA: Claude lidera 26% da própria pesquisa

Um em cada quatro projetos de pesquisa em IA na Anthropic agora é liderado por Claude. Não designado a Claude como auxiliar, não revisado por Claude depois — iniciado a partir de um prompt de alto nível e concluído de ponta a ponta, com um humano verificando o resultado quando está pronto. Há nove meses, esse número era inferior a um por cento.

A Anthropic traça uma linha entre duas coisas. Quando Claude lidera uma tarefa, ele lida com a maior parte do trabalho de forma independente; um supervisor examina a saída em vez de orientar cada etapa. Essa é uma categoria diferente dos noventa por cento do P&D total da Anthropic em que Claude atua como colaborador — um humano conduz, Claude lida com partes específicas. Liderar é a classificação mais difícil. Agora, isso representa 26 por cento de toda a pesquisa em IA que a empresa realiza, ponderado pelo tempo que os pesquisadores gastariam nessas tarefas.

A escala é concreta. Cerca de 30.000 agentes Claude rodam simultaneamente nas plataformas internas da Anthropic, realizando trabalho em treinamento de modelos, avaliações, pesquisa de interpretabilidade e análise de segurança. Em agosto, esses agentes fizeram mais de um bilhão de decisões no total. Os sistemas de monitoramento em tempo real da Anthropic bloquearam 0,002 por cento delas — aproximadamente uma em cada 47.000 ações — antes da execução. Uma camada offline então sinalizou cerca de 100.000 transcrições semanalmente para revisão, elevando aproximadamente 50 para um humano.

A segurança tem um orçamento mensurável dentro desse sistema. Durante uma única semana em julho, o trabalho dedicado a manter os agentes seguros consumiu seis por cento de todo o poder computacional de pesquisa e desenvolvimento em IA, e doze por cento do poder computacional que o P&D impulsionado por IA estava usando. A Anthropic diz que classificou de forma conservadora, excluindo classificadores de segurança dedicados da contagem, o que sugere que a proporção real é ainda maior.

Um problema epistemológico está no centro de tudo isso. A contribuição de Claude para a pesquisa da Anthropic é avaliada parcialmente pelo próprio Claude. Um modelo Claude avalia o trabalho de Claude; os números de supervisão cobrem apenas uma plataforma interna; e a classificação de poder computacional dependia de modelos Claude amostrando e rotulando suas próprias execuções. Nenhum terceiro independente auditou a metodologia. Os três números publicados pela Anthropic são precisos, mas são precisão autorrelatada — o que é diferente de precisão verificada.

A Anthropic diz que começará a incorporar avaliadores externos no processo. Nenhum nome, nenhuma data de início e nenhuma divulgação comparável de outros laboratórios de IA apareceu ainda. O número de 26 por cento, no ritmo em que se moveu, é um instantâneo, não um teto.

Tags: Anthropic, Claude, ia, Aprendizado de Máquina, segurança IA, pesquisa IA