Tecnologia

A IA escreve e publica código sozinha. Quem usa ficou 19% mais lento

Susan Hill

Agentes de software como Devin, Claude Code e GitHub Copilot Workspace agora pegam uma descrição de tarefa, leem uma base de código, escrevem o código que a resolve, executam testes até que passem e abrem um pull request — sem que um desenvolvedor digite uma única linha. O Devin, construído pela Cognition AI, faz isso dentro de ambientes isolados na nuvem. Em sua base de usuários em produção, 67% dos pull requests que ele abre autonomamente são mesclados. O Claude Code lê um repositório inteiro, planeja alterações em vários arquivos, executa a suíte de testes e itera sem instrução entre cada etapa. Essas ferramentas estão em uso produtivo, não em prévias de pesquisa.

O que as separa das ferramentas de geração de código anteriores é o ciclo de feedback. Um mecanismo de sugestão gera texto e para; um agente autônomo gera código, executa-o, lê o que volta e tenta novamente. O arcabouço subjacente é o mesmo entre as ferramentas: um modelo de linguagem grande lê o contexto — base de código, descrição do problema, log de erro —, gera um plano, executa-o por meio de ferramentas como comandos de shell, edições de arquivos e operações git, lê o resultado e revisa. O ciclo continua até o agente ter sucesso ou exaurir seu orçamento de recursos.

O ciclo que substituiu o editor

A variedade de autonomia entre as ferramentas disponíveis abrange três níveis. No extremo assistido, o GitHub Copilot sugere as próximas linhas enquanto o desenvolvedor digita. Um nível acima, editores de múltiplos arquivos como o Cursor reescrevem uma base de código sob a direção do desenvolvedor, fazendo as alterações que ele especifica. No extremo autônomo, o Devin e sistemas comparáveis operam independentemente por períodos prolongados, tomando decisões sequenciais sobre o que ler, o que alterar e o que testar, aparecendo apenas para aprovações que o sistema não consegue lidar sozinho.

O framework de avaliação que mede o progresso entre essas ferramentas é o SWE-bench, criado por pesquisadores de Princeton e Stanford. Ele testa agentes em relatórios de bugs reais de repositórios Python de código aberto — Django, Flask, scikit-learn — e mede qual porcentagem um agente consegue fechar corretamente. A pontuação publicada mais alta no subconjunto curado Verified, 96%, pertence ao Claude Opus 5. Esse número representa capacidade genuína: a capacidade de diagnosticar um bug real de software, escrever uma correção e verificar se ela passa nos testes do próprio projeto.

O que o benchmark esconde

A pontuação de 96% vem com um importante asterisco. O SWE-bench Verified é extraído de 500 tarefas cuidadosamente selecionadas. Quando pesquisadores aplicaram uma variante resistente a contaminação — o SWE-bench Pro, projetado com problemas que não poderiam ter aparecido nos dados de treinamento de nenhum modelo —, um modelo anterior que pontuava mais de 80% no Verified caiu para menos de 50% no Pro. Parte do desempenho em benchmarks reflete familiaridade com o conjunto de avaliação, e não capacidade generalizada de resolução de problemas. A lacuna é um desafio de pesquisa conhecido, não uma crítica a nenhuma ferramenta específica.

Um estudo separado encontrou algo mais difícil de explicar. A METR, uma organização de pesquisa em segurança de IA, conduziu um ensaio clínico randomizado com desenvolvedores experientes de código aberto trabalhando em seus próprios repositórios. Desenvolvedores usando ferramentas atuais de IA para codificação foram 19% mais lentos do que aqueles trabalhando sem elas — apesar de estimarem independentemente que estavam 20% mais rápidos. As causas foram específicas: tempo gasto em novo prompting quando o agente produzia resultados incorretos, tempo gasto verificando saídas antes de mesclar e a sobrecarga cognitiva de alternar entre dirigir um agente e acompanhar o que o agente havia feito. Um benchmark testa se um agente consegue fechar um bug bem especificado em isolamento. Um ensaio clínico testa se um desenvolvedor trabalha mais rápido ao longo de um dia real. Eles estão medindo coisas diferentes.

Por que 93% de adoção produziu apenas 10% de ganho na taxa de entrega

A autonomia de código tem melhor desempenho em tarefas delimitadas e bem especificadas: um bug reproduzível com entradas e saídas claras, uma função com uma especificação precisa, uma suíte de testes para um módulo com comportamento definido. À medida que o escopo se expande para tarefas que exigem conhecimento arquitetural implícito, convenções de equipe não documentadas ou decisões sobre direção do produto, a confiabilidade cai — não porque os modelos não têm capacidade, mas porque o contexto que essas decisões exigem não cabe no sistema e não pode ser derivado apenas dos arquivos da base de código.

A mudança prática está no que o trabalho exige. Desenvolvedores que trabalham com agentes autônomos gastam mais tempo escrevendo especificações precisas o suficiente para um agente executar: descrições detalhadas de problemas, contratos de teste claros, critérios de aceitação explícitos. Eles gastam mais tempo revisando código que não escreveram, o que exige um tipo diferente de atenção do que escrever código — procurar erros de lógica, falhas de segurança e desvios arquiteturais que o agente não sinalizará por conta própria. Uma pesquisa de 2026 com 121 mil desenvolvedores constatou que 93% usam ferramentas de IA para codificação regularmente; a taxa de entrega de pull requests aumentou cerca de 10% no mesmo grupo. O gargalo mudou de escrever código para revisá-lo.

O próximo estágio em desenvolvimento ativo são agentes que gerenciam suas próprias filas de tarefas: receber uma especificação de projeto, dividi-la em subtarefas, delegar entre modelos especializados e apresentar apenas as decisões que exigem julgamento humano. Vários frameworks de código aberto para orquestração de codificação com múltiplos agentes foram lançados em 2026. A adoção empresarial em ambientes de produção continua limitada. A Gartner projeta que uma parcela significativa dos projetos de software agentivo iniciados este ano será descontinuada antes de 2028, assim que as equipes descobrirem a distância entre o que uma demonstração controlada mostra e o que a implantação confiável em escala exige.

Tags: , , , ,

Discussão

Há 0 comentários.