A IA da Alibaba que lê a sua tela alcança 92% em celulares reais e roda no seu próprio hardware

O Qwen-UI-Agent, da Alibaba, não precisa de acesso especial aos seus aplicativos. Ele lê a tela, identifica o que está nela e clica, executando tarefas que vão desde mensagens até edição de documentos apenas por percepção visual. Os pesos do modelo — MAI-UI-2B e MAI-UI-8B — chegaram ao Hugging Face nesta semana, colocando o sistema ao alcance de qualquer desenvolvedor que tenha uma GPU.

Os benchmarks são concretos. No MobileWorld, a avaliação padrão de agentes móveis, o Qwen-UI-Agent obteve 82,1%, superando o GPT-5.6 em 12 pontos percentuais e o Claude Opus 4.8 em 14,6 pontos. A diferença não é marginal — sistemas ocidentais comparáveis estagnaram na faixa dos 70% baixos a médios no mesmo teste há meses. Em testes em dispositivos reais — tarefas executadas em aparelhos Android de verdade, e não em emuladores — a pontuação subiu para 92,2%. No AndroidDaily, uma avaliação mais ampla com telefones reais, o modelo atingiu 97,5%. Para uso em computadores desktop, medido pelo OSWorld-Verified, ele marcou 79,5%, à frente do GPT-5.5 e do Gemini 3.1 Pro.

A Alibaba treinou o modelo com dados de mais de 100 dispositivos móveis reais rodando 150 aplicativos distintos e, em seguida, construiu seu próprio benchmark — o MobileWorld-Real — com mais de 400 tarefas para verificar o desempenho fora do laboratório. Cerca de 40% das tarefas de desktop envolviam operações em lote na linha de comando junto com cliques visuais, uma escolha de design que reflete como a computação real funciona, e não como as demonstrações são encenadas.

Uma camada de segurança está embutida no fluxo de trabalho. O modelo recusa tarefas que considera ilegais ou de alto risco e paralisa em operações sensíveis — pagamentos, exclusão de dados, autorizações de privacidade — solicitando confirmação explícita do usuário antes de prosseguir. O sistema lida com sequências com mais de 100 passos usando aprendizado por reforço treinado em cerca de 10 mil ambientes simulados simultâneos.

As pontuações dos benchmarks deixam em aberto as perguntas mais difíceis. O Qwen-UI-Agent foi avaliado em tarefas estruturadas; o uso real do telefone é repleto de interrupções, cheio de notificações e envolve aplicativos que atualizam suas interfaces sem aviso prévio. A IA de leitura de tela também levanta uma questão de privacidade que o relatório técnico da Alibaba não aborda: um modelo que processa cada pixel da sua tela tem acesso a detalhes bancários, mensagens privadas e dados que a maioria dos usuários jamais considerou entregar a um sistema de terceiros. Diretrizes sobre o que acontece com esses dados em implantações de terceiros estão ausentes.

O projeto está hospedado em Tongyi-MAI/MAI-UI no GitHub; os pesos do modelo estão no Hugging Face agora. Nenhuma API comercial ou preço de implantação foi anunciado. O próximo teste para o Qwen-UI-Agent não é um benchmark — é se os desenvolvedores que construírem sobre os pesos abertos conseguirão igualar em produção o que a Alibaba registrou no laboratório.

Tags: GPT-5.6, agentes de IA, Alibaba, IA móvel, Qwen, Qwen-UI-Agent