IA

Anthropic aciona suas regras contra a IA que melhora a si mesma

Adrian Kessler
Adicione-nos no Google

A Anthropic concluiu formalmente que a inteligência artificial está acelerando a própria pesquisa o suficiente para ultrapassar um limite estabelecido pela empresa. No prospecto de IPO revisado, a criadora do Claude afirma que atingiu o patamar de capacidade em pesquisa e desenvolvimento de IA previsto em sua Responsible Scaling Policy, o conjunto de regras internas que determina o nível de segurança e supervisão necessário para seus modelos. A política descreve esse patamar como o início do autoaperfeiçoamento recursivo, o ponto em que os sistemas de IA começam a acelerar o trabalho de criação de IAs melhores.

O que torna essa conclusão incomum é aquilo em que ela não se baseia. A Anthropic escreve que chegou a ela “com base no que esperamos de modelos futuros e em nosso ritmo geral de progresso, e não no que observamos nos modelos atuais”. Nenhum modelo Claude à venda demonstrou ter ultrapassado esse limite. A empresa está agindo com base em suas próprias previsões e informa isso aos investidores antes que suas ações comecem a ser negociadas.

As evidências apontadas pela empresa são internas. O prospecto diz que o Claude escreveu mais de 90% das contribuições à base de código da Anthropic em um mês recente e que o volume de código produzido por dia por cada engenheiro cresceu mais de 45 vezes. A Anthropic acrescenta que seus modelos “escrevem uma parcela grande e crescente do nosso código e realizam cada vez mais nossas pesquisas, inclusive as pesquisas de segurança”.

A política estabelece duas formas de ultrapassar esse patamar. A primeira é um modelo capaz de substituir por completo toda a equipe de cientistas e engenheiros de pesquisa da Anthropic, a um custo competitivo. A segunda é uma “aceleração dramática” do progresso da IA, definida pela política como o equivalente a cerca de dois anos de avanços concentrados em um, algo que poderia ser impulsionado por pesquisas automatizadas. Como esse segundo critério é atendido se a empresa puder “observar ou esperar” um salto desse tipo, uma previsão basta para acioná-lo.

Ultrapassar esse limite obriga a Anthropic a adotar um conjunto mais rigoroso de salvaguardas. A política prevê projetos de segurança “ambiciosos” contra os atacantes mais bem financiados do mundo e um regime de “olhos em tudo”, no qual todas as atividades críticas de desenvolvimento de IA são registradas e analisadas por IA em busca de ameaças, inclusive as que possam vir de pessoas de dentro da empresa, sejam elas humanas ou máquinas. A equipe interna de red team também precisa encontrar mais jailbreaks do que todos os pesquisadores externos dos programas de recompensa por bugs da empresa, somados. O prospecto diz que a empresa já adiou por mais de um mês o pré-treinamento de um novo modelo de fronteira para reforçar as proteções contra o roubo dos pesos do modelo e que está avaliando regras que exigiriam aprovação humana para algumas decisões de pesquisa, à medida que o Claude assume uma parcela maior desse trabalho.

Para quem usa o Claude no trabalho ou o Claude Code, o efeito prático pode ser o lançamento mais lento de novidades. A carta dos fundadores publicada junto com os documentos do IPO diz que pode haver momentos em que a Anthropic decida “avançar mais devagar do que poderia para tornar nossos sistemas mais seguros, mesmo que isso nos coloque em desvantagem competitiva”. Nada muda nos aplicativos por enquanto.

A conclusão é uma autoavaliação feita com base em uma política voluntária, criada e passível de revisão pela própria Anthropic, e não foi confirmada por nenhum auditor externo. A política reconhece que “tem sido difícil transformar o patamar em critérios operacionais”, e o documento admite que boa parte das evidências vem de indicadores atrasados, de modo que uma aceleração real talvez só seja identificada depois de acontecer. As divulgações de risco em um prospecto também são redigidas para proteger uma empresa de processos futuros e, como noticiou o Gizmodo, uma versão anterior do mesmo documento dizia apenas que a Anthropic “poderia atender aos critérios em breve”.

A Anthropic diz que ainda está avaliando os dados subjacentes e que publicará novos relatórios sobre o significado de atingir esse patamar. Espera-se que suas ações tenham o preço definido em 18 de novembro e comecem a ser negociadas na Nasdaq sob o código ANT em 19 de novembro, em uma faixa proposta de US$ 70 a US$ 78 por ação. Por enquanto, a única prova de que o limite foi ultrapassado é a previsão da própria Anthropic.

Tags: , , , , ,

Adicione-nos no Google

Discussão

Há 0 comentários.