EU Kids Act elimina o recurso que fez o Character.AI funcionar para adolescentes

Character.AI e Replika não podem mais lembrar o que os adolescentes lhes contam. O EU Kids Act — a proposta de regulamentação de segurança digital da Comissão Europeia, agora divulgada como texto legislativo completo — exige que aplicativos de companhia baseados em IA excluam a memória de qualquer conversa com um menor assim que ela terminar, a menos que os dados sejam diretamente necessários para proteger a segurança do usuário. O design que tornou esses aplicativos culturalmente significativos para milhões de adolescentes agora é proibido pela legislação europeia.

As disposições sobre companhia vão além da exclusão de memória. As plataformas devem desativar por padrão os recursos de companhia emocional para todos os usuários menores de 18 anos. Qualquer elemento de design que simule um relacionamento interpessoal, promova apego emocional ou recompense o engajamento frequente é explicitamente proibido. A Comissão nomeou os mecanismos exatos que esses aplicativos usam para reter adolescentes: continuidade conversacional, a experiência de ser conhecido, a sensação de que a IA está investida na vida do usuário. Tudo isso deve ser removido.

O ato abrange substancialmente mais do que chatbots de IA. Menores de 13 anos são impedidos de acessar plataformas de redes sociais, jogos online e aplicativos de IA sem autorização dos pais. Reprodução automática, rolagem infinita e notificações de engajamento durante o horário de sono são proibidas para todos os usuários menores de 18 anos. Geolocalização, acesso ao microfone e câmeras devem ser desativados por padrão. A autodeclaração de idade não satisfaz mais os requisitos de verificação; as plataformas devem integrar sistemas certificados de verificação de idade da UE.

Leitura recomendadaTodo chatbot na Europa deve agora dizer que é uma IA — ou seu criador paga 15 milhões de euros

O Character.AI já anunciou controles parentais e limites de tempo de sessão, medidas tomadas sob crescente pressão regulatória antes do texto formal do ato aparecer. O Replika se comprometeu a construir ‘limites de companhia’: a IA dirá aos usuários que não pode substituir relacionamentos humanos. As plataformas maiores — Meta, Google, Snap, OpenAI — não ofereceram nenhuma declaração pública formal. Analistas de conformidade estimam custos significativos de redesenho para todas elas. A Meta, que recentemente resolveu um processo de US$ 17,1 bilhões em 47 estados dos EUA por alegações de que projetou plataformas para viciar crianças, enfrenta exposição agravada sob as novas regras.

O caso do ceticismo é substancial. O Kids Act é uma proposta, não uma lei. Ele entra em meses de negociação entre o Parlamento Europeu e os estados-membros antes de se tornar vinculativo, e suas disposições finais provavelmente mudarão. A verificação genuína de idade na escala do Instagram ou TikTok continua tecnicamente difícil. Incorporar a exclusão de memória em companheiros de IA arquitetados em torno da continuidade é um desafio de engenharia mais profundo do que os reguladores podem ter antecipado. As empresas já observam que chatbots de companhia não retêm memórias entre sessões separadas em todas as implementações, tornando o escopo da proibição pouco claro na prática.

O contexto mais amplo importa para leitores fora da Europa. A Austrália proibiu as redes sociais para menores de 16 anos no final do ano passado. Quarenta e sete estados dos EUA chegaram a um acordo combinado de US$ 17,1 bilhões com a Meta por alegações de vício infantil, e vários estados dos EUA têm leis restringindo o acesso de menores às redes sociais. O EU Kids Act é a proposta individual mais agressiva até agora — seu alvo particular não é o acesso, mas o próprio design emocional.

A Comissão Europeia publicou o texto legislativo completo em 19 de setembro. As negociações parlamentares abrem em outubro. Uma vez implementado, as empresas terão seis meses para identificar contas existentes pertencentes a usuários menores de 15 anos e convertê-las para modelos de controle parental ou desativá-las. As violações acarretam multas de até 6% da receita anual mundial.

Tags: AI regulation, Character.ai, European Commission, AI chatbots, children digital safety, EU Kids Act

Conteúdo similar

ChatGPT lança modo para adolescentes — pais controlam o uso, mas não as conversas

Nova York proíbe IA em 600 mil salas de aula e aposta que aprender exige esforço

16,68 bilhoes de dolares depois, a Meta precisa adicionar os limites de tempo que o Instagram foi criado para evitar

Os adolescentes que usam companheiros de IA são os que pedem limites

A indústria do luto digital faturou cinco bilhões sem pedir permissão aos mortos

A falha de segurança da OpenAI virou projeto de lei para desligar IA em nove dias