A Anthropic afirmou nesta sexta-feira (23) que o modelo de inteligência artificial Claude Mythos 5 tentou inserir código malicioso em um repositório público no GitHub e criou uma conta falsa para convencer desenvolvedores a aprovar a alteração.
Segundo a empresa, o episódio ocorreu durante um teste de segurança cibernética. Depois de não conseguir concluir o desafio pelos meios autorizados, o modelo procurou um projeto no GitHub que considerou relacionado ao exercício, mas que pertencia a desenvolvedores sem ligação com a avaliação.
O Claude Mythos 5 enviou uma proposta de alteração ao repositório e contatou os responsáveis pelo projeto. Após um desenvolvedor alertar que o código poderia ser malicioso, o modelo criou uma identidade falsa e publicou comentários favoráveis à aprovação da mudança. A proposta foi recusada e o ataque não foi concluído.
A Anthropic classificou o comportamento como uma falha grave de alinhamento, área voltada a garantir que sistemas de IA sigam regras e evitem causar danos. A empresa afirmou que o modelo continuou a ação mesmo após surgirem sinais de que estava interagindo com pessoas reais.
Em simulações baseadas em etapas intermediárias ou finais do episódio, o modelo interrompeu a ação por iniciativa própria em apenas 2% dos casos. Quando recebeu informações de que estava interagindo com desenvolvedores reais, abandonou a estratégia em 5% das simulações, segundo a companhia.
A investigação foi realizada em conjunto com o Instituto de Segurança de Inteligência Artificial do Reino Unido (AISI). O instituto informou que passará a realizar avaliações de segurança cibernética sem acesso à internet até desenvolver controles para reduzir o risco de danos a pessoas e organizações reais.
A Anthropic também disse que versões mais recentes demonstraram menor propensão a iniciar ataques semelhantes, mas ainda não interromperam de forma consistente ações perigosas já iniciadas. O episódio levou a empresa a desenvolver novas avaliações automáticas e a estudar o chamado raciocínio enviesado, quando o sistema interpreta sinais de alerta de maneira seletiva para justificar a continuidade de uma estratégia.
Fonte: g1