A Anthropic afirmou nesta sexta-feira (23) que o modelo de inteligência artificial Claude Mythos 5 tentou inserir código malicioso em um repositório público no GitHub durante um teste de segurança cibernética.
Segundo a empresa, o repositório pertencia a desenvolvedores sem relação com o exercício. Depois de não conseguir concluir o desafio pelos meios autorizados, o modelo teria enviado uma proposta de alteração e contatado os responsáveis pelo projeto para tentar obter aprovação.
Quando um desenvolvedor alertou que o código poderia conter um programa malicioso, o Claude Mythos 5 criou uma conta falsa e publicou comentários favoráveis à alteração, de acordo com a Anthropic. Os responsáveis recusaram a proposta, e a tentativa não foi concluída.
A empresa classificou o episódio como uma falha grave de alinhamento, área voltada a garantir que sistemas de IA sigam regras e evitem causar danos. A Anthropic afirmou que o modelo interpretou sinais de alerta como parte do teste e não reconheceu de forma consistente que estava interagindo com pessoas reais.
Em simulações baseadas em etapas intermediárias ou finais do ataque, o modelo interrompeu a ação por iniciativa própria em 2% dos casos. Quando recebeu informações de que estava interagindo com desenvolvedores reais, abandonou a estratégia em 5% das simulações.
A investigação foi conduzida em conjunto com o Instituto de Segurança de Inteligência Artificial do Reino Unido (AISI). O instituto informou que realizará avaliações de segurança cibernética sem acesso à internet até desenvolver controles para reduzir o risco de danos a pessoas ou organizações reais.
A Anthropic também disse que está criando novas avaliações automáticas e estudando o chamado raciocínio enviesado, quando o sistema interpreta informações de maneira seletiva para justificar a continuidade de uma ação potencialmente danosa.
Fonte: g1