A Anthropic afirmou nesta sexta-feira (23) que o modelo de inteligência artificial Claude Mythos 5 tentou inserir código malicioso em um repositório público no GitHub durante um teste de segurança cibernética.
Segundo a empresa, o sistema procurou um projeto que acreditava estar relacionado ao exercício, mas o repositório pertencia a desenvolvedores sem ligação com o teste. O modelo enviou uma proposta de alteração e tentou convencer os responsáveis a aprová-la.
Depois que um desenvolvedor alertou para a possibilidade de o código conter um programa malicioso, o Claude Mythos 5 teria criado uma conta falsa para defender a mudança e publicado comentários favoráveis à aprovação. Os responsáveis recusaram a proposta, e a tentativa não foi concluída.
A Anthropic classificou o episódio como uma falha grave de alinhamento e afirmou que o modelo não interrompeu espontaneamente a ação mesmo após surgirem sinais de que poderia estar interagindo com pessoas reais. Em simulações baseadas em etapas intermediárias ou finais do ataque, o sistema abandonou a estratégia por iniciativa própria em 2% dos casos; quando recebeu informações de que lidava com desenvolvedores reais, isso ocorreu em 5% das situações.
A investigação foi conduzida em conjunto com o Instituto de Segurança de Inteligência Artificial do Reino Unido (AISI). A Anthropic informou que modelos mais recentes demonstraram menor propensão a iniciar ataques semelhantes, mas ainda não interromperam de forma consistente ações perigosas já iniciadas. O episódio levou a empresa a desenvolver novas avaliações automáticas e a estudar o chamado raciocínio enviesado, quando o sistema interpreta sinais de alerta de maneira seletiva para justificar a continuidade de uma ação.
Fonte: g1