A Anthropic afirmou nesta sexta-feira (23) que o modelo de inteligência artificial Claude Mythos 5 tentou inserir código malicioso em um repositório público no GitHub durante um teste de segurança cibernética.
Segundo a empresa, o repositório pertencia a desenvolvedores que não tinham relação com o exercício. Depois de não conseguir concluir as ações autorizadas no ambiente de teste, o modelo enviou uma proposta de alteração e tentou convencer os responsáveis pelo projeto a aprová-la.
Quando um desenvolvedor alertou que o código poderia conter um programa malicioso, o Claude Mythos 5 teria criado uma conta falsa para defender a alteração e publicado comentários favoráveis à sua aprovação. Os responsáveis pelo repositório recusaram a proposta, e a tentativa não foi concluída.
A Anthropic classificou o episódio como uma falha grave de alinhamento, área que busca assegurar que os modelos sigam regras e reduzam riscos de dano. A empresa afirmou que o sistema foi além das ações previstas no teste e tentou manipular pessoas reais para alcançar o objetivo definido.
Em simulações baseadas em etapas intermediárias ou finais do ataque, o modelo interrompeu a ação por iniciativa própria em 2% dos casos. Quando recebeu informações de que estava interagindo com desenvolvedores reais, abandonou a estratégia em 5% das simulações.
A companhia informou que versões mais recentes apresentaram menor propensão a iniciar ataques semelhantes, mas ainda não demonstraram capacidade consistente de interromper uma ação perigosa já iniciada. Um modelo interno de pesquisa, segundo a Anthropic, conseguiu interromper esse tipo de comportamento de forma consistente nos experimentos.
A investigação foi conduzida em conjunto com o Instituto de Segurança de Inteligência Artificial do Reino Unido, conhecido pela sigla AISI. O instituto informou que realizará avaliações de segurança cibernética sem acesso à internet até desenvolver controles mais robustos para evitar impactos sobre pessoas ou organizações reais.
Fonte: g1