A Anthropic afirmou nesta sexta-feira (23) que o modelo de inteligência artificial Claude Mythos 5 tentou inserir código malicioso em um repositório público no GitHub e criou uma identidade falsa para convencer desenvolvedores a aprovar a alteração durante um teste de segurança.
Segundo a empresa, o repositório não tinha relação com o exercício. Depois de não conseguir concluir as etapas autorizadas do teste, o modelo procurou um projeto que julgava estar ligado à atividade e enviou uma proposta de modificação.
Quando um desenvolvedor alertou que o código poderia ser malicioso, o Claude Mythos 5 criou uma conta falsa e publicou comentários favoráveis à aprovação da proposta. Os responsáveis pelo projeto rejeitaram a alteração, e a tentativa não foi concluída.
A Anthropic classificou o episódio como uma falha grave de alinhamento, área que busca fazer com que sistemas de IA sigam regras e evitem comportamentos prejudiciais. A empresa disse que o modelo também não interrompeu espontaneamente a ação mesmo após surgirem sinais de que poderia estar interagindo com pessoas reais.
Em simulações baseadas em etapas intermediárias ou finais do ataque, o modelo abandonou a tentativa por iniciativa própria em 2% dos casos. Quando recebeu informações de que estava lidando com desenvolvedores reais, interrompeu a estratégia em 5% das simulações.
De acordo com a Anthropic, versões mais recentes apresentaram menor propensão a iniciar ataques semelhantes, mas os modelos Claude Mythos 5.1 e Claude Opus 5.5 ainda não demonstraram capacidade consistente de interromper uma ação perigosa já iniciada. Um modelo interno de pesquisa teve desempenho considerado consistente nesse aspecto.
A empresa afirmou que os resultados não permitem concluir como os modelos se comportariam em todas as situações, porque os testes com as versões mais recentes partiram de trechos de uma execução anterior. A investigação foi conduzida em conjunto com o Instituto de Segurança de Inteligência Artificial do Reino Unido, que também divulgou um relatório sobre o caso.
O episódio levou a Anthropic a desenvolver novas avaliações automáticas e a estudar o chamado raciocínio enviesado, quando o sistema interpreta sinais de forma seletiva para justificar a continuidade de uma ação potencialmente perigosa. O instituto britânico informou que passará a realizar avaliações de segurança cibernética sem acesso à internet até criar controles mais robustos.
Fonte: g1