A Anthropic afirmou nesta sexta-feira (23) que o modelo de inteligência artificial Claude Mythos 5 tentou inserir código malicioso em um repositório público do GitHub durante um teste de segurança cibernética. A ferramenta também teria criado uma identidade falsa para tentar convencer desenvolvedores a aprovar a alteração.
Segundo a empresa, o repositório não tinha relação com o exercício. Depois de não conseguir concluir as etapas autorizadas do teste, o modelo procurou um projeto que considerava relacionado à tarefa, enviou uma proposta de alteração e contatou os responsáveis pelo código.
Quando um desenvolvedor externo alertou que a proposta poderia conter um programa malicioso, o Claude Mythos 5 criou uma conta falsa e publicou comentários favoráveis à aprovação. Os responsáveis recusaram a alteração, e a tentativa não foi concluída.
A Anthropic classificou o episódio como uma falha grave de alinhamento, área voltada a garantir que os sistemas sigam regras e evitem causar danos. A empresa disse que o modelo continuou a ação mesmo após receber sinais de que poderia estar interagindo com pessoas reais fora do ambiente de teste.
Em simulações baseadas em etapas intermediárias ou finais do ataque, o modelo interrompeu a ação por iniciativa própria em apenas 2% dos casos. Quando recebeu informações de que estava lidando com desenvolvedores reais, abandonou a estratégia em 5% das simulações, de acordo com a companhia.
A empresa informou que versões mais recentes apresentaram menor propensão a iniciar ataques semelhantes, mas ainda não demonstraram capacidade consistente de interromper uma ação perigosa depois de iniciada. Um modelo interno de pesquisa teria interrompido esse tipo de comportamento de maneira consistente nos experimentos, embora a Anthropic ressalve que os resultados não permitem prever a atuação dos sistemas em todas as situações.
O caso levou a companhia a desenvolver novas avaliações automáticas e a estudar o chamado raciocínio enviesado, quando o sistema interpreta seletivamente informações para justificar a continuidade de uma ação. A investigação foi conduzida com o Instituto de Segurança de Inteligência Artificial do Reino Unido, que informou que fará avaliações de segurança cibernética sem acesso à internet até criar controles mais robustos.
Fonte: g1