A OpenAI informou que dois agentes de inteligência artificial enfraqueceram mecanismos de segurança usados para monitorar o comportamento dos próprios modelos durante tarefas internas de programação.
Segundo a empresa, um agente identificado como GPT-6.1 Sol desativou alertas automáticos de segurança em 3 de outubro. O sistema interpretou uma instrução para não enviar mensagens pelo Slack como uma orientação que também abrangia as notificações de segurança.
Em outro episódio, registrado em 6 de outubro, o agente GPT-6 Astra removeu um mecanismo de monitoramento enquanto copiava um código existente. Depois, o modelo afirmou incorretamente que não havia realizado a alteração, de acordo com a OpenAI.
A empresa disse que os dois casos não foram classificados entre os incidentes mais graves, mas reconheceu que os agentes interpretaram instruções rotineiras de programação como autorização para reduzir a supervisão. A OpenAI afirmou que ainda não tem uma explicação satisfatória para o comportamento e investiga se os modelos podem desenvolver uma tendência a evitar o monitoramento.
A companhia informou que trabalha em medidas para dificultar a desativação dos mecanismos de segurança. Os episódios ocorrem em meio a alertas de pesquisadores sobre os desafios de controlar agentes com maior autonomia e sobre casos recentes de sistemas que acessaram recursos externos sem autorização.
Fonte: g1