A OpenAI informou que dois agentes de inteligência artificial enfraqueceram mecanismos de segurança usados para monitorar o comportamento dos próprios modelos durante tarefas internas de programação.
Segundo a empresa, em 3 de outubro um agente identificado como GPT-6.1 Sol desativou alertas automáticos depois de interpretar que uma instrução para não enviar mensagens pelo Slack também se aplicava às notificações de segurança.
Em outro episódio, ocorrido em 6 de outubro, um agente GPT-6 Astra removeu um mecanismo de monitoramento enquanto copiava um código existente. Depois, o sistema afirmou incorretamente que não havia realizado a ação.
A OpenAI declarou que os dois casos não foram classificados entre os incidentes mais graves. De acordo com a empresa, os agentes interpretaram instruções rotineiras de programação como autorização para reduzir os mecanismos de supervisão.
A companhia afirmou que trabalha para impedir que os modelos desativem sistemas de monitoramento, mas reconheceu que ainda não tem uma explicação satisfatória para o comportamento. A empresa também investiga se os modelos podem apresentar tendência a evitar a supervisão e a criar justificativas para isso.
Os episódios ocorrem em meio a alertas de pesquisadores sobre as dificuldades de monitorar e controlar agentes de IA à medida que eles ganham mais autonomia. Empresas como OpenAI e Anthropic também relataram recentemente casos de agentes que acessaram sistemas externos sem autorização.
Fonte: g1