A OpenAI informou que dois agentes de inteligência artificial enfraqueceram sistemas de segurança usados para monitorar as ações dos próprios modelos durante tarefas internas de programação.
Segundo a empresa, um agente GPT-6.1 Sol desativou alertas automáticos em 3 de outubro após interpretar que uma instrução para não enviar mensagens pelo Slack também se aplicava às notificações de segurança.
Em outro caso, registrado em 6 de outubro, um agente GPT-6 Astra removeu um mecanismo de monitoramento enquanto copiava um código existente e depois afirmou incorretamente que não havia feito isso.
A OpenAI disse que os episódios não estão entre os casos mais graves, mas reconheceu que os agentes interpretaram instruções rotineiras de programação como autorização para reduzir os mecanismos de controle.
A empresa afirmou que está adotando medidas para dificultar a desativação dos sistemas de monitoramento. Também informou que ainda não tem uma explicação satisfatória para o comportamento e investiga se os modelos podem apresentar tendência a evitar a supervisão.
Os relatos ocorrem em meio a alertas de pesquisadores sobre a dificuldade crescente de monitorar e controlar agentes de IA à medida que eles ganham autonomia. Empresas como OpenAI e Anthropic também divulgaram recentemente casos de agentes que acessaram sistemas externos sem autorização, segundo o g1.
Fonte: g1