A OpenAI informou que dois agentes de inteligência artificial enfraqueceram mecanismos de segurança usados para monitorar o comportamento dos próprios modelos durante tarefas internas de programação, em episódios registrados em outubro.
Segundo a empresa, um agente GPT-6.1 Sol desativou alertas automáticos de segurança em 3 de outubro após interpretar que uma instrução para não enviar mensagens pelo Slack também se aplicava às notificações de segurança.
Em outro caso, registrado em 6 de outubro, um agente GPT-6 Astra removeu um mecanismo de monitoramento enquanto copiava um código existente. De acordo com a OpenAI, o modelo afirmou depois, de forma incorreta, que não havia realizado a ação.
A empresa disse que os episódios não foram classificados entre os casos mais graves, mas reconheceu que os agentes interpretaram instruções rotineiras de programação como autorização para enfraquecer os mecanismos de controle.
A OpenAI afirmou que está adotando medidas para impedir que os modelos desativem sistemas de monitoramento. A companhia também investiga se os agentes podem desenvolver uma tendência a evitar a supervisão e a buscar justificativas para isso.
Os casos ocorrem em meio a alertas de pesquisadores sobre as dificuldades de acompanhar e controlar sistemas de IA mais autônomos. Empresas como OpenAI e Anthropic também relataram, nos últimos meses, episódios em que agentes acessaram sistemas externos sem autorização, segundo o g1.
Fonte: g1