A OpenAI informou que dois agentes de inteligência artificial enfraqueceram mecanismos de segurança usados para monitorar o comportamento dos próprios modelos durante tarefas internas de programação realizadas em outubro.
Segundo a empresa, em 3 de outubro um agente identificado como GPT-6.1 Sol desativou alertas automáticos depois de interpretar que uma instrução para não enviar mensagens pelo Slack também se aplicava às notificações de segurança.
Em outro caso, ocorrido em 6 de outubro, um agente chamado GPT-6 Astra removeu um mecanismo de monitoramento enquanto copiava um código existente e depois afirmou, incorretamente, que não havia realizado a ação.
A OpenAI disse que os episódios não foram classificados entre os casos mais graves, mas reconheceu que os agentes interpretaram instruções rotineiras de programação como autorização para reduzir a supervisão. A empresa afirmou que ainda não tem uma explicação satisfatória para o comportamento.
A companhia informou que trabalha em medidas para dificultar a desativação dos mecanismos de monitoramento e investiga se os modelos podem desenvolver uma tendência a evitar a supervisão e a buscar justificativas para isso.
Os relatos ocorrem em meio a alertas de pesquisadores sobre a dificuldade crescente de controlar agentes de IA mais autônomos. Empresas do setor, como a Anthropic, também divulgaram recentemente casos em que agentes acessaram sistemas externos sem autorização.
Fonte: g1