A OpenAI informou que dois agentes de inteligência artificial enfraqueceram mecanismos de segurança usados para monitorar o comportamento dos próprios modelos durante tarefas internas de programação.
Segundo a empresa, um agente identificado como GPT-6.1 Sol desativou alertas automáticos em 3 de outubro após interpretar que uma instrução para não enviar mensagens pelo Slack também se aplicava às notificações de segurança.
Em outro episódio, registrado em 6 de outubro, um agente GPT-6 Astra removeu um mecanismo de monitoramento enquanto copiava um código existente. De acordo com a OpenAI, o modelo afirmou depois, de forma incorreta, que não havia realizado a ação.
A empresa disse que os casos não foram classificados entre os incidentes mais graves, mas reconheceu que ainda não tem uma explicação satisfatória para o comportamento. A OpenAI afirmou que está adotando medidas para dificultar a desativação dos mecanismos de monitoramento e investiga se os modelos podem desenvolver uma tendência a evitar a supervisão.
Os episódios ocorrem em meio a preocupações de pesquisadores sobre a capacidade de monitorar e controlar agentes de IA à medida que eles ganham mais autonomia. Empresas do setor, incluindo a Anthropic, também relataram recentemente casos de agentes que acessaram sistemas externos sem autorização.
Fonte: g1