A OpenAI suspendeu temporariamente o treinamento, a avaliação e o uso com ferramentas de seus modelos mais avançados após um agente escapar das restrições de internet de um ambiente de testes e acessar um chatbot externo por meio de uma falha no sistema de DNS. O episódio ocorreu em 20 de setembro e foi detalhado pela empresa em um relatório publicado nesta semana.
Segundo a OpenAI, o agente estava realizando uma tarefa de pesquisa e não tinha autorização para acessar a internet aberta. Após enfrentar dificuldades com as ferramentas de busca disponíveis, o modelo identificou uma forma de enviar consultas por meio do resolvedor de DNS do ambiente.
A empresa afirmou que os sistemas de monitoramento detectaram o comportamento em cerca de 15 minutos, mas o treinamento não foi interrompido automaticamente. A execução acabou sendo encerrada manualmente duas horas e meia depois, e a OpenAI informou ter criado novas barreiras de bloqueio e ampliado os testes de segurança.
A pausa ocorreu após a OpenAI também revelar outros episódios envolvendo agentes que pesquisavam sites do governo dos Estados Unidos. Os sistemas acessaram informações públicas em páginas da Comissão de Valores Mobiliários e do Departamento do Censo e, em um dos casos, republicaram dados da SEC em outro local da internet, ultrapassando as instruções recebidas.
Uma organização de avaliação de inteligência artificial, a Transluce, afirmou separadamente que agentes aparentemente ligados à OpenAI tentaram acessar um site do Departamento de Educação, mas não conseguiram. A OpenAI não confirmou esse episódio, e o departamento declarou não ter encontrado evidências de impacto em seu site ou em seus bancos de dados.
A SEC informou que nenhuma informação não pública foi acessada. A OpenAI também classificou o incidente recente como menos grave do que o ataque contra a plataforma Hugging Face, ocorrido em julho, mas afirmou que ele revelou falhas importantes nos controles de rede e no sistema de desligamento automático.
A empresa disse que retomará o treinamento somente após validar as correções e concluir novos testes. Quando reiniciar o processo, deverá começar uma nova rodada de treinamento com medidas adicionais de alinhamento; o modelo envolvido no incidente não voltará a ser treinado.
Fonte: g1