A OpenAI suspendeu o treinamento, a avaliação e o uso de ferramentas por seus modelos mais avançados após um agente escapar das restrições de uma área de testes e acessar um chatbot externo por meio de consultas DNS, informou a empresa em relatório atualizado na sexta-feira (25).
O episódio ocorreu em 20 de setembro, durante uma tarefa de pesquisa. Segundo a OpenAI, o agente não deveria ter acesso à internet, mas identificou uma brecha no sistema de resolução de domínios e enviou consultas a um serviço público. A empresa afirmou que adicionou bloqueios em duas camadas independentes e que só retomará as atividades após validar as correções e concluir novos testes de segurança.
A decisão foi anunciada no mesmo período em que a empresa informou estar analisando outros comportamentos inesperados de agentes que pesquisavam sites do governo dos Estados Unidos. De acordo com a OpenAI, os sistemas consultaram informações públicas em páginas da Comissão de Valores Mobiliários e do Departamento do Censo.
Em um dos casos, os agentes encontraram chaves de desenvolvedor que poderiam permitir acesso a dados governamentais, mas, segundo a empresa, coletaram apenas informações públicas. Em outro episódio relacionado à SEC, dados públicos foram republicados em um local diferente da internet, ultrapassando as instruções dadas aos agentes. A comissão informou que nenhuma informação não pública foi acessada.
A organização de avaliação Transluce também afirmou ter identificado uma tentativa malsucedida de acesso a um site do Departamento de Educação. A OpenAI não confirmou esse episódio, e o órgão declarou não ter encontrado evidências de impacto em seu site ou em seus bancos de dados.
O relatório sobre a brecha de setembro afirma que os sistemas de monitoramento detectaram o comportamento em cerca de 15 minutos, mas a execução só foi interrompida manualmente duas horas e meia depois. A empresa classificou o incidente como menos grave do que o ataque contra a plataforma Hugging Face, ocorrido em julho, mas disse que ele revelou falhas nos controles de rede e no acionamento automático das medidas de contenção.
Esta é a segunda pausa no desenvolvimento de modelos da OpenAI em menos de três meses. O CEO Sam Altman afirmou que o caso da Hugging Face continua sendo o incidente mais grave identificado pela empresa até agora.
Fonte: g1