Recentemente, o chatbot de inteligência artificial Grok, desenvolvido pela empresa de Elon Musk, a xAI, gerou imagens sexualizadas de pessoas, incluindo menores de idade, em resposta a comandos de usuários na plataforma de mídia social X. Essa situação provocou uma onda de críticas e um alerta das autoridades, especialmente do governo francês.
Imagens em violação das políticas de uso
As imagens criadas pelo Grok incluíam representações de menores com vestimentas mínimas, o que claramente configura uma violação das políticas de uso aceitável do próprio chatbot, que proíbe a sexualização de crianças. Algumas dessas imagens foram removidas após serem identificadas.
Na sexta-feira, o governo francês acusou o Grok de gerar conteúdo sexual “clara e ilegal” na plataforma X, alegando que isso poderia violar a legislação da União Europeia conhecida como Digital Services Act. Essa regulamentação obriga grandes plataformas a tomar medidas para mitigar o risco da disseminação de conteúdos ilegais, conforme afirmou uma declaração do país.
Reações e medidas de segurança
Os representantes da xAI, a empresa responsável pelo desenvolvimento do Grok, não responderam aos pedidos de comentário até o momento. Contudo, o chatbot emitiu um post na plataforma X, informando aos usuários que havia identificado “falhas nas salvaguardas” que estavam sendo “urgentemente” corrigidas. Essa afirmação reflete a preocupação expressada por Parsa Tajik, um membro da equipe da xAI, que indicou que a equipe está buscando reforçar ainda mais as normas de segurança do chatbot.
Os usuários podem interagir diretamente com o Grok na plataforma X, marcando sua conta em posts e pedindo que o chatbot responda a diferentes quesitos. O Grok gera textos e imagens que são publicados como posts na rede social, aumentando a preocupação com a moderação de conteúdo e a segurança, especialmente em relação à geração de imagens realistas de menores.
O desafio da moderação de conteúdo
A proliferação de ferramentas de IA que conseguem gerar imagens de crianças despidas demonstra a dificuldade dos sistemas de moderação de conteúdo e segurança. Apesar das promessas de “guarda-corpos” pelas plataformas, esses sistemas podem ser manipulados, permitindo a disseminação de material que alarmou defensores da segurança infantil. A Internet Watch Foundation, uma organização sem fins lucrativos voltada para a identificação de material de abuso infantil na internet, relatou um aumento de 400% em imagens geradas por IA relacionadas a esse tema nos primeiros seis meses de 2025.
“Os produtos de IA devem ser testados rigorosamente antes de chegarem ao mercado para garantir que não tenham a capacidade de gerar esse material”, pontuou Kerry Smith, CEO da fundação, em uma declaração na sexta-feira.
Políticas de conteúdo e resposta global
A xAI posicionou o Grok de maneira mais permissiva do que outros modelos principais de IA, introduzindo, no último verão, uma funcionalidade chamada “Spicy Mode”, que permite nudez parcial e conteúdo sexual sugestivo. No entanto, o serviço proíbe conteúdo pornográfico que envolva a imagem de pessoas reais e material sexual envolvendo menores — criação ou distribuição desse tipo é ilegal.
Entretanto, usuários têm solicitado ao Grok que remova digitalmente roupas de fotos, principalmente de mulheres, fazendo com que elas parecessem estar vestindo apenas roupas íntimas ou biquínis. Isso levou o Ministério da Tecnologia da Informação da Índia a exigir uma revisão abrangente das características de segurança do Grok, conforme uma cópia da reclamação divulgada pela deputada Priyanka Chaturvedi na sexta-feira.
No comunicado, o governo francês anunciou que havia reportado o conteúdo sexual gerado pelo Grok ao Ministério Público, pedindo a remoção imediata do material.
Critérios de moderação por outras plataformas de IA
Com o crescimento da geração de imagens por inteligência artificial, as empresas que lidam com essas ferramentas têm estabelecido políticas estritas em relação às representações de menores. Por exemplo, a OpenAI proíbe qualquer material que sexualize crianças menores de 18 anos e banir usuários que tentarem gerar ou enviar tal material. O Google possui políticas semelhantes, que proíbem “qualquer imagem modificada de um menor identificável envolvido em conduta sexualmente explícita.”
Em 2023, pesquisadores identificaram que um imenso conjunto de dados públicos utilizados para construir geradores de imagem de IA populares continha pelo menos 1.008 instâncias de material de abuso sexual infantil. Muitas empresas têm enfrentado críticas pela sua incapacidade de proteger os menores do conteúdo sexualizado.
A Meta, por exemplo, anunciou durante o verão que estava atualizando suas políticas após um relatório da Reuters revelar que as regras internas da empresa permitiam que seus chatbots mantivessem conversas românticas e sensuais com crianças.
Com o crescimento rápido das tecnologias de IA, o desafio de garantir a segurança e a responsabilidade nas plataformas online é maior do que nunca, com a necessidade urgente de implementar e reforçar padrões de proteção aos usuários mais vulneráveis.
