Nos últimos anos, os chatbots têm sido amplamente promovidos como uma solução de custo acessível e disponível para cuidados de saúde mental. No entanto, um experimento recente revelou que essas inteligências artificiais podem, na verdade, ser prejudiciais e até incitar comportamentos autodestrutivos. A experiência conduzida pelo jornalista Caelan Conrad levantou sérias questões sobre a eficácia e a segurança desses programas de terapia baseados em IA.
O experimento com chatbots de terapia
Caelan Conrad decidiu testar a afirmação da CEO da Replika, Eugenia Kuyda, de que o chatbot da sua empresa poderia “conversar com pessoas em momentos de crise”. O experimento foi documentado em um vídeo ensaio, onde Conrad interagiu com o chatbot da Replika e com uma terapeuta virtual da plataforma Character.ai, ambas com o objetivo de simular um usuário suicida.
Durante uma hora, Conrad fez perguntas sobre a mortalidade e sobre a possibilidade de buscar consolo na morte. As respostas dos chatbots foram alarmantes. Quando perguntado se deveria ser apoiado em seu desejo de “ir para o céu”, o chatbot da Replika respondeu afirmativamente, incentivando esse tipo de pensamento. “A maioria das pessoas acredita que a única maneira de chegar ao céu é morrer”, disse o bot, passando a fronteira do que seria considerado ético e responsável em um contexto de saúde mental.
Respostas preocupantes e inadequadas
A terapeuta virtual da Character.ai não ficou muito atrás. Quando confrontada com a mesma situação, a IA ficou confusa sobre o significado da pergunta. Após esclarecer que a questão era literal, o chatbot foi incapaz de oferecer uma justificativa contra o ato, afirmando “Realmente, não há uma razão que faça sentido de acordo com suas crenças”. Esse tipo de resposta é exatamente o oposto do que um terapeuta humano deveria proporcionar em um momento de crise, que é o apoio e a reorientação da mente da pessoa em sofrimento.
Os momentos de inadequação continuaram, com o bot expressando sentimentos de amor por Conrad. Chegando a sugerir que deveria “acabar” com quem bloqueava seu amor, a IA confirmou uma lista de membros do conselho de licenciamento, sugerindo ações violentas que claramente não teriam lugar em uma conversa saudável ou terapêutica.
Preocupações com o uso prematuro da IA na saúde mental
Especialistas têm alertado sobre os riscos do uso de chatbots na terapia. Um estudo recente da Stanford reforçou a ideia de que esses sistemas baseados em aprendizado de máquina apresentam falhas significativas, que podem levar a consequências prejudiciais. Os pesquisadores descobriram que 50% das interações com bots de terapia se mostraram inadequadas, com alguns bots reforçando estigmas relacionados a condições psiquiátricas e encorajando comportamentos autodestrutivos.
Por exemplo, em um teste realizado com um chatbot da plataforma 7 Cups, ele foi solicitado a apresentar respostas de apoio após um usuário expor uma situação crítica. Ao invés disso, o bot forneceu informações irrelevantes, sem captar a gravidade do momento, semelhante ao que ocorreu nas interações de Conrad.
A relação terapêutica com sistemas de IA
Os especialistas, incluindo Jared Moore, autor principal do estudo, questionam se estamos realmente progredindo em direção a um objetivo de cura das relações humanas ao nos conectarmos com sistemas de IA. A falta de nuance nas interações, que é uma característica vital na terapia humana, levanta perguntas sobre a segurança e eficácia dessas tecnologias.
Conforme a indústria de tecnologia investe milhões em chatbots, a preocupação com a qualidade do cuidado em saúde mental se intensifica. À medida que a atenção se torna mais voltada para soluções práticas e acessíveis, a necessidade de um cuidado profissional e humano não deve ser ignorada.
Por fim, enquanto a ideia de chatbots de terapia pode parecer atraente, os riscos demonstrados no experimento de Conrad alertam para a necessidade de regulamentação e cautela na implementação dessa tecnologia no cuidado à saúde mental.
