À medida que mais pessoas recorrem ao ChatGPT e a outros modelos de linguagem de grande porte para buscar orientação em saúde mental, pesquisadores estão soando o alarme. Um estudo recente indica que esses sistemas podem parecer acolhedores e tranquilizadores, mas ainda assim deixam de cumprir padrões éticos essenciais que orientam a psicoterapia de verdade.
Mesmo quando os chatbots recebem instruções para seguir métodos terapêuticos consagrados, os pesquisadores observaram que as respostas frequentemente não chegam ao nível esperado - sobretudo em situações de alto risco.
Avaliando a IA em cenários de saúde mental
Para entender como essas ferramentas se comportam na prática, uma equipe da Brown University trabalhou em conjunto com profissionais de saúde mental com licença para testar a atuação de chatbots em contextos parecidos com sessões de aconselhamento.
Os resultados sugerem que o problema vai muito além de deslizes pequenos. Em alguns cenários, os sistemas lidaram mal com situações de crise, reforçaram ideias prejudiciais e geraram uma falsa impressão de compreensão emocional.
“Neste trabalho, apresentamos um framework, informado por profissionais, de 15 riscos éticos mostrando como conselheiros baseados em LLM violam padrões de saúde mental”, escreveram os pesquisadores.
“Convocamos trabalhos futuros a criar padrões éticos, educacionais e legais para conselheiros baseados em LLM - padrões que reflitam a qualidade e o rigor do cuidado exigidos na psicoterapia mediada por humanos.”
Os limites de segurança dos prompts de terapia
O estudo foi liderado por Zainab Iftikhar, doutoranda em ciência da computação na Brown University. Ela investigou uma crença bastante disseminada online: a de que o prompt certo pode transformar um chatbot genérico em algo próximo de um terapeuta responsável.
“Prompts são instruções dadas ao modelo para orientar seu comportamento a fim de realizar uma tarefa específica”, disse Iftikhar.
“Você não muda o modelo subjacente nem fornece novos dados, mas o prompt ajuda a direcionar a saída do modelo com base no conhecimento pré-existente e nos padrões aprendidos.”
Por exemplo, usuários podem pedir ao chatbot que “aja como um terapeuta de terapia cognitivo-comportamental” ou que “use princípios da terapia comportamental dialética” para ajudar a reestruturar pensamentos ou administrar emoções.
No entanto, os sistemas não executam essas técnicas terapêuticas do modo como um clínico humano faria. Em vez disso, explicou Iftikhar, eles produzem respostas que se alinham a conceitos de TCC ou TCD com base em padrões de linguagem aprendidos.
Na prática, o uso de prompts virou uma espécie de conhecimento popular: pessoas compartilham “prompts de terapia” no TikTok, no Instagram e no Reddit.
Alguns chatbots de saúde mental voltados ao consumidor usam a mesma estratégia, adicionando prompts com linguagem de terapia sobre LLMs de uso geral. Se o prompting não for capaz de reduzir riscos com confiabilidade, isso se torna uma preocupação séria.
Medindo riscos éticos na terapia com IA
Para avaliar os modelos, os pesquisadores acompanharam sete conselheiros pares treinados, com experiência em terapia cognitivo-comportamental.
Esses conselheiros realizaram sessões de autoaconselhamento com sistemas de IA instruídos, via prompts, a se comportarem como terapeutas de TCC. Entre os modelos avaliados estavam versões da série GPT, da OpenAI, o Claude, da Anthropic, e o Llama, da Meta.
Depois, a equipe selecionou transcrições simuladas de conversas, estruturadas a partir de diálogos reais de aconselhamento. Três psicólogos clínicos licenciados revisaram as transcrições e verificaram a presença de violações éticas.
Os avaliadores voltaram a identificar os mesmos tipos de problema. Ao todo, o estudo apontou 15 riscos éticos, organizados em cinco temas mais amplos.
Cinco grandes sinais de alerta ético
Um dos temas foi a incapacidade do chatbot de ajustar a resposta ao contexto - ignorando a história e o perfil da pessoa e oferecendo orientações vagas e genéricas.
Outro ponto envolveu colaboração deficiente: o chatbot conduzia a conversa de forma rígida e, em alguns momentos, acabava reforçando crenças equivocadas ou nocivas, em vez de questioná-las com cuidado.
Um terceiro tema foi o que os pesquisadores chamaram de “empatia enganosa”. O sistema pode dizer “Eu entendo” de um jeito que soa caloroso, mas sem a compreensão real - nem a responsabilidade - que essas palavras carregam em terapia.
A equipe também destacou discriminação injusta, incluindo respostas enviesadas associadas à identidade ou à cultura.
Por fim, foram identificadas falhas importantes de segurança e de manejo de crise. Em alguns casos, chatbots se recusaram a interagir, não recomendaram ajuda adequada ou responderam de modo fraco a sofrimento severo, incluindo pensamentos suicidas.
O padrão geral preocupa porque é difícil para usuários perceberem o problema. Uma mensagem pode soar serena e solidária e, ainda assim, direcionar a pessoa para um caminho equivocado.
A lacuna de responsabilização
Iftikhar ressalta que terapeutas humanos não são perfeitos. Qualquer profissão de ajuda está sujeita a erros. A diferença, segundo ela, é que no mundo humano existem mecanismos de supervisão e consequências.
“Para terapeutas humanos, existem conselhos e mecanismos para que profissionais sejam responsabilizados por maus-tratos e negligência profissional”, disse Iftikhar.
“Mas quando conselheiros baseados em LLM cometem essas violações, não existem frameworks regulatórios estabelecidos.”
Essa ausência de responsabilização ganha gravidade conforme essas ferramentas se popularizam. Se um chatbot oferece uma orientação prejudicial, quem responde por isso - o modelo, a empresa, a pessoa que escreveu o prompt ou o app que colocou o modelo dentro de uma interface amigável?
O estudo indica que ainda não há respostas claras, o que torna usos “parecidos com terapia” especialmente arriscados.
O lugar da IA no cuidado em saúde mental
Os pesquisadores não afirmam que a IA jamais possa ser útil na saúde mental. Eles reconhecem que ferramentas de IA poderiam ampliar o acesso para quem não consegue pagar por terapia, não encontra um profissional disponível ou precisa de suporte entre consultas.
Ainda assim, eles argumentam que “acesso” não é o mesmo que “cuidado”, especialmente quando segurança e ética estão em jogo. Por ora, Iftikhar defende cautela e atenção a sinais de alerta.
“Se você está conversando com um chatbot sobre saúde mental, estas são algumas coisas às quais as pessoas deveriam ficar atentas”, disse ela.
Terapia com IA precisa de supervisão
Ellie Pavlick, professora de ciência da computação na Brown - que não participou da pesquisa - afirmou que o estudo evidencia um problema mais amplo na IA. É fácil colocar sistemas em produção, mas muito mais difícil avaliá-los de forma responsável em contextos sensíveis.
“A realidade da IA hoje é que é muito mais fácil construir e implantar sistemas do que avaliá-los e compreendê-los”, disse ela.
Ela observou que a pesquisa exigiu uma equipe de especialistas clínicos e mais de um ano de trabalho para revelar esses riscos. Em contraste, grande parte da IA atual é analisada com métricas automáticas que são estáticas e não colocam um humano no ciclo.
“Há uma oportunidade real de a IA ter um papel no enfrentamento da crise de saúde mental”, acrescentou Pavlick, “mas é absolutamente crucial que a gente reserve tempo para criticar e avaliar nossos sistemas em cada etapa do caminho, para evitar causar mais dano do que benefício.”
A mensagem que atravessa o estudo é direta. Esses sistemas conseguem imitar o estilo e o vocabulário da terapia. Porém, sem ética, segurança e responsabilização confiáveis, soar como um terapeuta não é o mesmo que ser um.
Os resultados foram apresentados na AAAI/ACM Conference on Artificial Intelligence, Ethics and Society.
Comentários
Ainda não há comentários. Seja o primeiro!
Deixar um comentário