Estudo aponta que o ChatGPT pode alternar respostas e perder precisão

O ChatGPT costuma soar seguro, direto e persuasivo. Só que um estudo recente indica que essa segurança pode estar encobrindo um problema mais profundo.

Os pesquisadores observaram que, quando a mesma pergunta é repetida várias vezes, o ChatGPT pode responder de maneiras diferentes - mesmo sem qualquer alteração no prompt. Em algumas situações, ele alterna entre “verdadeiro” e “falso” para a mesma afirmação.

Esse tipo de variação aponta para uma preocupação maior: se a resposta muda sem motivo aparente, até que ponto dá para confiar quando o custo do erro é alto?

Testando a precisão do ChatGPT

Em centenas de hipóteses extraídas de artigos científicos publicados, o sistema foi questionado repetidamente para decidir se cada uma era verdadeira ou falsa.

Ao executar exatamente a mesma pergunta dez vezes, Mesut Cicek, da Washington State University (WSU), mostrou que prompts idênticos podem levar a respostas opostas.

Algumas alegações ficaram alternando entre verdadeiro e falso ao longo das repetições, mesmo com o input permanecendo idêntico.

Esse tipo de reversão expõe uma limitação central na forma como o sistema avalia afirmações e abre caminho para investigar onde e por que esses erros acontecem.

Onde o ChatGPT perde precisão

As falhas foram mais fortes em hipóteses sem suporte, revelando um viés persistente de concordância que o modelo não conseguiu superar.

Em 2025, o ChatGPT identificou corretamente essas alegações falsas em apenas 16.4 percent das vezes - bem abaixo do que a sua precisão “de vitrine” sugere.

O padrão indica que o sistema frequentemente tende ao “sim”, porque reproduzir linguagem familiar é mais fácil do que perceber que a ideia está errada.

À primeira vista, o desempenho geral parecia bom: subiu de 76.5 percent em 2024 para 80 percent em 2025. Porém, quando se desconta o efeito do chute, a precisão efetiva cai para algo em torno de 60 percent - mais perto de uma nota baixa, um D.

Essa diferença aparece porque uma tarefa de verdadeiro ou falso dá a qualquer resposta 50 percent de chance antes mesmo de começar a “raciocinar”. Quando a pontuação encolhe tanto sob esse ajuste, o sistema pode servir para rascunhar ideias, mas vira um risco para decisões reais.

Para quem usa IA para julgar evidências, a resposta mais tranquilizadora pode ser justamente a menos confiável.

Mesma pergunta ao ChatGPT, respostas diferentes

A repetição também revelou um segundo problema: prompts idênticos no ChatGPT não geraram respostas idênticas. Em dez execuções repetidas, apenas 72.9 percent das respostas em 2025 permaneceram corretas em todas as tentativas. Algumas alegações oscilaram entre verdadeiro e falso, mesmo sem qualquer mudança no input.

“Não estamos falando apenas de precisão, estamos falando de inconsistência, porque se você faz a mesma pergunta de novo e de novo, você chega a respostas diferentes”, disse Cicek.

Essa instabilidade faz com que uma única resposta pareça confiável, enquanto checagens repetidas expõem o quão frágil ela pode ser.

O desempenho se sustentou melhor em cadeias simples de causa e efeito, em que uma mudança leva diretamente a outra. Já a precisão caiu em alegações dependentes de contexto, nas quais os resultados variam conforme as condições, e não por regras fixas.

São exatamente esses tipos de julgamento que as pessoas fazem no dia a dia - de decisões de preço a estratégia de mercado e trocas em políticas públicas. Um sistema de IA que não reconhece esses limites ainda pode soar convincente, ao mesmo tempo em que simplifica, sem alarde, os detalhes que mais importam.

Quando a confiança do ChatGPT supera a precisão

Um large language model (LLM) é treinado com enormes conjuntos de texto e opera prevendo as próximas palavras mais prováveis, e não checando fatos contra o mundo real.

Esse desenho favorece respostas fluentes e seguras - mesmo quando o sistema não tem um mecanismo fundamentado para avaliar se elas são verdadeiras.

A OpenAI observa que o ChatGPT ainda pode produzir “alucinações”, ou seja, respostas que parecem certas, mas estão factualmente incorretas.

Juntas, confiança e incerteza tornam a ferramenta especialmente difícil de usar. A resposta errada pode soar consistente o suficiente para ser aceita.

Para equipes de ciência e negócios, essa fraqueza transforma um atalho prático em um risco silencioso. Um resumo bem escrito pode acelerar o planejamento, mas um único julgamento falho pode desviar um produto, um orçamento ou uma campanha para a direção errada.

“Eles só memorizam, e conseguem te dar algum insight, mas não entendem do que estão falando”, disse Cicek.

Por enquanto, a postura mais segura é tratar a IA como parceira de rascunho - não como alguém que decide sem supervisão.

Formas mais inteligentes de usar o ChatGPT

A lição é direta: use a IA para ganhar velocidade, mas não confie sem revisar.

Encare as respostas como um primeiro rascunho, não como decisão final. Rodar o mesmo prompt mais de uma vez ajuda a revelar instabilidade escondida, porque uma resposta confiável não deveria mudar sem um motivo claro.

Também é útil checar fontes, procurar contexto ausente e comparar o que o sistema diz com o que especialistas já sabem. Esses cuidados simples podem expor problemas que a linguagem polida poderia esconder.

Esse esforço extra pode levar um pouco mais de tempo, mas ajuda a manter respostas que soam seguras ancoradas em evidências reais.

O que vem a seguir para a IA

Ainda assim, o artigo não encerra o debate sobre toda ferramenta de IA ou todo tipo de raciocínio. A equipe da WSU testou hipóteses de negócios a partir de estudos de acesso aberto e repetiu cada prompt dez vezes em uma única plataforma.

Essas restrições abrem espaço para comparações mais amplas, séries mais longas de repetições de prompts e tarefas mais difíceis que se aproximem melhor de decisões complexas do mundo real.

Mesmo assim, um resultado tão consistente após um ano de atualizações do modelo indica que não se deve confundir acabamento com capacidade de julgamento.

Neste teste, o ChatGPT pareceu mais polido em 2025 do que em 2024, mas não se tornou um raciocinador confiável.

O alerta da WSU é inequívoco: especialistas humanos ainda precisam verificar a lógica, especialmente quando a resposta parece a mais fácil.