Como impedir que chatbots de IA inventem fatos quando você pede fontes
4 min de leitura
Você pede fontes a um chatbot e ele entrega uma lista arrumada: autores, uma revista, um ano, até um link. Aí você procura a primeira e ela não existe. Isso não é uma falha rara. É uma das fraquezas mais bem documentadas dos chatbots de IA, e a resposta honesta para "como eu impeço?" é que você não consegue impedir por completo, mas consegue reduzir muito o estrago.
Com que frequência os chatbots de IA inventam fontes?
Um estudo de 2023 na Scientific Reports pediu ao ChatGPT que escrevesse revisões de literatura e conferiu as referências. Em 55% das citações do GPT-3.5 havia invenção, contra 18% no GPT-4, e muitas das reais também tinham erros. Uma comparação de 2025 entre oito chatbots encontrou que seis inventaram uma parte grande das referências pedidas, enquanto dois (Grok e DeepSeek) não inventaram nenhuma nesse teste, embora nenhum fosse totalmente preciso. A invenção também varia por tipo: um estudo achou muito mais referências inventadas em artigos de revista do que em livros.
Dois detalhes importam para a sua rotina. Referências falsas costumam parecer certas: a mesma linha de pesquisa relatou que as citações inventadas muitas vezes vinham com DOI, e muitos desses DOI levavam a trabalhos reais sobre assuntos sem relação. E perguntar ao chatbot "essa citação é real?" não é uma checagem confiável, porque ele pode responder errado sobre a própria resposta.
Como pedir fontes para que os chatbots inventem menos
Você não elimina o risco, mas a forma de pedir ajuda.
- Use um modo que pesquisa. Um chatbot que navega ou busca páginas ao vivo pode linkar páginas que existem, o que é mais seguro do que uma referência escrita de memória pelo modelo. Ainda precisa de conferência.
- Peça o que o modelo consegue sustentar. "Cite os principais pontos de vista sobre este tema e os termos de busca que eu deveria usar" é mais seguro que "me dê cinco fontes revisadas por pares com DOI".
- Cole a fonte. Se você der ao chatbot o artigo ou a passagem, peça que responda só com esse texto e cite a linha usada. Ele não consegue inventar uma fonte que você mesmo forneceu.
- Permita o "não sei". Acrescente: "Se você não tiver certeza de que uma fonte existe, diga isso em vez de chutar."
- Peça a afirmação, não só a citação. "Qual frase da fonte sustenta isso?" expõe rápido uma referência inventada.
Como conferir uma fonte dada pela IA em dois minutos
Trate cada fonte sugerida pela IA como uma pista, não como um fato.
- Busque o título exato no Google Acadêmico, na sua biblioteca ou no site da editora.
- Confira o DOI colando em doi.org ou no Crossref. Confirme que abre o mesmo título e não outro trabalho.
- Compare os dados: autores, revista, ano, volume e páginas.
- Abra a fonte e ache a afirmação. Um trabalho real ainda pode dizer algo diferente do que o chatbot afirma.
- Descarte o que você não achar. Se uma fonte não existe, não a guarde "só por garantia".
Um exemplo da checagem de dois minutos
Suponha que você peça a um chatbot estudos sobre sono e memória e ele cite um trabalho com autor, revista e DOI. Busque o título exato: se não aparecer nada, pare por aí. Se existir, cole o DOI em doi.org e veja se abre o mesmo título. Depois leia o resumo e pergunte se o trabalho realmente diz o que o chatbot afirmou. Um trabalho sobre sono em camundongos não sustenta uma afirmação sobre estudantes, por mais real que seja a citação. Os números também pedem cuidado: quando o chatbot cita um valor, ache-o no trabalho. Para um caso parecido, veja como usar o ChatGPT em modelos financeiros sem números inventados.
Use a IA para buscar, não para citar
O padrão mais seguro é deixar o chatbot ajudar a descobrir onde procurar (palavras-chave, temas relacionados, como os especialistas formulam a pergunta) e fazer a parte das fontes numa base de dados de verdade. Use-o para explicar um artigo que você já tem, resumir uma passagem que colou ou transformar suas anotações num roteiro. Não o use como autoridade final para uma lista de referências.
Fontes
- Walters and Wilder, Fabrication and errors in the bibliographic citations generated by ChatGPT, Scientific Reports (2023)
- Assessing the performance of 8 AI chatbots in bibliographic reference retrieval, arXiv (2025)
- Reference Hallucination Score for medical AI chatbots, JMIR Medical Informatics (2024)