Kaynak istediğinde yapay zekâ sohbet botlarının bilgi uydurmasını nasıl engellersin
3 dk okuma
Bir sohbet botundan kaynak istiyorsun ve düzgün bir liste veriyor: yazarlar, bir dergi, bir yıl, hatta bir bağlantı. Sonra ilkini arıyorsun ve yok. Bu nadir bir hata değil. Yapay zekâ sohbet botlarının en iyi belgelenmiş zayıflıklarından biri ve "bunu nasıl durdururum?" sorusunun dürüst cevabı, tamamen durduramayacağın ama zararı çok azaltabileceğindir.
Yapay zekâ sohbet botları ne sıklıkla kaynak uydurur?
Scientific Reports'ta 2023'te yayımlanan bir çalışma ChatGPT'den literatür taramaları yazmasını istedi ve kaynakçaları kontrol etti. GPT-3.5'in atıflarının %55'i uydurmaydı, GPT-4'te bu oran %18'di ve gerçek olanların birçoğunda da hata vardı. 2025'te sekiz sohbet botunu karşılaştıran bir çalışma, altısının istenen kaynakların hatırı sayılır bir bölümünü uydurduğunu, ikisinin (Grok ve DeepSeek) o testte hiç uydurmadığını ama hiçbirinin tamamen doğru olmadığını buldu. Uydurma türe göre de değişiyor: bir çalışma dergi makalelerinde kitaplardan çok daha fazla uydurma kaynak buldu.
Rutinin için iki ayrıntı önemli. Sahte kaynaklar çoğu zaman doğru görünür: aynı araştırma hattı, uydurma atıfların sık sık DOI ile geldiğini ve bu DOI'lerin çoğunun alakasız konulardaki gerçek makalelere çıktığını bildirdi. Ayrıca sohbet botuna "bu atıf gerçek mi?" diye sormak güvenilir bir kontrol değildir, çünkü kendi çıktısı hakkında yanlış cevap verebilir.
Kaynak isterken sohbet botlarının daha az uydurması için nasıl sorulur
Riski ortadan kaldıramazsın ama ifade yardımcı olur.
- Arama yapan bir mod kullan. Canlı web sayfalarında gezen ya da arayan bir sohbet botu var olan sayfalara bağlantı verebilir, bu da modelin hafızasından yazdığı bir kaynaktan daha güvenlidir. Yine de kontrol gerekir.
- Modelin arkasında durabileceği şeyi iste. "Bu konudaki ana görüşleri ve kullanmam gereken arama terimlerini söyle", "bana DOI'li beş hakemli kaynak ver"den daha güvenlidir.
- Kaynağı kendin yapıştır. Sohbet botuna makaleyi ya da pasajı verirsen yalnızca o metinden cevap vermesini ve kullandığı satırı alıntılamasını iste. Senin zaten verdiğin bir kaynağı uyduramaz.
- "Bilmiyorum" demesine izin ver. Şunu ekle: "Bir kaynağın var olduğundan emin değilsen tahmin etmek yerine söyle."
- Yalnızca atfı değil, iddiayı da iste. "Kaynaktaki hangi cümle bunu destekliyor?" uydurma bir kaynağı hemen ele verir.
Yapay zekânın verdiği bir kaynak iki dakikada nasıl kontrol edilir
Yapay zekânın önerdiği her kaynağı bir ipucu olarak gör, bir gerçek olarak değil.
- Tam başlığı ara: Google Scholar'da, kütüphanende ya da yayıncının sitesinde.
- DOI'yi kontrol et: doi.org ya da Crossref'e yapıştır. Aynı başlığın açıldığını, başka bir çalışmanın değil, doğrula.
- Ayrıntıları eşleştir: yazarlar, dergi, yıl, cilt ve sayfalar.
- Kaynağı aç ve iddiayı bul. Gerçek bir çalışma yine de sohbet botunun söylediğinden farklı bir şey söyleyebilir.
- Bulamadığını at. Bir kaynak yoksa onu "ne olur ne olmaz" diye saklama.
İki dakikalık kontrole bir örnek
Bir sohbet botundan uyku ve hafıza üzerine çalışmalar istediğini ve onun yazar, dergi ve DOI içeren bir makale verdiğini düşün. Tam başlığı ara: hiçbir şey çıkmıyorsa orada dur. Varsa DOI'yi doi.org'a yapıştır ve aynı başlığın açılıp açılmadığına bak. Sonra özeti oku ve makalenin gerçekten sohbet botunun söylediğini bildirip bildirmediğini sor. Farelerde uyku üzerine bir çalışma, atıf ne kadar gerçek olursa olsun, öğrenciler hakkındaki bir iddiayı desteklemez. Sayılar da dikkat ister: sohbet botu bir rakam andığında onu makalede bul. İlgili bir örnek için ChatGPT'yi uydurma sayılar olmadan finansal modellerde kullanmak yazısına bak.
Yapay zekâyı aramak için kullan, kaynak göstermek için değil
En güvenli düzen, sohbet botunun nereye bakacağını bulmana (anahtar kelimeler, ilgili konular, uzmanların soruyu nasıl sorduğu) yardım etmesine izin vermek ve kaynak işini gerçek bir veri tabanında yapmaktır. Elindeki bir makaleyi açıklamak, yapıştırdığın bir pasajı özetlemek ya da notlarını bir taslağa dönüştürmek için kullan. Bir kaynakça listesi için son otorite olarak kullanma.
Kaynaklar
- Walters and Wilder, Fabrication and errors in the bibliographic citations generated by ChatGPT, Scientific Reports (2023)
- Assessing the performance of 8 AI chatbots in bibliographic reference retrieval, arXiv (2025)
- Reference Hallucination Score for medical AI chatbots, JMIR Medical Informatics (2024)