RAG kurdum ama hâlâ uyduruyor, neden?

Genelde getirme aşaması hatalı: doğru parça hiç gelmiyor ve model eldeki alakasız metinden bir cevap üretiyor. Getirme ile cevap üretmeyi ayrı ölçün. Doğru parça geldiği hâlde yanlış cevap çıkıyorsa sorun prompt'ta — 'yalnızca verilen metne dayan' talimatı eksik olabilir.

Halüsinasyon oranını nasıl ölçerim?

Doğru cevabı ve doğru kaynağı elle yazılmış yüz kadar soruyla. Her cevap için iki soru sorulur: iddia kaynakta var mı, ve kaynak doğru belge mi. Bu iki oran ayrı takip edilmeli; birlikte bakıldığında hangisinin bozulduğu görünmüyor.

Modele 'emin değilsen söyle' demek işe yarıyor mu?

Kısmen. Modelin bildirdiği güven, gerçek doğrulukla zayıf ilişkili — emin olduğunu söylediği yerde de yanılabiliyor. Faydalı ama tek başına yeterli değil; kaynak kontrolü ve insan onayının yerini tutmuyor.

← Bütün notlar

Doğruluk

Yapay zekâ neden uyduruyor

Halüsinasyon, bir dil modelinin doğru olmayan bir şeyi emin bir dille söylemesi. Sebebi arıza değil, tasarım: model doğruyu değil, bağlama en uygun devamı üretiyor. Bu yüzden tamamen ortadan kaldırılamıyor — ama doğru kurulumda sistemin kullanılabilir olmasına yetecek kadar azaltılabiliyor.

Yayın: 2026-09-06
Üreten: Zero-Shot Team
3 dk okuma

Model yalan söylemiyor, tahmin ediyor

Bir dil modeli, bir cümlenin ardından hangi kelimenin gelmesinin olası olduğunu hesaplıyor. 'Doğru mu' diye bir kontrol katmanı yok; olasılık var. Bir ürün kodu, bir kanun maddesi ya da bir tarih sorulduğunda, model doğru cevabı bilmiyorsa bilmediğini fark etmiyor — o boşluğa uyan biçimde bir şey üretiyor.

Bu yüzden halüsinasyonlar en çok gerçek bilgi gerektiren yerlerde çıkıyor: sayılar, isimler, tarihler, kaynak referansları. Ve tam da bu alanlarda yanlış cevabın bedeli en yüksek.

Emin ton da aynı sebepten: metin akıcı olmak üzere üretiliyor, güven seviyesi metne yansıtılmıyor. Bir insanın 'sanırım' dediği yerde model düz cümle kuruyor.

En etkili önlem: modele bilgiyi vermek

Modelin bilmediği bir şeyi sorup doğru cevap beklemek yerine, cevabı içeren metni prompt'a koymak halüsinasyonu belirgin biçimde azaltıyor. Kurumsal arama (RAG) tam olarak bunu yapıyor.

Ama yeterli değil. Yanlış parça getirildiğinde model o yanlış parçayı akıcı bir dille özetliyor ve sonuç daha da inandırıcı oluyor. Bu yüzden getirme aşamasının doğruluğu ayrı ölçülmeli.

İkinci şart: cevabın yalnızca verilen metne dayanması gerektiğini yazmak, ve metinde yoksa cevap vermemesini istemek. Bu cümle olmadan model kendi bilgisiyle boşlukları dolduruyor.

Kaynak göstermek bir doğruluk aracı

Her iddianın hangi belgeden geldiği gösterildiğinde iki şey oluyor. Kullanıcı doğrulayabiliyor, ve model kendi kendini sınırlıyor — kaynak göstermek zorunda olan bir cevapta uydurma payı düşüyor.

Kaynak tıklanabilir olmalı ve gerçekten o bilgiyi içermeli. Sahte kaynak, kaynaksızlıktan kötü: güven veriyor ama doğrulanmıyor.

Pratik bir kontrol: cevaptaki her sayının ve özel ismin kaynakta geçip geçmediğini otomatik denetleyin. Geçmiyorsa cevap işaretlensin.

İşe yaramayan yöntemler

'Uydurma' demek tek başına çalışmıyor. Model uydurduğunu bilmiyor ki bırakabilsin.

Daha büyük model de çözmüyor. Büyük modeller daha az uyduruyor ama uydurduklarında daha ikna edici oluyorlar; getirme katmanı bozukken model büyütmek maliyeti artırıyor, doğruluğu değil.

Sıcaklığı sıfıra çekmek cevabı tutarlı yapıyor, doğru yapmıyor. Aynı yanlışı her seferinde aynı şekilde veriyor.

Kalan riski yönetmek

Sıfır halüsinasyon vaat eden bir sistem kurulamıyor. Kurulabilecek olan, yanlışın yakalanabildiği bir akış.

Üç şey gerekiyor: yanlış cevabın bedeli yüksekse insan onayı, cevabın yanında kaynak, ve kullanıcıya hata bildirme yolu. Bildirilen her hata değerlendirme kümesine giriyor ve bir daha aynı yerden düşülmüyor.

Bir de dürüstlük: sistemin sınırları kullanıcıya yazılı olarak söylenmeli. 'Bu asistan yanılabilir, önemli kararlarda kaynağı kontrol edin' cümlesi, güveni azaltmıyor — yanlış çıktığında güvenin çökmesini engelliyor.

Kısaca

Halüsinasyon arıza değil, modelin çalışma biçiminin sonucu; sıfırlanamaz, azaltılır.
En etkili önlem cevabı içeren metni modele vermek — ama getirmenin doğruluğu ayrıca ölçülmeli.
'Yalnızca verilen metne dayan, yoksa cevap verme' cümlesi prompt'ta bulunmalı.
Tıklanabilir kaynak gösterin; cevaptaki sayı ve isimlerin kaynakta geçtiğini otomatik denetleyin.
Büyük model ve sıcaklık ayarı çözüm değil; bedeli yüksek işlerde insan onayı bırakın.

Sık sorulanlar

RAG kurdum ama hâlâ uyduruyor, neden?: Genelde getirme aşaması hatalı: doğru parça hiç gelmiyor ve model eldeki alakasız metinden bir cevap üretiyor. Getirme ile cevap üretmeyi ayrı ölçün. Doğru parça geldiği hâlde yanlış cevap çıkıyorsa sorun prompt'ta — 'yalnızca verilen metne dayan' talimatı eksik olabilir.
Halüsinasyon oranını nasıl ölçerim?: Doğru cevabı ve doğru kaynağı elle yazılmış yüz kadar soruyla. Her cevap için iki soru sorulur: iddia kaynakta var mı, ve kaynak doğru belge mi. Bu iki oran ayrı takip edilmeli; birlikte bakıldığında hangisinin bozulduğu görünmüyor.
Modele 'emin değilsen söyle' demek işe yarıyor mu?: Kısmen. Modelin bildirdiği güven, gerçek doğrulukla zayıf ilişkili — emin olduğunu söylediği yerde de yanılabiliyor. Faydalı ama tek başına yeterli değil; kaynak kontrolü ve insan onayının yerini tutmuyor.

Başka notlar

Bütün notlar →