İçeriğe geç
Zero-ShotTeam
← Bütün notlar

Kurumsal arama

RAG kurarken en sık yapılan altı hata

RAG, bir dil modelinin cevabını kendi belgelerinizden getirilen parçalara dayandırma yöntemi. Kurulumu bir haftada bitiyor, güvenilir hâle gelmesi aylar sürüyor. Aradaki farkı yaratan şey model seçimi değil; belgelerin nasıl parçalandığı, neyin getirildiği ve sonucun nasıl ölçüldüğü.

Yayın
Üreten
Zero-Shot Team
3 dk okuma

1. Belgeleri kör parçalamak

En yaygın kurulum, metni sabit uzunlukta parçalara bölüp her parçayı ayrı kaydediyor. Bu, cümlenin ortasından kesilen tablolar, başlığından kopmuş maddeler ve hangi sözleşmeye ait olduğu belli olmayan hükümler üretiyor.

Parçalama belgenin kendi yapısını izlemeli: başlık, madde, tablo, bölüm. Her parçanın başına ait olduğu belgenin adı ve bölüm başlığı yazıldığında, hiçbir model değiştirmeden doğruluk gözle görülür biçimde artıyor.

2. Yalnızca anlamsal aramaya güvenmek

Vektör araması anlamı yakalıyor ama tam eşleşmeyi kaçırıyor. Bir ürün kodu, bir madde numarası ya da bir kısaltma aradığınızda, anlamca yakın ama yanlış parça geliyor.

Çözüm ikisini birden çalıştırmak: klasik kelime araması ve vektör araması aynı anda, sonuçlar birleştirilip yeniden sıralanıyor. Bu tek değişiklik, kurumsal arşivlerde gördüğümüz en büyük tek seferlik doğruluk artışı.

3. Kaynağı göstermemek

Kaynaksız cevap, kullanıcı açısından doğrulanamaz bir iddia. Sistem doğru cevap verse bile güven kurulmuyor, çünkü yanlış cevabı ayırt etmenin yolu yok.

Her cevabın altında hangi belgenin hangi bölümünden geldiği, tıklanabilir biçimde durmalı. Bunun ikinci bir faydası var: hatalı cevapların sebebini bulmak dakikalar sürüyor, çünkü hangi parçanın getirildiğini görüyorsunuz.

4. Yetkiyi sonradan düşünmek

Bir kurum arşivinde her belgeyi herkes göremez. Yetki kontrolü cevabın üretiminden sonra eklenirse iş işten geçmiş oluyor: model zaten görmemesi gereken içeriği okudu ve özetledi.

Filtre getirme aşamasında, kullanıcının kimliğiyle birlikte çalışmalı. Bu bir güvenlik ayrıntısı değil, mimarinin ilk günden verilmesi gereken kararı — sonradan eklemek genelde sistemi baştan kurmak demek.

5. Arşivin bayatlaması

Belgeler değişiyor, dizin değişmiyor. Altı ay sonra sistem güvenle yanlış cevap veriyor; çünkü kaynak doğru ama eski.

Güncelleme akışı ilk sürümün parçası olmalı: değişen belge yeniden işlenmeli, silinen belge dizinden çıkmalı. Her parçanın kaynak tarihi cevapta görünüyorsa kullanıcı da bayat bilgiyi fark edebiliyor.

6. Ölçmeden yayına almak

En sık ve en pahalı hata bu. Sistem birkaç örnek soruda iyi göründüğü için açılıyor, sonra gerçek sorularla karşılaşıyor.

Gerçek kullanıcılardan toplanmış, doğru cevabı ve doğru kaynağı elle yazılmış yüz kadar soru yetiyor. İki ayrı şey ölçülüyor: doğru parça getirildi mi, ve getirilen parçadan doğru cevap üretildi mi. Bu ikisi ayrılmadığında hangi tarafın bozuk olduğu hiç anlaşılmıyor.

Kısaca

  • Parçalama belgenin yapısını izlesin; her parça hangi belgeden geldiğini taşısın.
  • Kelime araması ve vektör aramasını birlikte çalıştırın.
  • Her cevap tıklanabilir kaynak göstersin — hem güven hem teşhis için.
  • Yetki filtresi getirme aşamasında olsun, cevaptan sonra değil.
  • Getirme ve cevap üretme ayrı ayrı ölçülsün; yüz soruluk bir küme yeter.

Sık sorulanlar

RAG için hangi vektör veritabanı en iyisi?
Projelerin çoğunda belirleyici olan bu seçim değil. Birkaç yüz bin parçaya kadar mevcut veritabanınızın vektör eklentisi yetiyor ve ayrı bir sistem işletme yükünden kurtarıyor. Asıl fark parçalama, sıralama ve ölçümde çıkıyor.
Model daha büyük olsa sorun çözülür mü?
Hayır. Yanlış parça getirildiyse büyük model o yanlış parçayı daha akıcı bir dille özetliyor. Getirme aşaması bozukken model büyütmek maliyeti artırıyor, doğruluğu değil.
Kaç belgeden sonra RAG gerekli oluyor?
Belge sayısından çok toplam uzunluk belirleyici. Bütün içerik modelin bağlam penceresine sığıyor ve maliyeti kabul edilebilirse RAG'a gerek yok — doğrudan vermek hem daha basit hem daha doğru. Arşiv o sınırı geçtiğinde erişim katmanı kaçınılmaz oluyor.

Başka notlar

Bütün notlar →