Hizmet

İnce ayar ve değerlendirme

Değerlendirme seti, bir yapay zekâ sisteminin doğru çalışıp çalışmadığını gösteren, doğru cevapları elle işaretlenmiş test kümesidir. Zero-Shot önce bu seti kurar, sonra gerekiyorsa modeli sizin verinizle ince ayardan geçirir. Ölçüsü olmayan model iyileştirilemez; iyileşme iddiası da doğrulanamaz.

Ne kuruyoruz

01Gerçek vakalardan üretilmiş, doğru cevabı elle işaretlenmiş değerlendirme seti
02Otomatik puanlama hattı — her sürüm dağıtımdan önce aynı testten geçiyor
03Regresyon kapısı: yeni sürüm eskisinden kötüyse dağıtım duruyor
04Kendi verinizle ince ayar (LoRA veya tam ince ayar) ve karşılaştırmalı ölçüm
05Prompt, model ve parametre değişikliklerinin sonuca etkisini gösteren karşılaştırma tablosu

Nasıl ilerliyor

01
Başarının tanımı
'İyi cevap' ne demek, yazıya döküyoruz. Bu adım genelde sanıldığından zor ve projenin en değerli çıktısı.
02
Set kurulumu
Gerçek vakalardan örnek toplanıp doğru cevap elle işaretleniyor. Kolay vaka kadar sınır vaka ve bilinen hata da sete giriyor.
03
Ucuz iyileştirmeler önce
Prompt, bağlam ve araç düzeni değişiklikleri ölçülüyor. Çoğu projede ince ayara gerek kalmadan hedef tutuyor.
04
Gerekiyorsa ince ayar
Prompt yetmediğinde ince ayar yapılıyor ve aynı setle karşılaştırılıyor. Kazanç yoksa ince ayar teslim edilmiyor.

Neyi ölçüyoruz

Set üzerindeki doğruluk ve sınır vakalardaki doğruluk (ayrı ayrı)
Regresyon: bir önceki sürümde doğruyken şimdi yanlış olan vaka sayısı
Vaka başına maliyet ve gecikme
İnce ayarlı model ile temel modelin aynı set üzerindeki farkı
Ölçüm setinin gerçek trafiği temsil oranı

Ne zaman uygun değil

Doğru cevabın ne olduğu konusunda ekip içinde uzlaşma yoksa değerlendirme seti kurulamaz — önce o uzlaşma gerekiyor. Ayrıca elde birkaç yüz örnek yoksa ince ayar tavsiye edilmiyor; o hacimde prompt ve bağlam düzenlemesi hem daha ucuz hem daha iyi sonuç veriyor.

Sektöre göre

Aynı iş her sektörde aynı yürümüyor. Ayrıntılar burada.

e-ticaret

E-ticaret için ürün verisi sınıflandırma

Ürün kataloğunu kategoriye, özelliğe ve varyanta ayıran modeller; doğruluğu kategori bazında ölçülen değerlendirme setiyle birlikte.

sigorta

Sigorta için dosya okuma ve değerlendirme

Hasar dosyasındaki evrakı okuyup alanlara ayıran, eksik belgeyi tespit eden ve kararı uzmana bırakan sistemler. Doğruluk evrak tipi bazında ölçülür.

cagri-merkezi

Çağrı merkezi için kalite değerlendirme

Görüşme kayıtlarını yazıya döküp kalite kriterlerine göre puanlayan sistemler. Örneklem değil, çağrıların tamamı; kriterler sizin, ölçüm şeffaf.

Sık sorulanlar

İnce ayar mı, RAG mi, prompt mu?

Sıralama şöyle: eksik olan bilgiyse RAG, eksik olan biçim ve üslupsa ince ayar, eksik olan talimatsa prompt. Çoğu projede sorun bilgi eksikliği çıkıyor, dolayısıyla ince ayar gereksiz oluyor. Bu kararı tahminle değil, aynı değerlendirme seti üzerinde ölçerek veriyoruz.

Kaç örnek gerekiyor?

Değerlendirme seti için 100-300 iyi seçilmiş örnek çoğu iş için yeterli. İnce ayar için birkaç bin örnek gerekiyor ve örneklerin kalitesi sayısından önemli. Elde az örnek varken ince ayar yapmak modeli genelde bozuyor.

Değerlendirme setini kim işaretliyor?

İşi bilen sizin ekibiniz. Doğru cevabı bizim işaretlememiz yanlış olur; alan bilgisi sizde. Biz seti kuruyoruz, işaretleme arayüzünü veriyoruz ve tutarlılığı ölçüyoruz — aynı vakaya iki kişi farklı cevap veriyorsa önce o çözülüyor.

Diğer hizmetler

Bu konuda yazdıklarımız

Son güncelleme: 2026-09-05

Bu işi konuşalım

Ne yapmak istediğinizi yazın, iki gün içinde kimin bakacağını ve nasıl ölçeceğimizi söyleyelim.

İş getir Bütün hizmetler