Zero-shot mu, few-shot mu, ince ayar mı?

Zero-shot, modele ne istediğinizi anlatıp örnek vermemek demek. Few-shot, aynı prompt'un içine iki-üç doğru örnek koymak. İnce ayar ise modelin ağırlıklarını kendi verinizle güncellemek — yani artık genel bir model değil, sizin işinizi öğrenmiş bir model kullanıyorsunuz.

Aradaki fark yalnızca doğruluk değil. Zero-shot'ta bir hatayı düzeltmek prompt'ta bir cümle değiştirmek kadar sürüyor. İnce ayarda aynı düzeltme veri toplamak, yeniden eğitmek ve yeniden ölçmek demek. Bu yüzden karar bir doğruluk kararı değil, bir değişim hızı kararı.

İşe zero-shot ile başlıyoruz çünkü kurulumu yarım gün sürüyor ve size asıl bilgiyi veriyor: iş modelin bilgisiyle zaten çözülebiliyor mu, yoksa çözülemiyor mu. Bu soruya cevap almadan ince ayara girmek, hangi hastalığa ilaç yazdığınızı bilmeden ilaç yazmak.

Zero-shot yetmiyorsa ikinci adım genelde prompt'u düzeltmek, üçüncü adım da örnek koymak oluyor. Uygulamada gördüğümüz şu: ince ayar gerektirdiği düşünülen işlerin çoğu, prompt'ta biçim ve kapsam netleştirilince çözülüyor. Model işi bilmiyor değil, ne istendiğini bilmiyor.

Örnek koymanın da bir sınırı var. Her örnek prompt'u uzatıyor, her istek o uzunluğun parasını ödüyor ve belli bir noktadan sonra yeni örnek doğruluğu artırmıyor. O noktaya geldiyseniz ince ayar konuşulabilir.

Dört durumda ince ayar açık ara kazanıyor. Birincisi, çıktının biçimi çok katıysa ve her seferinde aynı olması gerekiyorsa. İkincisi, işin dili kuruma özgüyse — modelin eğitim verisinde hiç geçmemiş terimler, ürün kodları, iç kısaltmalar.

Üçüncüsü, gecikme ya da maliyet baskısı varsa: ince ayarlı küçük bir model, uzun prompt'lu büyük bir modelden hem daha hızlı hem daha ucuz çalışıyor ve fark istek başına değil, ay sonunda görülüyor. Dördüncüsü, elinizde gerçekten iyi etiketlenmiş birkaç bin örnek varsa.

Bu dördü yoksa ince ayar genelde işi yavaşlatıyor. Bir modeli eğitmek zor değil; asıl zor olan onu üç ay sonra güncelleyebilmek.

Hiçbiri karşılaştırılabilir bir ölçüm olmadan konuşulmuyor. Elli ile iki yüz arasında gerçek örnekten oluşan, doğru cevabı elle yazılmış bir küme kuruluyor; üç yaklaşım da aynı küme üzerinde çalıştırılıyor.

Bakılan sayı üç tane: doğruluk, istek başına maliyet ve yanıt süresi. İnce ayarın doğruluğu few-shot'ı anlamlı biçimde geçmiyorsa karar verilmiş demektir — çünkü diğer iki yaklaşımın bakım maliyeti çok daha düşük.

Bu kümeyi kurmak bir günü alıyor ve genelde projenin en getirili günü oluyor. Ölçüsü olmayan bir seçim, seçim değil; tercih.