Elli örnek bir yön veriyor, yüz-iki yüz arası çoğu proje için karar verdirecek kadar sağlam. Bundan sonrası ancak vaka çeşitliliği artıyorsa anlamlı; aynı türden beş yüz örnek, farklı türden yüz örnekten az şey öğretiyor.

Model çıktısını modele puanlatmak güvenilir mi?

Ölçütler yazılıysa ve hakem düzenli olarak insan puanıyla karşılaştırılıyorsa evet. Ölçüt yazmadan 'bu cevap iyi mi' diye sormak güvenilir değil — hakem model uzun ve kibar cevapları sistematik olarak yüksek puanlıyor.

Bu kümeyi kurmak ne kadar sürüyor?

İlk sürümü genelde bir gün. Asıl iş toplamak değil, doğru cevabı yazmak; o da işi bilen bir kişiyle birlikte yapılıyor. Projenin en getirili günü çoğu zaman bu oluyor.

← Bütün notlar

Ölçüm

Değerlendirme seti nasıl kurulur

Değerlendirme seti, sisteminizin doğru çalışıp çalışmadığını söyleyen örnek kümesidir: girdi, beklenen çıktı ve neyin doğru sayıldığının tanımı. Yapay zekâ projelerinde demo ile ürün arasındaki tek gerçek fark budur. Elli örnekle başlar, projenin ömrü boyunca büyür.

Yayın: 2026-09-04
Üreten: Zero-Shot Team
3 dk okuma

Neden bir test kümesi kaçınılmaz

Klasik yazılımda aynı girdi aynı çıktıyı verir; bozulduğunda test kırmızıya döner. Dil modellerinde böyle bir garanti yok. Prompt'ta bir kelime değişiyor, sağlayıcı modeli güncelliyor, sıcaklık ayarı kayıyor — sistem sessizce başka türlü davranmaya başlıyor.

Değerlendirme seti bu sessizliği bozan şey. Onsuz kalite tartışması bir izlenim tartışmasına dönüyor: 'bana daha iyi geldi' ile 'bana kötü geldi' arasında hakem yok.

Örnekler nereden geliyor

En kötü kaynak hayal gücü. Ekipçe oturup soru uydurmak, sistemin kolay bulduğu soruları üretiyor; gerçek kullanıcı hep başka türlü soruyor.

İyi kaynaklar sırayla: destek kayıtları, arama günlükleri, gerçek kullanıcılarla yapılan ilk hafta oturumları ve sistemin zaten yanlış cevapladığı vakalar. Son grup en değerlisi — her düzeltilen hata kümeye kalıcı olarak ekleniyor ve bir daha geri dönmüyor.

Kümenin dengesi de önemli: kolay vakalar, sınırdaki vakalar ve olmaması gereken vakalar birlikte bulunmalı. Yalnızca kolay vakalardan oluşan bir küme her zaman yüksek not verir ve hiçbir şey öğretmez.

Neyin doğru sayıldığını yazmak

İşin en zor kısmı örnek toplamak değil, 'doğru' kelimesinin tanımını yazmak. Serbest metin üreten bir sistemde tek bir doğru cevap yok; kelimesi kelimesine karşılaştırma işe yaramıyor.

Uygulamada üç yöntem kullanılıyor. Kesin kontroller: cevapta olması gereken bilgi var mı, kaynak doğru belgeyi mi gösteriyor, biçim geçerli mi. Kural kontrolleri: yasak ifade kullanılmış mı, uydurulmuş bir sayı var mı. Ve hakem model: cevabı, elle yazılmış ölçütlere göre başka bir modele puanlatmak.

Üçü birlikte kullanılıyor ve hakem modelin kendisi de örneklem üzerinden insan puanıyla karşılaştırılıyor. Denetlenmemiş bir hakem, ölçüm gibi görünen ama ölçüm olmayan bir şey üretiyor.

Ne zaman çalıştırılıyor

Küme, prompt'a dokunulan her seferde, model sürümü değiştiğinde ve yayına çıkmadan önce çalışıyor. Elli-yüz örnekli bir küme dakikalar sürüyor, yani her değişiklikte çalıştırmanın maliyeti neredeyse yok.

Sonuç tek sayı olarak değil, kırılım hâlinde okunuyor: hangi vaka türünde düştü. Toplam puan sabit kalırken sınır vakalarının bozulması sık görülen bir durum ve yalnızca kırılıma bakınca fark ediliyor.

Kime ait olduğu

Değerlendirme seti teslimin parçası ve müşteride kalıyor. Sebebi ilkesel değil, pratik: bizden sonra sistemi kim sürdürürse sürdürsün, doğru çalıştığını kanıtlayan aracın onun elinde olması gerekiyor.

Bu aynı zamanda işin bittiğinin tanımı. 'Sistem hazır' cümlesi ölçülebilir bir şey söylemiyor; 'bu küme üzerinde şu eşiği geçiyor' söylüyor.

Kısaca

Elli örnekle başlayın; uydurulmuş değil, gerçek kullanımdan gelen örneklerle.
Her düzeltilen hatayı kümeye kalıcı olarak ekleyin.
'Doğru'nun tanımını yazın: kesin kontrol, kural kontrolü ve denetlenmiş hakem model.
Prompt ve model değişikliklerinde her seferinde çalıştırın, sonucu kırılımla okuyun.
Küme müşteride kalır — işin bittiğinin tanımı odur.

Sık sorulanlar

Kaç örnek yeterli?: Elli örnek bir yön veriyor, yüz-iki yüz arası çoğu proje için karar verdirecek kadar sağlam. Bundan sonrası ancak vaka çeşitliliği artıyorsa anlamlı; aynı türden beş yüz örnek, farklı türden yüz örnekten az şey öğretiyor.
Model çıktısını modele puanlatmak güvenilir mi?: Ölçütler yazılıysa ve hakem düzenli olarak insan puanıyla karşılaştırılıyorsa evet. Ölçüt yazmadan 'bu cevap iyi mi' diye sormak güvenilir değil — hakem model uzun ve kibar cevapları sistematik olarak yüksek puanlıyor.
Bu kümeyi kurmak ne kadar sürüyor?: İlk sürümü genelde bir gün. Asıl iş toplamak değil, doğru cevabı yazmak; o da işi bilen bir kişiyle birlikte yapılıyor. Projenin en getirili günü çoğu zaman bu oluyor.

Başka notlar

Bütün notlar →