Üretimde prompt nasıl yazılır

Üretimdeki bir prompt, sistemin geri kalanıyla sözleşme yapıyor: şu girdiyi alacak, şu biçimde çıktı verecek. Sözleşme yazılı değilse her taraf farklı bir şey varsayıyor ve hata ancak kullanıcı şikâyet edince görünüyor.

Uygulamada işe yarayan yapı dört parçalı: rol ve kapsam, kurallar, biçim tarifi, sonra veri. Sırası da önemli — sabit bölümler başta durunca sağlayıcının prompt önbelleği devreye giriyor ve maliyet düşüyor.

Veri en sona konuyor ve açıkça işaretleniyor. Kullanıcıdan gelen metnin nerede başlayıp bittiği belli değilse, o metnin içindeki bir cümle talimat gibi okunabiliyor.

'Kısa ve profesyonel bir özet yaz' cümlesi ölçülemez. Kısa kaç kelime? Profesyonel neye göre? Model her seferinde farklı yorumluyor ve tutarsızlık kullanıcıya yansıyor.

Aynı talimatın işe yarar hâli şöyle: en fazla üç cümle, üçüncü şahıs, rakam varsa koru, kaynakta olmayan bilgi ekleme. Ölçülebilir, denetlenebilir, tartışılamaz.

İyi bir sınama var: prompt'u işi bilen bir stajyere verin. Çıkan iş beklediğinizden farklıysa sorun modelde değil, tarifte.

Prompt'ların çoğu yalnızca istenen davranışı anlatıyor. Oysa üretimde sorun çıkaran şey istenmeyen davranış: uydurma, gereksiz uzatma, soruyu cevaplamak yerine yorumlama, elindeki veride olmayan bir şeyi varsayma.

Sınırlar açıkça yazılmalı ve bir de çıkış yolu verilmeli. 'Bilgi kaynakta yoksa cevap verme, bilmiyorum yaz' gibi bir cümle, modelin uydurmak yerine durmasını sağlıyor — çünkü aksi hâlde model boş dönmeyi başarısızlık sayıyor.

Prompt kod kadar kırılgan ama genelde kodun aldığı özenin hiçbirini almıyor: bir yere yapıştırılıyor, biri değiştiriyor, kimse ne değiştiğini bilmiyor.

Gereken üç şey basit. Prompt kodla birlikte sürüm kontrolünde dursun. Her çıktı hangi prompt sürümüyle üretildiyse onunla birlikte kaydedilsin. Ve değişiklikler doğrudan üretime değil, önce değerlendirme kümesine gitsin.

Bu düzen kurulduğunda 'geçen hafta daha iyiydi' tartışması bitiyor; hangi sürümün ne skor aldığı yazılı oluyor.

Prompt değişiklikleri aldatıcı: bir vakayı düzeltirken üç vakayı bozmak çok sık görülüyor ve elle bakıldığında fark edilmiyor.

Elli-iki yüz vakalık bir küme, her değişiklikten sonra dakikalar içinde çalışıyor. Skor düştüyse değişiklik geri alınıyor; çıktıysa neyin düzeldiği yazılıyor.

Bu kümeyi kurmadan prompt geliştirmek, testsiz kod yazmakla aynı. Bir süre yürüyor, sonra kimsenin sebebini bulamadığı bir bozulma geliyor.