İçeriğe geç
Zero-ShotTeam
← Bütün notlar

Ajanlar

Ajan projeleri neden başarısız oluyor

Yapay zekâ ajanı, bir işi tek seferde cevaplamak yerine adım adım yürüten, araç çağıran ve gerektiğinde kendini düzelten bir sistem. Kurulumu bir haftada gösteriye hazır oluyor. Üretimde ayakta kalanla kalmayanı ayıran şey model değil; araçların nasıl tasarlandığı ve hata anında ne olduğu.

Yayın
Üreten
Zero-Shot Team
3 dk okuma

Araçlar modele göre değil, insana göre yazılmış oluyor

Bir ajan ancak elindeki araçlar kadar iyi. Çoğu projede araçlar mevcut API'lerin doğrudan sarmalanmasıyla üretiliyor: on dört parametreli, yarısı zorunlu, hata mesajı olarak durum kodu dönen fonksiyonlar.

İyi araç, dar ve tek işlidir. Parametreleri azdır, adları ne işe yaradığını söyler, hata döndüğünde ne yapılması gerektiğini metinle anlatır. 'Geçersiz istek' yerine 'başlangıç tarihi bitiş tarihinden sonra olamaz' yazan bir hata, ajanın kendini düzeltmesini sağlıyor.

Uygulamada en çok işe yarayan değişiklik genelde araç sayısını azaltmak oluyor. Otuz araç arasından seçim yapan bir ajan, sekiz araç arasından seçim yapandan belirgin biçimde daha çok yanlış seçiyor.

Hata durumu tasarlanmamış oluyor

Demo'da her çağrı başarılı dönüyor. Üretimde API zaman aşımına uğruyor, kayıt bulunamıyor, yetki reddediliyor. Bu durumların ne anlama geldiği ajana söylenmemişse ajan ya döngüye giriyor ya da hatayı görmezden gelip uydurmaya başlıyor.

Üç şey gerekiyor: her aracın dönebileceği hata türlerinin sayılı olması, aynı adımın kaç kez denenebileceğinin sınırlı olması ve toplam adım sayısında bir tavan bulunması. Tavansız bir ajan, bir gece boyunca aynı çağrıyı yapıp sabaha fatura bırakabiliyor.

İnsana devretme yolu yok

Ajanların en çok değer ürettiği yer, işin yüzde doksanını yapıp kalanını insana bırakmaları. Buna karşılık çoğu sistem ya hepsini yapmaya çalışıyor ya da hiç.

Devretme noktalarının önceden yazılması gerekiyor: tutar bir eşiği aşarsa, güven düşükse, aynı adım iki kez başarısız olduysa dur ve sor. Bu noktalar sisteme sonradan eklenmiyor — akışın parçası olarak tasarlanıyor.

Devretme aynı zamanda bir kabul mekanizması. İnsanın onayladığı her adım, sonraki sürüm için bir eğitim örneği ve bir değerlendirme vakası oluyor.

Maliyet üretimde patlıyor

Bir ajan çağrısı tek bir model isteği değil; on beş, yirmi, bazen elli istek. Demo'da bu fark görünmüyor çünkü günde on kez çalışıyor. Günde on bin kez çalıştığında aynı akış kurumun en pahalı kalemi hâline gelebiliyor.

İlk günden ölçülmesi gereken sayı işlem başına toplam jeton ve toplam süre. Adımların çoğu küçük bir modele düşürülebiliyor; yalnızca karar veren adımın büyük modelde kalması yeterli oluyor.

Ne zaman ajan kurmamalı

İş sabit bir sırayla ilerliyorsa ajan gereksiz. Beş adımı belli, dallanması az bir akış için normal bir program yazmak hem daha ucuz hem daha öngörülebilir.

Ajan, adımların sırasının önceden bilinemediği işler için var: gelen duruma göre hangi aracın çağrılacağı değişiyorsa. Bu belirsizlik yoksa ajan mimarisi yalnızca maliyet ve hata yüzeyi ekliyor.

Kısaca

  • Araçları dar ve az tutun; hata mesajları ne yapılacağını söylesin.
  • Deneme sayısına ve toplam adıma tavan koyun.
  • Devretme noktalarını baştan yazın: eşik, düşük güven, tekrarlanan hata.
  • İşlem başına jeton ve süreyi ilk günden ölçün; karar adımı dışındakileri küçük modele düşürün.
  • Sırası belli işlerde ajan kurmayın — normal program daha ucuz ve daha öngörülebilir.

Sık sorulanlar

Ajan çerçevesi (framework) kullanmalı mıyım?
Küçük işlerde çerçeve genelde fazla geliyor: bir döngü, bir araç listesi ve bir durum nesnesi yeterli. Çerçeveler çok adımlı, paralel ve uzun süren akışlarda değer üretiyor. Seçerken bakılacak şey, akışı durdurup incelemenin ve tek bir adımı yeniden çalıştırmanın ne kadar kolay olduğu.
Ajanın doğru çalıştığını nasıl ölçerim?
İki ayrı ölçüm gerekiyor: son çıktı doğru muydu, ve adımların sırası makul muydu. İkincisi olmadan, yanlış yoldan doğru sonuca ulaşan bir ajanı doğru sanıyorsunuz — o ajan girdi biraz değişince çöküyor.
Ajanı üretime almadan önce ne kadar test lazım?
Gerçek kullanımdan gelen elli senaryo, hata durumları dahil. Ayrıca ilk dönem için insan onayı zorunlu tutulup, onay oranı yüksek kaldığı ölçüde kademeli olarak gevşetiliyor.

Başka notlar

Bütün notlar →