Hizmet
LLM altyapısı ve maliyet
LLM altyapısı, dil modeli çağrılarının nereden geçtiğini, ne kadar tuttuğunu ve kesildiğinde ne olacağını belirleyen katmandır. Zero-Shot bu katmanı kurar: model sağlayıcısı değiştirilebilir kalır, her isteğin maliyeti görünür olur ve gerektiğinde sistem tamamen kendi sunucunuzda çalışır.
Ne kuruyoruz
- 01Model sağlayıcısını soyutlayan geçit katmanı — tek satıcıya bağlanmadan
- 02İstek bazında maliyet, gecikme ve hata takibi; ekip ve ürün bazında raporlama
- 03Önbellekleme ve istek yönlendirme: ucuz model rutin işi, güçlü model zor işi
- 04Kendi donanımınızda açık ağırlıklı model çalıştırma ve ölçekleme
- 05Kota, hız sınırı ve devre kesici — sağlayıcı çöktüğünde sistem ayakta kalıyor
Nasıl ilerliyor
01
Mevcut harcamanın dökümü
Hangi çağrı ne kadar tutuyor, çıkarılıyor. Maliyetin çoğu genelde beklenmedik bir yerde toplanmış oluyor.
02
Geçit katmanı
Bütün çağrılar tek kapıdan geçmeye başlıyor. Bu adımdan sonra ölçüm, yönlendirme ve sağlayıcı değişimi mümkün hâle geliyor.
03
Ucuza indirme
Önbellek, istem kısaltma ve model yönlendirme uygulanıyor. Her değişiklik kalite değerlendirme setiyle birlikte ölçülüyor.
04
Dayanıklılık
Sağlayıcı kesintisi, hız sınırı ve fiyat değişimi senaryoları deneniyor. Yedek yol çalışmıyorsa yedek değildir.
Neyi ölçüyoruz
- İstek başına maliyet ve toplam aylık maliyet eğrisi
- p50 ve p95 gecikme — ortalama gecikme yanıltıcıdır
- Önbellek isabet oranı
- Sağlayıcı kesintisinde ayakta kalma süresi
- Maliyet düşerken kalite değerlendirme setindeki değişim
Ne zaman uygun değil
Aylık çağrı hacmi düşükse bu katman gereksiz karmaşıklık getirir; doğrudan sağlayıcı çağrısı yeterli. Kendi donanımında model çalıştırmak da her zaman ucuz değil — düşük ve dalgalı hacimde bulut genelde daha ucuz kalıyor, bunu hesaplayıp söylüyoruz.
Sektöre göre
Aynı iş her sektörde aynı yürümüyor. Ayrıntılar burada.
Sık sorulanlar
Kendi sunucumuzda model çalıştırmak daha mı ucuz?
Hacme bağlı. Yüksek ve sürekli hacimde kendi donanımınız belirgin şekilde ucuza gelebiliyor; düşük veya dalgalı hacimde bulut daha ucuz kalıyor çünkü boşta duran donanımın maliyeti devam ediyor. Kararı sizin gerçek trafik verinizle hesaplayıp veriyoruz.
Sağlayıcı fiyat artırırsa ne oluyor?
Geçit katmanının varlık sebebi bu. Uygulama kodunu değiştirmeden başka bir sağlayıcıya ya da kendi modelinize geçebiliyorsunuz. Geçişin kaliteyi bozmadığı, aynı değerlendirme seti üzerinde ölçülerek doğrulanıyor.
Veri gizliliği açısından ne değişiyor?
Hangi isteğin hangi sağlayıcıya gittiği kural olarak yazılabiliyor: hassas veri içeren istekler yerel modele, diğerleri buluta yönlendirilebiliyor. Bu ayrım geçit katmanında uygulanıyor ve kaydediliyor.
Diğer hizmetler
Bu konuda yazdıklarımız
- Yapay zekâ ajanı projeleri neden başarısız oluyorDemo'da etkileyici çalışan ajanlar gerçek kullanımda neden duruyor? Araç tasarımı, hata toparlama, insana devretme ve maliyet tavanı üzerine dört gözlem.
- Kurumsal veriyi yapay zekâya vermek güvenli miŞirket verisi bir dil modeline gidince ne oluyor? Sağlayıcı sözleşmeleri, eğitime kullanım, KVKK, yurt dışına aktarım ve kendi sunucunuzda çalıştırma.
- LLM faturası nasıl öngörülebilir hâle gelirYapay zekâ maliyeti neden ay sonunda sürpriz olur, nasıl kontrol edilir: model kademelendirme, prompt önbelleği, çıktı uzunluğu ve istek başına tavan.
Son güncelleme: 2026-09-05
Bu işi konuşalım
Ne yapmak istediğinizi yazın, iki gün içinde kimin bakacağını ve nasıl ölçeceğimizi söyleyelim.