// YAPAY ZEKÂ
Kaç model, kaç para? Yapay zekâ maliyetini hesaplamak
6 dk okumanijitech
İşlem başına maliyet küçüktür ve pilotta görünmez; hacimle çarpılınca faturanın tamamını belirler. Maliyeti ölçmenin ve düşürmenin pratik yolu.
Yazının tamamı
Yapay zekâ maliyeti, bütçesi yapılırken en çok yanlış tahmin edilen kalemlerden biri. Sebebi karmaşık bir formül değil, basit bir yanılsama: pilotta ödenen tutar o kadar küçüktür ki hiç kimse üzerinde durmaz. Sistem üretime geçtiğinde aynı küçük tutar, hacimle çarpılıp faturanın tamamı hâline gelir.
Maliyeti belirleyen üç sayı
Bir yapay zekâ sisteminin model maliyeti aslında üç sayının çarpımıdır: işlem başına çağrı sayısı, çağrı başına işlenen metin miktarı ve seçilen modelin birim fiyatı. Üçünden herhangi biri iki katına çıktığında fatura da iki katına çıkar; üçü birden artarsa sekiz katına.
Bütçe yapılırken sorulacak sorular
- Bir iş kaç model çağrısı gerektiriyor — bir tane mi, zincirleme beş tane mi?
- Çağrı başına ne kadar bağlam gönderiliyor; tamamı gerekli mi?
- Bu iş gerçekten en güçlü modeli mi istiyor, yoksa alışkanlıktan mı oraya gidiyor?
- Hacim on katına çıkarsa bu üç sayının hangisi büyür?
Her işi en güçlü modele göndermek
Bir metni iki kategoriden birine ayırmakla, çok adımlı bir analiz yürütmek aynı yeteneği gerektirmez. Ama uygulama kodunda tek bir model adı yazılıysa, ikisi de aynı yere gider. Sınıflandırma gibi basit işler tipik olarak toplam çağrıların büyük bölümünü oluşturur; bunları daha küçük bir modele yönlendirmek, faturanın hissedilir bir kısmını doğrudan siler.
Gecikme, maliyetin görünmeyen yarısı
Maliyet yalnızca faturada değil, bekleme süresinde de birikir. Kullanıcının yanıt için beklediği her saniye, o özelliğin kullanılma oranını düşürür. Daha küçük bir model genellikle hem daha ucuz hem daha hızlıdır; yani bu iki iyileştirme çoğu zaman aynı karardan çıkar.
İşin bir kısmını kullanıcıya yakın yerde çalıştırmak da aynı denklemi değiştirir. Merkezî sunucuya gitmeyen bir işlem hem gecikme hem çağrı maliyeti üretmez.
Kararı nereye yazdığınız önemli
Hangi işin hangi modele gideceği bilgisi uygulama koduna gömülüyse, her fiyat değişikliği ve her yeni model bir geliştirme işine dönüşür. Aynı karar bir yönlendirme katmanında dursaydı, yapılandırma işi olurdu. Modeller eskir; hattın kendisi kalır.
Özet
Maliyeti düşürmenin dört pratik yolu
- Basit işleri küçük modele yönlendirin — hacmin büyük kısmı oradadır
- Gönderilen bağlamı kırpın; tamamı nadiren gereklidir
- Gecikmeyi de maliyet kalemi sayın, ayrı bir konu değil
- Model seçimini koda değil yapılandırmaya yazın
Bu dördü bir arada uygulandığında kazanç yüzde birkaç değil, kat düzeyinde olur — ve hiçbiri doğruluktan feragat etmeyi gerektirmez.
Sözlükten: Model orkestrasyonu · Edge ölçeklenme