İstemi koda gömmek: teknik borcun yeni biçimi

Yazının tamamı

Yapay zekâ özelliği eklenen bir uygulamada istemler genellikle en pratik yere yazılır: çağrının yapıldığı fonksiyonun içine. İlk hafta bu doğru karardır — hızlıdır ve iş görür. Altıncı ayda aynı karar, ürünün en yavaş değişen parçasını üretmiş olur.

Tanıdık bir hikâye. On yıl önce SQL sorguları da uygulama kodunun içine gömülüydü ve her sorgu değişikliği bir dağıtım gerektiriyordu. Sonuç aynı: metin değişikliği mühendislik işine dönüşüyor.

Gömülü istemin dört maliyeti

Dördüncüsü en sinsi olanı. İstem aslında bir ürün metnidir: tonu, kapsamı ve sınırları alan bilgisi gerektirir. Kod içine gömüldüğünde bu metni yazma yetkisi, yazması gereken kişiden alınmış olur.

İstem bir yapılandırmadır

Çözüm karmaşık değil: istemler koddan ayrı, sürümlenen bir yerde durur ve uygulama onları bir kimlikle çağırır. Bundan sonra istem değişikliği bir yapılandırma işidir, dağıtım işi değil.

Sürümleme, değişikliği geri alınabilir yapar

İstem değiştiğinde davranış değişir ve bazen kötüleşir. Sürüm tutulmuyorsa geri dönülecek bir nokta da yoktur; elde yalnızca “dün daha iyiydi” gözlemi kalır.

Burada değerlendirme setiyle bağ kuruluyor. Sürümlenmiş bir istem ve koşulabilir bir eval seti bir arada olduğunda, her değişiklikte hangi kategorinin gerilediği ölçülebilir. İkisinden biri eksikse ölçüm de eksik.

Model değiştiğinde ne oluyor

Modeller eskiyor ve daha ucuz ya da daha güçlü bir sürüm çıktığında geçiş yapmak isteniyor. İstemler kodun içine dağılmışsa geçiş bir arama-değiştirme operasyonuna dönüşüyor ve hangi istemin yeni modelde nasıl davrandığı tek tek denenmek zorunda kalıyor.

İstemler tek yerde durduğunda aynı geçiş, yapılandırma değişikliği ve bir eval koşusu oluyor. Fark, saatlerle günler arasında.

Nereden başlamalı

Üçü de mimari değişikliği gerektirmiyor. Kazanç, ilk geri alma gereken günde ortaya çıkıyor.

Sözlükten: Model orkestrasyonu · Değerlendirme seti (eval)

← Tüm yazılar