Yapay Zeka Çıkarımı

Bir istek genellikle girdi doğrulama, ön işleme, model ve çıktı işleme aşamalarından geçer. Bir metin hizmeti, bir istemi belirtebilir, belirteçler oluşturmak için modeli tekrar tekrar çalıştırabilir ve yanıtı bir araya getirebilir. Alma ve harici araçlar, modelin çevresine daha fazla aşama ekleyebilir. Zamanları ve hataları kullanıcı deneyimine sayılır. Gecikmeyi ve verimi ayrı ayrı ölçün. Gecikme, bir isteğin ne kadar süreceğidir; Verim, sistemin bir dönemde kaç isteği tamamladığıdır. İsteklerin toplu olarak işlenmesi, bireysel bir istek için bekleme süresini artırırken verimi artırabilir. Akış, bitirmek için gereken süreyi kısaltmadan bir yanıtın daha erken başlamasını sağlayabilir. Donanım belleği model ağırlıklarından daha fazlasını barındırmalıdır. Çalışma arabellekleri, eşzamanlı istekler ve önbelleğe alınmış gösterimler de belleği tüketir. Daha uzun girdiler ve çıktılar sunum maliyetini değiştirebilir; bu nedenle kısa bir gösterim istemi yerine gerçek iş yükü dağılımını test edin. Çıkarım dağıtımının, model yanıt veremediğinde sınırlara, zaman aşımlarına ve kullanılabilir bir yanıta ihtiyacı vardır. Sürümlendirilmiş bir değerlendirme seti tutun ve hassasiyeti, toplu işlemi, model sürümlerini veya ön işlemeyi değiştirdikten sonra çıktıları karşılaştırın. Bir optimizasyon yalnızca görevin gerektirdiği kaliteyi koruyorsa faydalıdır.