Yapay Zeka Sözlüğü Terimi

Gecikme nedir?

Tanım

Bir isteğin gönderilmesi ile modelin çıktısının alınması arasındaki süre.

Yapay Zeka Sözlüğünün tamamına göz atınTüm ücretsiz AI kılavuzlarını keşfedin

İlgili terimler

Dikkat MekanizmasıBir çıktı üretirken girdinin ilgili kısımlarına dinamik olarak odaklanan bir model bileşeni.Otonom SistemGerçek zamanlı olarak sınırlı veya doğrudan insan kontrolü olmadan kararlar alabilen ve hareket edebilen bir sistem.KLİPMetin ve görüntüler arasındaki paylaşılan temsilleri öğrenen çok modlu bir model mimarisi.Veri KaymasıGerçek dünya giriş verilerinde zaman içinde model performansını düşürebilecek bir değişim.Çıkarım Zamanı HesaplamasıHer yanıt üretilirken tüketilen işlem gücü miktarı.Bilgi KesintisiBir modelin eğitim verilerine yansıyan zamandaki en son nokta.

Ücretsiz kılavuzlarımızdan daha fazlasını öğrenin

Tail Latency in Model ServingReducing LLM App LatencyTime to First Token and Latency Metrics

Ayrıca bakınız

Label SmoothingLarge Language Model (LLM)Knowledge GraphLearning RateKnowledge DistillationLoRA (Low-Rank Adaptation)Loss FunctionJailbreak