Rehber bağlantılı sınav · Sert Seviye

Sürekli Gruplama Testi

İstekleri sürekli olarak kabul etmenin neden sıfır beklemeyi garanti etmediği de dahil olmak üzere yineleme düzeyinde LLM toplu işlemlerini, kapasite sınırlarını ve önceden doldurma ödünleşimlerini uygulayın.

İlgili kılavuz yollarıSürekli Dozajlama
Soru 1 arasında 8

LLM sunumu için statik (sabit) toplu işlemin ana zayıflığı nedir?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. LLM sunumu için statik (sabit) toplu işlemin ana zayıflığı nedir?
    • Yalnızca CPU'larda çalışabilir
    • Önce tüm verilerin etiketlenmesini gerektirir
    • Kısa istekler erken biter ancak grup en uzun olanı beklerken yuvaları boşta kalır
    • Modeli daha az doğru hale getirir
  2. Sürekli toplu işlem istekleri hangi ayrıntı düzeyinde ekler ve kaldırır?
    • Günde bir kez
    • Kod çözme adımı başına (bir seferde bir jeton)
    • Yalnızca tam istek başına
    • Eğitim dönemi başına
  3. A continuous-batching request finishes and frees capacity. What can the scheduler do next?
    • Restart every remaining request from its first token
    • Guarantee every queued request runs immediately
    • Discard the finished answer without returning it
    • Admit eligible queued work if its resource budgets allow
  4. Hangi teknik, dizileri ekleme/çıkarmayı ucuz hale getirmek için doğal olarak sürekli gruplamayla eşleşir?
    • PagedAttention'ın blok tabanlı KV önbelleği
    • FP32 çift hassasiyetli
    • Disk değiştirme
    • Manuel veri etiketleme
  5. Yineleme düzeyinde (sürekli) gruplamanın yaygınlaştırılmasında yaygın olarak hangi araştırma makalesine itibar edilir?
    • Orijinal Transformer kağıdı
    • Orca kağıdı
    • 1980'lerden kalma bir veritabanı makalesi
    • ImageNet makalesi
  6. What utilization problem can continuous batching reduce compared with a fixed request batch?
    • Every model accuracy error
    • The need to store any KV cache
    • All queueing at any traffic rate
    • Waiting for the longest request before admitting new eligible work
  7. A continuous-batching server has reached its memory budget. Must a newly arrived request enter the next iteration?
    • No; admission can wait until suitable capacity is available
    • Yes; the name guarantees unlimited request admission
    • Yes; the server removes all active outputs automatically
    • Only if the request has no punctuation
  8. A long prompt’s prefill delays tokens for already decoding requests. Which serving objective exposes that tradeoff?
    • Measure only the weight-file name
    • Assume more admitted prompts always improve every latency
    • Measure time between decode tokens alongside throughput
    • Count only the number of model layers