Rehber bağlantılı sınav · Sert Seviye

Ayrıştırılmış Önceden Doldurma ve Kod Çözme Sunumu Testi

Önceden doldurmayı ve darboğazların kodunu çözmeyi, KV önbellek aktarımını, faz girişimini, kaynak ayarlamayı ve ayrıştırılmış hizmet sistemlerini kontrol eder.

İlgili kılavuz yollarıAyrıştırılmış Önceden Doldurma ve Kod Çözme Sunumu
Soru 1 arasında 8

Ön doldurma ve kod çözmeyi farklı GPU havuzlarına ayırmanın temel donanım nedeni nedir?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. Ön doldurma ve kod çözmeyi farklı GPU havuzlarına ayırmanın temel donanım nedeni nedir?
    • Kod çözme bellek bant genişliğine bağlıyken ön doldurma hesaplamaya bağlıdır
    • Farklı programlama dilleri kullanıyorlar
    • Kod çözme, önceden doldurmadan daha fazla elektrik gerektirir
    • Ön doldurma GPU'larda hiçbir şekilde çalıştırılamaz
  2. Ön doldurma çalışanlarından kod çözme çalışanlarına hangi veri yapısının aktarılması gerekir?
    • Model ağırlıkları
    • KV (anahtar/değer) önbelleği
    • Tokenizer sözlüğü
    • Optimize edici durumu
  3. Paylaşılan GPU kurulumunda ayrıştırma özellikle hangi sorunu azaltır?
    • GPU sürücüsü çöküyor
    • İnternette ağ paketi kaybı
    • Uzun bir ön dolumun diğerlerinin kod çözme işlemini geciktirdiği hat başı engelleme
    • Modeli halüsinasyon
  4. Neden ön dolum agresif bir şekilde gruplandırılabiliyor ama farklı ayarlamalardan elde edilen faydalar çözülebiliyor?
    • Kod çözme hiçbir zaman GPU'yu kullanmaz
    • Ön doldurma günde yalnızca bir kez çalışır
    • Ön dolum sırasında gruplama mümkün değildir
    • Önceden doldurma belirteçleri paralel olarak okunur ve geçiş başına işlem kullanımı en üst düzeye çıkarılır
  5. KV önbelleğini ayrıştırılmış havuzlar arasında taşımak için genellikle hangi ara bağlantılar kullanılır?
    • NVLink veya InfiniBand
    • Çevirmeli modemler
    • USB 2.0 kabloları
    • Bluetooth
  6. Hangi adlandırılmış sistemler, ayrıştırılmış önceden doldurma/kod çözme sunumuyla ilişkilendirilir?
    • TCP, UDP ve HTTP
    • DistServe, Splitwise ve Mooncake
    • Word, Excel ve PowerPoint
    • JPEG, PNG ve GIF
  7. Why must the KV cache produced during prefill be available to the decode workers?
    • It contains the model’s optimizer state
    • It stores the user’s GPU allocation
    • Decode uses cached prompt keys and values to generate subsequent tokens without recomputing the whole prompt
    • It is needed only to calculate validation accuracy
  8. What is a resource-allocation benefit of separating prefill and decode pools?
    • Both phases must use identical batch sizes
    • The model no longer needs a KV cache
    • The scheduler can eliminate all network communication
    • Each phase can be sized and parallelized for its own compute or memory bottleneck