Quiz lié à un guide · Difficile Niveau

Quiz de pré-remplissage et de décodage désagrégé

Vérifie les goulots d'étranglement de pré-remplissage et de décodage, le transfert de cache KV, les interférences de phase, le réglage des ressources et les systèmes de service désagrégés.

Chemins de guidage associésService de préremplissage et de décodage désagrégé
Question 1 de 8

Quelle est la raison matérielle principale pour laquelle le pré-remplissage et le décodage sont séparés sur différents pools de GPU ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Quelle est la raison matérielle principale pour laquelle le pré-remplissage et le décodage sont séparés sur différents pools de GPU ?
    • Le pré-remplissage est lié au calcul tandis que le décodage est lié à la bande passante mémoire
    • Ils utilisent différents langages de programmation
    • Le décodage nécessite plus d'électricité que le pré-remplissage
    • Le pré-remplissage ne peut pas du tout fonctionner sur les GPU
  2. Quelle structure de données doit être transférée des travailleurs de pré-remplissage aux travailleurs de décodage ?
    • Les poids du modèle
    • Le cache KV (clé-valeur)
    • Le vocabulaire du tokenizer
    • L'état de l'optimiseur
  3. Quel problème la désagrégation réduit-elle spécifiquement dans une configuration avec GPU partagé ?
    • Le pilote GPU plante
    • Perte de paquets réseau sur Internet
    • Blocage de tête de ligne lorsqu'un long pré-remplissage bloque le décodage des autres
    • Hallucination du modèle
  4. Pourquoi le pré-remplissage peut-il être groupé de manière agressive mais décoder les avantages de différents réglages ?
    • Le décodage n'utilise jamais le GPU
    • Le pré-remplissage ne s'exécute qu'une fois par jour
    • Le regroupement est impossible pendant le pré-remplissage
    • Les jetons de pré-remplissage sont lus en parallèle, maximisant l'utilisation du calcul par passe
  5. Quelles interconnexions sont généralement utilisées pour déplacer le cache KV entre des pools désagrégés ?
    • NVLink ou InfiniBand
    • Modems commutés
    • Câbles USB 2.0
    • Bluetooth
  6. Quels systèmes nommés sont associés à la diffusion de pré-remplissage/décodage désagrégé ?
    • TCP, UDP et HTTP
    • DistServe, Splitwise et Mooncake
    • Word, Excel et PowerPoint
    • JPEG, PNG et GIF
  7. Why must the KV cache produced during prefill be available to the decode workers?
    • It contains the model’s optimizer state
    • It stores the user’s GPU allocation
    • Decode uses cached prompt keys and values to generate subsequent tokens without recomputing the whole prompt
    • It is needed only to calculate validation accuracy
  8. What is a resource-allocation benefit of separating prefill and decode pools?
    • Both phases must use identical batch sizes
    • The model no longer needs a KV cache
    • The scheduler can eliminate all network communication
    • Each phase can be sized and parallelized for its own compute or memory bottleneck