Quiz lié à un guide · Moyen Niveau

Quiz sur les projets de modèles de décodage spéculatif

Explorez les propositions de modèles préliminaires, la vérification des cibles, l'échantillonnage des rejets, les probabilités d'acceptation, les jetons bonus et la vitesse de décodage en fonction de la charge de travail.

Chemins de guidage associésProjets de modèles de décodage spéculatif
Question 1 de 8

Quel est le rôle principal du modèle « ébauche » dans le décodage spéculatif ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Quel est le rôle principal du modèle « ébauche » dans le décodage spéculatif ?
    • Pour compresser le grand modèle en moins de paramètres de manière permanente
    • Pour traduire l'invite dans une autre langue
    • Proposer rapidement plusieurs tokens candidats pour le grand modèle à vérifier
    • Pour stocker les conversations passées pour les récupérer
  2. Why can verifying a drafted token block accelerate target-model generation in a suitable workload?
    • Verification has no compute cost at any block size
    • A verification pass can process several positions together and amortize target work across accepted tokens
    • The draft model is guaranteed more accurate than the target
    • The target model is skipped for every accepted token
  3. Qu'arrive-t-il aux jetons rédigés après le premier jeton rejeté par le modèle cible ?
    • Tout ce qui suit la première disparité est supprimé
    • Ils sont tous acceptés de toute façon
    • Ils sont envoyés vers un troisième modèle
    • Ils sont mis en cache et réutilisés au prochain tour
  4. What correctness property does the standard exact speculative-sampling rejection procedure preserve under its assumptions?
    • An identical random sequence for every possible random seed
    • Guaranteed truth of every generated statement
    • The draft model's distribution regardless of the target
    • The target model's configured sampling distribution
  5. Which mechanism distinguishes EAGLE's drafting approach from Medusa's additional decoding heads?
    • EAGLE performs only word-count-based lexical retrieval
    • EAGLE drafts autoregressively at the target model's feature level
    • EAGLE removes target verification from every algorithm
    • EAGLE and Medusa are the same architecture with different names
  6. Why should a speculative-decoding benchmark report the draft-target pair and acceptance rate?
    • Every model pair has the same guaranteed speedup
    • Acceptance rate measures whether generated facts are true
    • Speedup depends on drafting and verification costs and how many proposed tokens are accepted
    • The target model's hardware and context length cannot affect performance
  7. In exact speculative sampling, a proposed token has q equal to 0.2 and p equal to 0.1. What is its acceptance probability?
    • 0.1, because only p is used
    • 0.2, because only q is used
    • 1.0, because every proposed token is accepted
    • 0.5, from min(1, p/q)
  8. What can the standard speculative-sampling algorithm emit when every token in a drafted block is accepted?
    • The accepted block plus an additional token sampled from the target
    • Only the last drafted token, discarding the accepted prefix
    • An arbitrary extra draft token without target sampling
    • No output until the draft model is retrained