Gids-gekoppelde quiz · Moeilijk Niveau

Speculatief decoderen met EAGLE Quiz

Controleert EAGLE op het opstellen van functies, doelverificatie, behoud van distributie, insluiten van feedback, dynamische conceptbomen en decoderingskosten.

Gerelateerde gidspadenSpeculatieve decodering met Eagle
Vraag 1 van 8

Wat is het kernidee achter speculatieve decodering?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat is het kernidee achter speculatieve decodering?
    • Een goedkope tekenaar stelt meerdere tokens voor die het grote model in één parallelle doorgang verifieert
    • De gewichten van het model tot halve precisie comprimeren
    • Willekeurig lagen van het netwerk overslaan
    • Elke mogelijke uitvoerzin vooraf in cache opslaan
  2. Hoe verschilt EAGLE van eerdere speculatieve decoderingsbenaderingen?
    • Het verwijdert de verificatiestap volledig
    • Het tekent in de verborgen functieruimte van het model in plaats van rechtstreeks op tokenniveau
    • Het gebruikt een volledig apart, groter model als tekenaar
    • Het werkt alleen voor het genereren van afbeeldingen
  3. Why is speculative decoding considered lossless when implemented with exact verification?
    • Every draft token is accepted unconditionally
    • The drafter always predicts the target’s next token
    • The acceptance and correction procedure preserves the target model’s output distribution
    • The target model is never evaluated
  4. Welk probleem bij het opstellen van EAGLE-functies kan het terugkoppelen van de inbedding van het vorige token helpen oplossen?
    • Geheugenfragmentatie op de GPU
    • Tokenizer-mismatch tussen talen
    • Oververhitting van de hardware
    • De onzekerheid/ambiguïteit bij het voorspellen van het volgende kenmerk
  5. Wat heeft EAGLE-2 toegevoegd ten opzichte van de originele EAGLE?
    • Een dynamische conceptboom die zich aanpast aan het aantal kandidaten dat moet worden voorgesteld
    • Een vast concept met één token
    • Verwijdering van de LM-kop
    • Alleen trainen op tweemaal zoveel gegevens
  6. Waarom zorgt het autoregressieve knelpunt ervoor dat het genereren van gewone LLM langzaam gaat?
    • Het model traint zichzelf na elk token opnieuw
    • Elk nieuw token heeft een volledige voorwaartse doorgang door miljarden parameters nodig voordat het volgende kan beginnen
    • Tokens worden tussen de stappen op schijf opgeslagen
    • De GPU moet per token opnieuw opstarten
  7. After EAGLE predicts a hidden-state feature, which component turns that feature into candidate token probabilities?
    • The tokenizer’s vocabulary file alone
    • The optimizer’s momentum buffer
    • The target model’s language-model head
    • The KV-cache allocator
  8. What change does EAGLE-3 make to the original feature-drafting constraint?
    • It replaces the target model with a tokenizer
    • It disables target verification
    • It requires a separate human drafter
    • It removes a feature-prediction constraint to improve scaling