Gids-gekoppelde quiz · Moeilijk Niveau
Speculatief decoderen met EAGLE Quiz
Controleert EAGLE op het opstellen van functies, doelverificatie, behoud van distributie, insluiten van feedback, dynamische conceptbomen en decoderingskosten.
Vraag 1 van 8
Wat is het kernidee achter speculatieve decodering?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat is het kernidee achter speculatieve decodering?
- Een goedkope tekenaar stelt meerdere tokens voor die het grote model in één parallelle doorgang verifieert
- De gewichten van het model tot halve precisie comprimeren
- Willekeurig lagen van het netwerk overslaan
- Elke mogelijke uitvoerzin vooraf in cache opslaan
- Hoe verschilt EAGLE van eerdere speculatieve decoderingsbenaderingen?
- Het verwijdert de verificatiestap volledig
- Het tekent in de verborgen functieruimte van het model in plaats van rechtstreeks op tokenniveau
- Het gebruikt een volledig apart, groter model als tekenaar
- Het werkt alleen voor het genereren van afbeeldingen
- Why is speculative decoding considered lossless when implemented with exact verification?
- Every draft token is accepted unconditionally
- The drafter always predicts the target’s next token
- The acceptance and correction procedure preserves the target model’s output distribution
- The target model is never evaluated
- Welk probleem bij het opstellen van EAGLE-functies kan het terugkoppelen van de inbedding van het vorige token helpen oplossen?
- Geheugenfragmentatie op de GPU
- Tokenizer-mismatch tussen talen
- Oververhitting van de hardware
- De onzekerheid/ambiguïteit bij het voorspellen van het volgende kenmerk
- Wat heeft EAGLE-2 toegevoegd ten opzichte van de originele EAGLE?
- Een dynamische conceptboom die zich aanpast aan het aantal kandidaten dat moet worden voorgesteld
- Een vast concept met één token
- Verwijdering van de LM-kop
- Alleen trainen op tweemaal zoveel gegevens
- Waarom zorgt het autoregressieve knelpunt ervoor dat het genereren van gewone LLM langzaam gaat?
- Het model traint zichzelf na elk token opnieuw
- Elk nieuw token heeft een volledige voorwaartse doorgang door miljarden parameters nodig voordat het volgende kan beginnen
- Tokens worden tussen de stappen op schijf opgeslagen
- De GPU moet per token opnieuw opstarten
- After EAGLE predicts a hidden-state feature, which component turns that feature into candidate token probabilities?
- The tokenizer’s vocabulary file alone
- The optimizer’s momentum buffer
- The target model’s language-model head
- The KV-cache allocator
- What change does EAGLE-3 make to the original feature-drafting constraint?
- It replaces the target model with a tokenizer
- It disables target verification
- It requires a separate human drafter
- It removes a feature-prediction constraint to improve scaling