Mit dem Guide verknüpftes Quiz · Mittel Ebene

Multi-Token-Vorhersage-Trainingsquiz

Überprüfen Sie Multi-Token-Verluste und Shared-Trunk-Heads mit dem ausgeprägten sequentiellen Design von DeepSeek-V3, optionalen Inferenzköpfen und Zieloffsets.

Verwandte FührungspfadeMulti-Token-Vorhersagetraining
Frage 1 von 8

In the cited Meta study, what architecture predicts several future tokens from a training position?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. In the cited Meta study, what architecture predicts several future tokens from a training position?
    • A mandatory separate complete language model for every word
    • Independent output heads above a shared transformer trunk
    • One head that can target only the preceding token
    • A larger vocabulary with no additional prediction targets
  2. Welches Modell verwendete im Vortraining insbesondere ein Multi-Token-Vorhersageziel?
    • Das ursprüngliche Word2Vec
    • Ein Faltungsbildklassifikator
    • Ein N-Gramm-Modell
    • DeepSeek-V3
  3. What additional supervision does multi-token training supply at a prefix position?
    • Loss terms for multiple future-token targets
    • Only a larger batch size with the same single target
    • A mandatory image-reconstruction target
    • No prediction loss at any position
  4. How are auxiliary predictions used in the Meta paper’s self-speculative inference experiment?
    • They are accepted unconditionally without verification
    • They automatically retrain the model on every prompt
    • They propose tokens that are then checked by the decoding procedure
    • They encrypt every generated token
  5. Was passiert mit den Hilfsköpfen nach dem Training, wenn man keine Beschleunigungen braucht?
    • Sie müssen bleiben und die Modellgröße verdoppeln
    • Sie können verworfen werden, sodass die Bereitstellungsgröße unverändert bleibt
    • Sie verwandeln sich in Aufmerksamkeitsschichten
    • Sie werden zum Tokenizer
  6. Which evaluated task family showed notable gains in the Meta multi-token study?
    • Code generation benchmarks
    • A guarantee of perfect code compilation in every language
    • Only alphabetizing raw filenames
    • A required quantum-sensor prediction task
  7. In a four-head offset design predicting from prefix position t, which token is the fourth head’s target?
    • The token at t−4
    • The token at t+1 for every head
    • Only the token at t itself
    • The token at t+4
  8. What distinguishes DeepSeek-V3’s stated MTP architecture from the cited independent parallel-head implementation?
    • It predicts only tokens before the prefix
    • It requires every target to be an image pixel
    • Sequential auxiliary modules that preserve a causal chain across prediction depths
    • It removes the language-model output vocabulary