Mit dem Guide verknüpftes Quiz · Mittel Ebene

Mischung aus Tiefen-Quiz

Testen Sie den erlernten Token-Router des Verteidigungsministeriums, die feste Top-K-Kapazität, den Restpfad für übersprungene Token, statische Formen und kausale Routing-Schutzmaßnahmen.

Verwandte FührungspfadeMischung aus Tiefen
Frage 1 von 8

Was unterscheidet Mixture of Depths je nach Token?

Sehen Sie sich jede Frage in der Vorschau an8 Fragen

Während Sie am Quiz teilnehmen, werden Antworten und Erklärungen angezeigt.

  1. Was unterscheidet Mixture of Depths je nach Token?
    • Wie viel Rechenleistung (welche Schichten) jedes Token erhält
    • Das verwendete Vokabular
    • Der Trainingsdatensatz
    • Die Ausgabesprache
  2. Wie hält das Verteidigungsministerium sein Rechenbudget vorhersehbar?
    • Durch zufälliges Weglassen der Hälfte der Modellgewichte
    • Durch die Verarbeitung eines festen Top-k-Anteils an Token in jedem Block
    • Indem für jeden Satz ein anderes Modell verwendet wird
    • Indem man die Aufmerksamkeit völlig ausschaltet
  3. Was passiert mit Tokens, die der Router an einem bestimmten Block NICHT auswählt?
    • Sie werden aus der Sequenz gelöscht
    • Sie werden an ein separates Modell gesendet
    • Sie überspringen den Block über die Restverbindung und passieren ihn unverändert
    • Sie werden in Bilder umgewandelt
  4. Which lab published the Mixture of Depths technique?
    • OpenAI im Jahr 2019
    • Meta im Jahr 2015
    • Microsoft im Jahr 2012
    • Google DeepMind im Jahr 2024
  5. Was ergibt die Kombination von MoD und Mixture-of-Experts?
    • MoDE, das sowohl auf Tiefe als auch auf Expertenauswahl abzielt
    • Ein Modell ohne Parameter
    • Ein reines Faltungsnetzwerk
    • Ein reines Tokenizer-System
  6. Warum wird im Verteidigungsministerium ein fester Top-k einem Schwellenwert pro Token vorgezogen?
    • Dadurch gibt das Modell zufälligen Text aus
    • Es hält Tensorformen statisch, was für die Hardware effizient ist
    • Dadurch entfällt die Notwendigkeit einer Schulung
    • Es vergrößert den Wortschatz
  7. What does the learned router do at a Mixture-of-Depths block?
    • Selects a new model family for every prompt
    • Predicts labels for the next training batch
    • Scores tokens so the block can select which ones receive full attention and MLP computation
    • Changes the vocabulary size at inference
  8. Why does causal generation in MoD use auxiliary predictors for routing?
    • To let a model read the entire answer before generating
    • To remove the fixed top-k compute budget
    • To convert the sequence into an image
    • To make routing decisions without looking at future tokens