Gids-gekoppelde quiz · Middelmatig Niveau

Mengsel van dieptenquiz

Test de geleerde tokenrouter van Defensie, de vaste top-k-capaciteit, het resterende pad voor overgeslagen tokens, statische vormen en causale routeringswaarborgen.

Gerelateerde gidspadenMengsel van diepten
Vraag 1 van 8

Wat varieert het mengsel van diepten per token?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat varieert het mengsel van diepten per token?
    • Hoeveel rekenkracht (welke lagen) elk token ontvangt
    • De gebruikte woordenschat
    • De trainingsgegevensset
    • De uitvoertaal
  2. Hoe houdt Defensie zijn rekenbudget voorspelbaar?
    • Door willekeurig de helft van de modelgewichten te laten vallen
    • Door bij elk blok een vaste top-k-fractie aan tokens te verwerken
    • Door voor elke zin een ander model te gebruiken
    • Door de aandacht volledig uit te schakelen
  3. Wat gebeurt er met tokens die de router NIET selecteert bij een bepaald blok?
    • Ze worden uit de reeks verwijderd
    • Ze worden naar een apart model gestuurd
    • Ze slaan het blok over via de restverbinding en gaan onveranderd door
    • Ze worden omgezet naar afbeeldingen
  4. Welk laboratorium heeft de Mixture of Depths-techniek gepubliceerd?
    • OpenAI in 2019
    • Meta in 2015
    • Microsoft in 2012
    • Google DeepMind in 2024
  5. Wat levert het combineren van Defensie met een mix van deskundigen op?
    • MoDE, dat routeert op basis van zowel diepgang als expertkeuze
    • Een model zonder parameters
    • Een puur convolutioneel netwerk
    • Een tokenizer-only systeem
  6. Waarom heeft een vaste top-k de voorkeur boven een drempel per token in MoD?
    • Het zorgt ervoor dat het model willekeurige tekst uitvoert
    • Het houdt de tensorvormen statisch, wat efficiënt is op hardware
    • Het elimineert de noodzaak voor training
    • Het vergroot de woordenschatgrootte
  7. What does the learned router do at a Mixture-of-Depths block?
    • Selects a new model family for every prompt
    • Predicts labels for the next training batch
    • Scores tokens so the block can select which ones receive full attention and MLP computation
    • Changes the vocabulary size at inference
  8. Why does causal generation in MoD use auxiliary predictors for routing?
    • To let a model read the entire answer before generating
    • To remove the fixed top-k compute budget
    • To convert the sequence into an image
    • To make routing decisions without looking at future tokens