Gids-gekoppelde quiz · Middelmatig Niveau
Mengsel van dieptenquiz
Test de geleerde tokenrouter van Defensie, de vaste top-k-capaciteit, het resterende pad voor overgeslagen tokens, statische vormen en causale routeringswaarborgen.
Vraag 1 van 8
Wat varieert het mengsel van diepten per token?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat varieert het mengsel van diepten per token?
- Hoeveel rekenkracht (welke lagen) elk token ontvangt
- De gebruikte woordenschat
- De trainingsgegevensset
- De uitvoertaal
- Hoe houdt Defensie zijn rekenbudget voorspelbaar?
- Door willekeurig de helft van de modelgewichten te laten vallen
- Door bij elk blok een vaste top-k-fractie aan tokens te verwerken
- Door voor elke zin een ander model te gebruiken
- Door de aandacht volledig uit te schakelen
- Wat gebeurt er met tokens die de router NIET selecteert bij een bepaald blok?
- Ze worden uit de reeks verwijderd
- Ze worden naar een apart model gestuurd
- Ze slaan het blok over via de restverbinding en gaan onveranderd door
- Ze worden omgezet naar afbeeldingen
- Welk laboratorium heeft de Mixture of Depths-techniek gepubliceerd?
- OpenAI in 2019
- Meta in 2015
- Microsoft in 2012
- Google DeepMind in 2024
- Wat levert het combineren van Defensie met een mix van deskundigen op?
- MoDE, dat routeert op basis van zowel diepgang als expertkeuze
- Een model zonder parameters
- Een puur convolutioneel netwerk
- Een tokenizer-only systeem
- Waarom heeft een vaste top-k de voorkeur boven een drempel per token in MoD?
- Het zorgt ervoor dat het model willekeurige tekst uitvoert
- Het houdt de tensorvormen statisch, wat efficiënt is op hardware
- Het elimineert de noodzaak voor training
- Het vergroot de woordenschatgrootte
- What does the learned router do at a Mixture-of-Depths block?
- Selects a new model family for every prompt
- Predicts labels for the next training batch
- Scores tokens so the block can select which ones receive full attention and MLP computation
- Changes the vocabulary size at inference
- Why does causal generation in MoD use auxiliary predictors for routing?
- To let a model read the entire answer before generating
- To remove the fixed top-k compute budget
- To convert the sequence into an image
- To make routing decisions without looking at future tokens