Quiz collegato alla guida · Medio Livello
Gating e routing nel quiz sul calcolo condizionale
Verifica il routing esperto dipendente dall'input, il calcolo attivo, la distribuzione del carico dei token, la capacità esperto, l'overflow e il calcolo totale rispetto a quello eseguito.
Domanda 1 di 8
Cos'è il calcolo condizionale?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cos'è il calcolo condizionale?
- The network selects which submodules to activate based on the input
- Every network layer runs identically for every input
- The model selects its training dataset after inference
- A human routes every token manually
- In uno strato misto di esperti, cosa fa il router?
- Trains the ground-truth labels
- Combines all parameters into one dense layer
- Scores experts and sends an input or token to selected experts
- Removes the expert outputs
- Cos'è il conteggio dei parametri attivi?
- The number of parameters stored on disk
- The parameters used for a particular input, which can be fewer than total model parameters
- The number of experts in the model
- The count of training examples per expert
- Perché il routing può essere computazionalmente efficiente?
- The router removes all dense computations
- Experts do not contain parameters
- The model skips every output layer
- Only selected experts process a given input rather than every expert
- Che cos'è lo squilibrio del carico esperto?
- Every expert receives exactly the same number of tokens
- The router has no parameters
- Some experts receive many tokens while others receive few
- Tokens are sorted by output length
- Why add a load-balancing objective?
- To encourage a more even distribution of tokens among experts
- To increase the total parameter count
- To force every token through all experts
- To make routing independent of input
- What can happen when an expert reaches a capacity limit?
- The model automatically doubles the expert’s weights
- Every other expert is disabled
- The token becomes a training label
- Tokens may be dropped or routed according to the system’s overflow policy
- Does a sparse model’s total parameter count equal its per-token compute?
- Yes, every stored parameter runs on each token
- No; only selected experts are active for a particular input
- No; sparse models contain no parameters
- Yes, if a router is used