Quiz collegato alla guida · Medio Livello
Quiz sulla miscela di profondità
Testa il router di token appreso dal Ministero della Difesa, la capacità top-k fissa, il percorso residuo per i token saltati, le forme statiche e le garanzie di routing causale.
Domanda 1 di 8
Cosa varia la Miscela di profondità tra i token?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa varia la Miscela di profondità tra i token?
- Quanto calcolo (quali livelli) riceve ciascun token
- Il vocabolario utilizzato
- Il set di dati di addestramento
- La lingua di uscita
- In che modo il Ministero della Difesa mantiene prevedibile il proprio budget di elaborazione?
- Facendo cadere casualmente la metà dei pesi del modello
- Elaborando una frazione top-k fissa di token in ogni blocco
- Utilizzando un modello diverso per ogni frase
- Disabilitando completamente l'attenzione
- Cosa succede ai token che il router NON seleziona in un dato blocco?
- Vengono eliminati dalla sequenza
- Vengono inviati a un modello separato
- Saltano il blocco tramite la connessione residua, transitando senza modifiche
- Vengono convertiti in immagini
- Which lab published the Mixture of Depths technique?
- OpenAI nel 2019
- Meta nel 2015
- Microsoft nel 2012
- Google DeepMind nel 2024
- Cosa produce la combinazione del MoD con il Mixture-of-Experts?
- MoDE, che percorre sia la profondità che la scelta esperta
- Un modello senza parametri
- Una rete convoluzionale pura
- Un sistema solo tokenizzatore
- Perché in MoD è preferibile un top-k fisso rispetto a una soglia per token?
- Fa sì che il modello generi testo casuale
- Mantiene statiche le forme tensoriali, il che è efficiente sull'hardware
- Elimina la necessità di formazione
- Aumenta la dimensione del vocabolario
- What does the learned router do at a Mixture-of-Depths block?
- Selects a new model family for every prompt
- Predicts labels for the next training batch
- Scores tokens so the block can select which ones receive full attention and MLP computation
- Changes the vocabulary size at inference
- Why does causal generation in MoD use auxiliary predictors for routing?
- To let a model read the entire answer before generating
- To remove the fixed top-k compute budget
- To convert the sequence into an image
- To make routing decisions without looking at future tokens