Quiz collegato alla guida · Medio Livello

Quiz sulla miscela di profondità

Testa il router di token appreso dal Ministero della Difesa, la capacità top-k fissa, il percorso residuo per i token saltati, le forme statiche e le garanzie di routing causale.

Percorsi guida correlatiMiscela di profondità
Domanda 1 di 8

Cosa varia la Miscela di profondità tra i token?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa varia la Miscela di profondità tra i token?
    • Quanto calcolo (quali livelli) riceve ciascun token
    • Il vocabolario utilizzato
    • Il set di dati di addestramento
    • La lingua di uscita
  2. In che modo il Ministero della Difesa mantiene prevedibile il proprio budget di elaborazione?
    • Facendo cadere casualmente la metà dei pesi del modello
    • Elaborando una frazione top-k fissa di token in ogni blocco
    • Utilizzando un modello diverso per ogni frase
    • Disabilitando completamente l'attenzione
  3. Cosa succede ai token che il router NON seleziona in un dato blocco?
    • Vengono eliminati dalla sequenza
    • Vengono inviati a un modello separato
    • Saltano il blocco tramite la connessione residua, transitando senza modifiche
    • Vengono convertiti in immagini
  4. Which lab published the Mixture of Depths technique?
    • OpenAI nel 2019
    • Meta nel 2015
    • Microsoft nel 2012
    • Google DeepMind nel 2024
  5. Cosa produce la combinazione del MoD con il Mixture-of-Experts?
    • MoDE, che percorre sia la profondità che la scelta esperta
    • Un modello senza parametri
    • Una rete convoluzionale pura
    • Un sistema solo tokenizzatore
  6. Perché in MoD è preferibile un top-k fisso rispetto a una soglia per token?
    • Fa sì che il modello generi testo casuale
    • Mantiene statiche le forme tensoriali, il che è efficiente sull'hardware
    • Elimina la necessità di formazione
    • Aumenta la dimensione del vocabolario
  7. What does the learned router do at a Mixture-of-Depths block?
    • Selects a new model family for every prompt
    • Predicts labels for the next training batch
    • Scores tokens so the block can select which ones receive full attention and MLP computation
    • Changes the vocabulary size at inference
  8. Why does causal generation in MoD use auxiliary predictors for routing?
    • To let a model read the entire answer before generating
    • To remove the fixed top-k compute budget
    • To convert the sequence into an image
    • To make routing decisions without looking at future tokens