Quiz collegato alla guida · Medio Livello

Quiz sulla potatura strutturata e sull'eliminazione dei livelli

Controlla perché la potatura strutturata accelera l'inferenza, come viene stimata l'importanza del livello e come la regolazione fine o la distillazione recupera la qualità.

Domanda 1 di 8

Perché la potatura strutturata produce reali accelerazioni mentre la potatura non strutturata spesso no?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Perché la potatura strutturata produce reali accelerazioni mentre la potatura non strutturata spesso no?
    • La potatura strutturata rimuove i blocchi coerenti che di fatto riducono i tensori
    • La potatura non strutturata aumenta le dimensioni del modello
    • La potatura strutturata aggiunge più strati
    • La potatura non strutturata funziona solo sulle CPU
  2. Cos'è il "layer drop" nel contesto dei trasformatori?
    • Ridurre il tasso di apprendimento per livello
    • Eliminazione di interi blocchi del trasformatore per ridurre la profondità del modello
    • Aggiunta di dropout a ogni livello
    • Riordinare gli strati in modo casuale
  3. Quale segnale indica comunemente che uno strato del trasformatore può essere lasciato cadere in sicurezza?
    • Il livello ha il maggior numero di parametri
    • Lo strato è il primo nella rete
    • Gli stati nascosti di input e output del livello sono molto simili
    • Il livello utilizza più memoria
  4. Quale passaggio in genere ripristina la precisione dopo la potatura strutturata?
    • Aumentando solo la dimensione del batch
    • Riquantizzazione a 16 bit
    • Aggiunta di più teste di attenzione
    • Un breve ciclo di perfezionamento o distillazione della conoscenza
  5. Come vengono spesso classificate le teste di attenzione individuali per la potatura?
    • Dall'aumento della perdita quando la testa è mascherata (sensibilità)
    • Per ordine alfabetico
    • Dalla loro posizione nel vocabolario
    • Dal numero di gettoni che hanno visto
  6. Qual è l’uso pratico principale della potatura strutturata combinata con la distillazione?
    • Generazione automatica dei dati di allenamento
    • Derivare una famiglia di modelli più piccoli e più veloci da un grande checkpoint
    • Crittografia dei pesi del modello
    • Aumento della lunghezza della finestra di contesto
  7. Why can a smaller student recover some function of a pruned model during distillation?
    • It restores the deleted weights in place
    • It changes the test labels
    • It is trained to match useful outputs or behavior of the larger teacher
    • It removes the need for validation
  8. If a transformer layer’s input and output have high cosine similarity, what does that suggest under the guide’s pruning heuristic?
    • The layer is guaranteed to be useless for every task
    • The model must add another layer
    • The output has no features
    • The layer changed the representation relatively little and may be a candidate for dropping