Quiz collegato alla guida · Medio Livello
Quiz sulla potatura strutturata e sull'eliminazione dei livelli
Controlla perché la potatura strutturata accelera l'inferenza, come viene stimata l'importanza del livello e come la regolazione fine o la distillazione recupera la qualità.
Domanda 1 di 8
Perché la potatura strutturata produce reali accelerazioni mentre la potatura non strutturata spesso no?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Perché la potatura strutturata produce reali accelerazioni mentre la potatura non strutturata spesso no?
- La potatura strutturata rimuove i blocchi coerenti che di fatto riducono i tensori
- La potatura non strutturata aumenta le dimensioni del modello
- La potatura strutturata aggiunge più strati
- La potatura non strutturata funziona solo sulle CPU
- Cos'è il "layer drop" nel contesto dei trasformatori?
- Ridurre il tasso di apprendimento per livello
- Eliminazione di interi blocchi del trasformatore per ridurre la profondità del modello
- Aggiunta di dropout a ogni livello
- Riordinare gli strati in modo casuale
- Quale segnale indica comunemente che uno strato del trasformatore può essere lasciato cadere in sicurezza?
- Il livello ha il maggior numero di parametri
- Lo strato è il primo nella rete
- Gli stati nascosti di input e output del livello sono molto simili
- Il livello utilizza più memoria
- Quale passaggio in genere ripristina la precisione dopo la potatura strutturata?
- Aumentando solo la dimensione del batch
- Riquantizzazione a 16 bit
- Aggiunta di più teste di attenzione
- Un breve ciclo di perfezionamento o distillazione della conoscenza
- Come vengono spesso classificate le teste di attenzione individuali per la potatura?
- Dall'aumento della perdita quando la testa è mascherata (sensibilità)
- Per ordine alfabetico
- Dalla loro posizione nel vocabolario
- Dal numero di gettoni che hanno visto
- Qual è l’uso pratico principale della potatura strutturata combinata con la distillazione?
- Generazione automatica dei dati di allenamento
- Derivare una famiglia di modelli più piccoli e più veloci da un grande checkpoint
- Crittografia dei pesi del modello
- Aumento della lunghezza della finestra di contesto
- Why can a smaller student recover some function of a pruned model during distillation?
- It restores the deleted weights in place
- It changes the test labels
- It is trained to match useful outputs or behavior of the larger teacher
- It removes the need for validation
- If a transformer layer’s input and output have high cosine similarity, what does that suggest under the guide’s pruning heuristic?
- The layer is guaranteed to be useless for every task
- The model must add another layer
- The output has no features
- The layer changed the representation relatively little and may be a candidate for dropping