Quiz collegato alla guida · Medio Livello
Quiz sulla distillazione della conoscenza
Applica le distribuzioni degli insegnanti, gli obiettivi attenuati e la valutazione degli studenti nella distillazione, incluso il motivo per cui l'imitazione non garantisce l'accuratezza a livello di insegnante.
Domanda 1 di 8
Nella distillazione della conoscenza, cosa è addestrato a fare il modello studentesco?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Nella distillazione della conoscenza, cosa è addestrato a fare il modello studentesco?
- Addestrare un piccolo studente modello a imitare un grande insegnante modello
- Per realizzare un modello più grande e più accurato
- Per etichettare i dati automaticamente
- Per crittografare i pesi di un modello
- Cosa si intende per “conoscenza oscura” dell'insegnante?
- Comportamento dannoso nascosto nel modello
- La parte crittografata del file del modello
- L'informazione nelle probabilità relative che l'insegnante assegna alle classi sbagliate
- Dati su cui l'insegnante non è mai stato formato
- Che ruolo gioca la temperatura (T) nella distillazione?
- Controlla solo la velocità di addestramento del modello
- Ammorbidisce il softmax in modo che piccole somiglianze tra classi diventino apprendibili
- Imposta il numero di livelli nello studente
- Misura la potenza termica della GPU
- Quali due componenti unisce la classica perdita da distillazione?
- Due modelli di ricompensa separati
- Errore quadratico medio e perdita di cerniera
- Una penalità KL contro una politica di riferimento e una funzione di valore
- Un termine di divergenza KL che corrisponde ai risultati soft dell'insegnante più all'entropia incrociata sulle etichette vere
- Qual è un esempio di modello linguistico distillato?
- ResNet-50
- Word2Vec
- DistillBERT
- AlexNet
- In che modo la distillazione basata sulle caratteristiche differisce dal classico approccio basato sull'output?
- Corrisponde alle rappresentazioni intermedie del livello nascosto, non solo agli output finali
- Ignora completamente l'insegnante
- Utilizza solo etichette rigide
- Forma l'insegnante anziché lo studente
- A teacher assigns similar small probabilities to wolf and fox when predicting dog. What can soft-target distillation transfer beyond the top label?
- A guarantee that either alternative is the correct label
- The teacher’s complete original training corpus
- The teacher’s exact number of hidden layers
- Relative relationships among the teacher’s alternative class scores
- A distilled student is smaller than its teacher. Which evaluation is needed before deployment?
- Assume its accuracy must equal the teacher’s
- Measure its task accuracy and runtime on the intended system
- Assume fewer parameters guarantee lower latency on every device
- Only compare the models’ names