Quiz collegato alla guida · Medio Livello

Quiz sulla distillazione della conoscenza

Applica le distribuzioni degli insegnanti, gli obiettivi attenuati e la valutazione degli studenti nella distillazione, incluso il motivo per cui l'imitazione non garantisce l'accuratezza a livello di insegnante.

Percorsi guida correlatiDistillazione della conoscenza
Domanda 1 di 8

Nella distillazione della conoscenza, cosa è addestrato a fare il modello studentesco?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Nella distillazione della conoscenza, cosa è addestrato a fare il modello studentesco?
    • Addestrare un piccolo studente modello a imitare un grande insegnante modello
    • Per realizzare un modello più grande e più accurato
    • Per etichettare i dati automaticamente
    • Per crittografare i pesi di un modello
  2. Cosa si intende per “conoscenza oscura” dell'insegnante?
    • Comportamento dannoso nascosto nel modello
    • La parte crittografata del file del modello
    • L'informazione nelle probabilità relative che l'insegnante assegna alle classi sbagliate
    • Dati su cui l'insegnante non è mai stato formato
  3. Che ruolo gioca la temperatura (T) nella distillazione?
    • Controlla solo la velocità di addestramento del modello
    • Ammorbidisce il softmax in modo che piccole somiglianze tra classi diventino apprendibili
    • Imposta il numero di livelli nello studente
    • Misura la potenza termica della GPU
  4. Quali due componenti unisce la classica perdita da distillazione?
    • Due modelli di ricompensa separati
    • Errore quadratico medio e perdita di cerniera
    • Una penalità KL contro una politica di riferimento e una funzione di valore
    • Un termine di divergenza KL che corrisponde ai risultati soft dell'insegnante più all'entropia incrociata sulle etichette vere
  5. Qual è un esempio di modello linguistico distillato?
    • ResNet-50
    • Word2Vec
    • DistillBERT
    • AlexNet
  6. In che modo la distillazione basata sulle caratteristiche differisce dal classico approccio basato sull'output?
    • Corrisponde alle rappresentazioni intermedie del livello nascosto, non solo agli output finali
    • Ignora completamente l'insegnante
    • Utilizza solo etichette rigide
    • Forma l'insegnante anziché lo studente
  7. A teacher assigns similar small probabilities to wolf and fox when predicting dog. What can soft-target distillation transfer beyond the top label?
    • A guarantee that either alternative is the correct label
    • The teacher’s complete original training corpus
    • The teacher’s exact number of hidden layers
    • Relative relationships among the teacher’s alternative class scores
  8. A distilled student is smaller than its teacher. Which evaluation is needed before deployment?
    • Assume its accuracy must equal the teacher’s
    • Measure its task accuracy and runtime on the intended system
    • Assume fewer parameters guarantee lower latency on every device
    • Only compare the models’ names