Gids-gekoppelde quiz · Middelmatig Niveau

Kennisdistillatiequiz

Pas lerarenverdelingen, verzachte doelstellingen en leerlingevaluatie toe als distillatie, inclusief waarom imitatie geen nauwkeurigheid op leraarniveau garandeert.

Gerelateerde gidspadenKennisdistillatie
Vraag 1 van 8

In knowledge distillation, what is the student model trained to do?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. In knowledge distillation, what is the student model trained to do?
    • Een klein studentenmodel trainen om een groot lerarenmodel te imiteren
    • Om een model groter en nauwkeuriger te maken
    • Om gegevens automatisch te labelen
    • Om de gewichten van een model te coderen
  2. Wat wordt bedoeld met de ‘donkere kennis’ van de leraar?
    • Verborgen kwaadaardig gedrag in het model
    • Het gecodeerde gedeelte van het modelbestand
    • De informatie over de relatieve kansen die de leraar aan verkeerde klassen toekent
    • Gegevens waar de leraar nooit op getraind is
  3. Welke rol speelt temperatuur (T) bij destillatie?
    • Het regelt alleen de trainingssnelheid van het model
    • Het verzacht de softmax, zodat kleine overeenkomsten tussen klassen leerbaar worden
    • Het bepaalt het aantal lagen in de leerling
    • Het meet de warmteafgifte van de GPU
  4. Welke twee componenten combineert het klassieke destillatieverlies?
    • Twee afzonderlijke beloningsmodellen
    • Gemiddelde kwadratische fout en scharnierverlies
    • Een KL-boete tegen een referentiebeleid en een waardefunctie
    • Een KL-divergentieterm die overeenkomt met de zachte output van de leraar plus kruis-entropie op de echte labels
  5. Wat is een voorbeeld van een gedestilleerd taalmodel?
    • ResNet-50
    • Woord2Vec
    • DistilleerBERT
    • AlexNet
  6. Hoe verschilt op kenmerken gebaseerde destillatie van de klassieke, op output gebaseerde aanpak?
    • Het matcht tussenliggende representaties van verborgen lagen, niet alleen de uiteindelijke outputs
    • Het negeert de leraar volledig
    • Er wordt alleen gebruik gemaakt van harde labels
    • Het traint de leraar in plaats van de leerling
  7. A teacher assigns similar small probabilities to wolf and fox when predicting dog. What can soft-target distillation transfer beyond the top label?
    • A guarantee that either alternative is the correct label
    • The teacher’s complete original training corpus
    • The teacher’s exact number of hidden layers
    • Relative relationships among the teacher’s alternative class scores
  8. A distilled student is smaller than its teacher. Which evaluation is needed before deployment?
    • Assume its accuracy must equal the teacher’s
    • Measure its task accuracy and runtime on the intended system
    • Assume fewer parameters guarantee lower latency on every device
    • Only compare the models’ names