Gids-gekoppelde quiz · Middelmatig Niveau
Kennisdistillatiequiz
Pas lerarenverdelingen, verzachte doelstellingen en leerlingevaluatie toe als distillatie, inclusief waarom imitatie geen nauwkeurigheid op leraarniveau garandeert.
Vraag 1 van 8
In knowledge distillation, what is the student model trained to do?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- In knowledge distillation, what is the student model trained to do?
- Een klein studentenmodel trainen om een groot lerarenmodel te imiteren
- Om een model groter en nauwkeuriger te maken
- Om gegevens automatisch te labelen
- Om de gewichten van een model te coderen
- Wat wordt bedoeld met de ‘donkere kennis’ van de leraar?
- Verborgen kwaadaardig gedrag in het model
- Het gecodeerde gedeelte van het modelbestand
- De informatie over de relatieve kansen die de leraar aan verkeerde klassen toekent
- Gegevens waar de leraar nooit op getraind is
- Welke rol speelt temperatuur (T) bij destillatie?
- Het regelt alleen de trainingssnelheid van het model
- Het verzacht de softmax, zodat kleine overeenkomsten tussen klassen leerbaar worden
- Het bepaalt het aantal lagen in de leerling
- Het meet de warmteafgifte van de GPU
- Welke twee componenten combineert het klassieke destillatieverlies?
- Twee afzonderlijke beloningsmodellen
- Gemiddelde kwadratische fout en scharnierverlies
- Een KL-boete tegen een referentiebeleid en een waardefunctie
- Een KL-divergentieterm die overeenkomt met de zachte output van de leraar plus kruis-entropie op de echte labels
- Wat is een voorbeeld van een gedestilleerd taalmodel?
- ResNet-50
- Woord2Vec
- DistilleerBERT
- AlexNet
- Hoe verschilt op kenmerken gebaseerde destillatie van de klassieke, op output gebaseerde aanpak?
- Het matcht tussenliggende representaties van verborgen lagen, niet alleen de uiteindelijke outputs
- Het negeert de leraar volledig
- Er wordt alleen gebruik gemaakt van harde labels
- Het traint de leraar in plaats van de leerling
- A teacher assigns similar small probabilities to wolf and fox when predicting dog. What can soft-target distillation transfer beyond the top label?
- A guarantee that either alternative is the correct label
- The teacher’s complete original training corpus
- The teacher’s exact number of hidden layers
- Relative relationships among the teacher’s alternative class scores
- A distilled student is smaller than its teacher. Which evaluation is needed before deployment?
- Assume its accuracy must equal the teacher’s
- Measure its task accuracy and runtime on the intended system
- Assume fewer parameters guarantee lower latency on every device
- Only compare the models’ names