Kvíz spojený s průvodcem · Střední úroveň
Vědomostní destilační kvíz
Aplikujte rozdělení učitelů, změkčené cíle a hodnocení studentů v destilaci, včetně toho, proč imitace nezaručuje přesnost na úrovni učitele.
Otázka 1 z 8
In knowledge distillation, what is the student model trained to do?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- In knowledge distillation, what is the student model trained to do?
- Trénovat model malého studenta, aby napodobil model velkého učitele
- Aby byl model větší a přesnější
- Pro automatické označování dat
- K zašifrování vah modelu
- Co znamená učitelova „temná znalost“?
- Skryté škodlivé chování v modelu
- Zašifrovaná část souboru modelu
- Informace v relativních pravděpodobností, které učitel přiřadí špatným třídám
- Data, na kterých učitel nikdy nebyl školen
- Jakou roli hraje teplota (T) při destilaci?
- Řídí pouze rychlost tréninku modelu
- Změkčuje softmax, takže malé podobnosti mezi třídami se dají naučit
- Nastavuje počet vrstev ve studentovi
- Měří tepelný výkon GPU
- Které dvě složky kombinuje klasická destilační ztráta?
- Dva samostatné modely odměn
- Střední kvadratická chyba a ztráta pantu
- Pokuta KL proti referenční politice a hodnotové funkci
- Termín KL divergence odpovídající měkkým výstupům učitele plus křížová entropie na skutečných štítcích
- Jaký je příklad modelu destilovaného jazyka?
- ResNet-50
- Word2Vec
- DistilBERT
- AlexNet
- Jak se liší destilace založená na funkcích od klasického přístupu založeného na výstupu?
- Odpovídá středním reprezentacím skrytých vrstev, nikoli pouze konečným výstupům
- Učitele zcela ignoruje
- Používá pouze tvrdé štítky
- Trénuje učitele místo žáka
- A teacher assigns similar small probabilities to wolf and fox when predicting dog. What can soft-target distillation transfer beyond the top label?
- A guarantee that either alternative is the correct label
- The teacher’s complete original training corpus
- The teacher’s exact number of hidden layers
- Relative relationships among the teacher’s alternative class scores
- A distilled student is smaller than its teacher. Which evaluation is needed before deployment?
- Assume its accuracy must equal the teacher’s
- Measure its task accuracy and runtime on the intended system
- Assume fewer parameters guarantee lower latency on every device
- Only compare the models’ names