Kvíz spojený s průvodcem · Střední úroveň

Vědomostní destilační kvíz

Aplikujte rozdělení učitelů, změkčené cíle a hodnocení studentů v destilaci, včetně toho, proč imitace nezaručuje přesnost na úrovni učitele.

Související vodicí cestyDestilace znalostí
Otázka 1 z 8

In knowledge distillation, what is the student model trained to do?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. In knowledge distillation, what is the student model trained to do?
    • Trénovat model malého studenta, aby napodobil model velkého učitele
    • Aby byl model větší a přesnější
    • Pro automatické označování dat
    • K zašifrování vah modelu
  2. Co znamená učitelova „temná znalost“?
    • Skryté škodlivé chování v modelu
    • Zašifrovaná část souboru modelu
    • Informace v relativních pravděpodobností, které učitel přiřadí špatným třídám
    • Data, na kterých učitel nikdy nebyl školen
  3. Jakou roli hraje teplota (T) při destilaci?
    • Řídí pouze rychlost tréninku modelu
    • Změkčuje softmax, takže malé podobnosti mezi třídami se dají naučit
    • Nastavuje počet vrstev ve studentovi
    • Měří tepelný výkon GPU
  4. Které dvě složky kombinuje klasická destilační ztráta?
    • Dva samostatné modely odměn
    • Střední kvadratická chyba a ztráta pantu
    • Pokuta KL proti referenční politice a hodnotové funkci
    • Termín KL divergence odpovídající měkkým výstupům učitele plus křížová entropie na skutečných štítcích
  5. Jaký je příklad modelu destilovaného jazyka?
    • ResNet-50
    • Word2Vec
    • DistilBERT
    • AlexNet
  6. Jak se liší destilace založená na funkcích od klasického přístupu založeného na výstupu?
    • Odpovídá středním reprezentacím skrytých vrstev, nikoli pouze konečným výstupům
    • Učitele zcela ignoruje
    • Používá pouze tvrdé štítky
    • Trénuje učitele místo žáka
  7. A teacher assigns similar small probabilities to wolf and fox when predicting dog. What can soft-target distillation transfer beyond the top label?
    • A guarantee that either alternative is the correct label
    • The teacher’s complete original training corpus
    • The teacher’s exact number of hidden layers
    • Relative relationships among the teacher’s alternative class scores
  8. A distilled student is smaller than its teacher. Which evaluation is needed before deployment?
    • Assume its accuracy must equal the teacher’s
    • Measure its task accuracy and runtime on the intended system
    • Assume fewer parameters guarantee lower latency on every device
    • Only compare the models’ names