Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Tudáslepárlási kvíz
Apply teacher distributions, softened targets, and student evaluation in distillation, including why imitation does not guarantee teacher-level accuracy.
kérdés 1 -ból 8
A tudás lepárlásában mire van kiképezve a diákmodell?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- A tudás lepárlásában mire van kiképezve a diákmodell?
- Egy kis diákmodellt megtanítani egy nagy tanári modell utánzására
- Ahhoz, hogy egy modell nagyobb és pontosabb legyen
- Az adatok automatikus címkézéséhez
- A modell súlyainak titkosítása
- Mit jelent a tanár „sötét tudása”?
- Rejtett rosszindulatú viselkedés a modellben
- A modellfájl titkosított része
- Az információ a relatív valószínűségekben, amelyeket a tanár rossz osztályokhoz rendel
- Adatok, amelyekre a tanárt soha nem képezték ki
- Milyen szerepet játszik a hőmérséklet (T) a desztillációban?
- Csak a modell edzési sebességét szabályozza
- Lágyítja a softmax-ot, így az osztályok közötti kis hasonlóságok megtanulhatóvá válnak
- Beállítja a tanulóban lévő rétegek számát
- Méri a GPU hőteljesítményét
- Melyik két komponenst egyesíti a klasszikus desztillációs veszteség?
- Két külön jutalommodell
- Átlagos négyzetes hiba és csuklóvesztés
- KL-büntetés egy hivatkozási irányelvvel és egy értékfüggvénnyel szemben
- Egy KL-divergencia kifejezés, amely megfelel a tanár soft outputjainak plusz keresztentrópiának a valódi címkéken
- Melyik a desztillált nyelvi modell példa?
- ResNet-50
- Word2Vec
- DistilBERT
- AlexNet
- Miben különbözik a jellemző alapú lepárlás a klasszikus output alapú megközelítéstől?
- Megfelel a közbenső rejtett rétegbeli reprezentációknak, nem csak a végső kimeneteknek
- Teljesen figyelmen kívül hagyja a tanárt
- Csak kemény címkéket használ
- A tanárt képezi a diák helyett
- A teacher assigns similar small probabilities to wolf and fox when predicting dog. What can soft-target distillation transfer beyond the top label?
- A guarantee that either alternative is the correct label
- The teacher’s complete original training corpus
- The teacher’s exact number of hidden layers
- Relative relationships among the teacher’s alternative class scores
- A distilled student is smaller than its teacher. Which evaluation is needed before deployment?
- Assume its accuracy must equal the teacher’s
- Measure its task accuracy and runtime on the intended system
- Assume fewer parameters guarantee lower latency on every device
- Only compare the models’ names