Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Tudáslepárlási kvíz

Apply teacher distributions, softened targets, and student evaluation in distillation, including why imitation does not guarantee teacher-level accuracy.

Kapcsolódó útmutató utakTudáslepárlás
kérdés 1 -ból 8

A tudás lepárlásában mire van kiképezve a diákmodell?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. A tudás lepárlásában mire van kiképezve a diákmodell?
    • Egy kis diákmodellt megtanítani egy nagy tanári modell utánzására
    • Ahhoz, hogy egy modell nagyobb és pontosabb legyen
    • Az adatok automatikus címkézéséhez
    • A modell súlyainak titkosítása
  2. Mit jelent a tanár „sötét tudása”?
    • Rejtett rosszindulatú viselkedés a modellben
    • A modellfájl titkosított része
    • Az információ a relatív valószínűségekben, amelyeket a tanár rossz osztályokhoz rendel
    • Adatok, amelyekre a tanárt soha nem képezték ki
  3. Milyen szerepet játszik a hőmérséklet (T) a desztillációban?
    • Csak a modell edzési sebességét szabályozza
    • Lágyítja a softmax-ot, így az osztályok közötti kis hasonlóságok megtanulhatóvá válnak
    • Beállítja a tanulóban lévő rétegek számát
    • Méri a GPU hőteljesítményét
  4. Melyik két komponenst egyesíti a klasszikus desztillációs veszteség?
    • Két külön jutalommodell
    • Átlagos négyzetes hiba és csuklóvesztés
    • KL-büntetés egy hivatkozási irányelvvel és egy értékfüggvénnyel szemben
    • Egy KL-divergencia kifejezés, amely megfelel a tanár soft outputjainak plusz keresztentrópiának a valódi címkéken
  5. Melyik a desztillált nyelvi modell példa?
    • ResNet-50
    • Word2Vec
    • DistilBERT
    • AlexNet
  6. Miben különbözik a jellemző alapú lepárlás a klasszikus output alapú megközelítéstől?
    • Megfelel a közbenső rejtett rétegbeli reprezentációknak, nem csak a végső kimeneteknek
    • Teljesen figyelmen kívül hagyja a tanárt
    • Csak kemény címkéket használ
    • A tanárt képezi a diák helyett
  7. A teacher assigns similar small probabilities to wolf and fox when predicting dog. What can soft-target distillation transfer beyond the top label?
    • A guarantee that either alternative is the correct label
    • The teacher’s complete original training corpus
    • The teacher’s exact number of hidden layers
    • Relative relationships among the teacher’s alternative class scores
  8. A distilled student is smaller than its teacher. Which evaluation is needed before deployment?
    • Assume its accuracy must equal the teacher’s
    • Measure its task accuracy and runtime on the intended system
    • Assume fewer parameters guarantee lower latency on every device
    • Only compare the models’ names