Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Strukturált metszés és rétegledobás kvíz

Checks why structured pruning speeds inference, how layer importance is estimated, and how fine-tuning or distillation recovers quality.

Kapcsolódó útmutató utakStrukturált metszés és rétegledobás
kérdés 1 -ból 8

Miért hoz valódi gyorsulást a strukturált metszés, míg a strukturálatlan metszés gyakran nem?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Miért hoz valódi gyorsulást a strukturált metszés, míg a strukturálatlan metszés gyakran nem?
    • A strukturált metszés eltávolítja a koherens blokkokat, amelyek ténylegesen összezsugorítják a tenzorokat
    • A strukturálatlan metszés növeli a modell méretét
    • A strukturált metszés több réteget ad hozzá
    • A strukturálatlan metszés csak a CPU-kon működik
  2. Mit jelent a „rétegledobás” a transzformátorok kontextusában?
    • A rétegenkénti tanulási arány csökkentése
    • Teljes transzformátorblokkok törlése a modellmélység csökkentése érdekében
    • Lemorzsolódás hozzáadása minden réteghez
    • A rétegek véletlenszerű átrendezése
  3. Melyik jel jelzi általában, hogy a transzformátorréteget biztonságosan le lehet ejteni?
    • A réteg rendelkezik a legtöbb paraméterrel
    • A réteg az első a hálózatban
    • A réteg bemeneti és kimeneti rejtett állapota nagyon hasonló
    • A réteg használja a legtöbb memóriát
  4. Általában melyik lépés állítja vissza a pontosságot a strukturált metszés után?
    • Csak a tétel méretének növelése
    • Újrakvantálás 16 bitre
    • További figyelemfelkeltő fejek hozzáadása
    • Egy rövid kör finomhangolás vagy tudáslepárlás
  5. Hogyan rangsorolják az egyes figyelemfelkeltő fejeket a metszés szempontjából?
    • A veszteség növekedésével a fej maszkolása esetén (érzékenység)
    • ABC sorrendben
    • A szókincsben elfoglalt helyzetük alapján
    • A látott tokenek száma alapján
  6. Mi a fő gyakorlati haszna a desztillációval kombinált strukturált metszésnek?
    • Az edzésadatok automatikus generálása
    • Kisebb, gyorsabb modellek családjának létrehozása egyetlen nagy ellenőrzőpontból
    • Modellsúlyok titkosítása
    • A kontextusablak hosszának növelése
  7. Why can a smaller student recover some function of a pruned model during distillation?
    • It restores the deleted weights in place
    • It changes the test labels
    • It is trained to match useful outputs or behavior of the larger teacher
    • It removes the need for validation
  8. If a transformer layer’s input and output have high cosine similarity, what does that suggest under the guide’s pruning heuristic?
    • The layer is guaranteed to be useless for every task
    • The model must add another layer
    • The output has no features
    • The layer changed the representation relatively little and may be a candidate for dropping