Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Strukturált metszés és rétegledobás kvíz
Checks why structured pruning speeds inference, how layer importance is estimated, and how fine-tuning or distillation recovers quality.
kérdés 1 -ból 8
Miért hoz valódi gyorsulást a strukturált metszés, míg a strukturálatlan metszés gyakran nem?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Miért hoz valódi gyorsulást a strukturált metszés, míg a strukturálatlan metszés gyakran nem?
- A strukturált metszés eltávolítja a koherens blokkokat, amelyek ténylegesen összezsugorítják a tenzorokat
- A strukturálatlan metszés növeli a modell méretét
- A strukturált metszés több réteget ad hozzá
- A strukturálatlan metszés csak a CPU-kon működik
- Mit jelent a „rétegledobás” a transzformátorok kontextusában?
- A rétegenkénti tanulási arány csökkentése
- Teljes transzformátorblokkok törlése a modellmélység csökkentése érdekében
- Lemorzsolódás hozzáadása minden réteghez
- A rétegek véletlenszerű átrendezése
- Melyik jel jelzi általában, hogy a transzformátorréteget biztonságosan le lehet ejteni?
- A réteg rendelkezik a legtöbb paraméterrel
- A réteg az első a hálózatban
- A réteg bemeneti és kimeneti rejtett állapota nagyon hasonló
- A réteg használja a legtöbb memóriát
- Általában melyik lépés állítja vissza a pontosságot a strukturált metszés után?
- Csak a tétel méretének növelése
- Újrakvantálás 16 bitre
- További figyelemfelkeltő fejek hozzáadása
- Egy rövid kör finomhangolás vagy tudáslepárlás
- Hogyan rangsorolják az egyes figyelemfelkeltő fejeket a metszés szempontjából?
- A veszteség növekedésével a fej maszkolása esetén (érzékenység)
- ABC sorrendben
- A szókincsben elfoglalt helyzetük alapján
- A látott tokenek száma alapján
- Mi a fő gyakorlati haszna a desztillációval kombinált strukturált metszésnek?
- Az edzésadatok automatikus generálása
- Kisebb, gyorsabb modellek családjának létrehozása egyetlen nagy ellenőrzőpontból
- Modellsúlyok titkosítása
- A kontextusablak hosszának növelése
- Why can a smaller student recover some function of a pruned model during distillation?
- It restores the deleted weights in place
- It changes the test labels
- It is trained to match useful outputs or behavior of the larger teacher
- It removes the need for validation
- If a transformer layer’s input and output have high cosine similarity, what does that suggest under the guide’s pruning heuristic?
- The layer is guaranteed to be useless for every task
- The model must add another layer
- The output has no features
- The layer changed the representation relatively little and may be a candidate for dropping