Kvíz spojený s průvodcem · Střední úroveň
Kvíz o strukturovaném prořezávání a opouštění vrstev
Kontroluje, proč strukturované prořezávání urychluje vyvozování, jak se odhaduje důležitost vrstvy a jak jemné doladění nebo destilace obnovuje kvalitu.
Otázka 1 z 8
Proč strukturované prořezávání přináší skutečné zrychlení, zatímco nestrukturované prořezávání často ne?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Proč strukturované prořezávání přináší skutečné zrychlení, zatímco nestrukturované prořezávání často ne?
- Strukturované prořezávání odstraňuje koherentní bloky, které ve skutečnosti zmenšují tenzory
- Nestrukturované prořezávání zvětšuje velikost modelu
- Strukturované prořezávání přidává další vrstvy
- Nestrukturované prořezávání funguje pouze na CPU
- Co je to 'odpad vrstvy' v kontextu transformátorů?
- Snížení rychlosti učení na vrstvu
- Odstraněním celých bloků transformátoru se sníží hloubka modelu
- Přidání výpadků do každé vrstvy
- Změna pořadí vrstev náhodně
- Který signál obvykle naznačuje, že vrstva transformátoru může být bezpečně upuštěna?
- Vrstva má nejvíce parametrů
- Vrstva je první v síti
- Vstupní a výstupní skryté stavy vrstvy jsou velmi podobné
- Vrstva využívá nejvíce paměti
- Jaký krok obvykle obnoví přesnost po strukturovaném prořezávání?
- Pouze zvýšení velikosti dávky
- Překvantování na 16 bitů
- Přidání více hlav pozornosti
- Krátké kolo jemného ladění nebo znalostní destilace
- Jak jsou jednotlivé hlavy pozornosti často hodnoceny pro prořezávání?
- Zvýšením ztráty, když je hlava maskována (citlivost)
- Podle abecedy
- Podle jejich postavení ve slovní zásobě
- Podle počtu žetonů, které viděli
- Jaké je hlavní praktické využití strukturovaného prořezávání v kombinaci s destilací?
- Automatické generování tréninkových dat
- Odvození rodiny menších, rychlejších modelů z jednoho velkého kontrolního bodu
- Šifrování modelových vah
- Zvětšení délky kontextového okna
- Why can a smaller student recover some function of a pruned model during distillation?
- It restores the deleted weights in place
- It changes the test labels
- It is trained to match useful outputs or behavior of the larger teacher
- It removes the need for validation
- If a transformer layer’s input and output have high cosine similarity, what does that suggest under the guide’s pruning heuristic?
- The layer is guaranteed to be useless for every task
- The model must add another layer
- The output has no features
- The layer changed the representation relatively little and may be a candidate for dropping