Kvíz spojený s průvodcem · Střední úroveň

Kvíz o strukturovaném prořezávání a opouštění vrstev

Kontroluje, proč strukturované prořezávání urychluje vyvozování, jak se odhaduje důležitost vrstvy a jak jemné doladění nebo destilace obnovuje kvalitu.

Otázka 1 z 8

Proč strukturované prořezávání přináší skutečné zrychlení, zatímco nestrukturované prořezávání často ne?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Proč strukturované prořezávání přináší skutečné zrychlení, zatímco nestrukturované prořezávání často ne?
    • Strukturované prořezávání odstraňuje koherentní bloky, které ve skutečnosti zmenšují tenzory
    • Nestrukturované prořezávání zvětšuje velikost modelu
    • Strukturované prořezávání přidává další vrstvy
    • Nestrukturované prořezávání funguje pouze na CPU
  2. Co je to 'odpad vrstvy' v kontextu transformátorů?
    • Snížení rychlosti učení na vrstvu
    • Odstraněním celých bloků transformátoru se sníží hloubka modelu
    • Přidání výpadků do každé vrstvy
    • Změna pořadí vrstev náhodně
  3. Který signál obvykle naznačuje, že vrstva transformátoru může být bezpečně upuštěna?
    • Vrstva má nejvíce parametrů
    • Vrstva je první v síti
    • Vstupní a výstupní skryté stavy vrstvy jsou velmi podobné
    • Vrstva využívá nejvíce paměti
  4. Jaký krok obvykle obnoví přesnost po strukturovaném prořezávání?
    • Pouze zvýšení velikosti dávky
    • Překvantování na 16 bitů
    • Přidání více hlav pozornosti
    • Krátké kolo jemného ladění nebo znalostní destilace
  5. Jak jsou jednotlivé hlavy pozornosti často hodnoceny pro prořezávání?
    • Zvýšením ztráty, když je hlava maskována (citlivost)
    • Podle abecedy
    • Podle jejich postavení ve slovní zásobě
    • Podle počtu žetonů, které viděli
  6. Jaké je hlavní praktické využití strukturovaného prořezávání v kombinaci s destilací?
    • Automatické generování tréninkových dat
    • Odvození rodiny menších, rychlejších modelů z jednoho velkého kontrolního bodu
    • Šifrování modelových vah
    • Zvětšení délky kontextového okna
  7. Why can a smaller student recover some function of a pruned model during distillation?
    • It restores the deleted weights in place
    • It changes the test labels
    • It is trained to match useful outputs or behavior of the larger teacher
    • It removes the need for validation
  8. If a transformer layer’s input and output have high cosine similarity, what does that suggest under the guide’s pruning heuristic?
    • The layer is guaranteed to be useless for every task
    • The model must add another layer
    • The output has no features
    • The layer changed the representation relatively little and may be a candidate for dropping