Kvíz spojený s průvodcem · Střední úroveň
Modelový kvíz o prořezávání
Kontroluje strukturované a nestrukturované ořezávání, limity pro řídké jádro, iterativní obnovu, nároky na loterijní lístky a měření nasazení.
Otázka 1 z 8
What does model pruning remove from a trained network?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- What does model pruning remove from a trained network?
- Odstranění závaží nebo struktur, které málo přispívají k výstupu
- Přidání dalších parametrů pro zvýšení přesnosti
- Školení modelu pro více epoch
- Zvýšení vstupního rozlišení
- Co odlišuje strukturované prořezávání od nestrukturovaného?
- Strukturované prořezávání funguje pouze na obrázcích
- Strukturované prořezávání odstraňuje celé jednotky, jako jsou neurony nebo hlavy; nestrukturovaný odstraňuje jednotlivé závaží
- Nestrukturované prořezávání vyžaduje rekvalifikaci od začátku
- Není mezi nimi žádný praktický rozdíl
- Proč nestrukturované prořezávání často nedokáže urychlit model na běžném hardwaru?
- Odstraní příliš mnoho vrstev
- Vždy snižuje přesnost na nulu
- Matice s řídkou váhou potřebují speciální hardware nebo knihovny, aby mohly využívat nuly
- Zvyšuje počet parametrů
- Jaký je typický iterativní recept na prořezávání?
- Ořízněte vše najednou a poté nasaďte
- Nejprve kvantifikujte, pak už nikdy nepřecvičujte
- Náhodně odstraňte vrstvy, dokud přesnost neklesne
- Trénujte, ořezávejte nejméně důležité parametry, dolaďte pro obnovení a opakujte
- Co tvrdí hypotéza loterijního lístku?
- Husté sítě obsahují řídké podsítě, které mohou odpovídat úplnému modelu, když jsou trénovány ze správné inicializace
- Prořezávání vždy zvyšuje přesnost
- Náhodné prořezávání je vždy nejlepší
- Velké modely nelze komprimovat
- Které jednoduché kritérium se běžně používá při rozhodování o tom, které závaží prořezat?
- Abecední pořadí názvů vrstev
- Absolutní velikost závaží
- Barva aktivačních map
- Počet tréninkových příkladů
- When is pruning most likely to reduce inference latency on ordinary dense hardware?
- When individual zeros are added but the dense kernel still computes them
- When the model is renamed without changing its graph
- When whole channels or other structures are removed to produce a smaller dense model
- When a sparse checkpoint is stored in a larger file
- What should a team measure after pruning for a deployment target?
- Only the number of zeros in a checkpoint
- Only training accuracy before pruning
- Whether the file extension changed
- Task quality and latency or memory on the intended hardware