Тест за подрязване на модели

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. What does model pruning remove from a trained network?
   • Премахване на тежести или структури, които допринасят малко за изхода
   • Добавяне на още параметри за подобряване на точността
   • Обучение на модел за повече епохи
   • Увеличаване на входната резолюция
2. Какво отличава структурираната резитба от неструктурираната?
   • Структурираното изрязване работи само върху изображения
   • Структурираното подрязване премахва цели единици като неврони или глави; неструктуриран премахва индивидуалните тежести
   • Неструктурираното подрязване изисква преквалификация от нулата
   • Няма практическа разлика между тях
3. Защо неструктурираното подрязване често не успява да ускори модел на обикновен хардуер?
   • Изтрива твърде много слоеве
   • Винаги намалява точността до нула
   • Матриците с рядко тегло се нуждаят от специален хардуер или библиотеки, за да използват нулите
   • Увеличава броя на параметрите
4. Каква е типичната рецепта за итеративно подрязване?
   • Подрязвайте всичко наведнъж и след това разгръщайте
   • Първо квантувайте, след това никога не преквалифицирайте
   • Изтривайте произволно слоеве, докато точността падне
   • Обучете, отрежете най-малко важните параметри, фино настройте за възстановяване и повторете
5. Какво твърди Хипотезата за лотарийния билет?
   • Плътните мрежи съдържат редки подмрежи, които могат да съответстват на пълния модел, когато се обучат от правилната инициализация
   • Подрязването винаги подобрява точността
   • Случайното подрязване винаги е най-добро
   • Големите модели не могат да бъдат компресирани
6. Кой прост критерий обикновено се използва, за да се реши кои тегла да бъдат намалени?
   • Азбучен ред на имената на слоевете
   • Абсолютната величина на теглата
   • Цветът на картите за активиране
   • Броят на примерите за обучение
7. When is pruning most likely to reduce inference latency on ordinary dense hardware?
   • When individual zeros are added but the dense kernel still computes them
   • When the model is renamed without changing its graph
   • When whole channels or other structures are removed to produce a smaller dense model
   • When a sparse checkpoint is stored in a larger file
8. What should a team measure after pruning for a deployment target?
   • Only the number of zeros in a checkpoint
   • Only training accuracy before pruning
   • Whether the file extension changed
   • Task quality and latency or memory on the intended hardware