Тест за структурирано подрязване и премахване на слоеве

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Защо структурираното подрязване води до реални ускорения, докато неструктурираното подрязване често не го прави?
   • Структурираното подрязване премахва кохерентни блокове, които всъщност свиват тензорите
   • Неструктурираното подрязване увеличава размера на модела
   • Структурираното подрязване добавя повече слоеве
   • Неструктурираното съкращаване работи само на процесори
2. Какво е „отпадане на слоя“ в контекста на трансформаторите?
   • Намаляване на скоростта на обучение на слой
   • Изтриване на цели трансформаторни блокове за намаляване на дълбочината на модела
   • Добавяне на отпадане към всеки слой
   • Пренареждане на слоевете произволно
3. Кой сигнал обикновено показва, че трансформаторният слой може да бъде безопасно изпуснат?
   • Слоят има най-много параметри
   • Слоят е първият в мрежата
   • Скритите състояния на входа и изхода на слоя са много сходни
   • Слоят използва най-много памет
4. Коя стъпка обикновено възстановява точността след структурирано подрязване?
   • Увеличаване само на размера на партидата
   • Повторно квантуване до 16 бита
   • Добавяне на повече внимание глави
   • Кратък кръг от фина настройка или дестилация на знания
5. Как често се класират индивидуалните глави за подрязване?
   • Чрез увеличаване на загубата, когато главата е маскирана (чувствителност)
   • По азбучен ред
   • По позицията си в речника
   • По броя жетони, които са видели
6. Каква е основната практическа употреба на структурираната резитба, комбинирана с дестилация?
   • Автоматично генериране на данни за обучение
   • Извличане на семейство от по-малки, по-бързи модели от една голяма контролна точка
   • Криптиране на тегла на модела
   • Увеличаване на дължината на контекстния прозорец
7. Why can a smaller student recover some function of a pruned model during distillation?
   • It restores the deleted weights in place
   • It changes the test labels
   • It is trained to match useful outputs or behavior of the larger teacher
   • It removes the need for validation
8. If a transformer layer’s input and output have high cosine similarity, what does that suggest under the guide’s pruning heuristic?
   • The layer is guaranteed to be useless for every task
   • The model must add another layer
   • The output has no features
   • The layer changed the representation relatively little and may be a candidate for dropping