Викторина по структурированному сокращению и удалению слоев

Ответы и пояснения появляются по мере прохождения теста.

1. Почему структурированное сокращение дает реальное ускорение, а неструктурированное сокращение часто не дает?
   • Структурированная обрезка удаляет связные блоки, которые фактически сжимают тензоры.
   • Неструктурированная обрезка увеличивает размер модели.
   • Структурированная обрезка добавляет больше слоев
   • Неструктурированное сокращение работает только на процессорах.
2. Что такое «отбрасывание слоев» в контексте трансформаторов?
   • Снижение скорости обучения на слой
   • Удаление целых блоков трансформаторов для уменьшения глубины модели.
   • Добавление дропаута на каждый слой
   • Изменение порядка слоев в случайном порядке
3. Какой сигнал обычно указывает на то, что слой трансформатора можно безопасно отключить?
   • Слой имеет наибольшее количество параметров
   • Слой является первым в сети
   • Скрытые состояния ввода и вывода слоя очень похожи.
   • Слой использует больше всего памяти
4. Какой шаг обычно восстанавливает точность после структурированной обрезки?
   • Только увеличение размера пакета
   • Повторное квантование до 16 бит.
   • Добавляем больше внимания
   • Короткий раунд тонкой настройки или дистилляции знаний
5. Как часто оценивают отдельные головы внимания для обрезки?
   • По увеличению потерь при маскировке головы (чувствительности)
   • В алфавитном порядке
   • По своему положению в лексиконе
   • По количеству жетонов, которые они видели
6. Какова основная практическая польза структурированной обрезки в сочетании с дистилляцией?
   • Автоматическое создание данных обучения
   • Создание семейства меньших и быстрых моделей из одной большой контрольной точки.
   • Шифрование весов модели
   • Увеличение длины контекстного окна
7. Why can a smaller student recover some function of a pruned model during distillation?
   • It restores the deleted weights in place
   • It changes the test labels
   • It is trained to match useful outputs or behavior of the larger teacher
   • It removes the need for validation
8. If a transformer layer’s input and output have high cosine similarity, what does that suggest under the guide’s pruning heuristic?
   • The layer is guaranteed to be useless for every task
   • The model must add another layer
   • The output has no features
   • The layer changed the representation relatively little and may be a candidate for dropping