Викторина по обрезке моделей

Ответы и пояснения появляются по мере прохождения теста.

1. Что сокращение модели удаляет из обученной сети?
   • Удаление весов или структур, которые мало влияют на результат.
   • Добавление дополнительных параметров для повышения точности
   • Обучение модели для большего количества эпох
   • Увеличение входного разрешения
2. Что отличает структурированную обрезку от неструктурированной обрезки?
   • Структурированная обрезка работает только с изображениями.
   • Структурированная обрезка удаляет целые единицы, такие как нейроны или головы; неструктурированный удаляет отдельные веса
   • Неструктурированная обрезка требует переобучения с нуля
   • Практической разницы между ними нет
3. Почему неструктурированное сокращение часто не ускоряет работу модели на обычном оборудовании?
   • Удаляет слишком много слоев
   • Это всегда сводит точность к нулю.
   • Разреженным весовым матрицам требуется специальное оборудование или библиотеки для использования нулей.
   • Это увеличивает количество параметров
4. Каков типичный рецепт итеративной обрезки?
   • Сократите все сразу, а затем разверните
   • Сначала квантовайте, а потом никогда не переучивайте
   • Случайно удаляйте слои, пока точность не упадет.
   • Обучайте, сокращайте наименее важные параметры, настраивайте для восстановления и повторяйте
5. Что утверждает гипотеза лотерейного билета?
   • Плотные сети содержат разреженные подсети, которые могут соответствовать полной модели при обучении с помощью правильной инициализации.
   • Обрезка всегда повышает точность
   • Случайная обрезка всегда лучше
   • Большие модели невозможно сжать.
6. Какой простой критерий обычно используется для принятия решения о том, какие веса следует сократить?
   • Алфавитный порядок названий слоев
   • Абсолютная величина весов
   • Цвет карт активации
   • Количество обучающих примеров
7. When is pruning most likely to reduce inference latency on ordinary dense hardware?
   • When individual zeros are added but the dense kernel still computes them
   • When the model is renamed without changing its graph
   • When whole channels or other structures are removed to produce a smaller dense model
   • When a sparse checkpoint is stored in a larger file
8. What should a team measure after pruning for a deployment target?
   • Only the number of zeros in a checkpoint
   • Only training accuracy before pruning
   • Whether the file extension changed
   • Task quality and latency or memory on the intended hardware