SmoothQuant и викторина по квантованию активации

Ответы и пояснения появляются по мере прохождения теста.

1. Какую проблему конкретно решает SmoothQuant при выводе низкой точности?
   • Экстремальные значения выбросов в каналах активации
   • Веса, которые слишком малы для представления
   • Градиент исчезает во время обратного распространения ошибки
   • Ограничения на размер словаря токенов
2. Как SmoothQuant упрощает квантование активаций?
   • Он отсекает все активации выше фиксированного порога.
   • Он переносит сложность за счет уменьшения количества активаций и увеличения веса на тот же коэффициент.
   • Он переобучает модель от начала до конца в 8-битном режиме.
   • Он преобразует активации только в формат с плавающей запятой.
3. Что означает обозначение W8A8?
   • 8 весовых слоев и 8 головок внимания
   • Снижение веса 8 и альфа 8
   • 8-битные веса и 8-битные активации
   • 8 рабочих и 8 ускорителей
4. Почему масштабирование SmoothQuant практически не увеличивает накладные расходы во время выполнения?
   • Он работает на отдельном выделенном графическом процессоре.
   • Это применимо только во время обучения, а не вывода.
   • Современные процессоры игнорируют коэффициенты масштабирования
   • Весы автоматически поглощаются соседними весами или объединенными операциями.
5. Какую роль играет альфа-гиперпараметр в SmoothQuant?
   • Он контролирует, насколько выбросы нагрузки смещаются от активаций к весам.
   • Он устанавливает скорость обучения для точной настройки
   • Он определяет количество бит квантования
   • Он выбирает, какое внимание следует сократить.
6. What result did the SmoothQuant paper report for its evaluated W8A8 large-language-model deployments?
   • A guaranteed 10× speedup on every GPU
   • About 1.56× speedup and roughly 2× memory savings with near-full-precision accuracy
   • No runtime or memory benefit
   • A 50% accuracy drop in every tested model
7. Why does multiplying activation channels by 1/s and corresponding weights by s preserve a linear layer’s product?
   • The output is rounded to the nearest class
   • The model replaces multiplication with addition
   • The reciprocal scale factors cancel in the activation-weight multiplication
   • The weights are set to zero after scaling
8. In SmoothQuant’s scale formula, what does increasing alpha generally do to outlier handling?
   • It removes the model’s weight matrices
   • It turns W8A8 into W16A16
   • It eliminates all quantization error
   • It shifts more scaling burden away from activations and onto weights