SmoothQuant и тест за квантуване на активиране

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. Към какъв проблем конкретно се отнася SmoothQuant при извод с ниска точност?
   • Екстремни извънредни стойности в каналите за активиране
   • Тегла, които са твърде малки, за да бъдат представени
   • Изчезване на градиента по време на обратно разпространение
   • Ограничения за размера на лексиката на токените
2. Как SmoothQuant прави активирането по-лесно за квантуване?
   • Той отрязва всички активации над фиксиран праг
   • Той мигрира трудността чрез намаляване на мащаба на активациите и увеличаване на тежестта със същия фактор
   • Той преобучава модела от край до край в 8-битов
   • Той преобразува активациите само в плаваща запетая
3. Какво означава обозначението W8A8?
   • 8 слоя тежести и 8 глави за внимание
   • Намаляване на теглото на 8 и алфа на 8
   • 8-битови тегла и 8-битови активации
   • 8 работници и 8 ускорителя
4. Защо мащабирането на SmoothQuant не добавя по същество допълнителни разходи по време на изпълнение?
   • Работи на отделен специален GPU
   • Прилага се само по време на обучение, никога за заключение
   • Съвременните процесори пренебрегват факторите за мащабиране
   • Везните се абсорбират офлайн в съседни тегла или слети операции
5. Каква роля играе алфа хиперпараметърът в SmoothQuant?
   • Той контролира колко извънредно натоварване се измества от активации към тегла
   • Той задава скоростта на обучение за фина настройка
   • Той определя броя на битовете за квантуване
   • Той избира кои глави за внимание да бъдат подрязани
6. What result did the SmoothQuant paper report for its evaluated W8A8 large-language-model deployments?
   • A guaranteed 10× speedup on every GPU
   • About 1.56× speedup and roughly 2× memory savings with near-full-precision accuracy
   • No runtime or memory benefit
   • A 50% accuracy drop in every tested model
7. Why does multiplying activation channels by 1/s and corresponding weights by s preserve a linear layer’s product?
   • The output is rounded to the nearest class
   • The model replaces multiplication with addition
   • The reciprocal scale factors cancel in the activation-weight multiplication
   • The weights are set to zero after scaling
8. In SmoothQuant’s scale formula, what does increasing alpha generally do to outlier handling?
   • It removes the model’s weight matrices
   • It turns W8A8 into W16A16
   • It eliminates all quantization error
   • It shifts more scaling burden away from activations and onto weights