SmoothQuant とアクティベーション クオンタイゼーションのクイズ

クイズに答えると、答えと解説が表示されます。

1. SmoothQuant は、低精度推論における具体的にどのような問題に対処しますか?
   • アクティベーションチャネルにおける極端な外れ値
   • 小さすぎて表現できない重み
   • バックプロパゲーション中の勾配消失
   • トークンの語彙サイズの制限
2. SmoothQuant を使用すると、アクティベーションの量子化がどのように簡単になるのでしょうか?
   • 固定しきい値を超えるすべてのアクティベーションをクリップします
   • アクティベーションをスケールダウンし、同じ係数で重み付けすることで難易度を移行します。
   • モデルをエンドツーエンドで 8 ビットで再トレーニングします。
   • アクティベーションを浮動小数点のみに変換します
3. W8A8という表記は何を意味するのでしょうか？
   • 8 つのウェイト レイヤーと 8 つのアテンション ヘッド
   • 8 のウェイト減衰と 8 のアルファ
   • 8 ビットの重みと 8 ビットのアクティベーション
   • 8 人のワーカーと 8 人のアクセラレータ
4. SmoothQuant のスケーリングによって基本的に実行時のオーバーヘッドが追加されないのはなぜですか?
   • 別の専用GPUで動作します
   • トレーニング中にのみ適用され、推論には適用されません
   • 最新の CPU はスケーリング係数を無視します
   • スケールはオフラインで隣接する重量または融合された操作に吸収されます
5. アルファ ハイパーパラメータは SmoothQuant でどのような役割を果たしますか?
   • 異常値の負担がアクティベーションから重みにどの程度シフトするかを制御します
   • 微調整のための学習率を設定します
   • 量子化ビット数を決定します
   • どのアテンションヘッドを剪定するかを選択します
6. What result did the SmoothQuant paper report for its evaluated W8A8 large-language-model deployments?
   • A guaranteed 10× speedup on every GPU
   • About 1.56× speedup and roughly 2× memory savings with near-full-precision accuracy
   • No runtime or memory benefit
   • A 50% accuracy drop in every tested model
7. Why does multiplying activation channels by 1/s and corresponding weights by s preserve a linear layer’s product?
   • The output is rounded to the nearest class
   • The model replaces multiplication with addition
   • The reciprocal scale factors cancel in the activation-weight multiplication
   • The weights are set to zero after scaling
8. In SmoothQuant’s scale formula, what does increasing alpha generally do to outlier handling?
   • It removes the model’s weight matrices
   • It turns W8A8 into W16A16
   • It eliminates all quantization error
   • It shifts more scaling burden away from activations and onto weights