GPTQ および AWQ トレーニング後の量子化クイズ

クイズに答えると、答えと解説が表示されます。

1. 「トレーニング後の量子化」とは何を意味しますか?
   • 完全な再トレーニングを行わずに、すでにトレーニング済みのモデルの重みを圧縮して精度を下げる
   • モデルを完全に低精度で再トレーニングする
   • 導入後のトレーニング データの追加
   • モデルのパラメータ数を増やす
2. GPTQ は量子化時に丸め誤差を補正するためにどのような情報を使用しますか?
   • モデルの語彙リスト
   • キャリブレーション データセットからの 2 次 (ヘッセ行列/曲率) 情報
   • ユーザーのプロンプト履歴
   • ランダムノイズ
3. AWQ (Activation-aware Weight Quantization) を推進する重要な洞察は何ですか?
   • すべての重みは同様に重要です
   • アクティベーションは量子化する必要がありますが、重みはそのままにしておく必要があります
   • ウェイト チャネルのごく一部は特に重要であり、保護する必要があります。
   • 量子化は事前トレーニング中にのみ実行する必要があります
4. 16 ビットの重み付けと比較して、4 ビットの量子化ではおおよそどのくらいのメモリが節約されますか?
   • 貯蓄なし
   • メモリが約2倍に
   • ちょうど半分の記憶
   • メモリが約 4 分の 1 (4 倍の削減)
5. GPTQ と AWQ の両方が通常、重みを量子化しながら、アクティベーションをより高い精度で維持するのはなぜですか?
   • 重みがメモリを支配し、積極的なアクティベーション量子化は精度をさらに損なう傾向があります
   • トランスフォーマーにはアクティベーションは存在しません
   • アクティベーションはすでに 1 ビットです
   • 法律で義務付けられています
6. 量子化モデルを消費者向けハードウェアでローカルに実行するために一般的に使用されるツールはどれですか?
   • Microsoft 単語
   • ラマ.cpp
   • 表計算プログラム
   • Webブラウザのみ
7. How does GPTQ use a calibration dataset during layer-wise weight quantization?
   • It adds new training labels to the model
   • It selects a new tokenizer vocabulary
   • It estimates second-order information to compensate for rounding errors
   • It measures only GPU temperature
8. How does AWQ identify which weight channels deserve protection?
   • It computes a full Hessian inverse
   • It adds random noise to all weights
   • It selects channels only by their index
   • It uses activation magnitudes to identify channels important to preserve