モデル量子化クイズ

クイズに答えると、答えと解説が表示されます。

1. モデルを量子化すると主に何が削減されますか?
   • 重みとアクティベーションを保存するために使用される数値精度
   • ネットワーク内の層の数
   • モデルが構築されたトレーニング データセット
   • モデルが理解できる言語
2. Ignoring scale metadata and other runtime tensors, what is the weight-payload ratio from sixteen bits to four bits per weight?
   • The payload is unchanged
   • It is one hundredth of the original payload
   • The four-bit payload is one quarter of the sixteen-bit payload
   • The payload becomes four times larger
3. 積極的な低ビット量子化の主な欠点は何ですか?
   • モデルがトレーニング言語を忘れてしまう
   • 値がより少ないバケットに詰め込まれるため、精度が失われる可能性があります
   • スーパーコンピューター上でのみ実行可能
   • レイヤーを完全に削除します
4. 量子化を意識したトレーニングはトレーニング後の量子化とどう違うのでしょうか?
   • データはまったく必要ありません
   • 画像に対してのみ機能します
   • 時間の経過とともにビット数が増加します
   • トレーニング中に丸めをシミュレートするため、モデルは低精度を許容できるようになります。
5. 1 つの GPU で大規模なモデルの微調整を手頃な価格で行うために、4 ビット量子化を使用する手法はどれですか?
   • ドロップアウト
   • バッチ正規化
   • QLoRA
   • トークン化
6. チャネルごとまたはグループごとのスケーリングが量子化モデルに役立つのはなぜですか?
   • 精度を維持するために、重み行列のスライスに個別のスケール係数を割り当てます。
   • 重みを付ける必要がなくなります
   • モデルが大きくなります
   • テキストを音声に変換します
7. A four-bit model’s raw weights fit in available VRAM, but serving fails out of memory. What could explain this?
   • Every four-bit weight expands permanently to a gigabyte
   • Quantization guarantees no runtime allocations
   • Only the model’s filename consumes the remaining memory
   • Caches, scales, unquantized tensors, or workspace need additional memory
8. A team quantizes to INT8 but sees no inference speedup. What should it check?
   • Whether the training data are alphabetized
   • Whether the workload uses efficient supported kernels on its hardware
   • Whether lower bit width always guarantees faster execution
   • Whether the model must have changed languages