ガイド連動クイズ · 中 レベル

QLoRA と 4 ビット微調整クイズ

QLoRA の凍結された 4 ビット ベース、トレーニング可能な低ランク アダプター、NF4、二重量子化、ページ オプティマイザー、および一時的な逆量子化を確認します。

関連するガイドパスQlora と 4 ビットの微調整
質問 1 の 8

QLoRA の「4 ビット」部分の背後にある中心となるメモリ節約のアイデアは何ですか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. QLoRA の「4 ビット」部分の背後にある中心となるメモリ節約のアイデアは何ですか?
    • 凍結された基本モデルの重みをそれぞれ 4 ビットまで量子化します。
    • モデルのレイヤーの 75% が削除されます
    • わずか 4 エポックでモデルをトレーニングします
    • 多数の GPU ではなく 4 つの GPU のみを使用します
  2. QLoRA の微調整中に、実際に勾配降下法によってどのパラメータが更新されますか?
    • モデルのすべての元のウェイト
    • 小規模な低ランク LoRA アダプター マトリックスのみ
    • 4 ビットの量子化定数
    • トークナイザーの語彙
  3. QLoRA の文脈における NF4 とは何ですか?
    • 4層のニューラルネットワーク
    • 新しいオプティマイザー アルゴリズム
    • 正規分布の重みに最適化された 4 ビットのデータ型
    • 4 ノード GPU クラスター形式
  4. QLoRA の「ページングオプティマイザー」はどのような問題に対処しますか?
    • モデル ファイルのインターネット ダウンロードが遅い
    • 不正なトークン化
    • 小さなデータセットでの過学習
    • 長いシーケンス中のメモリ不足の急増
  5. トレーニング中に 4 ビットの重みがより高い精度に戻されるのはいつですか?
    • 行列乗算中のジャストインタイム、その後破棄される
    • 彼らは決して改心しません。計算は 4 ビットで行われます
    • トレーニング開始時に一度だけ
    • トレーニング終了後にのみ
  6. 元の QLoRA 論文は品質について何を示していましたか?
    • 4 ビット微調整は常に完全微調整よりも優れています
    • 1 つの GPU で 65B モデルを微調整すると、完全な 16 ビット微調整品質に匹敵する可能性があります
    • 量子化により 8 ビット未満のモデルは役に立たなくなる
    • この方法で微調整できるのは小さなモデルのみです
  7. What does QLoRA’s double-quantization step compress?
    • トークナイザーの語彙
    • The LoRA adapter rank
    • The quantization constants used to represent the 4-bit weights
    • The training examples’ text labels
  8. How can one QLoRA base model support multiple task-specific versions?
    • They delete the optimizer state after every token
    • They increase the base model from 4-bit to 32-bit
    • They move all activations into the tokenizer
    • Reuse the frozen 4-bit base and swap small trainable LoRA adapters for different tasks