引導式測驗 · 中等 等級

QLoRA 和 4 位元微調測驗

請參閱 QLoRA 的凍結 4 位元基礎、可訓練低階適配器、NF4、雙量化、分頁優化器和臨時反量化。

相關引導路徑Qlora 和 4 位元微調
問題 1 的 8

QLoRA 的「4 位元」部分背後的核心記憶體節省理念是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. QLoRA 的「4 位元」部分背後的核心記憶體節省理念是什麼?
    • 它將凍結的基礎模型的權重量化為每個 4 位
    • 它刪除了 75% 的模型圖層
    • 它只用了 4 個 epoch 就訓練了模型
    • 它只使用 4 個 GPU,而不是很多
  2. 在 QLoRA 微調過程中,哪些參數實際上是透過梯度下降來更新的?
    • 模型的所有原始權重
    • 僅小型低階 LoRA 適配器矩陣
    • 4 位元量化常數
    • 分詞器的詞彙表
  3. QLoRA 背景下的 NF4 是什麼?
    • 4 層神經網絡
    • 一種新的優化器演算法
    • 針對常態分佈權重最佳化的 4 位元資料類型
    • 4節點GPU叢集格式
  4. QLoRA 中的「分頁優化器」解決什麼問題?
    • 模型檔案的網路下載速度慢
    • 標記化不正確
    • 小數據集上的過度擬合
    • 長序列期間出現記憶體不足峰值
  5. 訓練期間什麼時候將 4 位元權重轉換回更精確度?
    • 在矩陣乘法期間即時發生,然後丟棄
    • 他們從未悔改;數學運算是用 4 位完成的
    • 僅在訓練開始時一次
    • 僅在訓練完成後
  6. 最初的 QLoRA 論文展示了哪些關於品質的內容?
    • 4 位元微調總是勝過全微調
    • 在一個 GPU 上微調 65B 模型可以匹配完整的 16 位元微調質量
    • 量化使得模型在 8 位元以下毫無用處
    • 只有微小的模型才能以這種方式微調
  7. What does QLoRA’s double-quantization step compress?
    • 分詞器詞彙
    • The LoRA adapter rank
    • The quantization constants used to represent the 4-bit weights
    • The training examples’ text labels
  8. How can one QLoRA base model support multiple task-specific versions?
    • They delete the optimizer state after every token
    • They increase the base model from 4-bit to 32-bit
    • They move all activations into the tokenizer
    • Reuse the frozen 4-bit base and swap small trainable LoRA adapters for different tasks