引導式測驗 · 中等 等級
QLoRA 和 4 位元微調測驗
請參閱 QLoRA 的凍結 4 位元基礎、可訓練低階適配器、NF4、雙量化、分頁優化器和臨時反量化。
問題 1 的 8
QLoRA 的「4 位元」部分背後的核心記憶體節省理念是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- QLoRA 的「4 位元」部分背後的核心記憶體節省理念是什麼?
- 它將凍結的基礎模型的權重量化為每個 4 位
- 它刪除了 75% 的模型圖層
- 它只用了 4 個 epoch 就訓練了模型
- 它只使用 4 個 GPU,而不是很多
- 在 QLoRA 微調過程中,哪些參數實際上是透過梯度下降來更新的?
- 模型的所有原始權重
- 僅小型低階 LoRA 適配器矩陣
- 4 位元量化常數
- 分詞器的詞彙表
- QLoRA 背景下的 NF4 是什麼?
- 4 層神經網絡
- 一種新的優化器演算法
- 針對常態分佈權重最佳化的 4 位元資料類型
- 4節點GPU叢集格式
- QLoRA 中的「分頁優化器」解決什麼問題?
- 模型檔案的網路下載速度慢
- 標記化不正確
- 小數據集上的過度擬合
- 長序列期間出現記憶體不足峰值
- 訓練期間什麼時候將 4 位元權重轉換回更精確度?
- 在矩陣乘法期間即時發生,然後丟棄
- 他們從未悔改;數學運算是用 4 位完成的
- 僅在訓練開始時一次
- 僅在訓練完成後
- 最初的 QLoRA 論文展示了哪些關於品質的內容?
- 4 位元微調總是勝過全微調
- 在一個 GPU 上微調 65B 模型可以匹配完整的 16 位元微調質量
- 量化使得模型在 8 位元以下毫無用處
- 只有微小的模型才能以這種方式微調
- What does QLoRA’s double-quantization step compress?
- 分詞器詞彙
- The LoRA adapter rank
- The quantization constants used to represent the 4-bit weights
- The training examples’ text labels
- How can one QLoRA base model support multiple task-specific versions?
- They delete the optimizer state after every token
- They increase the base model from 4-bit to 32-bit
- They move all activations into the tokenizer
- Reuse the frozen 4-bit base and swap small trainable LoRA adapters for different tasks