人工智慧術語

什麼是 品質保證?

定義

一種微調技術，將 4 位元權重量化與 LoRA 適配器結合，以減少記憶體需求。

相關術語

LoRA（低階適應）
一種加入低秩適配器矩陣的參數高效率微調方法。
量化
將模型權重轉換為較低精確度的格式，例如 8 位元或 4 位元。
微調
對特定領域的資料進行持續訓練，以使預先訓練的模型適應特定任務。
指令調優
微調指令-響應對的模型以改善任務追蹤。
模型量化
降低模型權重的數值精度以減少記憶體和推理成本。
參數高效率微調 (PEFT)
透過訓練一小部分添加參數來調整模型的方法。

在我們的免費指南中了解更多信息

QLoRA and 4-Bit Fine-Tuning

參見

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)
瀏覽完整的人工智慧術語表探索所有免費的人工智慧指南