引導式測驗 · 中等 等級
持續預訓練與微調測驗
測試持續預訓練和微調、災難性遺忘和重播之間的資料和客觀差異,以及何時檢索更適合。
問題 1 的 8
持續預訓練和監督微調之間的主要資料差異是什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 持續預訓練和監督微調之間的主要資料差異是什麼?
- 兩者都只使用標籤的問題和答案對
- 繼續預訓練使用原始域文本;使用精選的標記範例進行微調
- 微調比持續預訓練使用更多的數據
- 繼續預訓練僅使用影像
- 在監督微調中,損失通常在哪裡計算?
- 在每個標記上,包括提示
- 僅在提示標記上
- 在隨機選擇的代幣上
- 仅在响应令牌上
- 持續預訓練中的重播是什麼?
- 將一些一般資料混合到訓練中以限制遺忘
- 運行同一批次兩次
- 從頭開始訓練
- 在推理時重播使用者對話
- 程式碼 Llama 是如何建構的?
- 僅從頭開始編寫程式碼
- 按提示工程 Llama 2
- 透過在大型程式碼語料庫上繼續訓練 Llama 2
- 透過對數百個編碼問題進行微調
- 對於經常變化的事實,指南建議的哪種方法通常比微調更好?
- 每天持續預訓練
- 檢索最新文檔
- 提高採樣溫度
- 訓練更大的分詞器
- 根據指南,關於 BloombergGPT 的哪種說法是正確的?
- 是Llama 2的繼續預訓練
- 它僅由 LoRA 創建
- 这是一个快速设计的 GPT-3
- 它从头开始接受财务和一般数据的培训
- 2020 年论文 Don’t Stop Pretraining 显示了什么?
- 域内文本预训练的第二阶段改进了 RoBERTa 在域任务上的表现
- 预训练应始终在一个时期后停止
- 微调对分类没有用
- 域名文本会损害每个模型
- 为什么在继续预训练开始时重新预热学习率?
- 重置分词器
- 冻结基础重量
- 过高的恢复率会破坏训练的稳定性,而过低的恢复率则收效甚微
- 跳过对域数据的需要