引導式測驗 · 中等 等級

持續預訓練與微調測驗

測試持續預訓練和微調、災難性遺忘和重播之間的資料和客觀差異,以及何時檢索更適合。

相關引導路徑持續預訓練與微調
問題 1 的 8

持續預訓練和監督微調之間的主要資料差異是什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 持續預訓練和監督微調之間的主要資料差異是什麼?
    • 兩者都只使用標籤的問題和答案對
    • 繼續預訓練使用原始域文本;使用精選的標記範例進行微調
    • 微調比持續預訓練使用更多的數據
    • 繼續預訓練僅使用影像
  2. 在監督微調中,損失通常在哪裡計算?
    • 在每個標記上,包括提示
    • 僅在提示標記上
    • 在隨機選擇的代幣上
    • 仅在响应令牌上
  3. 持續預訓練中的重播是什麼?
    • 將一些一般資料混合到訓練中以限制遺忘
    • 運行同一批次兩次
    • 從頭開始訓練
    • 在推理時重播使用者對話
  4. 程式碼 Llama 是如何建構的?
    • 僅從頭開始編寫程式碼
    • 按提示工程 Llama 2
    • 透過在大型程式碼語料庫上繼續訓練 Llama 2
    • 透過對數百個編碼問題進行微調
  5. 對於經常變化的事實,指南建議的哪種方法通常比微調更好?
    • 每天持續預訓練
    • 檢索最新文檔
    • 提高採樣溫度
    • 訓練更大的分詞器
  6. 根據指南,關於 BloombergGPT 的哪種說法是正確的?
    • 是Llama 2的繼續預訓練
    • 它僅由 LoRA 創建
    • 这是一个快速设计的 GPT-3
    • 它从头开始接受财务和一般数据的培训
  7. 2020 年论文 Don’t Stop Pretraining 显示了什么?
    • 域内文本预训练的第二阶段改进了 RoBERTa 在域任务上的表现
    • 预训练应始终在一个时期后停止
    • 微调对分类没有用
    • 域名文本会损害每个模型
  8. 为什么在继续预训练开始时重新预热学习率?
    • 重置分词器
    • 冻结基础重量
    • 过高的恢复率会破坏训练的稳定性,而过低的恢复率则收效甚微
    • 跳过对域数据的需要