引導式測驗 · 中等 等級

指令調整測驗

回顧監督指令回應訓練、可選偏好階段、任務多樣性、LIMA 實驗以及新指令的評估。

相關引導路徑指令調優
問題 1 的 8

如果沒有指令調整,原始基礎模型如何回應「法國的首都是哪裡?」的提示?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 如果沒有指令調整,原始基礎模型如何回應「法國的首都是哪裡?」的提示?
    • 總是拒絕回答
    • 它回傳一個錯誤
    • 它可能會繼續提出更多問題或相關文本,而不是回答
    • 每次都完美回答
  2. 指令調整最好描述為:
    • 從人類回饋中強化學習
    • 對原始網路文字進行預訓練
    • 調節溫度參數
    • 對指令和響應對進行監督微調
  3. 在已發布的 InstructGPT 配方中,監督指令調整與基於獎勵模型的 RLHF 有何不同?
    • 這是完全相同的優化階段
    • 它根據參考反應進行訓練,而後面的偏好階段則使用比較和獎勵模型
    • 它不需要訓練範例
    • 它僅改變採樣溫度
  4. 為什麼指令調整研究者要評估保留任務和指示的模型?
    • 評估訓練範例之外的泛化能力
    • 證明每一個看不見的任務都會成功
    • 避免檢查任何產生的回應
    • 確保每個任務組合具有相同的準確性
  5. 現代聊天助理的典型訓練階段順序是什麼?
    • RLHF,然後預訓練,然後指令調優
    • 指令調優,然後預訓練
    • 只是預訓練,沒有其他
    • 預訓練,然後指令調整,然後可選的 RLHF
  6. LIMA 的精選數據實驗支持什麼研究結論?
    • 對於每個模型和任務來說,1,000 個範例就足夠了
    • 更多的數據永遠無法幫助任何指令調整的模型
    • 精心挑選的小數據集在評估配置中可能會很有效
    • 只有合成的例子才能訓練助手
  7. 最初的 LIMA 實驗在使用 1,000 個精心策劃的提示反應對時省略了哪個訓練階段?
    • 強化學習與人類偏好建模
    • 監督反應損失
    • 預訓練的基礎模型
    • 即時回應範例
  8. 調整後的模型遵循所要求的答案格式。僅憑這種行為無法確定什麼?
    • 請求輸出格式
    • 答案中的每一個事實陳述都是正確的
    • 該模型產生了響應
    • 可以檢查響應