引導式測驗 · 中等 等級
指令調整測驗
回顧監督指令回應訓練、可選偏好階段、任務多樣性、LIMA 實驗以及新指令的評估。
問題 1 的 8
如果沒有指令調整,原始基礎模型如何回應「法國的首都是哪裡?」的提示?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 如果沒有指令調整,原始基礎模型如何回應「法國的首都是哪裡?」的提示?
- 總是拒絕回答
- 它回傳一個錯誤
- 它可能會繼續提出更多問題或相關文本,而不是回答
- 每次都完美回答
- 指令調整最好描述為:
- 從人類回饋中強化學習
- 對原始網路文字進行預訓練
- 調節溫度參數
- 對指令和響應對進行監督微調
- 在已發布的 InstructGPT 配方中,監督指令調整與基於獎勵模型的 RLHF 有何不同?
- 這是完全相同的優化階段
- 它根據參考反應進行訓練,而後面的偏好階段則使用比較和獎勵模型
- 它不需要訓練範例
- 它僅改變採樣溫度
- 為什麼指令調整研究者要評估保留任務和指示的模型?
- 評估訓練範例之外的泛化能力
- 證明每一個看不見的任務都會成功
- 避免檢查任何產生的回應
- 確保每個任務組合具有相同的準確性
- 現代聊天助理的典型訓練階段順序是什麼?
- RLHF,然後預訓練,然後指令調優
- 指令調優,然後預訓練
- 只是預訓練,沒有其他
- 預訓練,然後指令調整,然後可選的 RLHF
- LIMA 的精選數據實驗支持什麼研究結論?
- 對於每個模型和任務來說,1,000 個範例就足夠了
- 更多的數據永遠無法幫助任何指令調整的模型
- 精心挑選的小數據集在評估配置中可能會很有效
- 只有合成的例子才能訓練助手
- 最初的 LIMA 實驗在使用 1,000 個精心策劃的提示反應對時省略了哪個訓練階段?
- 強化學習與人類偏好建模
- 監督反應損失
- 預訓練的基礎模型
- 即時回應範例
- 調整後的模型遵循所要求的答案格式。僅憑這種行為無法確定什麼?
- 請求輸出格式
- 答案中的每一個事實陳述都是正確的
- 該模型產生了響應
- 可以檢查響應