引導式測驗 · 硬 等級
前瞻解碼測驗
查看先行分支、雅可比迭代、快取的 n 元語法、目標驗證以及減少順序解碼步驟背後的計算權衡。
問題 1 的 8
前瞻解碼與標準推測解碼有何不同?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 前瞻解碼與標準推測解碼有何不同?
- 它需要兩個單獨訓練的模型
- 它不使用單獨的草稿模型 - 僅使用目標模型本身
- 它僅適用於翻譯任務
- 它永久量化模型
- 哪種數值方法支援前瞻解碼?
- 梯度下降
- 傅立叶变换
- K-均值聚類
- 雅可比(定點)迭代
- 每一步運行的兩個並行分支是什麼?
- 訓練分支和測試分支
- 編碼器和解碼器
- 前瞻分支和驗證分支
- 草稿模型和目標模型
- 「n-gram 池」中儲存了什麼?
- 在平行迭代過程中看到的合理的多標記序列
- 用户的聊天记录
- 模型重量
- 注意口罩
- 當前瞻解碼(lookahead decoding)提交一個猜測的 n-gram 前綴時,什麼支持其正確性?
- 使用相同的模型使每個未驗證的猜測都正確
- n-gram 池中的每個候選詞都必須被提交
- 針對目標的貪婪預測或適當的分佈保持採樣程序進行驗證
- 更大的視窗證明生成的陳述是真實的
- 在已經繁忙的硬體上部署前瞻解碼時,哪些資源權衡很重要?
- 候選生成不使用計算或內存
- 額外的平行工作可能會抵消較少順序傳遞的好處
- 每個更大的視窗都必須降低掛鐘延遲
- 目標權重自動壓縮為零大小
- 為什麼在目標驗證之前,前瞻候選應保持暫時狀態?
- 並行迭代猜測可能與目標的有效延續不同
- 每個快取的 n 元語法都已通過單獨的存儲證明是正確的
- 前瞻分支永久更改目標權重
- 僅需要驗證以確定輸出檔名
- 標準的免訓練前瞻迭代是否會更新目標模型的學習權重?
- 是的;每個候選者對每個參數套用梯度更新
- 是的;經過驗證的 n-gram 立即成為新的訓練資料集
- 只有分詞器的詞彙在每一步都會被重新訓練
- 不;它改變候選令牌狀態並驗證輸出,同時保持模型權重固定