概述
透過精確的拒絕採樣校正,它能保留目標分佈;加速效果取決於草稿成本、接受率、目標驗證與工作負載。
深入探討
自迴歸生成速度很慢,因為每個標記都需要大型模型的完整前向傳遞。推測式採樣透過將廉價的草稿模型與昂貴的目標模型配對來解決這個問題。草稿模型會提出一小段標記(例如 4-8 個);然後目標模型在一個平行的前向傳遞中對所有標記進行評分。修改後的拒絕採樣規則接受與目標自身分佈一致的最長前綴,並在第一個被拒絕的位置重新採樣。由於接受是機率性質且經過校正,最終的標記串流在證明上分佈得與目標模型單獨生成時完全相同,且沒有品質損失。加速效果因草稿成本、接受率、目標驗證、批次處理和硬體而異。平行的驗證傳遞可以確認多個標記,但並非免費。
現實世界的實施
使用 7B 草稿模型提供 70B 聊天模型,可將回應延遲大約減少一半,同時輸出品質相同。
美杜莎風格的頭是用一個模型預測幾個未來的代幣,然後在沒有單獨的草案網絡的情況下驗證它們。
基於樹的推測解碼,提出多個分支延續並在一次目標傳遞中驗證它們。
加速程式碼完成助手,其中草稿模型處理大型模型快速確認的可預測樣板檔案。
推測性抽樣驗證的未來
推測性解碼正成為推理堆疊的標準。較新的變體放棄了單獨的草稿模型:自我推測使用提前退出或額外的預測頭(Medusa、EAGLE),基於樹的草稿一次驗證許多候選延續,前瞻解碼並行化 n-gram 猜測。預計與批次和 KV 快取管理、硬體感知草稿大小的更緊密整合,以及在對延遲敏感的產品(如聊天助理和編碼工具)中更廣泛的使用,其中每一毫秒都很重要。
付諸實踐
為什麼這很重要
- 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
- 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
- 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。
留意
- 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
- 及時的敏感性可能會在類似的請求中產生不一致的結果。
- 如果存取控制薄弱,敏感文字資料可能會暴露。
後續步驟
- 在推出之前定義輸出格式、語氣和品質標準。
- 當準確性很重要時,請使用可信任來源進行地面回應。
- 為高風險輸出保留人工審查檢查點。
- 追蹤故障模式並定期重新訓練提示或工作流程。
不斷探索
常見問題
什麼是推測式採樣驗證?
推測式採樣使用草稿模型來建議標記,並使用目標模型來驗證它們。透過精確的拒絕採樣校正,它能保留目標分佈;加速效果取決於草稿成本、接受率、目標驗證與工作負載。
推測性抽樣背後的核心思想是什麼?
廉價的草稿模型會提前猜測幾個標記,而昂貴的目標模型會在一次並行前向傳遞中檢查所有標記。
為什麼推測抽樣不會降低輸出品質?
修改後的拒絕採樣校正保證了接受的令牌的分佈與目標模型單獨產生的完全一樣。
在精確的推測式採樣中,當草擬的標記被拒絕時會發生什麼事?
精確的推測式採樣使用拒絕採樣校正並捨棄後續的草稿後綴。
在精確的推測式採樣下,關於輸出分佈有什麼保證?
拒絕採樣規則保留了目標分佈;這並不保證每個隨機亂數種子都會產生相同的採樣字串。
在精確的推測式採樣中,目標驗證傳遞提供什麼資訊?
目標傳遞對草稿建議進行評分,並提供由接受規則和殘差校正所使用的目標機率;它具有運算成本。