概述
推測採樣透過讓小型「草稿」模型提前猜測多個標記，然後讓大型模型一次驗證它們，從而加速大型語言模型的生成。巧妙的驗證步驟保證了輸出與大模型自己產生的結果相符。
推測取樣驗證是語言 AI 堆疊的一部分，用於大規模讀取、生成、分類和轉換文字和語音。
深入探討
自迴歸產生速度很慢，因為每個代幣都需要一個巨大模型的完整前向傳遞。推測抽樣透過將廉價的草稿模型與昂貴的目標模型配對來解決這個問題。該草案提議短期發行代幣（例如 4-8 個）；然後目標通過一次平行向前傳球將所有球得分。修改後的拒絕採樣規則接受與目標自身分佈一致的最長前綴，並在第一個拒絕位置重新採樣。因為接受是機率性的並且是經過校正的，所以最終的令牌流可以證明完全像目標單獨生成一樣分佈，沒有質量損失。當草稿快速且對齊良好時，典型的加速是 2-3 倍，因為每個昂貴的調用都會確認多個令牌。
技術洞察
對於每個起草的令牌，您可以比較目標機率 q 和起草機率 p。以機率 min(1, q/p) 接受；如果被拒絕，則從歸一化殘差分佈 max(0, q-p) 中取樣。此拒絕規則使邊際分佈與純目標採樣相同。目標的並行傳遞還會在最後接受的令牌之後「免費」產生下一個令牌分配，因此進度永遠不會停止。
掌握推測抽樣驗證
推測採樣透過讓小型「草稿」模型提前猜測多個標記，然後讓大型模型一次驗證它們，從而加速大型語言模型的生成。巧妙的驗證步驟保證了輸出與大模型自己產生的結果相符。推測取樣驗證是語言 AI 堆疊的一部分，用於大規模讀取、生成、分類和轉換文字和語音。為了建立深入的理解，請將推測性抽樣驗證視為一種操作模型，而不是單一功能：定義期望的結果，澄清假設，並將系統可以可靠地執行的操作與仍需要專家判斷的操作分開。
在實踐中，使用推測抽樣驗證的強大團隊將提示、檢索和審查循環設計為一個整合的通訊系統。他們記錄明確的成功標準，根據實際數據和工作流程進行測試，並根據觀察到的失敗模式而不是一次性基準測試勝利進行迭代。這就是理論理解轉變為跨產品、政策和營運的持久能力的地方。
語言工作流程可以在不犧牲一致性的情況下更快地移動。同時，幻覺事實可以悄悄地進入報告、支持流程或研究成果。最具彈性的方法是將實驗速度與治理規則結合：運行試點、捕獲證據、發布決策日誌，並隨著模型行為、使用者期望和監管要求的發展不斷更新保障措施。
戰略影響
語言工作流程可以在不犧牲一致性的情況下更快地移動。
語言工作流程可以在不犧牲一致性的情況下更快地移動。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
它擴展了跨語言和溝通方式的訪問。
它擴展了跨語言和溝通方式的訪問。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
團隊可以花更多時間進行判斷，而自動化則可以處理重複。
團隊可以花更多時間進行判斷，而自動化則可以處理重複。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
現實世界的實施
使用 7B 草稿模型提供 70B 聊天模型，可將回應延遲大約減少一半，同時輸出品質相同。
美杜莎風格的頭是用一個模型預測幾個未來的代幣，然後在沒有單獨的草案網絡的情況下驗證它們。
基於樹的推測解碼，提出多個分支延續並在一次目標傳遞中驗證它們。
加速程式碼完成助手，其中草稿模型處理大型模型快速確認的可預測樣板檔案。
實施模式
實踐中的推測抽樣驗證
使用 7B 草稿模型提供 70B 聊天模型，可將回應延遲大約減少一半，同時輸出品質相同。
使用 7B 草稿模型提供 70B 聊天模型，可在相同的輸出品質下將回應延遲減少約一半。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移追蹤生產力增益和錯誤成本時，通常會獲得更好的結果。
實踐中的推測抽樣驗證
美杜莎風格的頭是用一個模型預測幾個未來的代幣，然後在沒有單獨的草案網絡的情況下驗證它們。
美杜莎式的單一模型預測幾個未來的代幣，然後在沒有單獨的草稿網絡的情況下驗證它們。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移追蹤生產力增益和錯誤成本時，通常會得到更好的結果。
實踐中的推測抽樣驗證
基於樹的推測解碼，提出多個分支延續並在一次目標傳遞中驗證它們。
基於樹的推測性解碼，提出多個分支延續，並在一次目標傳遞中驗證它們。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移追蹤生產力增益和錯誤成本時，通常會得到更好的結果。
實踐中的推測抽樣驗證
加速程式碼完成助手，其中草稿模型處理大型模型快速確認的可預測樣板檔案。
加快程式碼完成助手的速度，其中草稿模型處理大型模型快速確認的可預測的樣板檔案。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移追蹤生產力增益和錯誤成本時，通常會獲得更好的結果。
風險與防護欄
幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
及時的敏感性可能會在類似的請求中產生不一致的結果。
如果存取控制薄弱，敏感文字資料可能會暴露。
實施路線圖
在推出之前定義輸出格式、語氣和品質標準。
在推出之前定義輸出格式、語氣和品質標準。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
當準確性很重要時，請使用可信任來源進行地面回應。
當準確性很重要時，請使用可信任來源進行地面回應。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
為高風險輸出保留人工審查檢查點。
為高風險輸出保留人工審查檢查點。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
追蹤故障模式並定期重新訓練提示或工作流程。
追蹤故障模式並定期重新訓練提示或工作流程。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。