概述
推測性解碼透過使用小型、快速的「草稿」模型提前猜測多個標記，然後讓大型模型立即驗證它們，從而使大型語言模型更快地生成文本。它以相同的輸出品質將推理速度提高 2-3 倍。
推測解碼是一個技術構建塊，會大規模影響模型品質、基礎設施成本、延遲和可靠性。
深入探討
通常，LLM 會一次產生一個標記的文字：每個標記都需要透過巨型模型進行完整的前向傳遞，並且在當前標記完成之前您無法開始下一個標記。這很慢，因為它受記憶體限制，而不是計算限制——GPU 大部分時間都花在載入權重上，而不是做數學運算。推測性解碼打破了瓶頸。一個小型、廉價的草稿模型提出了一大塊，例如五個候選令牌。然後，大型“目標”模型在一次並行前向傳遞中處理所有五個並檢查它們。與其產生的代幣相符的代幣被接受；當出現第一個分歧時，它會糾正並丟棄其餘的。由於驗證許多代幣的成本與產生一個代幣的成本大致相同，因此接受的猜測幾乎是免費的。
技術洞察
巧妙的部分是拒絕採樣規則，它保證輸出分佈在數學上與單獨運行目標模型相同 - 因此質量不是近似的，而是精確的。接受率推動加速：小模型對大模型的預測越好，每個驗證步驟中保留的代幣就越多。 Medusa 等變體為目標模型本身添加了額外的預測頭，而 EAGLE 在特徵空間中草稿，因此無需單獨的草稿模型。
掌握推测解码
推測性解碼透過使用小型、快速的「草稿」模型提前猜測多個標記，然後讓大型模型立即驗證它們，從而使大型語言模型更快地生成文本。它以相同的輸出品質將推理速度提高 2-3 倍。推測解碼是一個技術構建塊，會大規模影響模型品質、基礎設施成本、延遲和可靠性。為了建立深入的理解，請將推測解碼視為一種操作模型，而不是單一功能：定義期望的結果，澄清假設，並將系統可以可靠地完成的任務與仍需要專家判斷的任務分開。
在實踐中，使用推測解碼的強大團隊根據可靠性和成本優化架構、數據和基礎設施選擇。他們記錄明確的成功標準，根據實際數據和工作流程進行測試，並根據觀察到的失敗模式而不是一次性基準測試勝利進行迭代。這就是理論理解轉變為跨產品、政策和營運的持久能力的地方。
多年來，架構決策決定著效能和營運成本。同時，優化一個基準測試可以隱藏更廣泛的系統弱點。最具彈性的方法是將實驗速度與治理規則結合：運行試點、捕獲證據、發布決策日誌，並隨著模型行為、使用者期望和監管要求的發展不斷更新保障措施。
戰略影響
多年來，架構決策決定著效能和營運成本。
多年來，架構決策決定著效能和營運成本。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
技術教育幫助團隊選擇正確的堆疊，而不僅僅是最新的堆疊。
技術教育幫助團隊選擇正確的堆疊，而不僅僅是最新的堆疊。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
更好的工程選擇可以減少生產中的可靠性事故。
更好的工程選擇可以減少生產中的可靠性事故。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
現實世界的實施
7B 草案模型提出 70B 聊天模型的代幣，以減少生產助理中的回應延遲
Medusa 頭固定在 LLM 上，因此無需單獨的草稿模型即可同時預測多個未來代幣
vLLM 支援推測性解碼，以提高服務叢集上的每秒令牌吞吐量
在模型的隱藏特徵空間中進行 EAGLE 繪圖，以提高接受率和整體速度
實施模式
实践中的推测解码
7B 草案模型提出了 70B 聊天模型的代幣，以減少生產助理中的回應延遲。
7B 草案模型建議為 70B 聊天模型提供令牌，以減少生產助理的回應延遲。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移追蹤生產力增益和錯誤成本時，通常會獲得更好的結果。
实践中的推测解码
美杜莎的頭固定在法學碩士上，因此它可以同時預測多個未來的代幣，而無需單獨的草稿模型。
Medusa 的頭固定在 LLM 上，因此無需單獨的草稿模型，它就能同時預測多個未來的代幣。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移追蹤生產力增益和錯誤成本時，通常會得到更好的結果。
实践中的推测解码
vLLM 支援推測性解碼，以提高服務叢集上的每秒令牌吞吐量。
vLLM 支援推測性解碼，以提高服務叢集上的每秒令牌吞吐量。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並追蹤一段時間內的生產力增益和錯誤成本時，通常會獲得更好的結果。
实践中的推测解码
EAGLE 在模型的隱藏特徵空間中繪圖，以提高接受率和整體速度。
在模型的隱藏功能空間中進行 EAGLE 起草，以提高接受率和整體速度 當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並追蹤一段時間內的生產力提升和錯誤成本時，通常會獲得更好的結果。
風險與防護欄
優化一項基準測試可以隱藏更廣泛的系統弱點。
基礎設施和維護成本常常被低估。
隨著系統變得更加複雜，安全性和可觀察性差距可能會擴大。
實施路線圖
在實施之前定義延遲、品質和成本目標。
在實施之前定義延遲、品質和成本目標。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
在實際負載和資料條件下進行基準測試。
在實際負載和資料條件下進行基準測試。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
儀器監控錯誤、漂移和使用者影響。
儀器監控錯誤、漂移和使用者影響。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
在擴展之前準備回滾和事件回應路徑。
在擴展之前準備回滾和事件回應路徑。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。