概述
V3 使用專家混合 (MoE) 架構;R1 則將強化學習與多階段後訓練流程應用於推理。報告中的 GPU 小時數僅描述了特定的 V3 訓練運行,而非完整的研發成本或訓練 R1 的成本。
深入探討
DeepSeek-V3 報告描述了一個擁有 671B 總參數、每個 token 激活 37B 參數的專家混合模型。報告指出完整的 V3 訓練運行耗費了 278.8 萬個 H800 GPU 小時;此計算估算並非研發計畫的總成本,也沒有說明訓練 R1 的成本。DeepSeek-R1 是基於 DeepSeek-V3-Base 構建的。其論文描述了一個多階段流程:冷啟動監督微調、專注於推理的強化學習、拒絕採樣與監督微調,以及第二個強化學習階段。該論文評估了如數學、程式設計競賽與 STEM 等可驗證任務。它還描述了基於 Qwen 與 Llama 系列的較小蒸餾模型。
現實世界的實施
檢視 V3 技術報告中關於其 MoE 架構的主動參數與總參數描述
比較 R1 在數學、程式設計與 STEM 任務上的推理評估
研究從 V3 基礎模型構建 R1 所使用的階段
使用基於 Qwen 與 Llama 檢查點的較小 R1 蒸餾模型進行研究
DeepSeek V3 和 R1 Reasoning 的未來
DeepSeek 的報告貢獻了開放權重模型產出,以及關於 MoE 訓練與基於強化學習的推理技術描述。結果應與每個模型、檢查點、基準測試與訓練階段掛鉤。報告中的計算估算範圍窄於總研發、基礎設施與數據成本。
付諸實踐
為什麼這很重要
- 供應商策略. 供應商路線圖會影響您的團隊接下來可以建立的功能。
- 成本與預算. 商業條款和部署選項會影響長期成本和風險。
- 風險與安全. 公司激勵措施塑造了產品預設、安全態勢和開放性。
留意
- 發佈公告可能會超過實際生產工作流程的穩定性。
- API 定價或政策轉變可能會在一夜之間打破假設。
- 單一供應商依賴性增加了鎖定和遷移成本。
後續步驟
- 使用您自己的任務和資料集評估提供者。
- 在整合之前查看隱私、安全和法律條款。
- 維護跨模型或供應商的後備計劃。
- 監控發行說明,以便路線圖的變更不會讓團隊感到意外。
不斷探索
常見問題
什麼是 DeepSeek V3 與 R1 推理?
DeepSeek-V3 與 DeepSeek-R1 是具有不同技術貢獻的開放權重模型發布。V3 使用專家混合架構;R1 則將強化學習與多階段後訓練流程應用於推理。報告中的 GPU 小時數僅描述了特定的 V3 訓練運行,而非完整的研發成本或訓練 R1 的成本。
DeepSeek-V3 技術報告給出了哪些參數數量?
V3 報告描述了其 MoE 架構中總參數為 671B,每個 token 激活 37B。
DeepSeek-R1 的推理訓練與發布有何值得注意之處?
R1 論文描述了基於強化學習的推理,且該專案發布了模型權重;論文並未暗示所有能力皆僅透過強化學習達成。
DeepSeek-V3 報告針對其完整訓練運行給出了什麼計算數據?
V3 報告列出完整訓練運行耗費 278.8 萬個 H800 GPU 小時;這並非完整的研發成本數據,也不是 R1 訓練的估算值。
什麼訓練訊號幫助 DeepSeek-R1 發展出推理行為?
R1 報告描述了在完整的 R1 流程中,除了其他階段外,還使用了針對推理任務的可驗證獎勵訊號進行強化學習。
與 DeepSeek-V3 訓練相關的一種效率技術是什麼?
V3 引入了多頭潛在註意力和輔助無損失負載平衡方案等技術來有效地訓練其 MoE。