概述
其擬合結果有利於在評估範圍內將兩者一起縮放;該目標不同於最小化總部署成本或保證每個資料集有一個代幣比率。
深入探討
2022 年的研究擬合了模型和資料預算中的損失行為,並估計了訓練計算最佳參數和代幣分配。兩個數量應以相似比例增長的發現意味著可比較的縮放指數,而不是相等的數字計數。 Chinchilla 使用了大約 700 億個參數和 1.4 兆個訓練令牌,給出了每個參數 20 個令牌的範例。在相當的訓練計算預算下,它與更大的 Gopher 進行了比較。該研究認為,許多評估的當代大型模型相對於估計的最佳模型來說訓練不足。這些關係是取決於數據和設定的擬合結果;固定比率並不是通用的設計法則。 LLaMA 的論文討論了延長訓練較小模型的時間作為考慮推理效率的一種方式,這與單獨訓練計算的目標不同。
現實世界的實施
將 700 億參數的 Chinchilla 實驗與 2800 億參數的 Gopher 基線進行比較。
使用擬合的訓練預算關係作為起點,而不是通用的比率規則。
區分從頭開始的訓練最佳模型和選擇用於重複推理的較小模型。
評估參數或數據是否在定義的計算和品質目標下提供更多價值。
龍貓縮放法則的未來
擴展研究繼續檢查資料品質、重複資料、模型架構以及訓練與服務的成本。在呼叫最優分配之前先說明目標和評估條件。有用的經驗趨勢不同於保證一個參數令牌配方主導每個工作負載。
付諸實踐
為什麼這很重要
- 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
- 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
- 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。
留意
- 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
- 及時的敏感性可能會在類似的請求中產生不一致的結果。
- 如果存取控制薄弱,敏感文字資料可能會暴露。
後續步驟
- 在推出之前定義輸出格式、語氣和品質標準。
- 當準確性很重要時,請使用可信任來源進行地面回應。
- 為高風險輸出保留人工審查檢查點。
- 追蹤故障模式並定期重新訓練提示或工作流程。
不斷探索
常見問題
什麼是龍貓縮放法則?
Chinchilla 研究如何在參數和訓練令牌之間分配訓練計算預算。其擬合結果有利於在評估範圍內將兩者一起縮放;該目標不同於最小化總部署成本或保證每個資料集有一個代幣比率。
Chinchilla 發現參數和令牌應該以相似的比例縮放意味著什麼?
類似的比例成長並不是字面上的每個參數一個令牌的規則。
70B 參數、1.4T 代幣 Chinchilla 實驗說明了什麼代幣/參數比率?
1.4兆除以七百億等於二十;此範例並非適用於所有設定的通用最佳值。
儘管龍貓體型小得多,但哪種型號的性能優於哪款?
70B 參數的 Chinchilla 使用相同的計算擊敗了 DeepMind 自己的 280B 參數的 Gopher,因為它訓練的數據要多得多。
Chinchilla 當時對 GPT-3 這樣的模型意味著什麼?
那個時代的許多大型模型訓練不足,這意味著如果參數計數有更多數據,它們會表現得更好。
Chinchilla 分析中的計算大致是如何進行的?
訓練計算 (FLOP) 大約與參數數量乘以訓練令牌數量成正比。