概述
所引用的發佈包括原始 2B/7B 文字模型、CodeGemma 與 Gemma 2 各尺寸;使用權限與技術屬性依發佈及其條款/模型卡而異。
深入探討
原始 Gemma 論文描述了兩種模型尺寸,2B 與 7B,基於 Gemini 的研究與技術。CodeGemma 為程式碼專注的模型變體,擁有自己的模型卡。Gemma 2 論文涵蓋 2B、9B 與 27B 模型,並指出 2B 與 9B 模型是透過知識蒸餾訓練。Google 公布了 Gemma 發佈的條款,而「開放權重」標籤並不代表訓練資料全部公開或使用無限制。Ollama 記錄了 Gemma 2 執行器作為第三方選項。
現實世界的實施
檢視原始 Gemma 報告中第一個 2B 與 7B 模型規格。
使用 CodeGemma 模型卡來辨識其程式碼專注變體。
閱讀 Gemma 2 論文的報告,指出其 2B 與 9B 版本使用知識蒸餾。
使用 Ollama 的 Gemma 2 函式庫頁面作為特定本地執行選項。
Google 傑瑪的未來
僅將檢查點與相同任務與尺寸的基線比較。部署前請驗證最新條款、模型卡與執行支援;開放權重並不代表對所有應用皆無限制使用或保證效能。
付諸實踐
為什麼這很重要
- 供應商策略. 供應商路線圖會影響您的團隊接下來可以建立的功能。
- 成本與預算. 商業條款和部署選項會影響長期成本和風險。
- 風險與安全. 公司激勵措施塑造了產品預設、安全態勢和開放性。
留意
- 發佈公告可能會超過實際生產工作流程的穩定性。
- API 定價或政策轉變可能會在一夜之間打破假設。
- 單一供應商依賴性增加了鎖定和遷移成本。
後續步驟
- 使用您自己的任務和資料集評估提供者。
- 在整合之前查看隱私、安全和法律條款。
- 維護跨模型或供應商的後備計劃。
- 監控發行說明,以便路線圖的變更不會讓團隊感到意外。
不斷探索
常見問題
Google 傑瑪是什麼?
Gemma 是由 Google 發布的開放權重模型系列。所引用的發佈包括原始 2B/7B 文字模型、CodeGemma 與 Gemma 2 各尺寸;使用權限與技術屬性依發佈及其條款/模型卡而異。
原始 Gemma 報告中說模型系列是基於什麼?
Gemma 論文將此系列描述為基於 Gemini 研究與技術的開放模型。
2024 年第一款 Gemma 發布的尺寸是多少?
最初的 Gemma 發布包括 20 億和 70 億參數模型,故意設計得足夠小,可以在普通硬體上運行。
哪一種 Gemma 變體專門用於程式設計任務?
CodeGemma 是針對程式碼產生和完成而調整的變體,而 PaliGemma 處理視覺語言,而 RecurrentGemma 則針對高效的長序列。
對於像 Gemma 這樣的模特兒來說,「開放重量」意味著什麼?
開放權重意味著您可以下載並執行訓練好的參數,但完整的訓練資料和管道不一定是開源的。
哪種技術可以幫助 Gemma 2 代在小尺寸下實現高品質?
知識蒸餾讓較小的「學生」模型學習模仿較大的「教師」模型,將強大的性能打包到緊湊的尺寸中。