Google 傑瑪
Gemma 是 Google 的輕量級、開放權重 AI 模型系列，採用與 Gemini 相同的研究和技術建構。
概述
It lets developers download, fine-tune, and run capable models on their own hardware, even a single laptop or GPU.
深入探討
2024 年 2 月宣布，Gemma 將為 Google 提供與 Meta 的 Llama 和 Mistral 一起參加公開重量模型比賽的資格。這些模型尺寸較小，第一個版本有 2B 和 7B 參數版本，您可以在本地下載和運行權重，這與封閉的、僅 API 的 Gemini 不同。 Google 在允許商業使用的寬鬆許可證下分發基礎（預訓練）和指令調整變體。該系列迅速擴展：用於程式設計的 CodeGemma、用於視覺語言任務的 PaliGemma、用於高效長序列的 RecurrentGemma 以及在 9B 和 27B 等尺寸下具有更強性能的 Gemma 2（及更高版本）。 Gemma 旨在與流行的工具、Hugging Face、Keras、PyTorch、JAX 和 Ollama 很好地配合使用，使其成為本地、隱私敏感或成本意識型部署的實用選擇。
技術洞察
Gemma 使用僅解碼器的 Transformer 架構，並重複使用 Gemini 研究中的技術，包括大型詞彙標記器（約 256k 個標記）以及從 Gemma 2 代中較大的教師模型中提取的訓練。知識蒸餾可以讓小型學生模型模仿更大的模型，以適度的規模實現強大的品質。 「開放權重」意味著經過訓練的參數是可下載的，因此您可以進行微調和自行託管，儘管訓練資料和完整管道並未完全開源。
戰略影響
供應商策略
供應商路線圖會影響您的團隊接下來可以建立的功能。
成本與預算
商業條款和部署選項會影響長期成本和風險。
風險與安全
公司激勵措施塑造了產品預設、安全態勢和開放性。
Google 傑瑪的未來
期望 Google 繼續發布針對特定模式和任務、視覺、程式碼、數學和裝置上使用進行調整的 Gemma 變體，同時縮小運行它們所需的佔用空間。隨著開放重量模型縮小了與前沿系統的差距，Gemma 定位 Google 來贏得開發人員的關注度以及資料無法離開建築物的優勢和私有部署。與 Android、Chrome 以及 Ollama 和 Vertex AI 等工具的更緊密整合將使微調和本地推理變得越來越交鑰匙。
現實世界的實施
在筆記型電腦或單一 GPU 上完全離線運行聊天機器人以獲取隱私敏感數據
在公司內部文件上微調小型 Gemma 模型，以提供自訂支援助理
使用 CodeGemma 作為 IDE 內的本機程式碼完成和產生助手
使用視覺語言 PaliGemma 變體建立圖像字幕或視覺問答應用程式
風險與防護欄
發佈公告可能會超過實際生產工作流程的穩定性。
API 定價或政策轉變可能會在一夜之間打破假設。
單一供應商依賴性增加了鎖定和遷移成本。
實施路線圖
使用您自己的任務和資料集評估提供者。
在整合之前查看隱私、安全和法律條款。
維護跨模型或供應商的後備計劃。
監控發行說明，以便路線圖的變更不會讓團隊感到意外。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Google Gemma quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Google Gemma?
Gemma 是 Google 的輕量級、開放權重 AI 模型系列，採用與 Gemini 相同的研究和技術建構。它允許開發人員在自己的硬體（甚至是單一筆記型電腦或 GPU）上下載、微調和運行可用的模型。
Gemma 和 Gemini 之間的主要差異是什麼？
Gemma 的訓練權重可以在本地下載和運行，而 Gemini 透過 Google 的應用程式和 API 作為封閉模型提供。
2024 年第一款 Gemma 發布的尺寸是多少？
最初的 Gemma 發布包括 20 億和 70 億參數模型，故意設計得足夠小，可以在普通硬體上運行。
哪一種 Gemma 變體專門用於程式設計任務？
CodeGemma 是針對程式碼產生和完成而調整的變體，而 PaliGemma 處理視覺語言，而 RecurrentGemma 則針對高效的長序列。
對於像 Gemma 這樣的模特兒來說，「開放重量」意味著什麼？
開放權重意味著您可以下載並執行訓練好的參數，但完整的訓練資料和管道不一定是開源的。
哪種技術可以幫助 Gemma 2 代在小尺寸下實現高品質？
知識蒸餾讓較小的「學生」模型學習模仿較大的「教師」模型，將強大的性能打包到緊湊的尺寸中。