Google 杰玛
Gemma 是 Google 的轻量级、开放权重 AI 模型系列，采用与 Gemini 相同的研究和技术构建。
概述
It lets developers download, fine-tune, and run capable models on their own hardware, even a single laptop or GPU.
深入探讨
2024 年 2 月宣布，Gemma 将为 Google 提供与 Meta 的 Llama 和 Mistral 一起参加公开重量模型比赛的参赛资格。这些模型尺寸较小，第一个版本有 2B 和 7B 参数版本，您可以在本地下载和运行权重，这与封闭的、仅 API 的 Gemini 不同。 Google 在允许商业使用的宽松许可证下分发基础（预训练）和指令调整变体。该系列迅速扩展：用于编程的 CodeGemma、用于视觉语言任务的 PaliGemma、用于高效长序列的 RecurrentGemma 以及在 9B 和 27B 等尺寸下具有更强性能的 Gemma 2（及更高版本）。 Gemma 旨在与流行的工具、Hugging Face、Keras、PyTorch、JAX 和 Ollama 很好地配合使用，使其成为本地、隐私敏感或成本意识型部署的实用选择。
技术洞察
Gemma 使用仅解码器的 Transformer 架构，并重用 Gemini 研究中的技术，包括大型词汇标记器（约 256k 个标记）以及从 Gemma 2 代中较大的教师模型中提取的训练。知识蒸馏可以让小型学生模型模仿更大的模型，以适度的规模实现强大的质量。 “开放权重”意味着经过训练的参数是可下载的，因此您可以进行微调和自行托管，尽管训练数据和完整管道并未完全开源。
战略影响
供应商策略
供应商路线图会影响您的团队接下来可以构建的功能。
成本与预算
商业条款和部署选项会影响长期成本和风险。
风险与安全
公司激励措施塑造了产品默认、安全态势和开放性。
Google 杰玛的未来
期望 Google 继续发布针对特定模式和任务、视觉、代码、数学和设备上使用进行调整的 Gemma 变体，同时缩小运行它们所需的占用空间。随着开放重量模型缩小了与前沿系统的差距，Gemma 定位 Google 来赢得开发人员的关注度以及数据无法离开建筑物的优势和私有部署。与 Android、Chrome 以及 Ollama 和 Vertex AI 等工具的更紧密集成将使微调和本地推理变得越来越交钥匙。
现实世界的实施
在笔记本电脑或单个 GPU 上完全离线运行聊天机器人以获取隐私敏感数据
在公司内部文档上微调小型 Gemma 模型，以提供自定义支持助理
使用 CodeGemma 作为 IDE 内的本地代码完成和生成助手
使用视觉语言 PaliGemma 变体构建图像字幕或视觉问答应用程序
风险与防护栏
发布公告可能会超过实际生产工作流程的稳定性。
API 定价或政策转变可能会在一夜之间打破假设。
单一供应商依赖性增加了锁定和迁移成本。
实施路线图
使用您自己的任务和数据集评估提供商。
在集成之前查看隐私、安全和法律条款。
维护跨模型或供应商的后备计划。
监控发行说明，以便路线图的更改不会让团队感到意外。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Google Gemma quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Google Gemma?
Gemma 是 Google 的轻量级、开放权重 AI 模型系列，采用与 Gemini 相同的研究和技术构建。它允许开发人员在自己的硬件（甚至是单个笔记本电脑或 GPU）上下载、微调和运行可用的模型。
Gemma 和 Gemini 之间的主要区别是什么？
Gemma 的训练权重可以在本地下载和运行，而 Gemini 通过 Google 的应用程序和 API 作为封闭模型提供。
2024 年第一款 Gemma 发布的尺码是多少？
最初的 Gemma 发布包括 20 亿和 70 亿参数模型，故意设计得足够小，可以在普通硬件上运行。
哪种 Gemma 变体专门用于编程任务？
CodeGemma 是针对代码生成和完成而调整的变体，而 PaliGemma 处理视觉语言，而 RecurrentGemma 则针对高效的长序列。
对于像 Gemma 这样的模特来说，“开放重量”意味着什么？
开放权重意味着您可以下载并运行训练好的参数，但完整的训练数据和管道不一定是开源的。
哪种技术可以帮助 Gemma 2 代在小尺寸下实现高品质？
知识蒸馏让较小的“学生”模型学习模仿较大的“教师”模型，将强大的性能打包到紧凑的尺寸中。