概述
引用的版本包括原始 2B/7B 文本模型、CodeGemma 和 Gemma 2 尺寸;使用权利和技术属性因版本及其条款/型号卡而异。
深入探讨
最初的 Gemma 论文基于 Gemini 研究和技术描述了两种模型尺寸:2B 和 7B。 CodeGemma 是一个以代码为中心的模型变体,具有自己的模型卡。 Gemma 2 论文涵盖了 2B、9B 和 27B 模型,并指出 2B 和 9B 模型是通过知识蒸馏进行训练的。 Google 公布了 Gemma 发布的条款,“开放权重”标签并不意味着训练数据完全发布或使用不受限制。 Ollama 将 Gemma 2 运行器记录为第三方选项之一。
现实世界的实施
检查原始 Gemma 报告,了解第一个 2B 和 7B 模型尺寸。
使用 CodeGemma 模型卡来识别其以代码为中心的变体。
阅读 Gemma 2 论文的报告,其 2B 和 9B 版本使用了知识蒸馏。
使用 Ollama 的 Gemma 2 库页面作为特定的本地运行器选项。
Google 杰玛的未来
仅将检查点与任务和规模匹配的基线进行比较。部署前验证当前条款、模型卡和运行时支持;开放式重量并不能为每种应用建立不受限制的使用或性能。
付诸实践
为什么这很重要
- 供应商策略. 供应商路线图会影响您的团队接下来可以构建的功能。
- 成本与预算. 商业条款和部署选项会影响长期成本和风险。
- 风险与安全. 公司激励措施塑造了产品默认、安全态势和开放性。
留意
- 发布公告可能会超过实际生产工作流程的稳定性。
- API 定价或政策转变可能会在一夜之间打破假设。
- 单一供应商依赖性增加了锁定和迁移成本。
后续步骤
- 使用您自己的任务和数据集评估提供商。
- 在集成之前查看隐私、安全和法律条款。
- 维护跨模型或供应商的后备计划。
- 监控发行说明,以便路线图的更改不会让团队感到意外。
不断探索
常见问题
Google 杰玛是什么?
Gemma 是 Google 发布的开放重量模型家族。引用的版本包括原始 2B/7B 文本模型、CodeGemma 和 Gemma 2 尺寸;使用权利和技术属性因版本及其条款/型号卡而异。
Gemma 原始报告中所说的模型系列是基于什么?
Gemma 论文将该系列描述为基于 Gemini 研究和技术的开放模型。
2024 年第一款 Gemma 发布的尺码是多少?
最初的 Gemma 发布包括 20 亿和 70 亿参数模型,故意设计得足够小,可以在普通硬件上运行。
哪种 Gemma 变体专门用于编程任务?
CodeGemma 是针对代码生成和完成而调整的变体,而 PaliGemma 处理视觉语言,而 RecurrentGemma 则针对高效的长序列。
对于像 Gemma 这样的模特来说,“开放重量”意味着什么?
开放权重意味着您可以下载并运行训练好的参数,但完整的训练数据和管道不一定是开源的。
哪种技术可以帮助 Gemma 2 代在小尺寸下实现高品质?
知识蒸馏让较小的“学生”模型学习模仿较大的“教师”模型,将强大的性能打包到紧凑的尺寸中。