公司指南

Google 杰玛

Gemma 是 Google 的轻量级、开放权重 AI 模型系列,采用与 Gemini 相同的研究和技术构建。

概述

Gemma 是 Google 的轻量级、开放权重 AI 模型系列,采用与 Gemini 相同的研究和技术构建。它允许开发人员在自己的硬件(甚至是单个笔记本电脑或 GPU)上下载、微调和运行可用的模型。

Google Gemma 在战略、模型访问、平台决策和生态系统合作伙伴关系的背景下得到最好的理解。

深入探讨

2024 年 2 月宣布,Gemma 将为 Google 提供与 Meta 的 Llama 和 Mistral 一起参加公开重量模型比赛的参赛资格。这些模型尺寸较小,第一个版本有 2B 和 7B 参数版本,您可以在本地下载和运行权重,这与封闭的、仅 API 的 Gemini 不同。 Google 在允许商业使用的宽松许可证下分发基础(预训练)和指令调整变体。该系列迅速扩展:用于编程的 CodeGemma、用于视觉语言任务的 PaliGemma、用于高效长序列的 RecurrentGemma 以及在 9B 和 27B 等尺寸下具有更强性能的 Gemma 2(及更高版本)。 Gemma 旨在与流行的工具、Hugging Face、Keras、PyTorch、JAX 和 Ollama 很好地配合使用,使其成为本地、隐私敏感或成本意识型部署的实用选择。

技术洞察

Gemma 使用仅解码器的 Transformer 架构,并重用 Gemini 研究中的技术,包括大型词汇标记器(约 256k 个标记)以及从 Gemma 2 代中较大的教师模型中提取的训练。知识蒸馏可以让小型学生模型模仿更大的模型,以适度的规模实现强大的质量。 “开放权重”意味着经过训练的参数是可下载的,因此您可以进行微调和自行托管,尽管训练数据和完整管道并未完全开源。

掌握 Google 杰玛

Gemma 是 Google 的轻量级、开放权重 AI 模型系列,采用与 Gemini 相同的研究和技术构建。它允许开发人员在自己的硬件(甚至是单个笔记本电脑或 GPU)上下载、微调和运行可用的模型。 Google Gemma 在战略、模型访问、平台决策和生态系统合作伙伴关系的背景下得到最好的理解。为了建立深入的理解,请将 Google Gemma 视为一种操作模型,而不是单个功能:定义所需的结果,澄清假设,并将系统可以可靠地执行的操作与仍需要专家判断的操作分开。

在实践中,使用 Google Gemma 的强大团队在提交之前会评估供应商策略、路线图可靠性和锁定风险。他们记录明确的成功标准,根据实际数据和工作流程进行测试,并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。

供应商路线图会影响您的团队接下来可以构建的功能。与此同时,发布公告可能会超过实际生产工作流程的稳定性。最具弹性的方法是将实验速度与治理规则结合起来:运行试点、捕获证据、发布决策日志,并随着模型行为、用户期望和监管要求的发展不断更新保障措施。

战略影响

供应商路线图会影响您的团队接下来可以构建的功能。

供应商路线图会影响您的团队接下来可以构建的功能。在高质量部署中,这会转化为可衡量的操作规则、所有权边界和定期审查仪式,以便团队可以增强信心,而不是扩大模糊性。

商业条款和部署选项会影响长期成本和风险。

商业条款和部署选项会影响长期成本和风险。在高质量部署中,这会转化为可衡量的操作规则、所有权边界和定期审查仪式,以便团队可以增强信心,而不是扩大模糊性。

公司激励措施塑造了产品默认、安全态势和开放性。

公司激励措施塑造了产品默认、安全态势和开放性。在高质量部署中,这会转化为可衡量的操作规则、所有权边界和定期审查仪式,以便团队可以增强信心,而不是扩大模糊性。

Google 杰玛的未来

期望 Google 继续发布针对特定模式和任务、视觉、代码、数学和设备上使用进行调整的 Gemma 变体,同时缩小运行它们所需的占用空间。随着开放重量模型缩小了与前沿系统的差距,Gemma 定位 Google 来赢得开发人员的关注度以及数据无法离开建筑物的优势和私有部署。与 Android、Chrome 以及 Ollama 和 Vertex AI 等工具的更紧密集成将使微调和本地推理变得越来越交钥匙。

现实世界的实施

在笔记本电脑或单个 GPU 上完全离线运行聊天机器人以获取隐私敏感数据

在公司内部文档上微调小型 Gemma 模型,以提供自定义支持助理

使用 CodeGemma 作为 IDE 内的本地代码完成和生成助手

使用视觉语言 PaliGemma 变体构建图像字幕或视觉问答应用程序

实施模式

Google 实践中的杰玛

在笔记本电脑或单个 GPU 上完全离线运行聊天机器人以获取隐私敏感数据。

在笔记本电脑或单个 GPU 上完全离线运行聊天机器人来获取隐私敏感数据当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时,通常会获得更好的结果。

Google 实践中的杰玛

在公司内部文档上微调小型 Gemma 模型,以提供自定义支持助理。

在公司内部文档上微调小型 Gemma 模型以供自定义支持助理 团队在预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时,通常会获得更好的结果。

Google 实践中的杰玛

使用 CodeGemma 作为 IDE 内的本地代码完成和生成助手。

使用 CodeGemma 作为 IDE 内的本地代码完成和生成助手 当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时,通常会获得更好的结果。

Google 实践中的杰玛

使用视觉语言 PaliGemma 变体构建图像字幕或视觉问答应用程序。

使用视觉语言 PaliGemma 变体构建图像字幕或视觉问答应用程序 当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时,通常会获得更好的结果。

风险与防护栏

!

发布公告可能会超过实际生产工作流程的稳定性。

!

API 定价或政策转变可能会在一夜之间打破假设。

!

单一供应商依赖性增加了锁定和迁移成本。

实施路线图

1

使用您自己的任务和数据集评估提供商。

使用您自己的任务和数据集评估提供商。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

2

在集成之前查看隐私、安全和法律条款。

在集成之前查看隐私、安全和法律条款。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

3

维护跨模型或供应商的后备计划。

维护跨模型或供应商的后备计划。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

4

监控发行说明,以便路线图的更改不会让团队感到意外。

监控发行说明,以便路线图的更改不会让团队感到意外。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

不断探索