概述
可下载的 Llama 检查点、托管模型服务和消费者助理是不同的系统。他们的能力、权限和操作职责应单独评估。
主要要点
- 确定确切的版本和配置。
- 阅读相关条款。
- 将下载的模型与托管产品分开。
深入探讨
对于 Llama，从特定版本的型号卡、许可证、可接受的使用条款和支持的配置开始。该系列包括不同的模型大小和模式，因此一个检查点的结果不应推广到每个版本。下载权重可以实现本地操作或适配，但完整的部署还需要兼容的架构代码、标记化、配置和硬件。量化或社区修改版本是不同的工件，应直接评估其行为。区分开放获取和不受限制的重用。请阅读实际条款，而不是根据下载的可用性来推断权利。代码、模型权重和训练数据信息可以具有不同的条件或完整性级别。使用代表性输入和定义的故障策略评估预期应用。本地控制将基础设施、安全、更新和监控职责转移给操作员。使用相关研究的消费产品可能会添加下载的检查点中不存在的工具、策略和其他组件。
04工作示例
避免将不同的系统作为一种模型进行比较
想象一下，一项测试使用下载的检查点，另一项测试使用带有搜索工具的托管助手。
记录工具访问和周围的说明，然后将它们的不同答案单独归因于模型。
如果目的是测量检查点的能力，请重复受控比较。
它显示了什么
构建的示例将模型评估与产品评估分开。
现实世界的实施
在部署之前，请阅读 Llama 版本自己的型号卡和条款。
在同一评估集上将调整后的检查点与其基本版本进行比较。
付诸实践
为什么这很重要
- 供应商策略. 供应商路线图会影响您的团队接下来可以构建的功能。
- 成本与预算. 商业条款和部署选项会影响长期成本和风险。
- 风险与安全. 公司激励措施塑造了产品默认、安全态势和开放性。
留意
- 发布公告可能会超过实际生产工作流程的稳定性。
- API 定价或政策转变可能会在一夜之间打破假设。
- 单一供应商依赖性增加了锁定和迁移成本。
后续步骤
- 使用您自己的任务和数据集评估提供商。
- 在集成之前查看隐私、安全和法律条款。
- 维护跨模型或供应商的后备计划。
- 监控发行说明，以便路线图的更改不会让团队感到意外。
资料来源与延伸阅读
- MetaLlama 型号、型号卡和许可证
不断探索
常见问题
一个 Llama 版本的结果是否适用于每个 Llama 型号？
不会。版本、尺寸、模式、适应性和服务配置可能存在重大差异。