Meta AI 和 Llama

可下载的 Llama 检查点、托管模型服务和消费者助理是不同的系统。他们的能力、权限和操作职责应单独评估。

主要要点

• 确定确切的版本和配置。
• 阅读相关条款。
• 将下载的模型与托管产品分开。

对于 Llama，从特定版本的型号卡、许可证、可接受的使用条款和支持的配置开始。该系列包括不同的模型大小和模式，因此一个检查点的结果不应推广到每个版本。下载权重可以实现本地操作或适配，但完整的部署还需要兼容的架构代码、标记化、配置和硬件。量化或社区修改版本是不同的工件，应直接评估其行为。区分开放获取和不受限制的重用。请阅读实际条款，而不是根据下载的可用性来推断权利。代码、模型权重和训练数据信息可以具有不同的条件或完整性级别。使用代表性输入和定义的故障策略评估预期应用。本地控制将基础设施、安全、更新和监控职责转移给操作员。使用相关研究的消费产品可能会添加下载的检查点中不存在的工具、策略和其他组件。

1. 想象一下，一项测试使用下载的检查点，另一项测试使用带有搜索工具的托管助手。
2. 记录工具访问和周围的说明，然后将它们的不同答案单独归因于模型。
3. 如果目的是测量检查点的能力，请重复受控比较。

构建的示例将模型评估与产品评估分开。