概述
不同的模型有不同的功能和术语。确定特定的模型和部署方法，而不是假设整个目录都有一个许可证或操作配置文件。
主要要点
- 使用特定于模型的文档。
- 阅读实际的发布条款。
- 比较完整的部署职责。
深入探讨
从当前模型目录和发布文档开始。检查支持的输入和输出类型、工具功能、上下文限制和预期用途。模型系列名称不足以重现结果或确定部署要求。托管访问和本地操作产生不同的职责。托管 API 处理一些基础设施，但有帐户限制和服务条款。运行可下载的权重需要兼容的软件、硬件、安全性和维护。比较完整的工作流程而不仅仅是模型访问。阅读每个版本的实际许可和使用条件。可供下载并不意味着每个模型都授予相同的权利。如果使用改编或量化版本，请保留其与基础版本的关系并评估该确切的工件。测试代表性任务和失败案例，包括格式、证据使用、语言覆盖范围和工具错误。记录版本和设置，并查看弃用或迁移通知。模型选择应与应用程序的测量要求保持联系，而不是广泛声称某个提供商是最好的。
04工作示例
比较部署职责
- 选项A
想象一下，一个团队在托管端点和本地服务检查点之间进行选择。
- 选项B
列出每个选项的基础设施、延迟、数据处理、更新和评估责任。
测试
在代表性负载下进行测试，并比较每个有用的已完成任务的成本，包括运行本地服务所需的工作。
它显示了什么
构建的场景使部署权衡变得明确，而无需推荐购买。
现实世界的实施
将托管模型与同一任务标题下的可下载替代模型进行比较。
验证所选检查点的许可证和兼容性。
付诸实践
为什么这很重要
- 供应商策略. 供应商路线图会影响您的团队接下来可以构建的功能。
- 成本与预算. 商业条款和部署选项会影响长期成本和风险。
- 风险与安全. 公司激励措施塑造了产品默认、安全态势和开放性。
留意
- 发布公告可能会超过实际生产工作流程的稳定性。
- API 定价或政策转变可能会在一夜之间打破假设。
- 单一供应商依赖性增加了锁定和迁移成本。
后续步骤
- 使用您自己的任务和数据集评估提供商。
- 在集成之前查看隐私、安全和法律条款。
- 维护跨模型或供应商的后备计划。
- 监控发行说明，以便路线图的更改不会让团队感到意外。
资料来源与延伸阅读
- Mistral AIMistral型号目录
不断探索
常见问题
所有 Mistral 型号是否共享一个许可证？
不要这样认为。检查您打算使用的特定型号和发行版附带的条款。