骆驼模型家庭
Llama 是 Meta 的开放式大型语言模型系列，任何人都可以免费下载、运行和微调。
概述
By releasing the weights publicly, Meta turned Llama into the foundation for a huge open-source AI ecosystem.
深入探讨
Llama（大型语言模型Meta AI）是Meta开发的一系列基于Transformer的语言模型。第一个 Llama 于 2023 年初作为研究版本抵达； Llama 2（2023 年 7 月）添加了允许商业使用的宽松许可证，Llama 3 和 3.1（2024 年）大幅扩展，旗舰版 4050 亿参数模型可与顶级专有系统相媲美。一个决定性特征是 Meta 发布模型权重，因此开发人员可以在自己的硬件上运行 Llama，对其进行自定义，并避免将数据发送到外部 API。这种开放性催生了数以千计的衍生模型和工具。 Llama 模型有多种大小（从数十亿到数千亿个参数），并包括指令调整的“聊天”变体以及基本模型。
技术洞察
Llama 模型是仅解码器的转换器，经过训练可以预测数万亿个文本和代码标记的下一个标记。他们使用注重效率的设计选择，例如 RMSNorm、SwiGLU 激活、旋转位置嵌入 (RoPE) 和较大版本中的分组查询注意力来加速推理。通过监督微调和来自人类反馈的强化学习（RLHF）进一步细化指令调整的变体，因此它们遵循用户提示并充当有用的助手。
战略影响
供应商策略
供应商路线图会影响您的团队接下来可以构建的功能。
成本与预算
商业条款和部署选项会影响长期成本和风险。
风险与安全
公司激励措施塑造了产品默认、安全态势和开放性。
骆驼模型家庭的未来
Meta 正在推动 Llama 走向更大的上下文窗口、更强的多语言和多模式能力（支持视觉的变体已经存在）以及更严格的设备效率。预计持续的开放版本会给更广泛的市场带来价格和访问方面的压力，加上经过微调、特定领域的 Llama 变体的生态系统不断发展。关于“开放”的含义（包括许可和可接受的使用限制）的争论将继续影响这些强大权重的使用自由度。
现实世界的实施
初创公司和研究人员根据私人数据对 Llama 进行微调，以构建自定义聊天机器人，而无需支付每个代币的 API 费用。
开发人员在笔记本电脑或服务器上本地运行较小的 Llama 模型，用于数据无法离开建筑物的隐私敏感应用程序。
公司使用经过指令调整的 Llama 作为编码助手、摘要器和客户支持工具的基础。
开放权重为 Code Llama 等社区项目以及学术研究中使用的无数 Hugging Face 衍生品提供支持。
风险与防护栏
发布公告可能会超过实际生产工作流程的稳定性。
API 定价或政策转变可能会在一夜之间打破假设。
单一供应商依赖性增加了锁定和迁移成本。
实施路线图
使用您自己的任务和数据集评估提供商。
在集成之前查看隐私、安全和法律条款。
维护跨模型或供应商的后备计划。
监控发行说明，以便路线图的更改不会让团队感到意外。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Llama Model Family quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Llama Model Family?
Llama 是 Meta 的开放式大型语言模型系列，任何人都可以免费下载、运行和微调。通过公开发布权重，Meta 将 Llama 变成了庞大的开源 AI 生态系统的基础。
Llama 系列与许多竞争车型有何显着不同？
Llama 的决定性特征是 Meta 公开发布权重，让开发人员运行、微调和自行托管模型。
缩写词“Llama”代表什么？
Llama 代表大型语言模型 Meta AI，反映了其目的和创建者。
哪个 Llama 版本首先添加了允许广泛商业使用的许可证？
Llama 2 于 2023 年 7 月发布，与仅用于研究的第一个版本不同，它附带了更宽松的许可证，允许商业使用。
Llama 模型的基础架构是什么？
Llama 模型是仅解码器的转换器，经过训练可以在大型文本和代码语料库上预测下一个标记。
Llama 的“聊天”或指令调整变体是如何遵循用户提示的？
经过指令调整的 Llama 模型通过监督微调和 RLHF 进行了改进，因此它们可以充当有用的、及时跟随的助手。