AI21实验室
AI21 Labs 是一家以色列人工智能公司，致力于构建大型语言模型（Jurassic 和 Jamba 系列）和企业工具，以及消费者写作助手 Wordtune。
概述
It matters for pioneering the Mamba-Transformer hybrid 'Jamba' architecture and for focusing on reliable, grounded AI for business rather than chasing consumer hype.
深入探讨
AI21 Labs 由 Yoav Shoham、Ori Goshen 和 Amnon Shashua（也是 Mobileye 联合创始人）于 2017 年在特拉维夫创立，是大型语言模型领域的先行者，其 Jurassic 系列与 GPT-3 时代的系统竞争。它构建了 Wordtune（一种流行的人工智能重写和语法工具）和“AI21 Studio”（一个用于构建其模型的开发者平台）。 2024 年，它发布了 Jamba，这是一个著名的开放权重模型，将 Transformer 与 Mamba 状态空间架构相结合，可以有效地处理很长的上下文。 AI21 强调“特定于任务的模型”和技术，以减少源中的幻觉和基本答案，将自己定位为财务、客户服务和文档繁重的工作流程中企业的可靠选择。
技术洞察
Jamba 的主要创新是一种混合体：它将标准 Transformer 注意力层与 Mamba 状态空间层交织在一起，并添加了专家混合组件。 Transformer 擅长灵活推理，但它们的注意力成本随着序列长度呈二次方增长； Mamba 层大致线性扩展，因此混合处理数十万个标记的上下文窗口，而内存使用量要低得多。这使得 Jamba 在单个 GPU 上摄取长文档，同时保持与基于注意力的模型相关的推理质量。
战略影响
供应商策略
供应商路线图会影响您的团队接下来可以构建的功能。
成本与预算
商业条款和部署选项会影响长期成本和风险。
风险与安全
公司激励措施塑造了产品默认、安全态势和开放性。
AI21 实验室的未来
AI21 倾向于长上下文、高效的架构和可靠的企业部署，而不是消费者聊天机器人竞赛。预计将继续投资于 Jamba 等混合状态空间模型、规划和调用工具的代理系统，以及引用来源来减少幻觉的基础方法。由于企业需要对大量文档进行更便宜的推理，AI21 对 Mamba-Transformer 效率和特定于任务的可控模型的押注使其处于有利地位，尽管它与开放重量挑战者和前沿实验室竞争。
现实世界的实施
使用 Wordtune 重写、缩短或更改电子邮件和文档的语气
将整个长合同或报告提供给 Jamba 的大型上下文窗口以进行总结或问答
在 AI21 Studio 上构建客户支持助理，将答案建立在公司的知识库中
在金融领域部署特定任务模型，从密集的文件中提取和总结信息
风险与防护栏
发布公告可能会超过实际生产工作流程的稳定性。
API 定价或政策转变可能会在一夜之间打破假设。
单一供应商依赖性增加了锁定和迁移成本。
实施路线图
使用您自己的任务和数据集评估提供商。
在集成之前查看隐私、安全和法律条款。
维护跨模型或供应商的后备计划。
监控发行说明，以便路线图的更改不会让团队感到意外。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the AI21 Labs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is AI21 Labs?
AI21 Labs 是一家以色列人工智能公司，致力于构建大型语言模型（Jurassic 和 Jamba 系列）和企业工具，以及消费者写作助手 Wordtune。对于开创 Mamba-Transformer 混合“Jamba”架构以及专注于可靠、扎根的商业人工智能而不是追逐消费者炒作来说，这一点很重要。
AI21 Labs 的 Jamba 模型因将 Transformer 与其他哪种架构相结合而闻名？
Jamba 将 Transformer 注意力层与 Mamba 状态空间层（加上专家混合层）交错，以实现高效的长上下文处理。
将 Mamba 层添加到 Transformer 的主要效率优势是什么？
Transformer 注意力成本随长度呈二次方增长，而 Mamba 状态空间层则更接近线性缩放，从而以更少的内存实现很长的上下文。
AI21 Labs 推出了哪些流行的消费者写作工具？
Wordtune 是 AI21 的人工智能重写和音调调整工具，是其最著名的消费产品之一。
AI21 Labs 的哪位联合创始人也因联合创立 Mobileye 而闻名？
AI21 Labs 联合创始人 Amnon Shashua 也是自动驾驶公司 Mobileye 的联合创始人。
AI21的早期GPT-3时代大语言模型带有什么家族名称？
AI21 的早期 LLM 系列被标记为“Jurassic”，与后来的 Jamba 系列之前的 GPT-3 时代型号竞争。