AI21實驗室
AI21 Labs 是一家以色列人工智慧公司，致力於建立大型語言模型（Jurassic 和 Jamba 系列）和企業工具，以及消費者寫作助理 Wordtune。
概述
It matters for pioneering the Mamba-Transformer hybrid 'Jamba' architecture and for focusing on reliable, grounded AI for business rather than chasing consumer hype.
深入探討
AI21 Labs 由 Yoav Shoham、Ori Goshen 和 Amnon Shashua（也是 Mobileye 聯合創始人）於 2017 年在特拉維夫創立，是大型語言模型領域的先驅，其 Jurassic 系列與 GPT-3 時代的系統競爭。它建構了 Wordtune（一種流行的人工智慧重寫和語法工具）和「AI21 Studio」（一個用於建立其模型的開發者平台）。 2024 年，它發布了 Jamba，這是一個著名的開放權重模型，將 Transformer 與 Mamba 狀態空間架構結合，可以有效地處理很長的上下文。 AI21 強調「特定於任務的模型」和技術，以減少源中的幻覺和基本答案，將自己定位為財務、客戶服務和文件繁重的工作流程中企業的可靠選擇。
技術洞察
Jamba 的主要創新是一種混合體：它將標準 Transformer 注意力層與 Mamba 狀態空間層交織在一起，並添加了專家混合組件。 Transformer 擅長靈活推理，但它們的注意力成本隨著序列長度呈二次方增長； Mamba 層大致線性擴展，因此混合處理數十萬個標記的上下文窗口，而內存使用量要低得多。這使得 Jamba 在單一 GPU 上攝取長文檔，同時保持與基於注意力的模型相關的推理品質。
戰略影響
供應商策略
供應商路線圖會影響您的團隊接下來可以建立的功能。
成本與預算
商業條款和部署選項會影響長期成本和風險。
風險與安全
公司激勵措施塑造了產品預設、安全態勢和開放性。
AI21 實驗室的未來
AI21 傾向於長上下文、高效的架構和可靠的企業部署，而不是消費者聊天機器人競賽。預計將繼續投資於 Jamba 等混合狀態空間模型、規劃和調用工具的代理系統，以及引用來源來減少幻覺的基礎方法。由於企業需要對大量文件進行更便宜的推理，AI21 對 Mamba-Transformer 效率和特定於任務的可控模型的押注使其處於有利地位，儘管它與開放重量挑戰者和前沿實驗室競爭。
現實世界的實施
使用 Wordtune 重寫、縮短或變更電子郵件和文件的語氣
將整個長合約或報告提供給 Jamba 的大型上下文視窗以進行總結或問答
在 AI21 Studio 上建立客戶支援助理，將答案建立在公司的知識庫中
在金融領域部署特定任務模型，從密集的文件中提取和總結資訊
風險與防護欄
發佈公告可能會超過實際生產工作流程的穩定性。
API 定價或政策轉變可能會在一夜之間打破假設。
單一供應商依賴性增加了鎖定和遷移成本。
實施路線圖
使用您自己的任務和資料集評估提供者。
在整合之前查看隱私、安全和法律條款。
維護跨模型或供應商的後備計劃。
監控發行說明，以便路線圖的變更不會讓團隊感到意外。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the AI21 Labs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is AI21 Labs?
AI21 Labs 是一家以色列人工智慧公司，致力於建立大型語言模型（Jurassic 和 Jamba 系列）和企業工具，以及消費者寫作助理 Wordtune。對於開創 Mamba-Transformer 混合「Jamba」架構以及專注於可靠、紮根的商業人工智慧而不是追逐消費者炒作來說，這一點很重要。
AI21 Labs 的 Jamba 模型因將 Transformer 與其他哪種架構結合而聞名？
Jamba 將 Transformer 注意力層與 Mamba 狀態空間層（加上專家混合層）交錯，以實現高效率的長上下文處理。
將 Mamba 層添加到 Transformer 的主要效率優勢是什麼？
Transformer 注意力成本隨長度呈二次方增長，而 Mamba 狀態空間層則接近線性縮放，從而可以使用更少的記憶體實現很長的上下文。
AI21 Labs 推出了哪些受歡迎的消費者寫作工具？
Wordtune 是 AI21 的人工智慧重寫和音調調整工具，是其最著名的消費產品之一。
AI21 Labs 的哪位共同創辦人也因共同創立 Mobileye 而聞名？
AI21 Labs 共同創辦人 Amnon Shashua 也是自動駕駛公司 Mobileye 的共同創辦人。
AI21的早期GPT-3時代大語言模型帶有什麼家族名稱？
AI21 的早期 LLM 系列被標記為“Jurassic”，與後來的 Jamba 系列之前的 GPT-3 時代型號競爭。