Лабораторії AI21
AI21 Labs — це ізраїльська компанія зі штучного інтелекту, яка розробляє великі мовні моделі (сімейства Jurassic і Jamba) і корпоративні інструменти, а також помічник для споживачів Wordtune.
Огляд
It matters for pioneering the Mamba-Transformer hybrid 'Jamba' architecture and for focusing on reliable, grounded AI for business rather than chasing consumer hype.
Глибоке занурення
Заснована в 2017 році в Тель-Авіві Йоавом Шохамом, Орі Ґошеном і Амноном Шашуа (також співзасновником Mobileye), AI21 Labs була першим виробником великих мовних моделей із серією Jurassic, яка конкурувала з системами епохи GPT-3. Він створив Wordtune, популярний інструмент для переписування та граматики штучного інтелекту, і «AI21 Studio», платформу для розробників для створення на основі своїх моделей. У 2024 році компанія випустила Jamba, помітну відкриту модель, яка поєднує Transformer з архітектурою простору станів Mamba для ефективної роботи з дуже довгим контекстом. AI21 наголошує на «специфічних моделях завдань» і техніках для зменшення галюцинацій і ґрунтовних відповідей у джерелах, позиціонуючи себе як надійний вибір для підприємств у сфері фінансів, обслуговування клієнтів і роботи з важкими документами.
Технічне розуміння
Основна інновація Jamba є гібридом: вона перемежовує стандартні шари уваги Transformer із шарами простору стану Mamba та додає компонент суміші експертів. Трансформатори вирізняються гнучким міркуванням, але вартість їх уваги зростає квадратично з довжиною послідовності; Шари Mamba масштабуються приблизно лінійно, тому суміш обробляє контекстні вікна сотень тисяч токенів із набагато меншим використанням пам’яті. Це дозволяє Jamba отримувати довгі документи на одному графічному процесорі, зберігаючи при цьому якість міркування, пов’язану з моделями на основі уваги.
Стратегічний вплив
Стратегія постачальника
Дорожні карти постачальників впливають на те, які функції ваша команда може створити далі.
Вартість і бюджет
Комерційні умови та варіанти розгортання впливають на довгострокову вартість і ризик.
Ризики та безпека
Стимули компанії формують стандарти продукту, безпеку та відкритість.
Майбутнє AI21 Labs
AI21 орієнтується на довгоконтекстні, ефективні архітектури та надійне корпоративне розгортання, а не на гонку споживчих чат-ботів. Очікуйте продовження інвестицій у гібридні моделі простору станів, такі як Jamba, агентські системи, які планують і викликають інструменти, а також методи заземлення, які посилаються на джерела, щоб усунути галюцинації. Оскільки компанії вимагають більш дешевих висновків щодо величезних документів, AI21 робить ставку на ефективність Mamba-Transformer і керовані моделі, що відповідають конкретним завданням, що добре позиціонує його, хоча він конкурує як з конкурентами відкритої ваги, так і з передовими лабораторіями.
Реалізація в реальному світі
Використання Wordtune для переписування, скорочення або зміни тону електронних листів і документів
Передача цілого довгого контракту або звіту у велике контекстне вікно Jamba для підбиття підсумків або запитань і відповідей
Створення помічника з підтримки клієнтів на AI21 Studio, який базує відповіді на базі знань компанії
Розгортання моделей для конкретних завдань у фінансах для вилучення й узагальнення інформації зі щільних файлів
Ризики та огорожі
Оголошення про запуск можуть випереджати стабільність у реальних робочих процесах виробництва.
Зміни в ціноутворенні API або в політиці можуть миттєво порушити припущення.
Залежність від одного постачальника збільшує витрати на блокування та міграцію.
Дорожня карта впровадження
Оцініть постачальників за допомогою власних завдань і наборів даних.
Перегляньте умови конфіденційності, безпеки та юридичні умови перед інтеграцією.
Підтримуйте запасний план для різних моделей або постачальників.
Слідкуйте за примітками до випуску, щоб зміни дорожньої карти не здивували команди.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the AI21 Labs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
Шварцвальдські лабораторії
Часті запитання
What is AI21 Labs?
AI21 Labs — це ізраїльська компанія зі штучного інтелекту, яка розробляє великі мовні моделі (сімейства Jurassic і Jamba) і корпоративні інструменти, а також помічник для споживачів Wordtune. Це важливо для новаторства гібридної архітектури Mamba-Transformer «Jamba» та для зосередження на надійному, обґрунтованому штучному інтелекті для бізнесу, а не на гонитві за споживчим ажіотажем.
Модель Jamba від AI21 Labs відрізняється тим, що поєднує Transformer з якою іншою архітектурою?
Jamba чергує шари уваги Transformer з шарами простору станів Mamba (плюс суміш експертів) для ефективної обробки тривалого контексту.
Яка головна перевага ефективності додавання шарів Mamba до Transformer?
Вартість уваги трансформатора зростає квадратично з довжиною, тоді як шари простору станів Mamba масштабуються ближче до лінійного, створюючи дуже довгі контексти з меншою пам’яттю.
Який популярний серед споживачів інструмент для писання створений AI21 Labs?
Wordtune, інструмент перезапису та налаштування тону від AI21 на базі штучного інтелекту, є одним із найвідоміших споживчих продуктів компанії.
Який співзасновник AI21 Labs також відомий співзасновником Mobileye?
Амнон Шашуа, співзасновник AI21 Labs, також був співзасновником компанії з автономного водіння Mobileye.
Яке прізвище мали ранні великі мовні моделі AI21 епохи GPT-3?
Рання серія LLM AI21 мала назву «Jurassic», конкуруючи з моделями епохи GPT-3 до пізнішої сімейства Jamba.