Лаборатории AI21
AI21 Labs — израильская компания в области искусственного интеллекта, создающая большие языковые модели (семейства Jurassic и Jamba) и корпоративные инструменты, а также помощника по написанию текстов Wordtune.
Обзор
It matters for pioneering the Mamba-Transformer hybrid 'Jamba' architecture and for focusing on reliable, grounded AI for business rather than chasing consumer hype.
Глубокое погружение
Основанная в 2017 году в Тель-Авиве Йоавом Шохамом, Ори Гошеном и Амноном Шашуа (также соучредителем Mobileye), AI21 Labs была пионером в разработке больших языковых моделей со своей серией Jurassic, которая конкурировала с системами эпохи GPT-3. Компания создала Wordtune, популярный инструмент для переписывания и грамматики с использованием искусственного интеллекта, а также AI21 Studio, платформу для разработчиков для создания своих моделей. В 2024 году компания выпустила Jamba, известную модель открытого типа, сочетающую Transformer с архитектурой пространства состояний Mamba для эффективной обработки очень длинного контекста. AI21 делает упор на «модели для конкретных задач» и методы уменьшения галлюцинаций и обоснования ответов в источниках, позиционируя себя как надежный выбор для предприятий в сфере финансов, обслуживания клиентов и рабочих процессов с большим количеством документов.
Техническая информация
Основная инновация Jamba представляет собой гибрид: она чередует стандартные слои внимания Transformer со слоями пространства состояний Mamba и добавляет компонент, объединяющий экспертов. Трансформаторы превосходны в гибком рассуждении, но затраты их внимания растут квадратично с длиной последовательности; Слои Mamba масштабируются примерно линейно, поэтому смесь обрабатывает контекстные окна сотен тысяч токенов с гораздо меньшим использованием памяти. Это позволяет Jamba обрабатывать длинные документы на одном графическом процессоре, сохраняя при этом качество рассуждений, свойственное моделям, основанным на внимании.
Стратегическое воздействие
Стратегия поставщика
Дорожные карты поставщиков влияют на то, какие функции ваша команда может создать дальше.
Стоимость и бюджет
Коммерческие условия и варианты развертывания влияют на долгосрочные затраты и риски.
Риски и безопасность
Стимулы компании влияют на невыполнение обязательств по продукту, безопасность и открытость.
Будущее лабораторий AI21
AI21 опирается на долгосрочные, эффективные архитектуры и надежное корпоративное развертывание, а не на гонку потребительских чат-ботов. Ожидайте продолжения инвестиций в гибридные модели пространства состояний, такие как Jamba, агентные системы, которые планируют и вызывают инструменты, а также методы заземления, которые ссылаются на источники для предотвращения галлюцинаций. Поскольку предприятия требуют более дешевых выводов по огромным документам, ставка AI21 на эффективность Mamba-Transformer и управляемые модели, ориентированные на конкретные задачи, позиционирует его хорошо, хотя он конкурирует как с конкурентами с открытым весом, так и с передовыми лабораториями.
Реальная реализация
Использование Wordtune для переписывания, сокращения или изменения тона электронных писем и документов.
Передача всего длинного контракта или отчета в большое контекстное окно Jamba для обобщения или вопросов и ответов.
Создание помощника по поддержке клиентов в AI21 Studio, который находит ответы в базе знаний компании.
Развертывание моделей для конкретных задач в сфере финансов для извлечения и обобщения информации из плотных документов.
Риски и ограничения
Объявления о запуске могут опережать стабильность реальных производственных процессов.
Цены на API или изменения в политике могут в одночасье разрушить предположения.
Зависимость от одного поставщика увеличивает затраты на привязку и миграцию.
Дорожная карта реализации
Оценивайте поставщиков, используя собственные задачи и наборы данных.
Перед интеграцией ознакомьтесь с условиями конфиденциальности, безопасности и юридическими условиями.
Поддерживайте резервный план для разных моделей или поставщиков.
Отслеживайте примечания к выпуску, чтобы изменения в дорожной карте не удивили команды.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the AI21 Labs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Лаборатории Шварцвальда
Часто задаваемые вопросы
What is AI21 Labs?
AI21 Labs — израильская компания в области искусственного интеллекта, создающая большие языковые модели (семейства Jurassic и Jamba) и корпоративные инструменты, а также помощника по написанию текстов Wordtune. Это важно для внедрения гибридной архитектуры «Jamba» Mamba-Transformer и для сосредоточения внимания на надежном и обоснованном искусственном интеллекте для бизнеса, а не на погоне за шумихой среди потребителей.
Модель Jamba от AI21 Labs примечательна сочетанием Transformer с какой другой архитектурой?
Jamba чередует слои внимания Transformer со слоями пространства состояний Mamba (плюс смесь экспертов) для эффективной обработки длинного контекста.
В чем основное преимущество эффективности добавления слоев Mamba в Transformer?
Стоимость внимания преобразователя растет квадратично с длиной, в то время как слои пространства состояний Mamba масштабируются ближе к линейному, что позволяет создавать очень длинные контексты с меньшим объемом памяти.
Какой популярный потребительский инструмент для письма создан AI21 Labs?
Wordtune, инструмент AI21 для переписывания и настройки тона на основе искусственного интеллекта, является одним из самых известных потребительских продуктов AI21.
Кто из соучредителей AI21 Labs также известен как соучредитель Mobileye?
Амнон Шашуа, соучредитель AI21 Labs, также стал соучредителем компании по автономному вождению Mobileye.
Какую фамилию носили ранние модели большого языка AI21 эпохи GPT-3?
Ранняя серия LLM AI21 называлась «Юрский период», конкурируя с моделями эпохи GPT-3, предшествующими более позднему семейству Jamba.