AI21 Labs
AI21 Labs е израелска компания за изкуствен интелект, която изгражда големи езикови модели (семействата Jurassic и Jamba) и корпоративни инструменти, плюс потребителския асистент за писане Wordtune.
Преглед
It matters for pioneering the Mamba-Transformer hybrid 'Jamba' architecture and for focusing on reliable, grounded AI for business rather than chasing consumer hype.
Дълбоко гмуркане
Основана през 2017 г. в Тел Авив от Йоав Шохам, Ори Гошен и Амнон Шашуа (също съосновател на Mobileye), AI21 Labs беше ранен двигател на големи езикови модели със своята серия Jurassic, която се конкурира със системите от ерата на GPT-3. Той изгради Wordtune, популярен инструмент за пренаписване и граматика с изкуствен интелект, и „AI21 Studio“, платформа за разработчици за изграждане на нейни модели. През 2024 г. той пусна Jamba, забележителен отворен модел, комбиниращ Transformer с архитектурата на пространството на състоянието Mamba, за да се справи ефективно с много дълъг контекст. AI21 набляга на „специфичните за задачите модели“ и техниките за намаляване на халюцинациите и наземните отговори в източниците, като се позиционира като надежден избор за предприятия в областта на финансите, обслужването на клиенти и работните процеси, натоварени с документи.
Техническа информация
Основната иновация на Jamba е хибрид: тя преплита стандартни слоеве за внимание на Transformer със слоеве на пространството на състоянието на Mamba и добавя компонент смес от експерти. Трансформаторите се отличават с гъвкаво разсъждение, но цената им за внимание нараства квадратично с дължината на последователността; Слоевете Mamba се мащабират грубо линейно, така че сместа обработва контекстни прозорци от стотици хиляди токени с много по-малко използване на паметта. Това позволява на Jamba да поглъща дълги документи на един GPU, като същевременно запазва качеството на разсъжденията, свързано с моделите, базирани на вниманието.
Стратегическо въздействие
Vendor strategy
Пътните карти на доставчиците влияят на това какви функции вашият екип може да изгради по-нататък.
Cost and budget
Търговските условия и опциите за внедряване влияят върху дългосрочните разходи и риск.
Risk and safety
Стимулите на компанията оформят продуктовите стандарти, безопасността и откритостта.
Бъдещето на AI21 Labs
AI21 клони към ефективни архитектури с дълъг контекст и надеждно корпоративно внедряване, а не към надпреварата за потребителски чатботове. Очаквайте продължаване на инвестициите в хибридни модели на пространството на състоянието като Jamba, агентни системи, които планират и извикват инструменти, и методи за заземяване, които цитират източници за намаляване на халюцинациите. Тъй като фирмите изискват по-евтини изводи върху огромни документи, залагането на AI21 върху ефективността на Mamba-Transformer и специфичните за задачите, управляеми модели го позиционира добре, въпреки че се конкурира както с открити конкуренти, така и с гранични лаборатории.
Внедряване в реалния свят
Използване на Wordtune за пренаписване, съкращаване или промяна на тона на имейли и документи
Подаване на цял дълъг договор или отчет към големия контекстен прозорец на Jamba за обобщение или въпроси и отговори
Изграждане на асистент за поддръжка на клиенти на AI21 Studio, който основава отговорите в базата от знания на компанията
Внедряване на модели за специфични задачи във финансите за извличане и обобщаване на информация от плътни файлове
Рискове и предпазни огради
Съобщенията за стартиране може да изпреварят стабилността в реалните производствени работни процеси.
Ценообразуването на API или промените в политиката могат да разбият предположенията за една нощ.
Зависимостта от един доставчик увеличава разходите за заключване и миграция.
Пътна карта за изпълнение
Оценявайте доставчиците, като използвате вашите собствени задачи и набори от данни.
Прегледайте поверителността, сигурността и правните условия преди интегриране.
Поддържайте резервен план за модели или доставчици.
Наблюдавайте бележките по изданието, така че промените в пътната карта да не изненадват екипите.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the AI21 Labs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Шварцвалд лаборатории
Frequently asked questions
What is AI21 Labs?
AI21 Labs е израелска компания за изкуствен интелект, която изгражда големи езикови модели (семействата Jurassic и Jamba) и корпоративни инструменти, плюс потребителския асистент за писане Wordtune. Има значение за пионерството в хибридната архитектура Mamba-Transformer „Jamba“ и за фокусирането върху надежден, обоснован AI за бизнеса, вместо да преследва рекламата на потребителите.
Моделът Jamba на AI21 Labs се отличава с комбинирането на Transformer с коя друга архитектура?
Jamba преплита слоевете за внимание на Transformer със слоевете на пространството на състоянието на Mamba (плюс комбинация от експерти) за ефективна обработка на дълъг контекст.
Какво е основното предимство на ефективността на добавянето на Mamba слоеве към Transformer?
Разходите за внимание на трансформатора нарастват квадратично с дължината, докато слоевете на пространството на състоянието на Mamba се мащабират по-близо до линейно, което позволява много дълги контексти с по-малко памет.
Кой популярен потребителски инструмент за писане е направен от AI21 Labs?
Wordtune, базираният на AI21 инструмент за пренаписване и регулиране на тона, е един от най-известните потребителски продукти.
Кой съосновател на AI21 Labs е известен също и като съосновател на Mobileye?
Амнон Шашуа, съосновател на AI21 Labs, също е съосновател на компанията за автономно шофиране Mobileye.
Какво фамилно име носеха големите езикови модели от ранната ера на GPT-3 на AI21?
Ранната серия LLM на AI21 беше наречена „Jurassic“, конкурирайки се с моделите от ерата на GPT-3 преди по-късното семейство Jamba.