AI21 연구소
AI21 Labs는 대규모 언어 모델(Jurassic 및 Jamba 제품군)과 엔터프라이즈 도구, 소비자 글쓰기 보조 프로그램인 Wordtune을 구축하는 이스라엘 AI 회사입니다.
개요
It matters for pioneering the Mamba-Transformer hybrid 'Jamba' architecture and for focusing on reliable, grounded AI for business rather than chasing consumer hype.
심층 분석
Yoav Shoham, Ori Goshen 및 Amnon Shashua(또한 Mobileye의 공동 창립자)가 2017년 텔아비브에서 설립한 AI21 Labs는 GPT-3 시대 시스템과 경쟁하는 Jurassic 시리즈를 통해 대규모 언어 모델의 초기 이동자였습니다. 인기 있는 AI 재작성 및 문법 도구인 Wordtune과 모델 구축을 위한 개발자 플랫폼인 'AI21 Studio'를 구축했습니다. 2024년에는 매우 긴 컨텍스트를 효율적으로 처리하기 위해 Transformer와 Mamba 상태 공간 아키텍처를 결합한 주목할만한 개방형 가중치 모델인 Jamba를 출시했습니다. AI21은 소스에서 환각과 근거 답변을 줄이는 '작업별 모델'과 기술을 강조하여 금융, 고객 서비스 및 문서 집약적인 워크플로우 분야에서 기업이 신뢰할 수 있는 선택으로 자리매김합니다.
기술적 통찰력
Jamba의 헤드라인 혁신은 하이브리드입니다. 이는 표준 Transformer 주의 레이어를 Mamba 상태 공간 레이어와 인터리브하고 전문가 혼합 구성 요소를 추가합니다. Transformer는 유연한 추론에 탁월하지만 주의 비용은 시퀀스 길이에 따라 2차적으로 증가합니다. Mamba 레이어는 대략 선형적으로 확장되므로 블렌드는 훨씬 적은 메모리 사용으로 수십만 개의 토큰의 컨텍스트 창을 처리합니다. 이를 통해 Jamba는 주의 기반 모델과 관련된 추론 품질을 유지하면서 단일 GPU에서 긴 문서를 수집할 수 있습니다.
전략적 영향
벤더 전략
공급업체 로드맵은 팀이 다음에 구축할 수 있는 기능에 영향을 미칩니다.
비용 및 예산
상업적 조건과 배포 옵션은 장기적인 비용과 위험에 영향을 미칩니다.
위험과 안전
회사 인센티브는 제품 기본값, 안전 태세 및 개방성을 형성합니다.
AI21 연구소의 미래
AI21은 소비자 챗봇 경쟁보다는 장기적 컨텍스트의 효율적인 아키텍처와 안정적인 엔터프라이즈 배포에 중점을 두고 있습니다. Jamba와 같은 하이브리드 상태 공간 모델, 도구를 계획하고 호출하는 에이전트 시스템, 환각을 줄이기 위해 소스를 인용하는 접지 방법에 대한 지속적인 투자를 기대합니다. 기업이 거대한 문서에 대해 더 저렴한 추론을 요구함에 따라 AI21은 Mamba-Transformer 효율성과 작업별 제어 가능한 모델에 대한 투자를 통해 이를 잘 포지셔닝합니다. 비록 개방형 도전자와 개척자 연구소 모두와 경쟁하지만 말입니다.
실제 구현
Wordtune을 사용하여 이메일과 문서의 어조를 다시 작성하거나 단축하거나 변경하기
요약이나 Q&A를 위해 전체 장기 계약 또는 보고서를 Jamba의 대형 컨텍스트 창에 제공합니다.
회사의 지식 기반에서 답을 찾는 AI21 Studio에서 고객 지원 도우미 구축
조밀한 서류에서 정보를 추출하고 요약하기 위해 재무 분야의 작업별 모델 배포
위험 및 가드레일
출시 발표는 실제 생산 워크플로의 안정성보다 앞설 수 있습니다.
API 가격 책정이나 정책 변경으로 인해 하룻밤 사이에 가정이 깨질 수 있습니다.
단일 공급업체 종속성은 종속 및 마이그레이션 비용을 증가시킵니다.
구현 로드맵
자체 작업과 데이터 세트를 사용하여 공급자를 평가합니다.
통합하기 전에 개인정보 보호, 보안, 법적 약관을 검토하세요.
모델이나 공급업체 전반에 걸쳐 대체 계획을 유지합니다.
로드맵 변경으로 인해 팀이 놀라지 않도록 릴리스 노트를 모니터링하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the AI21 Labs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
블랙 포레스트 연구소
자주 묻는 질문
What is AI21 Labs?
AI21 Labs는 대규모 언어 모델(Jurassic 및 Jamba 제품군)과 엔터프라이즈 도구, 소비자 글쓰기 보조 프로그램인 Wordtune을 구축하는 이스라엘 AI 회사입니다. Mamba-Transformer 하이브리드 'Jamba' 아키텍처를 개척하고 소비자의 과대 광고를 쫓기보다는 비즈니스를 위한 안정적이고 기반이 있는 AI에 집중하는 것이 중요합니다.
AI21 Labs의 Jamba 모델은 Transformer를 다른 아키텍처와 결합한 것으로 유명합니까?
Jamba는 효율적인 긴 컨텍스트 처리를 위해 Transformer 주의 레이어를 Mamba 상태공간 레이어(및 전문가 혼합)와 인터리브합니다.
Transformer에 Mamba 레이어를 추가할 때 얻을 수 있는 주요 효율성 이점은 무엇입니까?
Transformer Attention 비용은 길이에 따라 2차적으로 증가하는 반면 Mamba 상태공간 레이어는 선형에 가깝게 확장되어 더 적은 메모리로 매우 긴 컨텍스트를 가능하게 합니다.
AI21 Labs에서 만든 인기 있는 소비자 글쓰기 도구는 무엇인가요?
AI21의 AI 기반 다시 쓰기 및 톤 조정 도구인 Wordtune은 가장 잘 알려진 소비자 제품 중 하나입니다.
AI21 Labs의 공동 창업자와 Mobileye의 공동 창업자로 알려진 사람은 누구입니까?
AI21 Labs의 공동 창업자인 Amnon Shashua는 자율주행차 회사인 Mobileye도 공동 창업했습니다.
AI21의 초기 GPT-3 시대 대형 언어 모델에는 어떤 성이 있었나요?
AI21의 초기 LLM 시리즈는 'Jurassic'이라는 브랜드로 후기 Jamba 제품군 이전의 GPT-3 시대 모델과 경쟁했습니다.