Phòng thí nghiệm AI21
AI21 Labs là một công ty AI của Israel xây dựng các mô hình ngôn ngữ lớn (dòng Jurassic và Jamba) và các công cụ doanh nghiệp, cùng với trợ lý viết cho người tiêu dùng Wordtune.
Tổng quan
It matters for pioneering the Mamba-Transformer hybrid 'Jamba' architecture and for focusing on reliable, grounded AI for business rather than chasing consumer hype.
Lặn sâu
Được thành lập vào năm 2017 tại Tel Aviv bởi Yoav Shoham, Ori Goshen và Amnon Shashua (cũng là người đồng sáng lập Mobileye), AI21 Labs là người đi đầu trong các mô hình ngôn ngữ lớn với loạt phim Jurassic, cạnh tranh với các hệ thống thời GPT-3. Nó đã xây dựng Wordtune, một công cụ ngữ pháp và viết lại AI phổ biến, và 'AI21 Studio', một nền tảng dành cho nhà phát triển để xây dựng trên các mô hình của nó. Vào năm 2024, hãng phát hành Jamba, một mô hình trọng lượng mở đáng chú ý kết hợp Transformer với kiến trúc không gian trạng thái Mamba để xử lý bối cảnh rất dài một cách hiệu quả. AI21 nhấn mạnh đến 'Mô hình cụ thể theo nhiệm vụ' và các kỹ thuật để giảm ảo giác và câu trả lời cơ bản trong các nguồn, tự định vị mình là sự lựa chọn đáng tin cậy cho các doanh nghiệp trong lĩnh vực tài chính, dịch vụ khách hàng và quy trình làm việc nặng về tài liệu.
Hiểu biết kỹ thuật
Đổi mới tiêu đề của Jamba là sự kết hợp: nó xen kẽ các lớp chú ý của Transformer tiêu chuẩn với các lớp không gian trạng thái Mamba và thêm thành phần hỗn hợp các chuyên gia. Máy biến áp vượt trội về khả năng suy luận linh hoạt nhưng chi phí chú ý của chúng tăng theo bậc hai theo độ dài chuỗi; Các lớp Mamba có quy mô gần như tuyến tính, do đó, sự pha trộn xử lý các cửa sổ ngữ cảnh của hàng trăm nghìn mã thông báo với mức sử dụng bộ nhớ thấp hơn nhiều. Điều này cho phép Jamba nhập các tài liệu dài trên một GPU duy nhất trong khi vẫn giữ được chất lượng lý luận liên quan đến các mô hình dựa trên sự chú ý.
Tác động chiến lược
Chiến lược nhà cung cấp
Lộ trình của nhà cung cấp ảnh hưởng đến những tính năng mà nhóm của bạn có thể xây dựng tiếp theo.
Chi phí và ngân sách
Các điều khoản thương mại và các lựa chọn triển khai ảnh hưởng đến chi phí và rủi ro dài hạn.
Rủi ro và an toàn
Các biện pháp khuyến khích của công ty định hình các tình trạng vỡ nợ của sản phẩm, trạng thái an toàn và tính cởi mở.
Tương lai của Phòng thí nghiệm AI21
AI21 đang thiên về bối cảnh dài, kiến trúc hiệu quả và triển khai doanh nghiệp đáng tin cậy hơn là cuộc đua chatbot dành cho người tiêu dùng. Mong đợi sự đầu tư tiếp tục vào các mô hình không gian trạng thái kết hợp như Jamba, các hệ thống đại lý lập kế hoạch và gọi các công cụ cũng như các phương pháp tiếp đất trích dẫn các nguồn để cắt giảm ảo giác. Khi các doanh nghiệp yêu cầu suy luận rẻ hơn đối với các tài liệu khổng lồ, việc đặt cược của AI21 vào hiệu quả của Mamba-Transformer và các mô hình có thể kiểm soát, dành riêng cho nhiệm vụ sẽ giúp AI21 có vị trí tốt, mặc dù nó cạnh tranh với cả những đối thủ thách thức trọng lượng mở và các phòng thí nghiệm biên giới.
Triển khai trong thế giới thực
Sử dụng Wordtune để viết lại, rút ngắn hoặc thay đổi giọng điệu của email và tài liệu
Cung cấp toàn bộ hợp đồng dài hạn hoặc báo cáo tới cửa sổ ngữ cảnh lớn của Jamba để tóm tắt hoặc hỏi đáp
Xây dựng trợ lý hỗ trợ khách hàng trên AI21 Studio để đưa ra câu trả lời dựa trên nền tảng kiến thức của công ty
Triển khai các mô hình nhiệm vụ cụ thể trong tài chính để trích xuất và tóm tắt thông tin từ các hồ sơ dày đặc
Rủi ro & lan can
Thông báo ra mắt có thể vượt xa sự ổn định trong quy trình sản xuất thực tế.
Việc định giá API hoặc thay đổi chính sách có thể phá vỡ các giả định chỉ sau một đêm.
Sự phụ thuộc vào một nhà cung cấp làm tăng chi phí khóa và di chuyển.
Lộ trình thực hiện
Đánh giá các nhà cung cấp bằng cách sử dụng các nhiệm vụ và bộ dữ liệu của riêng bạn.
Xem lại các điều khoản về quyền riêng tư, bảo mật và pháp lý trước khi tích hợp.
Duy trì kế hoạch dự phòng giữa các mô hình hoặc nhà cung cấp.
Theo dõi ghi chú phát hành để những thay đổi về lộ trình không gây ngạc nhiên cho các nhóm.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the AI21 Labs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Phòng thí nghiệm rừng đen
Câu hỏi thường gặp
What is AI21 Labs?
AI21 Labs là một công ty AI của Israel xây dựng các mô hình ngôn ngữ lớn (dòng Jurassic và Jamba) và các công cụ doanh nghiệp, cùng với trợ lý viết cho người tiêu dùng Wordtune. Điều quan trọng là phải đi tiên phong trong kiến trúc 'Jamba' lai Mamba-Transformer và tập trung vào AI có nền tảng, đáng tin cậy cho doanh nghiệp thay vì chạy theo sự cường điệu của người tiêu dùng.
Mô hình Jamba của AI21 Labs đáng chú ý khi kết hợp Transformer với kiến trúc nào khác?
Jamba xen kẽ các lớp chú ý của Transformer với các lớp không gian trạng thái Mamba (cộng với sự kết hợp của các chuyên gia) để xử lý ngữ cảnh dài hiệu quả.
Ưu điểm hiệu quả chính của việc thêm các lớp Mamba vào Máy biến áp là gì?
Chi phí chú ý đến máy biến áp tăng theo phương trình bậc hai theo chiều dài, trong khi các lớp không gian trạng thái Mamba có quy mô gần tuyến tính hơn, cho phép các bối cảnh rất dài với ít bộ nhớ hơn.
Công cụ viết phổ biến nào dành cho người tiêu dùng do AI21 Labs tạo ra?
Wordtune, công cụ viết lại và điều chỉnh giai điệu được hỗ trợ bởi AI của AI21, là một trong những sản phẩm tiêu dùng nổi tiếng nhất của nó.
Người đồng sáng lập AI21 Labs nào cũng được biết đến với vai trò đồng sáng lập Mobileye?
Amnon Shashua, người đồng sáng lập AI21 Labs, cũng là người đồng sáng lập công ty xe tự hành Mobileye.
Các mô hình ngôn ngữ lớn đầu thời GPT-3 của AI21 mang họ gì?
Dòng LLM đầu tiên của AI21 được gắn nhãn hiệu 'Jurassic', cạnh tranh với các mẫu thời GPT-3 trước dòng Jamba sau này.