Alibaba Qwen
Qwen (Tongyi Qianwen) là dòng mô hình ngôn ngữ lớn của Alibaba và nó đã trở thành một trong những dòng mô hình AI có trọng lượng mở được tải xuống nhiều nhất trên thế giới.
Tổng quan
It matters because it gives developers everywhere free, commercially usable models that rival closed systems from OpenAI and Google.
Lặn sâu
Qwen, viết tắt của 'Tongyi Qianwen' (đại khái là 'sự thật từ một ngàn câu hỏi'), được phát triển bởi Học viện DAMO của Alibaba Cloud. Được phát hành lần đầu tiên vào năm 2023, dòng sản phẩm này nhanh chóng mở rộng để bao gồm mô hình văn bản, mô hình ngôn ngữ hình ảnh (Qwen-VL), mô hình âm thanh, mô hình mã hóa (Qwen-Coder) và chuyên gia toán học. Alibaba phát hành nhiều mô hình Qwen theo giấy phép mở cho phép trên Hugging Face và ModelScope, khiến Qwen2 và Qwen2.5 trở thành một trong những cơ sở mô hình được tinh chỉnh và tải xuống nhiều nhất trên toàn thế giới. Các mô hình này có nhiều kích cỡ, từ các phiên bản nhỏ 0,5 tỷ thông số chạy trên máy tính xách tay cho đến các biến thể Mixture-of-Experts khổng lồ. Khả năng đa ngôn ngữ mạnh mẽ, đặc biệt là tiếng Trung và tiếng Anh, cộng với điểm chuẩn cạnh tranh, đã khiến Qwen trở thành lựa chọn mặc định cho các nhà nghiên cứu và công ty khởi nghiệp xây dựng trợ lý riêng của họ.
Hiểu biết kỹ thuật
Qwen sử dụng kiến trúc bộ giải mã Transformer với các cải tiến như nhúng vị trí RoPE, kích hoạt SwiGLU, RMSNorm và chú ý truy vấn nhóm để suy luận nhanh hơn. Các phiên bản lớn hơn áp dụng thiết kế Hỗn hợp các chuyên gia (MoE), trong đó bộ định tuyến chỉ kích hoạt một số mạng con chuyên gia trên mỗi mã thông báo, mang lại tổng công suất lớn trong khi vẫn giữ mức điện toán trên mỗi mã thông báo ở mức thấp. Các biến thể 'Trò chuyện' được điều chỉnh theo hướng dẫn được căn chỉnh bằng cách sử dụng phương pháp học tăng cường và tinh chỉnh có giám sát từ phản hồi của con người (RLHF).
Tác động chiến lược
Chiến lược nhà cung cấp
Lộ trình của nhà cung cấp ảnh hưởng đến những tính năng mà nhóm của bạn có thể xây dựng tiếp theo.
Chi phí và ngân sách
Các điều khoản thương mại và các lựa chọn triển khai ảnh hưởng đến chi phí và rủi ro dài hạn.
Rủi ro và an toàn
Các biện pháp khuyến khích của công ty định hình các tình trạng vỡ nợ của sản phẩm, trạng thái an toàn và tính cởi mở.
Tương lai của Alibaba Qwen
Alibaba đang đầu tư mạnh vào Qwen như một công ty hàng đầu trong lĩnh vực kinh doanh trên nền tảng đám mây của mình, đang chạy đua để phù hợp với các mô hình lý luận biên giới. Mong đợi các cửa sổ ngữ cảnh dài hơn, khả năng sử dụng công cụ và tác nhân mạnh mẽ hơn, các mô hình MoE hiệu quả hơn và tích hợp đa phương thức chặt chẽ hơn giữa văn bản, hình ảnh, âm thanh và video. Với tư cách là một gia đình trọng lượng mở hàng đầu, Qwen có thể sẽ tiếp tục duy trì một hệ sinh thái toàn cầu gồm các công cụ phái sinh được tinh chỉnh và sự tiến bộ của nó là một chỉ số chính cho thấy mức độ cạnh tranh của các phòng thí nghiệm AI của Trung Quốc với các phòng thí nghiệm biên giới của Hoa Kỳ.
Triển khai trong thế giới thực
Một công ty khởi nghiệp tinh chỉnh mô hình Qwen2.5 mở để xây dựng một chatbot hỗ trợ khách hàng riêng mà không phải trả phí API cho mỗi mã thông báo.
Các nhà phát triển sử dụng Qwen-Coder để tự động hoàn thành và giải thích mã bên trong IDE của họ cho các dự án phần mềm.
Các nhà nghiên cứu chạy cục bộ một mô hình Qwen 0,5B hoặc 1,5B nhỏ trên máy tính xách tay để tạo nguyên mẫu cho các trợ lý bảo vệ quyền riêng tư ngoại tuyến.
Nhóm thương mại điện tử sử dụng Qwen-VL để đọc ảnh sản phẩm và tự động tạo mô tả và thẻ danh sách.
Rủi ro & lan can
Thông báo ra mắt có thể vượt xa sự ổn định trong quy trình sản xuất thực tế.
Việc định giá API hoặc thay đổi chính sách có thể phá vỡ các giả định chỉ sau một đêm.
Sự phụ thuộc vào một nhà cung cấp làm tăng chi phí khóa và di chuyển.
Lộ trình thực hiện
Đánh giá các nhà cung cấp bằng cách sử dụng các nhiệm vụ và bộ dữ liệu của riêng bạn.
Xem lại các điều khoản về quyền riêng tư, bảo mật và pháp lý trước khi tích hợp.
Duy trì kế hoạch dự phòng giữa các mô hình hoặc nhà cung cấp.
Theo dõi ghi chú phát hành để những thay đổi về lộ trình không gây ngạc nhiên cho các nhóm.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Alibaba Qwen quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Phòng thí nghiệm Tongyi và nghiên cứu Qwen
Câu hỏi thường gặp
What is Alibaba Qwen?
Qwen (Tongyi Qianwen) là dòng mô hình ngôn ngữ lớn của Alibaba và nó đã trở thành một trong những dòng mô hình AI có trọng lượng mở được tải xuống nhiều nhất trên thế giới. Điều này quan trọng vì nó cung cấp cho các nhà phát triển ở mọi nơi các mô hình miễn phí, có thể sử dụng được về mặt thương mại, cạnh tranh với các hệ thống đóng từ OpenAI và Google.
Công ty nào phát triển dòng mô hình AI Qwen?
Qwen, hay Tongyi Qianwen, được phát triển bởi Alibaba Cloud và nhóm nghiên cứu Học viện DAMO.
Lý do chính khiến Qwen được các nhà phát triển sử dụng rộng rãi là gì?
Alibaba đã phát hành nhiều mô hình Qwen theo giấy phép mở dễ dàng, khiến chúng trở thành một trong những cơ sở mô hình được tải xuống và tinh chỉnh nhiều nhất trên thế giới.
Thiết kế Hỗn hợp các chuyên gia (MoE) trong các mẫu Qwen lớn hơn có tác dụng gì?
MoE sử dụng bộ định tuyến để chỉ kích hoạt một tập hợp con nhỏ các mạng con chuyên gia cho mỗi mã thông báo, mang lại tổng công suất lớn với chi phí tính toán trên mỗi mã thông báo thấp hơn.
Biến thể Qwen chuyên dụng nào được thiết kế cho các tác vụ lập trình?
Qwen-Coder là biến thể được điều chỉnh đặc biệt để tạo, hoàn thiện và giải thích mã.
Qwen-VL đề cập đến mô hình có thể xử lý sự kết hợp nào?
Qwen-VL là mô hình ngôn ngữ thị giác có thể diễn giải hình ảnh cùng với văn bản, hữu ích cho các tác vụ như mô tả ảnh sản phẩm.