Gia đình kiểu mẫu Llama
Llama là nhóm mô hình ngôn ngữ lớn có trọng lượng mở của Meta mà bất kỳ ai cũng có thể tải xuống, chạy và tinh chỉnh miễn phí.
Tổng quan
By releasing the weights publicly, Meta turned Llama into the foundation for a huge open-source AI ecosystem.
Lặn sâu
Llama (Mô hình ngôn ngữ lớn Meta AI) là một chuỗi các mô hình ngôn ngữ dựa trên máy biến áp được phát triển bởi Meta. Chiếc Llama đầu tiên xuất hiện vào đầu năm 2023 dưới dạng bản phát hành nghiên cứu; Llama 2 (tháng 7 năm 2023) đã bổ sung giấy phép cho phép sử dụng thương mại, đồng thời Llama 3 và 3.1 (2024) đã mở rộng quy mô đáng kể, với mô hình 405 tỷ tham số hàng đầu cạnh tranh với các hệ thống độc quyền hàng đầu. Một đặc điểm nổi bật là Meta công bố trọng số mô hình, do đó, các nhà phát triển có thể chạy Llama trên phần cứng của riêng họ, tùy chỉnh phần cứng và tránh gửi dữ liệu tới API bên ngoài. Sự cởi mở này đã sinh ra hàng ngàn mô hình và công cụ phái sinh. Mô hình Llama có nhiều kích cỡ (từ vài tỷ đến hàng trăm tỷ tham số) và bao gồm các biến thể 'trò chuyện' được điều chỉnh theo hướng dẫn cùng với các mô hình cơ sở.
Hiểu biết kỹ thuật
Các mô hình Llama là các máy biến áp chỉ dành cho bộ giải mã được đào tạo để dự đoán mã thông báo tiếp theo trên hàng nghìn tỷ mã thông báo văn bản và mã. Họ sử dụng các lựa chọn thiết kế tập trung vào hiệu quả như RMSNorm, kích hoạt SwiGLU, nhúng vị trí quay (RoPE) và chú ý truy vấn được nhóm trong các phiên bản lớn hơn để tăng tốc độ suy luận. Các biến thể điều chỉnh theo hướng dẫn được cải tiến hơn nữa với tính năng học tập tăng cường và tinh chỉnh có giám sát từ phản hồi của con người (RLHF) để chúng tuân theo lời nhắc của người dùng và hoạt động như những trợ lý hữu ích.
Tác động chiến lược
Chiến lược nhà cung cấp
Lộ trình của nhà cung cấp ảnh hưởng đến những tính năng mà nhóm của bạn có thể xây dựng tiếp theo.
Chi phí và ngân sách
Các điều khoản thương mại và các lựa chọn triển khai ảnh hưởng đến chi phí và rủi ro dài hạn.
Rủi ro và an toàn
Các biện pháp khuyến khích của công ty định hình các tình trạng vỡ nợ của sản phẩm, trạng thái an toàn và tính cởi mở.
Tương lai của gia đình kiểu mẫu Llama
Meta đang thúc đẩy Llama hướng tới các cửa sổ ngữ cảnh lớn hơn, khả năng đa ngôn ngữ và đa phương thức mạnh mẽ hơn (đã tồn tại các biến thể hỗ trợ thị giác) và hiệu quả trên thiết bị chặt chẽ hơn. Mong đợi các bản phát hành mở tiếp tục gây áp lực lên thị trường rộng lớn hơn về giá cả và khả năng tiếp cận, cộng với hệ sinh thái đang phát triển gồm các biến thể Llama dành riêng cho từng miền được tinh chỉnh. Tranh luận về ý nghĩa của 'mở', bao gồm các giới hạn cấp phép và sử dụng được chấp nhận, sẽ tiếp tục định hình các trọng số mạnh mẽ này có thể được sử dụng một cách tự do như thế nào.
Triển khai trong thế giới thực
Các công ty khởi nghiệp và nhà nghiên cứu tinh chỉnh Llama trên dữ liệu riêng tư để xây dựng các chatbot tùy chỉnh mà không phải trả phí API cho mỗi mã thông báo.
Các nhà phát triển chạy các mô hình Llama nhỏ hơn cục bộ trên máy tính xách tay hoặc máy chủ cho các ứng dụng nhạy cảm về quyền riêng tư mà dữ liệu không thể rời khỏi tòa nhà.
Các công ty sử dụng Llama được điều chỉnh theo hướng dẫn làm nền tảng cho trợ lý mã hóa, công cụ tóm tắt và công cụ hỗ trợ khách hàng.
Các dự án cộng đồng có trọng lượng mở như Code Llama và vô số sản phẩm phái sinh Ôm Mặt được sử dụng trong nghiên cứu học thuật.
Rủi ro & lan can
Thông báo ra mắt có thể vượt xa sự ổn định trong quy trình sản xuất thực tế.
Việc định giá API hoặc thay đổi chính sách có thể phá vỡ các giả định chỉ sau một đêm.
Sự phụ thuộc vào một nhà cung cấp làm tăng chi phí khóa và di chuyển.
Lộ trình thực hiện
Đánh giá các nhà cung cấp bằng cách sử dụng các nhiệm vụ và bộ dữ liệu của riêng bạn.
Xem lại các điều khoản về quyền riêng tư, bảo mật và pháp lý trước khi tích hợp.
Duy trì kế hoạch dự phòng giữa các mô hình hoặc nhà cung cấp.
Theo dõi ghi chú phát hành để những thay đổi về lộ trình không gây ngạc nhiên cho các nhóm.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Llama Model Family quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Mô hình nền tảng thế giới NVIDIA Cosmos
Câu hỏi thường gặp
What is Llama Model Family?
Llama là nhóm mô hình ngôn ngữ lớn có trọng lượng mở của Meta mà bất kỳ ai cũng có thể tải xuống, chạy và tinh chỉnh miễn phí. Bằng cách công bố trọng số, Meta đã biến Llama thành nền tảng cho hệ sinh thái AI nguồn mở khổng lồ.
Điều gì khiến gia đình Llama khác biệt đáng kể so với nhiều người mẫu cạnh tranh?
Đặc điểm nổi bật của Llama là Meta giải phóng trọng số một cách công khai, cho phép các nhà phát triển chạy, tinh chỉnh và tự lưu trữ các mô hình.
Từ viết tắt 'Llama' có nghĩa là gì?
Llama là viết tắt của Mô hình ngôn ngữ lớn Meta AI, phản ánh cả mục đích và người tạo ra nó.
Bản phát hành Llama nào đầu tiên đã thêm giấy phép cho phép sử dụng thương mại rộng rãi?
Llama 2, được phát hành vào tháng 7 năm 2023, đi kèm với giấy phép dễ dàng hơn cho phép sử dụng thương mại, không giống như bản phát hành đầu tiên chỉ dành cho nghiên cứu.
Kiến trúc nào làm nền tảng cho các mô hình Llama?
Các mô hình Llama là các máy biến áp chỉ dành cho bộ giải mã được đào tạo để dự đoán mã thông báo tiếp theo trên kho văn bản và mã lớn.
Các biến thể 'trò chuyện' hoặc điều chỉnh theo hướng dẫn của Llama được tạo ra như thế nào để làm theo lời nhắc của người dùng?
Các mô hình Llama được điều chỉnh theo hướng dẫn được tinh chỉnh bằng tính năng tinh chỉnh có giám sát và RLHF để chúng hoạt động như những trợ lý hữu ích, nhanh chóng theo dõi.