Hỗn hợp các chuyên gia LoRA
Hỗn hợp các chuyên gia LoRA (MoLE) kết hợp nhiều bộ điều hợp nhỏ, được đào tạo với giá rẻ với một bộ định tuyến đã học để một mô hình cơ sở duy nhất có thể chuyên môn hóa linh hoạt các nhiệm vụ, phong cách hoặc kỹ năng.
Tổng quan
It matters because it brings the modularity of Mixture-of-Experts to fine-tuning without retraining huge networks.
Lặn sâu
LoRA (Thích ứng cấp thấp) đóng băng trọng lượng của mô hình được huấn luyện trước và huấn luyện các ma trận cấp thấp cực nhỏ nhằm thúc đẩy hành vi của mô hình, giúp việc tinh chỉnh trở nên rẻ tiền. Hỗn hợp các chuyên gia LoRA đào tạo một số bộ điều hợp như vậy, mỗi bộ điều hợp nắm bắt một kỹ năng, miền hoặc khái niệm hình ảnh khác nhau, sau đó thêm một mạng cổng nhỏ để quyết định bộ điều hợp nào sẽ kích hoạt (và mức độ mạnh) cho một đầu vào nhất định. Thay vì tinh chỉnh nguyên khối, bạn sẽ có được một thư viện gồm các chuyên gia có thể tổng hợp. Bộ định tuyến có thể kết hợp các chuyên gia trên mỗi lớp và trên mỗi mã thông báo, do đó, truy vấn mã hóa có thể kéo theo bộ chuyển đổi Python trong khi lời nhắc câu chuyện sẽ kéo theo câu chuyện. Điều này tránh được sự can thiệp và quên mất thảm họa rằng việc huấn luyện một bộ điều hợp duy nhất thực hiện nhiều nhiệm vụ hỗn hợp cùng một lúc và cho phép các nhóm thêm hoặc loại bỏ các chuyên môn mà không cần chạm vào xương sống đã bị đóng băng.
Hiểu biết kỹ thuật
Mỗi chuyên gia LoRA đưa vào một delta W = B*A, trong đó A và B là ma trận cấp thấp (xếp hạng thường là 4-64). Hàm gating tạo ra trọng số theo chuyên gia và kết quả đầu ra được kết hợp dưới dạng tổng có trọng số (trộn mềm) hoặc lựa chọn top-k (định tuyến thưa thớt). Điều quan trọng là trọng lượng cơ bản luôn bị đóng băng nên chỉ có bộ điều hợp và bộ định tuyến được huấn luyện. Trong các mô hình hình ảnh khuếch tán, việc đo lường theo cấp bậc sẽ tìm hiểu các trọng số trên mỗi lớp để nhiều LoRA khái niệm kết hợp với nhau mà không áp đảo các khái niệm khác.
Tác động chiến lược
Chi phí và ngân sách
Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
Quyết định rõ ràng hơn
Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
Kiểm soát chất lượng
Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
Tương lai của hỗn hợp của các chuyên gia LoRA
Mong đợi các thị trường bộ chuyển đổi nơi các mô hình tải các chuyên gia LoRA của cộng đồng theo yêu cầu, cùng với các bộ định tuyến tự động phát hiện chuyên gia nào mà nhiệm vụ cần tại thời điểm suy luận. Nghiên cứu đang hướng tới thành phần đã học để giải quyết xung đột giữa các bộ điều hợp, phân bổ thứ hạng động cho mỗi chuyên gia và hợp nhất MoLE với MoE mô hình cơ sở thưa thớt để chuyên môn hóa hai cấp độ. Việc triển khai trên thiết bị và biên được hưởng lợi nhiều nhất vì việc hoán đổi một bộ chuyển đổi vài megabyte rẻ hơn nhiều so với việc vận chuyển các mẫu đầy đủ mới.
Triển khai trong thế giới thực
Một trợ lý mã định tuyến giữa các chuyên gia LoRA riêng biệt cho Python, SQL và Rust tùy thuộc vào tệp hoặc lời nhắc, tránh nhiễu giữa các ngôn ngữ.
Người dùng Khuếch tán ổn định xếp chồng nhiều LoRA nhân vật và phong cách bằng một lớp cổng để bức chân dung giữ được cả khuôn mặt cụ thể và phong cách nghệ thuật mà không bị mất màu hoặc chi tiết.
Một chatbot doanh nghiệp tải các bộ điều hợp theo từng bộ phận (pháp lý, nhân sự, tài chính) trên cùng một mô hình cơ sở cố định, hoán đổi chúng mà không cần triển khai lại.
Mô hình hỗ trợ đa ngôn ngữ với một chuyên gia LoRA cho mỗi ngôn ngữ, được định tuyến theo ngôn ngữ đầu vào được phát hiện để duy trì sự trôi chảy của từng ngôn ngữ.
Rủi ro & lan can
Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Lộ trình thực hiện
Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mixture of LoRA Experts quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Sự kết hợp của các chuyên gia
Câu hỏi thường gặp
What is Mixture of LoRA Experts?
Hỗn hợp các chuyên gia LoRA (MoLE) kết hợp nhiều bộ điều hợp nhỏ, được đào tạo với giá rẻ với một bộ định tuyến đã học để một mô hình cơ sở duy nhất có thể chuyên môn hóa linh hoạt các nhiệm vụ, phong cách hoặc kỹ năng. Điều này quan trọng vì nó mang lại tính mô-đun của Mixture-of-Experts để tinh chỉnh mà không cần đào tạo lại các mạng lớn.
Phần 'LoRA' trong Hỗn hợp của các chuyên gia LoRA đề cập đến điều gì?
LoRA là viết tắt của Thích ứng cấp thấp: nó đóng băng mô hình cơ sở và huấn luyện các ma trận cấp thấp nhỏ gọn giúp điều chỉnh hành vi với chi phí thấp.
Công việc của mạng cổng/bộ định tuyến trong MoLE là gì?
Bộ định tuyến tạo ra các trọng số dựa trên các chuyên gia LoRA có sẵn, chọn và trộn chúng trên mỗi đầu vào (và thường là trên mỗi lớp hoặc mã thông báo).
Tại sao MoLE thường tốt hơn việc đào tạo một bộ điều hợp cho nhiều nhiệm vụ hỗn hợp?
Các chuyên gia riêng biệt sẽ tránh được tình trạng quên lãng nghiêm trọng và can thiệp vào nhiệm vụ xảy ra khi một người chuyển đổi phải học nhiều kỹ năng xung đột cùng một lúc.
Trong quá trình đào tạo MoLE, điều gì thường xảy ra với các trọng số được huấn luyện trước của mô hình cơ sở?
Xương sống vẫn đông cứng; chỉ các chuyên gia LoRA nhỏ và mạng cổng mới nhận được các bản cập nhật độ dốc.
Trong các mô hình hình ảnh khuếch tán, cổng phân cấp/mỗi lớp trong MoLE giúp giải quyết vấn đề gì?
Cổng mỗi lớp tìm hiểu mức độ đóng góp của mỗi bộ chuyển đổi ở mỗi lớp, cho phép một số LoRA khái niệm kết hợp mà không có một bộ điều hợp nào chiếm ưu thế.