Sáp nhập mô hình tiến hóa Sakana AI
Sakana AI là phòng thí nghiệm có trụ sở tại Tokyo, áp dụng các phương pháp lấy cảm hứng từ thiên nhiên vào AI, đáng chú ý nhất là sử dụng các thuật toán tiến hóa để hợp nhất các mô hình mở hiện có thành các mô hình mới tốt hơn.
Tổng quan
Thay vì đào tạo từ đầu, nó 'nhân giống' các mô hình bằng cách tự động kết hợp điểm mạnh của chúng.
Lặn sâu
Sakana AI được thành lập vào năm 2023 bởi Llion Jones, đồng tác giả của bài báo gốc về Transformer 'Attention Is All You Need' và David Ha, trước đây của Google Brain. Cái tên này có nghĩa là 'cá' trong tiếng Nhật, phản ánh triết lý lấy cảm hứng từ trường học và bầy đàn: nhiều tác nhân nhỏ, tập thể thay vì một mô hình khổng lồ. Kỹ thuật đột phá của nó, Hợp nhất mô hình tiến hóa, sử dụng tìm kiếm tiến hóa để khám phá cách kết hợp các trọng số và lớp của nhiều mô hình nguồn mở được đào tạo trước. Thuật toán khám phá hàng ngàn công thức hợp nhất, giữ cho các kết hợp đạt điểm cao trong các nhiệm vụ mục tiêu. Sakana đã sử dụng điều này để tạo ra các mô hình thị giác và toán học tiếng Nhật có khả năng sử dụng tiếng Nhật bằng cách hợp nhất các mô hình hiện có với chi phí chỉ bằng một phần rất nhỏ so với chi phí đào tạo các mô hình mới. Công ty cũng sản xuất 'Nhà khoa học AI', một hệ thống cố gắng tự động hóa hoạt động nghiên cứu.
Hiểu biết kỹ thuật
Việc hợp nhất mô hình kết hợp các tham số của các mạng được đào tạo riêng biệt. Sakana phát triển hợp nhất trong hai không gian cùng một lúc: không gian tham số (cách cân nhắc và nội suy trọng số của từng mô hình, từng lớp) và không gian luồng dữ liệu (lớp nào sẽ xếp chồng lên mô hình nào và theo thứ tự nào). Một thuật toán tiến hóa đề xuất các công thức nấu ăn ứng viên, đánh giá chúng theo điểm chuẩn, đồng thời chọn lọc và biến đổi những gì tốt nhất, lặp lại hướng tới các giống lai có hiệu suất cao mà không cần đào tạo dựa trên độ dốc.
Tác động chiến lược
Chiến lược nhà cung cấp
Lộ trình của nhà cung cấp ảnh hưởng đến những tính năng mà nhóm của bạn có thể xây dựng tiếp theo.
Chi phí và ngân sách
Các điều khoản thương mại và các lựa chọn triển khai ảnh hưởng đến chi phí và rủi ro dài hạn.
Rủi ro và an toàn
Các biện pháp khuyến khích của công ty định hình các tình trạng vỡ nợ của sản phẩm, trạng thái an toàn và tính cởi mở.
Tương lai của việc hợp nhất mô hình tiến hóa AI Sakana
Gợi ý hợp nhất tiến hóa về một tương lai nơi các mô hình có khả năng mới được tập hợp từ thư viện các mô hình mở đang phát triển với giá rẻ, dân chủ hóa quyền truy cập bên ngoài các phòng thí nghiệm với ngân sách điện toán khổng lồ. Kết hợp với 'Nhà khoa học AI' tự động của Sakana, tầm nhìn dài hạn hơn là các hệ thống AI giúp khám phá những cải tiến của chính chúng. Các câu hỏi mở bao gồm việc tránh các mô hình hợp nhất kế thừa lỗi hoặc sai lệch và liệu tìm kiếm tiến hóa có mở rộng đến hiệu suất cấp biên thay vì chủ yếu chuyên biệt hóa các mô hình hiện có hay không.
Triển khai trong thế giới thực
Tạo dựng mô hình ngôn ngữ có khả năng tiếng Nhật mạnh mẽ bằng việc sáp nhập các mô hình mở tiếng Anh và tiếng Nhật mà không cần đào tạo lại
Xây dựng mô hình suy luận toán học Nhật Bản bằng cách phát triển tổ hợp các mô hình chuyên ngành toán học
Sản xuất mô hình ngôn ngữ thị giác xử lý văn bản tiếng Nhật trong hình ảnh thông qua việc hợp nhất nhiều miền
Cho phép các tổ chức nhỏ hơn lắp ráp các mô hình dành riêng cho nhiệm vụ với giá rẻ từ trọng lượng mở thay vì đào tạo lại từ đầu
Rủi ro & lan can
Thông báo ra mắt có thể vượt xa sự ổn định trong quy trình sản xuất thực tế.
Việc định giá API hoặc thay đổi chính sách có thể phá vỡ các giả định chỉ sau một đêm.
Sự phụ thuộc vào một nhà cung cấp làm tăng chi phí khóa và di chuyển.
Lộ trình thực hiện
Đánh giá các nhà cung cấp bằng cách sử dụng các nhiệm vụ và bộ dữ liệu của riêng bạn.
Xem lại các điều khoản về quyền riêng tư, bảo mật và pháp lý trước khi tích hợp.
Duy trì kế hoạch dự phòng giữa các mô hình hoặc nhà cung cấp.
Theo dõi ghi chú phát hành để những thay đổi về lộ trình không gây ngạc nhiên cho các nhóm.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sakana AI Evolutionary Model Merging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Hợp nhất mô hình
Câu hỏi thường gặp
Sáp nhập mô hình tiến hóa Sakana AI là gì?
Sakana AI là phòng thí nghiệm có trụ sở tại Tokyo, áp dụng các phương pháp lấy cảm hứng từ thiên nhiên vào AI, đáng chú ý nhất là sử dụng các thuật toán tiến hóa để hợp nhất các mô hình mở hiện có thành các mô hình mới tốt hơn. Thay vì đào tạo từ đầu, nó 'nhân giống' các mô hình bằng cách tự động kết hợp điểm mạnh của chúng.
Việc hợp nhất mô hình tiến hóa của Sakana AI thực sự có tác dụng gì?
Nó phát triển các công thức để kết hợp nhiều trọng số và lớp của mô hình mở đã được huấn luyện trước, thay vì huấn luyện lại.
Ai là người đồng sáng lập đáng chú ý của Sakana AI?
Llion Jones, đồng tác giả cuốn 'Chú ý là tất cả những gì bạn cần', đồng sáng lập Sakana với David Ha.
Cái tên 'Sakana' có ý nghĩa gì và phản ánh điều gì?
Sakana có nghĩa là cá; công ty ủng hộ nhiều đại lý tập thể nhỏ hơn một mô hình nguyên khối.
Sakana phát triển mô hình hợp nhất giữa hai không gian nào?
Nó tìm kiếm cả cách tính trọng số/nội suy các tham số cũng như lớp nào sẽ xếp chồng lên nhau và theo thứ tự nào.
Bên cạnh việc hợp nhất mô hình, Sakana đã giới thiệu hệ thống đầy tham vọng nào?
Sakana đã phát hành 'Nhà khoa học AI', một hệ thống cố gắng tự động hóa các phần của quá trình nghiên cứu.