Nghiên cứu Nous
Nous Research là phòng thí nghiệm AI hướng tới cộng đồng, nổi tiếng với việc tinh chỉnh các mô hình mở phổ biến thành các trợ lý có năng lực cao, ít hạn chế hơn và thúc đẩy hoạt động đào tạo phi tập trung.
Tổng quan
It shows how a small team plus an open-source community can compete on model quality without owning massive infrastructure.
Lặn sâu
Nous Research đã trở nên nổi bật bằng cách sử dụng các mô hình cơ sở mở, đặc biệt là họ Llama và Mistral của Meta, sau đó tinh chỉnh chúng thành dòng Hermes và Capybara được sử dụng rộng rãi. Các mẫu OpenHermes và Nous Hermes của họ đã trở thành một trong những mẫu tinh chỉnh được tải xuống nhiều nhất trên Ôm Mặt, được đánh giá cao nhờ khả năng tuân theo chỉ dẫn mạnh mẽ và nhấn mạnh vào khả năng lèo lái hơn là hành vi từ chối nặng nề. Ngoài việc tinh chỉnh, Nous còn giải quyết một vấn đề khó khăn: đào tạo phân tán. Nghiên cứu DisTrO và trình tối ưu hóa DeMo của họ nhằm mục đích cắt giảm băng thông liên lạc cần thiết giữa các GPU và mạng Psyche khám phá việc đào tạo các mô hình lớn trên phần cứng kết nối internet, rải rác về mặt địa lý. Họ cũng đã thử nghiệm các mô hình tập trung vào lý luận và sử dụng công cụ, định vị mình ở vị trí dẫn đầu về AI mở, phi tập trung.
Hiểu biết kỹ thuật
Hầu hết người mẫu của Nous đều không được đào tạo từ đầu; họ áp dụng tính năng tinh chỉnh và tối ưu hóa tùy chọn có giám sát (như DPO) dựa trên các trọng số cơ sở mở bằng cách sử dụng các bộ dữ liệu tổng hợp và con người được quản lý cẩn thận. Công việc đào tạo phân tán của họ giải quyết vấn đề tắc nghẽn băng thông: thông thường GPU phải trao đổi các bản cập nhật độ dốc lớn mỗi bước. DisTrO/DeMo nén và tách riêng các bản cập nhật này để các nút có thể huấn luyện cùng nhau qua các liên kết Internet thông thường thay vì yêu cầu kết nối trung tâm dữ liệu được liên kết chặt chẽ.
Tác động chiến lược
Chiến lược nhà cung cấp
Lộ trình của nhà cung cấp ảnh hưởng đến những tính năng mà nhóm của bạn có thể xây dựng tiếp theo.
Chi phí và ngân sách
Các điều khoản thương mại và các lựa chọn triển khai ảnh hưởng đến chi phí và rủi ro dài hạn.
Rủi ro và an toàn
Các biện pháp khuyến khích của công ty định hình các tình trạng vỡ nợ của sản phẩm, trạng thái an toàn và tính cởi mở.
Tương lai của nghiên cứu Nous
Nous đang đặt cược rằng tương lai của AI mở sẽ được phân cấp, trong đó tính toán được tập hợp bởi nhiều người đóng góp độc lập thay vì tập trung vào một vài cụm siêu quy mô. Nếu các phương pháp đào tạo băng thông thấp của họ mở rộng quy mô, các cộng đồng có thể đào tạo chung các mô hình cấp cao. Mong đợi việc tiếp tục phát hành các trợ lý mở có khả năng, đầu tư sâu hơn vào mạng phân tán Psyche và các mô hình hướng đến lý luận. Công việc của họ có thể hạ thấp một cách đáng kể rào cản đào tạo các mô hình lớn bên ngoài công nghệ lớn.
Triển khai trong thế giới thực
Các nhà phát triển chạy các mô hình Nous Hermes và OpenHermes cục bộ cho các trợ lý trò chuyện riêng tư, có thể điều khiển được mà không phải trả phí API.
Các nhà nghiên cứu trích dẫn các phương pháp DisTrO và DeMo của Nous khi khám phá đào tạo mô hình phân tán hiệu quả về băng thông.
Những người có sở thích và các công ty nhỏ tinh chỉnh các bộ dữ liệu đã phát hành của Nous để xây dựng các trợ lý dành riêng cho từng miền.
Mạng Psyche được sử dụng để thử nghiệm các mô hình đào tạo trên các GPU tình nguyện được phân bổ theo địa lý.
Rủi ro & lan can
Thông báo ra mắt có thể vượt xa sự ổn định trong quy trình sản xuất thực tế.
Việc định giá API hoặc thay đổi chính sách có thể phá vỡ các giả định chỉ sau một đêm.
Sự phụ thuộc vào một nhà cung cấp làm tăng chi phí khóa và di chuyển.
Lộ trình thực hiện
Đánh giá các nhà cung cấp bằng cách sử dụng các nhiệm vụ và bộ dữ liệu của riêng bạn.
Xem lại các điều khoản về quyền riêng tư, bảo mật và pháp lý trước khi tích hợp.
Duy trì kế hoạch dự phòng giữa các mô hình hoặc nhà cung cấp.
Theo dõi ghi chú phát hành để những thay đổi về lộ trình không gây ngạc nhiên cho các nhóm.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Nous Research quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Phòng thí nghiệm Tongyi và nghiên cứu Qwen
Câu hỏi thường gặp
What is Nous Research?
Nous Research là phòng thí nghiệm AI hướng tới cộng đồng, nổi tiếng với việc tinh chỉnh các mô hình mở phổ biến thành các trợ lý có năng lực cao, ít hạn chế hơn và thúc đẩy hoạt động đào tạo phi tập trung. Nó cho thấy một nhóm nhỏ cộng với cộng đồng nguồn mở có thể cạnh tranh về chất lượng mô hình như thế nào mà không cần sở hữu cơ sở hạ tầng khổng lồ.
Nous Research được biết đến nhiều nhất nhờ điều gì trong thời gian đầu mới nổi lên?
Nous đã được công nhận nhờ tinh chỉnh các mẫu mã mở như Llama và Mistral thành dòng Hermes nổi tiếng.
Những mẫu cơ sở nào được Nous tinh chỉnh nhiều nhất?
Dòng Hermes và Capybara của Nous được xây dựng trên mô hình cơ sở mở, đặc biệt là Llama và Mistral.
Dự án DisTrO và DeMo của Nous giải quyết vấn đề gì?
DisTrO và trình tối ưu hóa DeMo nhằm mục đích cắt giảm băng thông giữa các GPU thường được yêu cầu, cho phép đào tạo qua các liên kết internet thông thường.
Mạng Psyche là gì?
Psyche là mạng đào tạo phi tập trung của Nous khám phá cách tập hợp các GPU phân tán để đào tạo các mô hình lớn.
Nous thường sử dụng kỹ thuật nào để căn chỉnh các mô hình tinh chỉnh của mình?
Nous áp dụng tính năng tinh chỉnh và tối ưu hóa tùy chọn có giám sát dựa trên các trọng số cơ sở mở bằng cách sử dụng các bộ dữ liệu được tuyển chọn.