EleutherAI
EleutherAI là một tập thể nghiên cứu phi lợi nhuận cấp cơ sở, đi tiên phong trong các mô hình ngôn ngữ lớn nguồn mở khi AI biên giới bị nhốt sau bức tường của công ty.
Tổng quan
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
Lặn sâu
EleutherAI bắt đầu hoạt động vào tháng 7 năm 2020 với tư cách là một cộng đồng Discord do Connor Leahy, Sid Black và Leo Gao tổ chức, ban đầu nhằm mục đích tái tạo GPT-3 của OpenAI. Để đào tạo những mô hình như vậy, trước tiên, họ đã xây dựng và phát hành The Pile, một tập dữ liệu văn bản được tuyển chọn có dung lượng 825 GB và đã trở thành kho ngữ liệu đào tạo mở tiêu chuẩn. Sau đó, họ phát hành GPT-Neo, GPT-J-6B và GPT-NeoX-20B với 20 tỷ tham số, một trong những mô hình ngôn ngữ có sẵn công khai lớn nhất vào thời đại của họ. Các công cụ của họ, bao gồm thư viện đào tạo GPT-NeoX và Khai thác đánh giá LM được sử dụng trong toàn ngành để đo điểm chuẩn, đã trở thành cơ sở hạ tầng được xây dựng trên đó. Vào năm 2023, EleutherAI chính thức trở thành một viện nghiên cứu phi lợi nhuận, mở rộng sang khả năng diễn giải, sự liên kết và khoa học về cách các mô hình học hỏi.
Hiểu biết kỹ thuật
Các mô hình của EleutherAI sử dụng kiến trúc bộ giải mã máy biến áp, nhưng GPT-J và GPT-NeoX đã đưa ra các lựa chọn kỹ thuật thực tế như Nhúng vị trí quay (RoPE) để mã hóa các vị trí mã thông báo và các lớp chú ý cộng với chuyển tiếp tiếp theo song song để tăng tốc độ đào tạo. Điều quan trọng là họ đã đào tạo về TPU và GPU được tài trợ thông qua các đối tác như TPU Research Cloud và CoreWeave của Google, cho thấy rằng điện toán phân tán, do nhà tài trợ tài trợ có thể thay thế cho trung tâm dữ liệu của công ty khi kết hợp với mã mở.
Tác động chiến lược
Chiến lược nhà cung cấp
Lộ trình của nhà cung cấp ảnh hưởng đến những tính năng mà nhóm của bạn có thể xây dựng tiếp theo.
Chi phí và ngân sách
Các điều khoản thương mại và các lựa chọn triển khai ảnh hưởng đến chi phí và rủi ro dài hạn.
Rủi ro và an toàn
Các biện pháp khuyến khích của công ty định hình các tình trạng vỡ nợ của sản phẩm, trạng thái an toàn và tính cởi mở.
Tương lai của EleutherAI
EleutherAI đang chuyển từ một cuộc đua mở rộng quy mô mô hình thuần túy sang khả năng diễn giải, tính minh bạch của dữ liệu đào tạo và đánh giá nghiêm ngặt, những lĩnh vực cần có khoa học mở nhất. Mong đợi công việc tiếp tục được thực hiện để hiểu những gì các mô hình đại diện trong nội bộ, phát hành các bộ dữ liệu được ghi chép rõ ràng và hỗ trợ nghiên cứu an toàn độc lập. Khi các phòng thí nghiệm ở biên giới ngày càng trở nên bí mật hơn, vai trò của EleutherAI như một đối trọng vì lợi ích công cộng, đào tạo thế hệ nhà nghiên cứu tiếp theo, có thể quan trọng hơn số lượng thông số của bất kỳ mô hình đơn lẻ nào mà nó vận chuyển.
Triển khai trong thế giới thực
Bộ dữ liệu Pile được các nhà nghiên cứu trên toàn thế giới sử dụng để đào tạo và nghiên cứu các mô hình ngôn ngữ mở một cách có thể tái tạo.
GPT-J-6B và GPT-NeoX-20B được các công ty khởi nghiệp và học giả triển khai dưới dạng giải pháp thay thế miễn phí cho các mô hình API thương mại.
Khai thác đánh giá LM là công cụ tiêu chuẩn mà nhiều phòng thí nghiệm sử dụng để đánh giá hiệu suất của mô hình trong hàng trăm nhiệm vụ.
Các nhà nghiên cứu độc lập về an toàn và khả năng diễn giải sử dụng trọng số mở của EleutherAI để nghiên cứu nội bộ mô hình mà các API đóng ẩn giấu.
Rủi ro & lan can
Thông báo ra mắt có thể vượt xa sự ổn định trong quy trình sản xuất thực tế.
Việc định giá API hoặc thay đổi chính sách có thể phá vỡ các giả định chỉ sau một đêm.
Sự phụ thuộc vào một nhà cung cấp làm tăng chi phí khóa và di chuyển.
Lộ trình thực hiện
Đánh giá các nhà cung cấp bằng cách sử dụng các nhiệm vụ và bộ dữ liệu của riêng bạn.
Xem lại các điều khoản về quyền riêng tư, bảo mật và pháp lý trước khi tích hợp.
Duy trì kế hoạch dự phòng giữa các mô hình hoặc nhà cung cấp.
Theo dõi ghi chú phát hành để những thay đổi về lộ trình không gây ngạc nhiên cho các nhóm.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EleutherAI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Trọng lượng & Độ lệch
Câu hỏi thường gặp
What is EleutherAI?
EleutherAI là một tập thể nghiên cứu phi lợi nhuận cấp cơ sở, đi tiên phong trong các mô hình ngôn ngữ lớn nguồn mở khi AI biên giới bị nhốt sau bức tường của công ty. Nó chứng minh rằng một cộng đồng tình nguyện có thể xây dựng và tự do phát hành các mô hình cạnh tranh với các hệ thống khép kín, định hình lại đối tượng có thể tham gia nghiên cứu AI.
EleutherAI ban đầu bắt đầu như thế nào vào năm 2020?
EleutherAI ban đầu là một nhóm tình nguyện viên Discord không chính thức được tổ chức để tái tạo GPT-3 đã đóng cửa sau đó.
'Cọc' là gì?
The Pile là kho văn bản lớn, đa dạng, được phát hành mở mà EleutherAI được xây dựng để đào tạo và nghiên cứu các mô hình ngôn ngữ.
Cái nào trong số này là mô hình ngôn ngữ EleutherAI?
GPT-NeoX-20B là một trong những mẫu mở hàng đầu của EleutherAI; những cái khác đến từ Google hoặc Meta.
Khai thác đánh giá LM được sử dụng để làm gì?
Khai thác là một công cụ mở được áp dụng rộng rãi để đánh giá tiêu chuẩn hóa các mô hình ngôn ngữ trên hàng trăm điểm chuẩn.
Làm cách nào mà EleutherAI có được khả năng tính toán để đào tạo các mô hình lớn ngay từ đầu?
Thiếu trung tâm dữ liệu của công ty, EleutherAI đã dựa vào tài nguyên TPU và GPU do nhà tài trợ tài trợ để đào tạo các mô hình của mình.