HƯỚNG DẪN công ty

EleutherAI

EleutherAI là một tập thể nghiên cứu phi lợi nhuận cấp cơ sở, đi tiên phong trong các mô hình ngôn ngữ lớn nguồn mở khi AI biên giới bị nhốt sau bức tường của công ty.

Nghe hướng dẫn nàyAI thuật lại · ~2 min

Trên trang nàyĐọc trong 2 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của EleutherAI
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Nó chứng minh rằng một cộng đồng tình nguyện có thể xây dựng và tự do phát hành các mô hình cạnh tranh với các hệ thống khép kín, định hình lại đối tượng có thể tham gia nghiên cứu AI.

Lặn sâu

EleutherAI bắt đầu hoạt động vào tháng 7 năm 2020 với tư cách là một cộng đồng Discord do Connor Leahy, Sid Black và Leo Gao tổ chức, ban đầu nhằm mục đích tái tạo GPT-3 của OpenAI. Để đào tạo những mô hình như vậy, trước tiên, họ đã xây dựng và phát hành The Pile, một tập dữ liệu văn bản được tuyển chọn có dung lượng 825 GB và đã trở thành kho ngữ liệu đào tạo mở tiêu chuẩn. Sau đó, họ phát hành GPT-Neo, GPT-J-6B và GPT-NeoX-20B với 20 tỷ tham số, một trong những mô hình ngôn ngữ có sẵn công khai lớn nhất vào thời đại của họ. Các công cụ của họ, bao gồm thư viện đào tạo GPT-NeoX và Khai thác đánh giá LM được sử dụng trong toàn ngành để đo điểm chuẩn, đã trở thành cơ sở hạ tầng được xây dựng trên đó. Vào năm 2023, EleutherAI chính thức trở thành một viện nghiên cứu phi lợi nhuận, mở rộng sang khả năng diễn giải, sự liên kết và khoa học về cách các mô hình học hỏi.

Triển khai trong thế giới thực

Bộ dữ liệu Pile được các nhà nghiên cứu trên toàn thế giới sử dụng để đào tạo và nghiên cứu các mô hình ngôn ngữ mở một cách có thể tái tạo.

GPT-J-6B và GPT-NeoX-20B được các công ty khởi nghiệp và học giả triển khai dưới dạng giải pháp thay thế miễn phí cho các mô hình API thương mại.

Khai thác đánh giá LM là công cụ tiêu chuẩn mà nhiều phòng thí nghiệm sử dụng để đánh giá hiệu suất của mô hình trong hàng trăm nhiệm vụ.

Các nhà nghiên cứu độc lập về an toàn và khả năng diễn giải sử dụng trọng số mở của EleutherAI để nghiên cứu nội bộ mô hình mà các API đóng ẩn giấu.

Tương lai của EleutherAI

EleutherAI đang chuyển từ một cuộc đua mở rộng quy mô mô hình thuần túy sang khả năng diễn giải, tính minh bạch của dữ liệu đào tạo và đánh giá nghiêm ngặt, những lĩnh vực cần có khoa học mở nhất. Mong đợi công việc tiếp tục được thực hiện để hiểu những gì các mô hình đại diện trong nội bộ, phát hành các bộ dữ liệu được ghi chép rõ ràng và hỗ trợ nghiên cứu an toàn độc lập. Khi các phòng thí nghiệm ở biên giới ngày càng trở nên bí mật hơn, vai trò của EleutherAI như một đối trọng vì lợi ích công cộng, đào tạo thế hệ nhà nghiên cứu tiếp theo, có thể quan trọng hơn số lượng thông số của bất kỳ mô hình đơn lẻ nào mà nó vận chuyển.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Chiến lược nhà cung cấp. Lộ trình của nhà cung cấp ảnh hưởng đến những tính năng mà nhóm của bạn có thể xây dựng tiếp theo.
  • Chi phí và ngân sách. Các điều khoản thương mại và các lựa chọn triển khai ảnh hưởng đến chi phí và rủi ro dài hạn.
  • Rủi ro và an toàn. Các biện pháp khuyến khích của công ty định hình các tình trạng vỡ nợ của sản phẩm, trạng thái an toàn và tính cởi mở.

coi chừng

  • Thông báo ra mắt có thể vượt xa sự ổn định trong quy trình sản xuất thực tế.
  • Việc định giá API hoặc thay đổi chính sách có thể phá vỡ các giả định chỉ sau một đêm.
  • Sự phụ thuộc vào một nhà cung cấp làm tăng chi phí khóa và di chuyển.

Các bước tiếp theo

  1. Đánh giá các nhà cung cấp bằng cách sử dụng các nhiệm vụ và bộ dữ liệu của riêng bạn.
  2. Xem lại các điều khoản về quyền riêng tư, bảo mật và pháp lý trước khi tích hợp.
  3. Duy trì kế hoạch dự phòng giữa các mô hình hoặc nhà cung cấp.
  4. Theo dõi ghi chú phát hành để những thay đổi về lộ trình không gây ngạc nhiên cho các nhóm.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Take the EleutherAI quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

EleutherAI là gì?

EleutherAI là một tập thể nghiên cứu phi lợi nhuận cấp cơ sở, đi tiên phong trong các mô hình ngôn ngữ lớn nguồn mở khi AI biên giới bị nhốt sau bức tường của công ty. Nó chứng minh rằng một cộng đồng tình nguyện có thể xây dựng và tự do phát hành các mô hình cạnh tranh với các hệ thống khép kín, định hình lại đối tượng có thể tham gia nghiên cứu AI.

How did EleutherAI first bring together its research community?

EleutherAI’s history page describes it as beginning in July 2020 as a Discord server for discussing GPT-3 and open language models.

'Cọc' là gì?

The Pile là kho văn bản lớn, đa dạng, được phát hành mở mà EleutherAI được xây dựng để đào tạo và nghiên cứu các mô hình ngôn ngữ.

Cái nào trong số này là mô hình ngôn ngữ EleutherAI?

GPT-NeoX-20B là một trong những mẫu mở hàng đầu của EleutherAI; những cái khác đến từ Google hoặc Meta.

Khai thác đánh giá LM được sử dụng để làm gì?

Khai thác là một công cụ mở được áp dụng rộng rãi để đánh giá tiêu chuẩn hóa các mô hình ngôn ngữ trên hàng trăm điểm chuẩn.

Which organizations are named in EleutherAI’s retrospective as research supporters?

EleutherAI’s paper on open research acknowledges support and contributions from CoreWeave and TPU Research Cloud, among other supporters.