Tiếp theoHướng dẫn tiếp theo
Trọng lượng & Độ lệch
Công ty
HƯỚNG DẪN công ty
EleutherAI là một tập thể nghiên cứu phi lợi nhuận cấp cơ sở, đi tiên phong trong các mô hình ngôn ngữ lớn nguồn mở khi AI biên giới bị nhốt sau bức tường của công ty.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Nó chứng minh rằng một cộng đồng tình nguyện có thể xây dựng và tự do phát hành các mô hình cạnh tranh với các hệ thống khép kín, định hình lại đối tượng có thể tham gia nghiên cứu AI.
EleutherAI bắt đầu hoạt động vào tháng 7 năm 2020 với tư cách là một cộng đồng Discord do Connor Leahy, Sid Black và Leo Gao tổ chức, ban đầu nhằm mục đích tái tạo GPT-3 của OpenAI. Để đào tạo những mô hình như vậy, trước tiên, họ đã xây dựng và phát hành The Pile, một tập dữ liệu văn bản được tuyển chọn có dung lượng 825 GB và đã trở thành kho ngữ liệu đào tạo mở tiêu chuẩn. Sau đó, họ phát hành GPT-Neo, GPT-J-6B và GPT-NeoX-20B với 20 tỷ tham số, một trong những mô hình ngôn ngữ có sẵn công khai lớn nhất vào thời đại của họ. Các công cụ của họ, bao gồm thư viện đào tạo GPT-NeoX và Khai thác đánh giá LM được sử dụng trong toàn ngành để đo điểm chuẩn, đã trở thành cơ sở hạ tầng được xây dựng trên đó. Vào năm 2023, EleutherAI chính thức trở thành một viện nghiên cứu phi lợi nhuận, mở rộng sang khả năng diễn giải, sự liên kết và khoa học về cách các mô hình học hỏi.
Bộ dữ liệu Pile được các nhà nghiên cứu trên toàn thế giới sử dụng để đào tạo và nghiên cứu các mô hình ngôn ngữ mở một cách có thể tái tạo.
GPT-J-6B và GPT-NeoX-20B được các công ty khởi nghiệp và học giả triển khai dưới dạng giải pháp thay thế miễn phí cho các mô hình API thương mại.
Khai thác đánh giá LM là công cụ tiêu chuẩn mà nhiều phòng thí nghiệm sử dụng để đánh giá hiệu suất của mô hình trong hàng trăm nhiệm vụ.
Các nhà nghiên cứu độc lập về an toàn và khả năng diễn giải sử dụng trọng số mở của EleutherAI để nghiên cứu nội bộ mô hình mà các API đóng ẩn giấu.
EleutherAI đang chuyển từ một cuộc đua mở rộng quy mô mô hình thuần túy sang khả năng diễn giải, tính minh bạch của dữ liệu đào tạo và đánh giá nghiêm ngặt, những lĩnh vực cần có khoa học mở nhất. Mong đợi công việc tiếp tục được thực hiện để hiểu những gì các mô hình đại diện trong nội bộ, phát hành các bộ dữ liệu được ghi chép rõ ràng và hỗ trợ nghiên cứu an toàn độc lập. Khi các phòng thí nghiệm ở biên giới ngày càng trở nên bí mật hơn, vai trò của EleutherAI như một đối trọng vì lợi ích công cộng, đào tạo thế hệ nhà nghiên cứu tiếp theo, có thể quan trọng hơn số lượng thông số của bất kỳ mô hình đơn lẻ nào mà nó vận chuyển.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
EleutherAI là một tập thể nghiên cứu phi lợi nhuận cấp cơ sở, đi tiên phong trong các mô hình ngôn ngữ lớn nguồn mở khi AI biên giới bị nhốt sau bức tường của công ty. Nó chứng minh rằng một cộng đồng tình nguyện có thể xây dựng và tự do phát hành các mô hình cạnh tranh với các hệ thống khép kín, định hình lại đối tượng có thể tham gia nghiên cứu AI.
EleutherAI’s history page describes it as beginning in July 2020 as a Discord server for discussing GPT-3 and open language models.
The Pile là kho văn bản lớn, đa dạng, được phát hành mở mà EleutherAI được xây dựng để đào tạo và nghiên cứu các mô hình ngôn ngữ.
GPT-NeoX-20B là một trong những mẫu mở hàng đầu của EleutherAI; những cái khác đến từ Google hoặc Meta.
Khai thác là một công cụ mở được áp dụng rộng rãi để đánh giá tiêu chuẩn hóa các mô hình ngôn ngữ trên hàng trăm điểm chuẩn.
EleutherAI’s paper on open research acknowledges support and contributions from CoreWeave and TPU Research Cloud, among other supporters.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Trọng lượng & Độ lệch
Công ty