Tiếp theoHướng dẫn tiếp theo
Mô hình mã ngữ cảnh dài Magic AI
Công ty
HƯỚNG DẪN công ty
BigScience và Mô hình BLOOM
BLOOM is a 176-billion-parameter multilingual language model produced by the BigScience collaboration and released with its research documentation.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.
Lặn sâu
The BigScience paper describes BLOOM as a decoder-only Transformer with 176 billion parameters. It was trained on ROOTS, a corpus assembled from hundreds of sources in 46 natural languages and 13 programming languages. The collaboration released the model and code under the Responsible AI License and documented data and training choices. Its open-access release supports research, but does not remove the need to consider the license, model limitations, or the represented language distribution.
Triển khai trong thế giới thực
Tạo và hoàn thiện văn bản trên hàng chục ngôn ngữ, bao gồm cả những ngôn ngữ không được các mô hình thương mại phục vụ
Phục vụ như một cơ sở nghiên cứu mở để nghiên cứu hành vi sai lệch, chuyển giao đa ngôn ngữ và mở rộng quy mô
Tinh chỉnh các biến thể theo nhiệm vụ cụ thể hoặc theo hướng dẫn, chẳng hạn như BLOOMZ cho các cộng đồng không phải tiếng Anh
Cung cấp một mô hình được ghi chép đầy đủ cho các học giả nghiên cứu nguồn gốc dữ liệu đào tạo và cấp phép AI có trách nhiệm
Tương lai của BigScience và Mô hình BLOOM
BigScience đã chứng minh rằng AI được quản lý công khai, quy mô lớn là có thể thực hiện được và mô hình của nó ảnh hưởng đến các bản phát hành mở sau này cũng như sự thúc đẩy rộng rãi hơn về tính minh bạch. Công việc đa ngôn ngữ trong tương lai có thể sẽ được xây dựng dựa trên các bài học về tài liệu dữ liệu và phạm vi bao gồm ngôn ngữ, trong khi các mô hình mới hơn, hiệu quả hơn đã vượt qua BLOOM về khả năng thô. Di sản lâu dài của nó là tiêu chuẩn xuất bản thẻ mô hình, báo cáo dữ liệu và giấy phép có trách nhiệm, cùng với bằng chứng cho thấy điện toán công cộng có thể đào tạo các mô hình quy mô biên giới.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Chiến lược nhà cung cấp. Lộ trình của nhà cung cấp ảnh hưởng đến những tính năng mà nhóm của bạn có thể xây dựng tiếp theo.
- Chi phí và ngân sách. Các điều khoản thương mại và các lựa chọn triển khai ảnh hưởng đến chi phí và rủi ro dài hạn.
- Rủi ro và an toàn. Các biện pháp khuyến khích của công ty định hình các tình trạng vỡ nợ của sản phẩm, trạng thái an toàn và tính cởi mở.
coi chừng
- Thông báo ra mắt có thể vượt xa sự ổn định trong quy trình sản xuất thực tế.
- Việc định giá API hoặc thay đổi chính sách có thể phá vỡ các giả định chỉ sau một đêm.
- Sự phụ thuộc vào một nhà cung cấp làm tăng chi phí khóa và di chuyển.
Các bước tiếp theo
- Đánh giá các nhà cung cấp bằng cách sử dụng các nhiệm vụ và bộ dữ liệu của riêng bạn.
- Xem lại các điều khoản về quyền riêng tư, bảo mật và pháp lý trước khi tích hợp.
- Duy trì kế hoạch dự phòng giữa các mô hình hoặc nhà cung cấp.
- Theo dõi ghi chú phát hành để những thay đổi về lộ trình không gây ngạc nhiên cho các nhóm.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the BigScience and the BLOOM Model quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
What is BigScience and the BLOOM Model?
BLOOM is a 176-billion-parameter multilingual language model produced by the BigScience collaboration and released with its research documentation. Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.
Mục tiêu phân biệt chính của mô hình BLOOM so với các mô hình có kích thước tương tự vào thời đó là gì?
BLOOM được thiết kế để thực sự đa ngôn ngữ và được phát hành mở với tài liệu đầy đủ, không giống như các mô hình đóng có quy mô tương đương.
BLOOM có khoảng bao nhiêu tham số?
BLOOM là mô hình có 176 tỷ tham số, đặt nó ở mức tương tự như GPT-3.
BLOOM đã được đào tạo để xử lý bao nhiêu ngôn ngữ tự nhiên?
Kho đào tạo ROOTS của BLOOM bao gồm 46 ngôn ngữ tự nhiên cộng với 13 ngôn ngữ lập trình.
Tổ chức nào điều phối sự hợp tác BigScience?
Ôm Mặt điều phối BigScience, một hội thảo của hơn 1.000 nhà nghiên cứu tình nguyện.
BLOOM được đào tạo ở đâu?
BLOOM đã được đào tạo về siêu máy tính Jean Zay ở Pháp, chứng minh rằng điện toán công cộng có thể đào tạo một mô hình quy mô biên giới.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này