BigScience và Mô hình BLOOM
BigScience là sự hợp tác nghiên cứu mở kéo dài một năm của hơn 1.000 nhà nghiên cứu đã tạo ra BLOOM, một trong những mô hình ngôn ngữ lớn thực sự đa ngôn ngữ, được phát hành công khai đầu tiên.
Tổng quan
It matters as a landmark in transparent, community-driven AI built outside Big Tech.
Lặn sâu
BigScience là hội thảo nghiên cứu kéo dài một năm từ năm 2021 đến năm 2022, do Hugging Face điều phối và quy tụ hơn 1.000 nhà nghiên cứu tình nguyện từ hơn 60 quốc gia và 250 tổ chức. Đầu ra tiêu đề của nó, được phát hành vào tháng 7 năm 2022, là BLOOM, một mô hình ngôn ngữ tự hồi quy gồm 176 tỷ tham số. BLOOM được cố tình sử dụng đa ngôn ngữ, được đào tạo trên kho ngữ liệu ROOTS bao gồm 46 ngôn ngữ tự nhiên và 13 ngôn ngữ lập trình, với sự thể hiện mạnh mẽ của các ngôn ngữ ít được trình bày như một số ngôn ngữ Châu Phi và Nam Á. Quá trình đào tạo diễn ra trong vài tháng trên siêu máy tính Jean Zay được tài trợ công ở Pháp sử dụng khoảng 384 GPU. BLOOM được phát hành theo Giấy phép AI có trách nhiệm với đầy đủ tài liệu về dữ liệu, đào tạo và mục đích sử dụng, trái ngược hoàn toàn với sự phát triển khép kín của các mô hình tương đương.
Hiểu biết kỹ thuật
BLOOM là một máy biến áp chỉ dành cho bộ giải mã có quy mô tương tự như GPT-3, sử dụng phần nhúng vị trí ALiBi thay vì vectơ vị trí đã học, giúp nó ngoại suy thành các chuỗi dài hơn so với những gì đã thấy trong quá trình đào tạo. Nó cũng áp dụng chuẩn hóa lớp nhúng để cải thiện độ ổn định trong quá trình đào tạo trên quy mô lớn. Kho dữ liệu ROOTS đa ngôn ngữ đã được tập hợp và ghi lại cẩn thận để sự kết hợp ngôn ngữ và nguồn dữ liệu minh bạch và có thể kiểm tra được, một sự khác biệt có chủ ý so với các tập dữ liệu mờ đục.
Tác động chiến lược
Chiến lược nhà cung cấp
Lộ trình của nhà cung cấp ảnh hưởng đến những tính năng mà nhóm của bạn có thể xây dựng tiếp theo.
Chi phí và ngân sách
Các điều khoản thương mại và các lựa chọn triển khai ảnh hưởng đến chi phí và rủi ro dài hạn.
Rủi ro và an toàn
Các biện pháp khuyến khích của công ty định hình các tình trạng vỡ nợ của sản phẩm, trạng thái an toàn và tính cởi mở.
Tương lai của BigScience và Mô hình BLOOM
BigScience đã chứng minh rằng AI được quản lý công khai, quy mô lớn là có thể thực hiện được và mô hình của nó ảnh hưởng đến các bản phát hành mở sau này cũng như sự thúc đẩy rộng rãi hơn về tính minh bạch. Công việc đa ngôn ngữ trong tương lai có thể sẽ được xây dựng dựa trên các bài học về tài liệu dữ liệu và phạm vi bao gồm ngôn ngữ, trong khi các mô hình mới hơn, hiệu quả hơn đã vượt qua BLOOM về khả năng thô. Di sản lâu dài của nó là tiêu chuẩn xuất bản thẻ mô hình, báo cáo dữ liệu và giấy phép có trách nhiệm, cùng với bằng chứng cho thấy điện toán công cộng có thể đào tạo các mô hình quy mô biên giới.
Triển khai trong thế giới thực
Tạo và hoàn thiện văn bản trên hàng chục ngôn ngữ, bao gồm cả những ngôn ngữ không được các mô hình thương mại phục vụ
Phục vụ như một cơ sở nghiên cứu mở để nghiên cứu hành vi sai lệch, chuyển giao đa ngôn ngữ và mở rộng quy mô
Tinh chỉnh các biến thể theo nhiệm vụ cụ thể hoặc theo hướng dẫn, chẳng hạn như BLOOMZ cho các cộng đồng không phải tiếng Anh
Cung cấp một mô hình được ghi chép đầy đủ cho các học giả nghiên cứu nguồn gốc dữ liệu đào tạo và cấp phép AI có trách nhiệm
Rủi ro & lan can
Thông báo ra mắt có thể vượt xa sự ổn định trong quy trình sản xuất thực tế.
Việc định giá API hoặc thay đổi chính sách có thể phá vỡ các giả định chỉ sau một đêm.
Sự phụ thuộc vào một nhà cung cấp làm tăng chi phí khóa và di chuyển.
Lộ trình thực hiện
Đánh giá các nhà cung cấp bằng cách sử dụng các nhiệm vụ và bộ dữ liệu của riêng bạn.
Xem lại các điều khoản về quyền riêng tư, bảo mật và pháp lý trước khi tích hợp.
Duy trì kế hoạch dự phòng giữa các mô hình hoặc nhà cung cấp.
Theo dõi ghi chú phát hành để những thay đổi về lộ trình không gây ngạc nhiên cho các nhóm.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BigScience and the BLOOM Model quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Mô hình mã ngữ cảnh dài Magic AI
Câu hỏi thường gặp
What is BigScience and the BLOOM Model?
BigScience là sự hợp tác nghiên cứu mở kéo dài một năm của hơn 1.000 nhà nghiên cứu đã tạo ra BLOOM, một trong những mô hình ngôn ngữ lớn thực sự đa ngôn ngữ, được phát hành công khai đầu tiên. Nó quan trọng như một bước ngoặt trong AI minh bạch, hướng đến cộng đồng được xây dựng bên ngoài Big Tech.
Mục tiêu phân biệt chính của mô hình BLOOM so với các mô hình có kích thước tương tự vào thời đó là gì?
BLOOM được thiết kế để thực sự đa ngôn ngữ và được phát hành mở với tài liệu đầy đủ, không giống như các mô hình đóng có quy mô tương đương.
BLOOM có khoảng bao nhiêu tham số?
BLOOM là mô hình có 176 tỷ tham số, đặt nó ở mức tương tự như GPT-3.
BLOOM đã được đào tạo để xử lý bao nhiêu ngôn ngữ tự nhiên?
Kho đào tạo ROOTS của BLOOM bao gồm 46 ngôn ngữ tự nhiên cộng với 13 ngôn ngữ lập trình.
Tổ chức nào điều phối sự hợp tác BigScience?
Ôm Mặt điều phối BigScience, một hội thảo của hơn 1.000 nhà nghiên cứu tình nguyện.
BLOOM được đào tạo ở đâu?
BLOOM đã được đào tạo về siêu máy tính Jean Zay ở Pháp, chứng minh rằng điện toán công cộng có thể đào tạo một mô hình quy mô biên giới.