Tổng quan
BigScience là sự hợp tác nghiên cứu mở kéo dài một năm của hơn 1.000 nhà nghiên cứu đã tạo ra BLOOM, một trong những mô hình ngôn ngữ lớn thực sự đa ngôn ngữ, được phát hành công khai đầu tiên. Nó quan trọng như một bước ngoặt trong AI minh bạch, hướng tới cộng đồng được xây dựng bên ngoài Big Tech.
BigScience và Mô hình BLOOM được hiểu rõ nhất trong bối cảnh chiến lược, khả năng tiếp cận mô hình, quyết định nền tảng và quan hệ đối tác trong hệ sinh thái.
Lặn sâu
BigScience là hội thảo nghiên cứu kéo dài một năm từ năm 2021 đến năm 2022, do Hugging Face điều phối và quy tụ hơn 1.000 nhà nghiên cứu tình nguyện từ hơn 60 quốc gia và 250 tổ chức. Đầu ra tiêu đề của nó, được phát hành vào tháng 7 năm 2022, là BLOOM, một mô hình ngôn ngữ tự hồi quy gồm 176 tỷ tham số. BLOOM được cố tình sử dụng đa ngôn ngữ, được đào tạo trên kho ngữ liệu ROOTS bao gồm 46 ngôn ngữ tự nhiên và 13 ngôn ngữ lập trình, với sự thể hiện mạnh mẽ của các ngôn ngữ ít được trình bày như một số ngôn ngữ Châu Phi và Nam Á. Quá trình đào tạo diễn ra trong vài tháng trên siêu máy tính Jean Zay được tài trợ công ở Pháp sử dụng khoảng 384 GPU. BLOOM được phát hành theo Giấy phép AI có trách nhiệm với đầy đủ tài liệu về dữ liệu, đào tạo và mục đích sử dụng, trái ngược hoàn toàn với sự phát triển khép kín của các mô hình tương đương.
Hiểu biết kỹ thuật
BLOOM là một máy biến áp chỉ dành cho bộ giải mã có quy mô tương tự như GPT-3, sử dụng phần nhúng vị trí ALiBi thay vì vectơ vị trí đã học, giúp nó ngoại suy thành các chuỗi dài hơn so với những gì đã thấy trong quá trình đào tạo. Nó cũng áp dụng chuẩn hóa lớp nhúng để cải thiện độ ổn định trong quá trình đào tạo trên quy mô lớn. Kho dữ liệu ROOTS đa ngôn ngữ đã được tập hợp và ghi lại cẩn thận để sự kết hợp ngôn ngữ và nguồn dữ liệu minh bạch và có thể kiểm tra được, một sự khác biệt có chủ ý so với các tập dữ liệu mờ đục.
Làm chủ BigScience và Mô hình BLOOM
BigScience là sự hợp tác nghiên cứu mở kéo dài một năm của hơn 1.000 nhà nghiên cứu đã tạo ra BLOOM, một trong những mô hình ngôn ngữ lớn thực sự đa ngôn ngữ, được phát hành công khai đầu tiên. Nó quan trọng như một bước ngoặt trong AI minh bạch, hướng đến cộng đồng được xây dựng bên ngoài Big Tech. BigScience và Mô hình BLOOM được hiểu rõ nhất trong bối cảnh chiến lược, khả năng tiếp cận mô hình, quyết định nền tảng và quan hệ đối tác trong hệ sinh thái. Để xây dựng sự hiểu biết sâu sắc, hãy coi BigScience và Mô hình BLOOM như một mô hình vận hành chứ không phải một tính năng duy nhất: xác định kết quả mong muốn, làm rõ các giả định và tách biệt những gì hệ thống có thể làm một cách đáng tin cậy với những gì vẫn cần đến sự đánh giá của chuyên gia.
Trong thực tế, các nhóm mạnh sử dụng BigScience và Mô hình BLOOM sẽ đánh giá chiến lược của nhà cung cấp, độ tin cậy của lộ trình và rủi ro bị khóa trước khi cam kết. Họ ghi lại các tiêu chí thành công rõ ràng, kiểm tra dựa trên dữ liệu và quy trình làm việc thực tế, đồng thời lặp lại dựa trên các kiểu thất bại được quan sát thay vì chiến thắng điểm chuẩn một lần. Đây là nơi sự hiểu biết về mặt lý thuyết biến thành khả năng bền vững trên toàn bộ sản phẩm, chính sách và hoạt động.
Lộ trình của nhà cung cấp ảnh hưởng đến những tính năng mà nhóm của bạn có thể xây dựng tiếp theo. Đồng thời, các thông báo Khởi động có thể vượt xa sự ổn định trong quy trình sản xuất thực tế. Cách tiếp cận linh hoạt nhất là kết hợp tốc độ thử nghiệm với kỷ luật quản trị: chạy thử nghiệm, thu thập bằng chứng, xuất bản nhật ký quyết định và liên tục cập nhật các biện pháp bảo vệ khi hành vi của mô hình, kỳ vọng của người dùng và các yêu cầu pháp lý phát triển.
Tác động chiến lược
Lộ trình của nhà cung cấp ảnh hưởng đến những tính năng mà nhóm của bạn có thể xây dựng tiếp theo.
Lộ trình của nhà cung cấp ảnh hưởng đến những tính năng mà nhóm của bạn có thể xây dựng tiếp theo. Trong quá trình triển khai chất lượng cao, điều này được chuyển thành các quy tắc vận hành, ranh giới quyền sở hữu và quy trình đánh giá định kỳ có thể đo lường được để các nhóm có thể mở rộng quy mô một cách tự tin thay vì mở rộng quy mô sự mơ hồ.
Các điều khoản thương mại và các lựa chọn triển khai ảnh hưởng đến chi phí và rủi ro dài hạn.
Các điều khoản thương mại và các lựa chọn triển khai ảnh hưởng đến chi phí và rủi ro dài hạn. Trong quá trình triển khai chất lượng cao, điều này được chuyển thành các quy tắc vận hành, ranh giới quyền sở hữu và quy trình đánh giá định kỳ có thể đo lường được để các nhóm có thể mở rộng quy mô một cách tự tin thay vì mở rộng quy mô sự mơ hồ.
Các biện pháp khuyến khích của công ty định hình các tình trạng vỡ nợ của sản phẩm, trạng thái an toàn và tính cởi mở.
Các biện pháp khuyến khích của công ty định hình các tình trạng vỡ nợ của sản phẩm, trạng thái an toàn và tính cởi mở. Trong quá trình triển khai chất lượng cao, điều này được chuyển thành các quy tắc vận hành, ranh giới quyền sở hữu và quy trình đánh giá định kỳ có thể đo lường được để các nhóm có thể mở rộng quy mô một cách tự tin thay vì mở rộng quy mô sự mơ hồ.
Triển khai trong thế giới thực
Tạo và hoàn thiện văn bản trên hàng chục ngôn ngữ, bao gồm cả những ngôn ngữ không được các mô hình thương mại phục vụ
Phục vụ như một cơ sở nghiên cứu mở để nghiên cứu hành vi sai lệch, chuyển giao đa ngôn ngữ và mở rộng quy mô
Tinh chỉnh các biến thể theo nhiệm vụ cụ thể hoặc theo hướng dẫn, chẳng hạn như BLOOMZ cho các cộng đồng không phải tiếng Anh
Cung cấp một mô hình được ghi chép đầy đủ cho các học giả nghiên cứu nguồn gốc dữ liệu đào tạo và cấp phép AI có trách nhiệm
Các mẫu triển khai
BigScience và Mô hình BLOOM trong thực tế
Tạo và hoàn thiện văn bản trên hàng chục ngôn ngữ, bao gồm cả những ngôn ngữ không được các mô hình thương mại phục vụ.
Tạo và hoàn thiện văn bản trên hàng chục ngôn ngữ, bao gồm cả những ngôn ngữ chưa được các mô hình thương mại phục vụ. Các nhóm thường đạt được kết quả tốt hơn khi họ xác định trước các ngưỡng chất lượng, duy trì lộ trình báo cáo của con người đối với các trường hợp khó khăn và theo dõi cả mức tăng năng suất và chi phí lỗi theo thời gian.
BigScience và Mô hình BLOOM trong thực tế
Phục vụ như một cơ sở nghiên cứu mở để nghiên cứu hành vi sai lệch, chuyển giao đa ngôn ngữ và mở rộng quy mô.
Đóng vai trò là cơ sở nghiên cứu mở để nghiên cứu hành vi sai lệch, chuyển giao đa ngôn ngữ và mở rộng quy mô. Các nhóm thường đạt được kết quả tốt hơn khi họ xác định trước các ngưỡng chất lượng, duy trì lộ trình leo thang của con người đối với các trường hợp khó khăn và theo dõi cả mức tăng năng suất và chi phí lỗi theo thời gian.
BigScience và Mô hình BLOOM trong thực tế
Tinh chỉnh các biến thể theo nhiệm vụ cụ thể hoặc theo hướng dẫn, chẳng hạn như BLOOMZ cho các cộng đồng không nói tiếng Anh.
Tinh chỉnh thành các biến thể theo hướng dẫn hoặc dành riêng cho nhiệm vụ, chẳng hạn như BLOOMZ dành cho cộng đồng không phải tiếng Anh. Các nhóm thường đạt được kết quả tốt hơn khi họ xác định trước các ngưỡng chất lượng, duy trì lộ trình leo thang của con người đối với các trường hợp khó khăn và theo dõi cả mức tăng năng suất và chi phí do lỗi theo thời gian.
BigScience và Mô hình BLOOM trong thực tế
Cung cấp một mô hình được ghi chép đầy đủ cho các học giả nghiên cứu nguồn gốc dữ liệu đào tạo và cấp phép AI có trách nhiệm.
Cung cấp một mô hình được ghi lại đầy đủ cho các học giả nghiên cứu nguồn gốc dữ liệu đào tạo và cấp phép AI có trách nhiệm. Các nhóm thường đạt được kết quả tốt hơn khi họ xác định trước các ngưỡng chất lượng, duy trì lộ trình leo thang của con người đối với các trường hợp khó khăn và theo dõi cả mức tăng năng suất và chi phí lỗi theo thời gian.
Rủi ro & lan can
Thông báo ra mắt có thể vượt xa sự ổn định trong quy trình sản xuất thực tế.
Việc định giá API hoặc thay đổi chính sách có thể phá vỡ các giả định chỉ sau một đêm.
Sự phụ thuộc vào một nhà cung cấp làm tăng chi phí khóa và di chuyển.
Lộ trình thực hiện
Đánh giá các nhà cung cấp bằng cách sử dụng các nhiệm vụ và bộ dữ liệu của riêng bạn.
Đánh giá các nhà cung cấp bằng cách sử dụng các nhiệm vụ và bộ dữ liệu của riêng bạn. Hãy coi mỗi bước như một cổng bằng chứng: nếu không đáp ứng được các tiêu chí, hãy tạm dừng triển khai, thu hẹp khoảng cách và chỉ sau đó mới mở rộng mức sử dụng.
Xem lại các điều khoản về quyền riêng tư, bảo mật và pháp lý trước khi tích hợp.
Xem lại các điều khoản về quyền riêng tư, bảo mật và pháp lý trước khi tích hợp. Hãy coi mỗi bước như một cổng bằng chứng: nếu không đáp ứng được các tiêu chí, hãy tạm dừng triển khai, thu hẹp khoảng cách và chỉ sau đó mới mở rộng mức sử dụng.
Duy trì kế hoạch dự phòng giữa các mô hình hoặc nhà cung cấp.
Duy trì kế hoạch dự phòng giữa các mô hình hoặc nhà cung cấp. Hãy coi mỗi bước như một cổng bằng chứng: nếu không đáp ứng được các tiêu chí, hãy tạm dừng triển khai, thu hẹp khoảng cách và chỉ sau đó mới mở rộng mức sử dụng.
Theo dõi ghi chú phát hành để những thay đổi về lộ trình không gây ngạc nhiên cho các nhóm.
Theo dõi ghi chú phát hành để những thay đổi về lộ trình không gây ngạc nhiên cho các nhóm. Hãy coi mỗi bước như một cổng bằng chứng: nếu không đáp ứng được các tiêu chí, hãy tạm dừng triển khai, thu hẹp khoảng cách và chỉ sau đó mới mở rộng mức sử dụng.