BigScience dan Model BLOOM
BigScience adalah kolaborasi penelitian terbuka selama setahun yang melibatkan lebih dari 1.000 peneliti yang menghasilkan BLOOM, salah satu model bahasa besar pertama yang benar-benar multibahasa dan dirilis secara terbuka.
Ikhtisar
It matters as a landmark in transparent, community-driven AI built outside Big Tech.
Menyelam Lebih Dalam
BigScience adalah lokakarya penelitian satu tahun yang berlangsung dari tahun 2021 hingga 2022, dikoordinasikan oleh Hugging Face dan mempertemukan lebih dari 1.000 sukarelawan peneliti dari lebih dari 60 negara dan 250 institusi. Keluaran utamanya, yang dirilis pada Juli 2022, adalah BLOOM, model bahasa autoregresif dengan 176 miliar parameter. BLOOM sengaja dibuat multibahasa, dilatih pada korpus ROOTS yang mencakup 46 bahasa alami dan 13 bahasa pemrograman, dengan representasi kuat dari bahasa-bahasa yang kurang terwakili seperti beberapa bahasa Afrika dan Asia Selatan. Pelatihan berlangsung selama beberapa bulan pada superkomputer Jean Zay yang didanai publik di Prancis menggunakan sekitar 384 GPU. BLOOM dirilis di bawah Lisensi AI yang Bertanggung Jawab dengan dokumentasi lengkap atas data, pelatihan, dan tujuan penggunaan, sangat kontras dengan pengembangan tertutup model serupa.
Wawasan Teknis
BLOOM adalah transformator khusus dekoder dengan skala yang mirip dengan GPT-3, menggunakan penyematan posisi ALiBi, bukan vektor posisi yang dipelajari, yang membantunya melakukan ekstrapolasi ke urutan yang lebih panjang daripada yang terlihat dalam pelatihan. Ini juga menerapkan normalisasi lapisan penyematan yang meningkatkan stabilitas pelatihan dalam skala besar. Korpus ROOTS multibahasa disusun dan didokumentasikan dengan cermat sehingga campuran bahasa dan sumber data transparan dan dapat diaudit, sebuah perubahan yang disengaja dari kumpulan data yang tidak jelas.
Dampak Strategis
Vendor strategy
Peta jalan vendor memengaruhi fitur apa yang dapat dibangun tim Anda selanjutnya.
Cost and budget
Persyaratan komersial dan opsi penerapan memengaruhi biaya dan risiko jangka panjang.
Risk and safety
Insentif perusahaan membentuk standar produk, postur keselamatan, dan keterbukaan.
Masa Depan BigScience dan Model BLOOM
BigScience menunjukkan bahwa AI berskala besar dan diatur secara terbuka adalah hal yang mungkin dilakukan, dan modelnya memengaruhi rilis terbuka selanjutnya serta dorongan yang lebih luas untuk transparansi. Pekerjaan multibahasa di masa depan kemungkinan besar akan memanfaatkan pembelajaran dalam dokumentasi data dan cakupan bahasa yang inklusif, sementara model yang lebih baru dan lebih efisien telah melampaui BLOOM dalam hal kemampuan mentah. Warisan abadinya adalah norma penerbitan kartu model, pernyataan data, dan lisensi yang bertanggung jawab, ditambah bukti bahwa komputasi publik dapat melatih model skala terdepan.
Implementasi Dunia Nyata
Menghasilkan dan menyelesaikan teks dalam berbagai bahasa, termasuk bahasa yang kurang terlayani oleh model komersial
Berfungsi sebagai dasar penelitian terbuka untuk mempelajari bias, transfer multibahasa, dan perilaku penskalaan
Menyempurnakan varian khusus tugas atau mengikuti instruksi seperti BLOOMZ untuk komunitas non-Inggris
Menyediakan model yang terdokumentasi sepenuhnya bagi akademisi yang mempelajari asal data pelatihan dan lisensi AI yang bertanggung jawab
Risiko & Pagar Pembatas
Pengumuman peluncuran mungkin melampaui stabilitas alur kerja produksi sebenarnya.
Penetapan harga API atau perubahan kebijakan dapat mematahkan asumsi dalam sekejap.
Ketergantungan pada vendor tunggal meningkatkan biaya lock-in dan migrasi.
Peta Jalan Implementasi
Evaluasi penyedia menggunakan tugas dan kumpulan data Anda sendiri.
Tinjau persyaratan privasi, keamanan, dan hukum sebelum integrasi.
Pertahankan rencana cadangan di seluruh model atau vendor.
Pantau catatan rilis agar perubahan peta jalan tidak mengejutkan tim.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BigScience and the BLOOM Model quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Model Kode Konteks Panjang AI Ajaib
Pertanyaan yang sering diajukan
What is BigScience and the BLOOM Model?
BigScience adalah kolaborasi penelitian terbuka selama setahun yang melibatkan lebih dari 1.000 peneliti yang menghasilkan BLOOM, salah satu model bahasa besar pertama yang benar-benar multibahasa dan dirilis secara terbuka. Hal ini penting sebagai tonggak sejarah dalam AI yang transparan dan berbasis komunitas yang dibangun di luar Big Tech.
Apa tujuan pembeda utama model BLOOM dibandingkan model berukuran serupa pada masanya?
BLOOM dirancang untuk benar-benar multibahasa dan dirilis secara terbuka dengan dokumentasi lengkap, tidak seperti model tertutup dengan skala yang sebanding.
Kira-kira berapa banyak parameter yang dimiliki BLOOM?
BLOOM adalah model dengan 176 miliar parameter, menempatkannya pada skala yang mirip dengan GPT-3.
Berapa banyak bahasa alami yang dilatih untuk ditangani oleh BLOOM?
Korpus pelatihan ROOTS BLOOM mencakup 46 bahasa alami ditambah 13 bahasa pemrograman.
Organisasi manakah yang mengoordinasikan kolaborasi BigScience?
Hugging Face mengoordinasikan BigScience, sebuah lokakarya yang melibatkan lebih dari 1.000 peneliti sukarelawan.
Di mana BLOOM dilatih?
BLOOM dilatih pada superkomputer Jean Zay di Prancis, yang menunjukkan bahwa komputasi publik dapat melatih model skala perbatasan.