BigScience dan Model BLOOM
BigScience ialah kerjasama penyelidikan terbuka selama setahun dengan lebih 1,000 penyelidik yang menghasilkan BLOOM, salah satu model bahasa besar yang benar-benar berbilang bahasa yang pertama dikeluarkan secara terbuka.
Gambaran keseluruhan
Ia penting sebagai mercu tanda dalam AI yang telus dan dipacu komuniti yang dibina di luar Big Tech.
Menyelam dalam
BigScience ialah bengkel penyelidikan selama setahun yang berlangsung dari 2021 hingga 2022, diselaraskan oleh Hugging Face dan mengumpulkan lebih 1,000 penyelidik sukarela dari lebih 60 negara dan 250 institusi. Output tajuknya, dikeluarkan pada Julai 2022, ialah BLOOM, model bahasa autoregresif 176 bilion parameter. BLOOM sengaja berbilang bahasa, dilatih pada korpus ROOTS yang meliputi 46 bahasa semula jadi dan 13 bahasa pengaturcaraan, dengan perwakilan kuat bahasa yang kurang diwakili seperti beberapa bahasa Afrika dan Asia Selatan. Latihan dijalankan selama beberapa bulan pada superkomputer Jean Zay yang dibiayai awam di Perancis menggunakan sekitar 384 GPU. BLOOM telah dikeluarkan di bawah Lesen AI yang Bertanggungjawab dengan dokumentasi penuh data, latihan dan kegunaan yang dimaksudkan, berbeza dengan ketara dengan pembangunan tertutup model setanding.
Wawasan Teknikal
BLOOM ialah pengubah penyahkod sahaja dengan skala yang serupa dengan GPT-3, menggunakan pembenaman kedudukan ALiBi dan bukannya vektor kedudukan yang dipelajari, yang membantu ia mengekstrapolasi kepada urutan yang lebih panjang daripada yang dilihat dalam latihan. Ia juga menggunakan normalisasi lapisan pembenaman yang meningkatkan kestabilan latihan pada skala. Korpus ROOTS berbilang bahasa telah dihimpun dan didokumenkan dengan teliti supaya campuran bahasa dan sumber data adalah telus dan boleh diaudit, perlepasan yang disengajakan daripada set data yang dikikis legap.
Kesan Strategik
Strategi vendor
Peta jalan vendor mempengaruhi ciri yang boleh dibina oleh pasukan anda seterusnya.
Kos dan bajet
Terma komersial dan pilihan penggunaan mempengaruhi kos dan risiko jangka panjang.
Risiko dan keselamatan
Insentif syarikat membentuk keingkaran produk, postur keselamatan dan keterbukaan.
Masa Depan BigScience dan Model BLOOM
BigScience menunjukkan bahawa AI berskala besar dan ditadbir secara terbuka adalah mungkin, dan modelnya mempengaruhi keluaran terbuka kemudian dan dorongan yang lebih luas untuk ketelusan. Kerja berbilang bahasa masa depan berkemungkinan akan membina pelajarannya dalam dokumentasi data dan liputan bahasa inklusif, manakala model yang lebih baharu dan lebih cekap telah mengatasi BLOOM pada keupayaan mentah. Warisannya yang berkekalan ialah norma penerbitan kad model, penyata data dan lesen yang bertanggungjawab, serta bukti bahawa pengiraan awam boleh melatih model skala sempadan.
Pelaksanaan Dunia Sebenar
Menjana dan melengkapkan teks merentas berdozen bahasa, termasuk bahasa yang kurang dilayan oleh model komersial
Berkhidmat sebagai garis dasar penyelidikan terbuka untuk mengkaji berat sebelah, pemindahan berbilang bahasa dan tingkah laku penskalaan
Penalaan halus ke dalam varian khusus tugasan atau mengikut arahan seperti BLOOMZ untuk komuniti bukan Inggeris
Menyediakan model yang didokumenkan sepenuhnya untuk ahli akademik yang mengkaji asal data latihan dan pelesenan AI yang bertanggungjawab
Risiko & Pengawal
Pengumuman pelancaran mungkin melebihi kestabilan dalam aliran kerja pengeluaran sebenar.
Harga API atau anjakan dasar boleh memecahkan andaian semalaman.
Kebergantungan vendor tunggal meningkatkan kos kunci masuk dan penghijrahan.
Hala Tuju Pelaksanaan
Nilai penyedia menggunakan tugasan dan set data anda sendiri.
Semak privasi, keselamatan dan syarat undang-undang sebelum penyepaduan.
Kekalkan pelan sandaran merentas model atau vendor.
Pantau nota keluaran supaya perubahan peta jalan tidak mengejutkan pasukan.
Teruskan Meneroka
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BigScience and the BLOOM Model quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Panduan seterusnya
Model Kod Konteks Panjang AI Ajaib
Soalan lazim
Apakah itu BigScience dan Model BLOOM?
BigScience ialah kerjasama penyelidikan terbuka selama setahun dengan lebih 1,000 penyelidik yang menghasilkan BLOOM, salah satu model bahasa besar yang benar-benar berbilang bahasa yang pertama dikeluarkan secara terbuka. Ia penting sebagai mercu tanda dalam AI yang telus dan dipacu komuniti yang dibina di luar Big Tech.
Apakah matlamat utama yang membezakan model BLOOM berbanding model bersaiz serupa pada zamannya?
BLOOM direka bentuk untuk benar-benar berbilang bahasa dan dikeluarkan secara terbuka dengan dokumentasi penuh, tidak seperti model tertutup skala setanding.
Kira-kira berapa banyak parameter yang ada pada BLOOM?
BLOOM ialah model 176 bilion parameter, meletakkannya pada skala yang serupa dengan GPT-3.
Berapa banyak bahasa semula jadi yang BLOOM dilatih untuk dikendalikan?
Korpus latihan ROOTS BLOOM meliputi 46 bahasa semula jadi serta 13 bahasa pengaturcaraan.
Organisasi manakah yang menyelaraskan kerjasama BigScience?
Hugging Face menyelaraskan BigScience, sebuah bengkel yang mengandungi lebih 1,000 penyelidik sukarelawan.
Di manakah BLOOM dilatih?
BLOOM telah dilatih pada superkomputer Jean Zay di Perancis, menunjukkan bahawa pengiraan awam boleh melatih model skala sempadan.