SeterusnyaPanduan seterusnya
Model Kod Konteks Panjang AI Ajaib
Syarikat
PANDUAN Syarikat
BigScience dan Model BLOOM
BLOOM is a 176-billion-parameter multilingual language model produced by the BigScience collaboration and released with its research documentation.
Dengar panduan iniAI-diceritakan · ~2 min
Pada halaman ini2 min dibaca
Gambaran keseluruhan
Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.
Menyelam dalam
The BigScience paper describes BLOOM as a decoder-only Transformer with 176 billion parameters. It was trained on ROOTS, a corpus assembled from hundreds of sources in 46 natural languages and 13 programming languages. The collaboration released the model and code under the Responsible AI License and documented data and training choices. Its open-access release supports research, but does not remove the need to consider the license, model limitations, or the represented language distribution.
Pelaksanaan Dunia Sebenar
Menjana dan melengkapkan teks merentas berdozen bahasa, termasuk bahasa yang kurang dilayan oleh model komersial
Berkhidmat sebagai garis dasar penyelidikan terbuka untuk mengkaji berat sebelah, pemindahan berbilang bahasa dan tingkah laku penskalaan
Penalaan halus ke dalam varian khusus tugasan atau mengikut arahan seperti BLOOMZ untuk komuniti bukan Inggeris
Menyediakan model yang didokumenkan sepenuhnya untuk ahli akademik yang mengkaji asal data latihan dan pelesenan AI yang bertanggungjawab
Masa Depan BigScience dan Model BLOOM
BigScience menunjukkan bahawa AI berskala besar dan ditadbir secara terbuka adalah mungkin, dan modelnya mempengaruhi keluaran terbuka kemudian dan dorongan yang lebih luas untuk ketelusan. Kerja berbilang bahasa masa depan berkemungkinan akan membina pelajarannya dalam dokumentasi data dan liputan bahasa inklusif, manakala model yang lebih baharu dan lebih cekap telah mengatasi BLOOM pada keupayaan mentah. Warisannya yang berkekalan ialah norma penerbitan kad model, penyata data dan lesen yang bertanggungjawab, serta bukti bahawa pengiraan awam boleh melatih model skala sempadan.
Mempraktikkannya
Mengapa ia penting
- Strategi vendor. Peta jalan vendor mempengaruhi ciri yang boleh dibina oleh pasukan anda seterusnya.
- Kos dan bajet. Terma komersial dan pilihan penggunaan mempengaruhi kos dan risiko jangka panjang.
- Risiko dan keselamatan. Insentif syarikat membentuk keingkaran produk, postur keselamatan dan keterbukaan.
Berhati-hati untuk
- Pengumuman pelancaran mungkin melebihi kestabilan dalam aliran kerja pengeluaran sebenar.
- Harga API atau anjakan dasar boleh memecahkan andaian semalaman.
- Kebergantungan vendor tunggal meningkatkan kos kunci masuk dan penghijrahan.
Langkah seterusnya
- Nilai penyedia menggunakan tugasan dan set data anda sendiri.
- Semak privasi, keselamatan dan syarat undang-undang sebelum penyepaduan.
- Kekalkan pelan sandaran merentas model atau vendor.
- Pantau nota keluaran supaya perubahan peta jalan tidak mengejutkan pasukan.
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Take the BigScience and the BLOOM Model quiz
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
Apakah itu BigScience dan Model BLOOM?
BLOOM is a 176-billion-parameter multilingual language model produced by the BigScience collaboration and released with its research documentation. Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.
Apakah matlamat utama yang membezakan model BLOOM berbanding model bersaiz serupa pada zamannya?
BLOOM direka bentuk untuk benar-benar berbilang bahasa dan dikeluarkan secara terbuka dengan dokumentasi penuh, tidak seperti model tertutup skala setanding.
Kira-kira berapa banyak parameter yang ada pada BLOOM?
BLOOM ialah model 176 bilion parameter, meletakkannya pada skala yang serupa dengan GPT-3.
Berapa banyak bahasa semula jadi yang BLOOM dilatih untuk dikendalikan?
Korpus latihan ROOTS BLOOM meliputi 46 bahasa semula jadi serta 13 bahasa pengaturcaraan.
Organisasi manakah yang menyelaraskan kerjasama BigScience?
Hugging Face menyelaraskan BigScience, sebuah bengkel yang mengandungi lebih 1,000 penyelidik sukarelawan.
Di manakah BLOOM dilatih?
BLOOM telah dilatih pada superkomputer Jean Zay di Perancis, menunjukkan bahawa pengiraan awam boleh melatih model skala sempadan.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini