PANDUAN Perusahaan

BigScience dan Model BLOOM

BLOOM is a 176-billion-parameter multilingual language model produced by the BigScience collaboration and released with its research documentation.

Dengarkan panduan iniDiceritakan oleh AI · ~2 min

Mulailah membacaIkuti kuisnya
Di halaman ini2 menit membaca
  1. Ikhtisar
  2. Menyelam Lebih Dalam
  3. Implementasi Dunia Nyata
  4. Masa Depan BigScience dan Model BLOOM
  5. Mempraktikkannya
  6. Terus Menjelajah
  7. Pertanyaan yang sering diajukan

Ikhtisar

Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.

Menyelam Lebih Dalam

The BigScience paper describes BLOOM as a decoder-only Transformer with 176 billion parameters. It was trained on ROOTS, a corpus assembled from hundreds of sources in 46 natural languages and 13 programming languages. The collaboration released the model and code under the Responsible AI License and documented data and training choices. Its open-access release supports research, but does not remove the need to consider the license, model limitations, or the represented language distribution.

Implementasi Dunia Nyata

Menghasilkan dan menyelesaikan teks dalam berbagai bahasa, termasuk bahasa yang kurang terlayani oleh model komersial

Berfungsi sebagai dasar penelitian terbuka untuk mempelajari bias, transfer multibahasa, dan perilaku penskalaan

Menyempurnakan varian khusus tugas atau mengikuti instruksi seperti BLOOMZ untuk komunitas non-Inggris

Menyediakan model yang terdokumentasi sepenuhnya bagi akademisi yang mempelajari asal data pelatihan dan lisensi AI yang bertanggung jawab

Masa Depan BigScience dan Model BLOOM

BigScience menunjukkan bahwa AI berskala besar dan diatur secara terbuka adalah hal yang mungkin dilakukan, dan modelnya memengaruhi rilis terbuka selanjutnya serta dorongan yang lebih luas untuk transparansi. Pekerjaan multibahasa di masa depan kemungkinan besar akan memanfaatkan pembelajaran dalam dokumentasi data dan cakupan bahasa yang inklusif, sementara model yang lebih baru dan lebih efisien telah melampaui BLOOM dalam hal kemampuan mentah. Warisan abadinya adalah norma penerbitan kartu model, pernyataan data, dan lisensi yang bertanggung jawab, ditambah bukti bahwa komputasi publik dapat melatih model skala terdepan.

Mempraktikkannya

Mengapa itu penting

  • Strategi vendor. Peta jalan vendor memengaruhi fitur apa yang dapat dibangun tim Anda selanjutnya.
  • Biaya dan anggaran. Persyaratan komersial dan opsi penerapan memengaruhi biaya dan risiko jangka panjang.
  • Risiko dan keselamatan. Insentif perusahaan membentuk standar produk, postur keselamatan, dan keterbukaan.

Hati-hati

  • Pengumuman peluncuran mungkin melampaui stabilitas alur kerja produksi sebenarnya.
  • Penetapan harga API atau perubahan kebijakan dapat mematahkan asumsi dalam sekejap.
  • Ketergantungan pada vendor tunggal meningkatkan biaya lock-in dan migrasi.

Langkah selanjutnya

  1. Evaluasi penyedia menggunakan tugas dan kumpulan data Anda sendiri.
  2. Tinjau persyaratan privasi, keamanan, dan hukum sebelum integrasi.
  3. Pertahankan rencana cadangan di seluruh model atau vendor.
  4. Pantau catatan rilis agar perubahan peta jalan tidak mengejutkan tim.

Terus Menjelajah

OpenAI

Lihat cara vendor model fondasi terkemuka beroperasi.Baca Panduan

AI Sumber Terbuka

Bandingkan ekosistem model terbuka dan tertutup.Baca Panduan

Buletin gratis

Dapatkan pengarahan AI harian

Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.

Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.

Uji diri Anda sendiri

Take the BigScience and the BLOOM Model quiz

Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.

Mulai kuis

Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan

Pertanyaan yang sering diajukan

What is BigScience and the BLOOM Model?

BLOOM is a 176-billion-parameter multilingual language model produced by the BigScience collaboration and released with its research documentation. Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.

Apa tujuan pembeda utama model BLOOM dibandingkan model berukuran serupa pada masanya?

BLOOM dirancang untuk benar-benar multibahasa dan dirilis secara terbuka dengan dokumentasi lengkap, tidak seperti model tertutup dengan skala yang sebanding.

Kira-kira berapa banyak parameter yang dimiliki BLOOM?

BLOOM adalah model dengan 176 miliar parameter, menempatkannya pada skala yang mirip dengan GPT-3.

Berapa banyak bahasa alami yang dilatih untuk ditangani oleh BLOOM?

Korpus pelatihan ROOTS BLOOM mencakup 46 bahasa alami ditambah 13 bahasa pemrograman.

Organisasi manakah yang mengoordinasikan kolaborasi BigScience?

Hugging Face mengoordinasikan BigScience, sebuah lokakarya yang melibatkan lebih dari 1.000 peneliti sukarelawan.

Di mana BLOOM dilatih?

BLOOM dilatih pada superkomputer Jean Zay di Prancis, yang menunjukkan bahwa komputasi publik dapat melatih model skala perbatasan.

Teruslah belajar

Panduan terkait

Panduan lainnya dipilih untuk topik ini

Dapatkan sertifikat AI gratisKursus dan ujian singkat gratis. Tanpa biaya, tanpa kartu. Sekitar 2,5 jam.Mulai gratis →