Ikhtisar
BigScience adalah kolaborasi penelitian terbuka selama setahun yang melibatkan lebih dari 1.000 peneliti yang menghasilkan BLOOM, salah satu model bahasa besar pertama yang benar-benar multibahasa dan dirilis secara terbuka. Hal ini penting sebagai tonggak sejarah dalam AI yang transparan dan berbasis komunitas yang dibangun di luar Big Tech.
BigScience dan Model BLOOM paling baik dipahami dalam konteks strategi, akses model, keputusan platform, dan kemitraan ekosistem.
Menyelam Lebih Dalam
BigScience adalah lokakarya penelitian satu tahun yang berlangsung dari tahun 2021 hingga 2022, dikoordinasikan oleh Hugging Face dan mempertemukan lebih dari 1.000 sukarelawan peneliti dari lebih dari 60 negara dan 250 institusi. Keluaran utamanya, yang dirilis pada Juli 2022, adalah BLOOM, model bahasa autoregresif dengan 176 miliar parameter. BLOOM sengaja dibuat multibahasa, dilatih pada korpus ROOTS yang mencakup 46 bahasa alami dan 13 bahasa pemrograman, dengan representasi kuat dari bahasa-bahasa yang kurang terwakili seperti beberapa bahasa Afrika dan Asia Selatan. Pelatihan berlangsung selama beberapa bulan pada superkomputer Jean Zay yang didanai publik di Prancis menggunakan sekitar 384 GPU. BLOOM dirilis di bawah Lisensi AI yang Bertanggung Jawab dengan dokumentasi lengkap atas data, pelatihan, dan tujuan penggunaan, sangat kontras dengan pengembangan tertutup model serupa.
Wawasan Teknis
BLOOM adalah transformator khusus dekoder dengan skala yang mirip dengan GPT-3, menggunakan penyematan posisi ALiBi, bukan vektor posisi yang dipelajari, yang membantunya melakukan ekstrapolasi ke urutan yang lebih panjang daripada yang terlihat dalam pelatihan. Ini juga menerapkan normalisasi lapisan penyematan yang meningkatkan stabilitas pelatihan dalam skala besar. Korpus ROOTS multibahasa disusun dan didokumentasikan dengan cermat sehingga campuran bahasa dan sumber data transparan dan dapat diaudit, sebuah perubahan yang disengaja dari kumpulan data yang tidak jelas.
Menguasai BigScience dan Model BLOOM
BigScience adalah kolaborasi penelitian terbuka selama setahun yang melibatkan lebih dari 1.000 peneliti yang menghasilkan BLOOM, salah satu model bahasa besar pertama yang benar-benar multibahasa dan dirilis secara terbuka. Hal ini penting sebagai tonggak sejarah dalam AI yang transparan dan berbasis komunitas yang dibangun di luar Big Tech. BigScience dan Model BLOOM paling baik dipahami dalam konteks strategi, akses model, keputusan platform, dan kemitraan ekosistem. Untuk membangun pemahaman yang mendalam, perlakukan BigScience dan Model BLOOM sebagai model operasi, bukan sebagai fitur tunggal: tentukan hasil yang diinginkan, klarifikasi asumsi, dan pisahkan apa yang dapat dilakukan sistem dengan andal dari apa yang masih memerlukan penilaian ahli.
Dalam praktiknya, tim yang kuat menggunakan BigScience dan Model BLOOM mengevaluasi strategi vendor, keandalan peta jalan, dan risiko lock-in sebelum melakukan. Mereka mendokumentasikan kriteria keberhasilan yang eksplisit, menguji berdasarkan data dan alur kerja yang realistis, dan melakukan iterasi berdasarkan pola kegagalan yang diamati, bukan berdasarkan kemenangan tolok ukur yang hanya terjadi satu kali. Di sinilah pemahaman teoritis berubah menjadi kemampuan yang tahan lama di seluruh produk, kebijakan, dan operasi.
Peta jalan vendor memengaruhi fitur apa yang dapat dibangun tim Anda selanjutnya. Pada saat yang sama, pengumuman Peluncuran mungkin melampaui stabilitas alur kerja produksi sebenarnya. Pendekatan yang paling tangguh adalah menggabungkan kecepatan eksperimen dengan disiplin tata kelola: menjalankan uji coba, menangkap bukti, menerbitkan catatan keputusan, dan terus memperbarui upaya perlindungan seiring dengan berkembangnya perilaku model, harapan pengguna, dan persyaratan peraturan.
Dampak Strategis
Peta jalan vendor memengaruhi fitur apa yang dapat dibangun tim Anda selanjutnya.
Peta jalan vendor memengaruhi fitur apa yang dapat dibangun tim Anda selanjutnya. Dalam penerapan berkualitas tinggi, hal ini diterjemahkan ke dalam aturan operasi yang terukur, batasan kepemilikan, dan ritual peninjauan berulang sehingga tim dapat meningkatkan kepercayaan diri alih-alih menskalakan ambiguitas.
Persyaratan komersial dan opsi penerapan memengaruhi biaya dan risiko jangka panjang.
Persyaratan komersial dan opsi penerapan memengaruhi biaya dan risiko jangka panjang. Dalam penerapan berkualitas tinggi, hal ini diterjemahkan ke dalam aturan operasi yang terukur, batasan kepemilikan, dan ritual peninjauan berulang sehingga tim dapat meningkatkan kepercayaan diri alih-alih menskalakan ambiguitas.
Insentif perusahaan membentuk standar produk, postur keselamatan, dan keterbukaan.
Insentif perusahaan membentuk standar produk, postur keselamatan, dan keterbukaan. Dalam penerapan berkualitas tinggi, hal ini diterjemahkan ke dalam aturan operasi yang terukur, batasan kepemilikan, dan ritual peninjauan berulang sehingga tim dapat meningkatkan kepercayaan diri alih-alih menskalakan ambiguitas.
Implementasi Dunia Nyata
Menghasilkan dan menyelesaikan teks dalam berbagai bahasa, termasuk bahasa yang kurang terlayani oleh model komersial
Berfungsi sebagai dasar penelitian terbuka untuk mempelajari bias, transfer multibahasa, dan perilaku penskalaan
Menyempurnakan varian khusus tugas atau mengikuti instruksi seperti BLOOMZ untuk komunitas non-Inggris
Menyediakan model yang terdokumentasi sepenuhnya bagi akademisi yang mempelajari asal data pelatihan dan lisensi AI yang bertanggung jawab
Pola Implementasi
BigScience dan Model BLOOM dalam praktiknya
Menghasilkan dan menyelesaikan teks dalam berbagai bahasa, termasuk bahasa yang kurang terlayani oleh model komersial.
Menghasilkan dan menyelesaikan teks dalam puluhan bahasa, termasuk bahasa yang kurang terlayani oleh model komersial Tim biasanya mendapatkan hasil yang lebih baik ketika mereka menentukan ambang batas kualitas di awal, menjaga jalur eskalasi manusia untuk kasus-kasus sulit, dan melacak peningkatan produktivitas dan biaya kesalahan dari waktu ke waktu.
BigScience dan Model BLOOM dalam praktiknya
Berfungsi sebagai dasar penelitian terbuka untuk mempelajari bias, transfer multibahasa, dan perilaku penskalaan.
Berfungsi sebagai dasar penelitian terbuka untuk mempelajari bias, transfer multibahasa, dan perilaku penskalaan Tim biasanya mendapatkan hasil yang lebih baik ketika mereka menentukan ambang batas kualitas di awal, menjaga jalur eskalasi manusia untuk kasus-kasus yang sulit, dan melacak peningkatan produktivitas dan biaya kesalahan dari waktu ke waktu.
BigScience dan Model BLOOM dalam praktiknya
Menyempurnakan varian khusus tugas atau mengikuti instruksi seperti BLOOMZ untuk komunitas non-Inggris.
Menyempurnakan varian khusus tugas atau mengikuti instruksi seperti BLOOMZ untuk komunitas non-Inggris Tim biasanya mendapatkan hasil yang lebih baik ketika mereka menentukan ambang batas kualitas di awal, menjaga jalur eskalasi manusia untuk kasus-kasus ekstrem, dan melacak peningkatan produktivitas dan biaya kesalahan dari waktu ke waktu.
BigScience dan Model BLOOM dalam praktiknya
Menyediakan model yang terdokumentasi sepenuhnya bagi akademisi yang mempelajari asal data pelatihan dan lisensi AI yang bertanggung jawab.
Menyediakan model yang terdokumentasi sepenuhnya bagi para akademisi yang mempelajari asal data pelatihan dan pemberian lisensi AI yang bertanggung jawab. Tim biasanya mendapatkan hasil yang lebih baik ketika mereka menentukan ambang batas kualitas di awal, menjaga jalur eskalasi manusia untuk kasus-kasus edge, dan melacak peningkatan produktivitas dan biaya kesalahan dari waktu ke waktu.
Risiko & Pagar Pembatas
Pengumuman peluncuran mungkin melampaui stabilitas alur kerja produksi sebenarnya.
Penetapan harga API atau perubahan kebijakan dapat mematahkan asumsi dalam sekejap.
Ketergantungan pada vendor tunggal meningkatkan biaya lock-in dan migrasi.
Peta Jalan Implementasi
Evaluasi penyedia menggunakan tugas dan kumpulan data Anda sendiri.
Evaluasi penyedia menggunakan tugas dan kumpulan data Anda sendiri. Perlakukan setiap langkah sebagai gerbang bukti: jika kriteria tidak terpenuhi, jeda peluncuran, tutup kesenjangan, dan baru kemudian perluas penggunaan.
Tinjau persyaratan privasi, keamanan, dan hukum sebelum integrasi.
Tinjau persyaratan privasi, keamanan, dan hukum sebelum integrasi. Perlakukan setiap langkah sebagai gerbang bukti: jika kriteria tidak terpenuhi, jeda peluncuran, tutup kesenjangan, dan baru kemudian perluas penggunaan.
Pertahankan rencana cadangan di seluruh model atau vendor.
Pertahankan rencana cadangan di seluruh model atau vendor. Perlakukan setiap langkah sebagai gerbang bukti: jika kriteria tidak terpenuhi, jeda peluncuran, tutup kesenjangan, dan baru kemudian perluas penggunaan.
Pantau catatan rilis agar perubahan peta jalan tidak mengejutkan tim.
Pantau catatan rilis agar perubahan peta jalan tidak mengejutkan tim. Perlakukan setiap langkah sebagai gerbang bukti: jika kriteria tidak terpenuhi, jeda peluncuran, tutup kesenjangan, dan baru kemudian perluas penggunaan.