Gambaran keseluruhan
BigScience ialah kerjasama penyelidikan terbuka selama setahun dengan lebih 1,000 penyelidik yang menghasilkan BLOOM, salah satu model bahasa besar yang benar-benar berbilang bahasa yang pertama dikeluarkan secara terbuka. Ia penting sebagai mercu tanda dalam AI yang telus dan dipacu komuniti yang dibina di luar Big Tech.
BigScience dan Model BLOOM paling difahami dalam konteks strategi, akses model, keputusan platform dan perkongsian ekosistem.
Menyelam dalam
BigScience ialah bengkel penyelidikan selama setahun yang berlangsung dari 2021 hingga 2022, diselaraskan oleh Hugging Face dan mengumpulkan lebih 1,000 penyelidik sukarela dari lebih 60 negara dan 250 institusi. Output tajuknya, dikeluarkan pada Julai 2022, ialah BLOOM, model bahasa autoregresif 176 bilion parameter. BLOOM sengaja berbilang bahasa, dilatih pada korpus ROOTS yang meliputi 46 bahasa semula jadi dan 13 bahasa pengaturcaraan, dengan perwakilan kuat bahasa yang kurang diwakili seperti beberapa bahasa Afrika dan Asia Selatan. Latihan dijalankan selama beberapa bulan pada superkomputer Jean Zay yang dibiayai awam di Perancis menggunakan sekitar 384 GPU. BLOOM telah dikeluarkan di bawah Lesen AI yang Bertanggungjawab dengan dokumentasi penuh data, latihan dan kegunaan yang dimaksudkan, berbeza dengan ketara dengan pembangunan tertutup model setanding.
Wawasan Teknikal
BLOOM ialah pengubah penyahkod sahaja dengan skala yang serupa dengan GPT-3, menggunakan pembenaman kedudukan ALiBi dan bukannya vektor kedudukan yang dipelajari, yang membantu ia mengekstrapolasi kepada urutan yang lebih panjang daripada yang dilihat dalam latihan. Ia juga menggunakan normalisasi lapisan pembenaman yang meningkatkan kestabilan latihan pada skala. Korpus ROOTS berbilang bahasa telah dihimpun dan didokumenkan dengan teliti supaya campuran bahasa dan sumber data adalah telus dan boleh diaudit, perlepasan yang disengajakan daripada set data yang dikikis legap.
Menguasai BigScience dan Model BLOOM
BigScience ialah kerjasama penyelidikan terbuka selama setahun dengan lebih 1,000 penyelidik yang menghasilkan BLOOM, salah satu model bahasa besar yang benar-benar berbilang bahasa yang pertama dikeluarkan secara terbuka. Ia penting sebagai mercu tanda dalam AI yang telus dan dipacu komuniti yang dibina di luar Big Tech. BigScience dan Model BLOOM paling difahami dalam konteks strategi, akses model, keputusan platform dan perkongsian ekosistem. Untuk membina pemahaman yang mendalam, layan BigScience dan Model BLOOM sebagai model pengendalian, bukan satu ciri: tentukan hasil yang diingini, jelaskan andaian dan pisahkan perkara yang boleh dilakukan oleh sistem dengan pasti daripada perkara yang masih memerlukan pertimbangan pakar.
Dalam amalan, pasukan kuat yang menggunakan BigScience dan Model BLOOM menilai strategi vendor, kebolehpercayaan peta jalan dan risiko terkunci sebelum membuat komitmen. Mereka mendokumentasikan kriteria kejayaan yang jelas, menguji terhadap data dan aliran kerja yang realistik, dan mengulang berdasarkan corak kegagalan yang diperhatikan dan bukannya kemenangan penanda aras sekali. Di sinilah pemahaman teori bertukar menjadi keupayaan tahan lama merentas produk, dasar dan operasi.
Peta jalan vendor mempengaruhi ciri yang boleh dibina oleh pasukan anda seterusnya. Pada masa yang sama, pengumuman Pelancaran mungkin melebihi kestabilan dalam aliran kerja pengeluaran sebenar. Pendekatan yang paling berdaya tahan adalah untuk menggabungkan kelajuan percubaan dengan disiplin tadbir urus: menjalankan juruterbang, menangkap bukti, menerbitkan log keputusan dan sentiasa mengemas kini perlindungan apabila tingkah laku model, jangkaan pengguna dan keperluan kawal selia berkembang.
Kesan Strategik
Peta jalan vendor mempengaruhi ciri yang boleh dibina oleh pasukan anda seterusnya.
Peta jalan vendor mempengaruhi ciri yang boleh dibina oleh pasukan anda seterusnya. Dalam penempatan berkualiti tinggi, ini diterjemahkan kepada peraturan operasi yang boleh diukur, sempadan pemilikan dan ritual semakan berulang supaya pasukan dapat mengukur keyakinan dan bukannya menskalakan kekaburan.
Terma komersial dan pilihan penggunaan mempengaruhi kos dan risiko jangka panjang.
Terma komersial dan pilihan penggunaan mempengaruhi kos dan risiko jangka panjang. Dalam penempatan berkualiti tinggi, ini diterjemahkan kepada peraturan operasi yang boleh diukur, sempadan pemilikan dan ritual semakan berulang supaya pasukan dapat mengukur keyakinan dan bukannya menskalakan kekaburan.
Insentif syarikat membentuk keingkaran produk, postur keselamatan dan keterbukaan.
Insentif syarikat membentuk keingkaran produk, postur keselamatan dan keterbukaan. Dalam penempatan berkualiti tinggi, ini diterjemahkan kepada peraturan operasi yang boleh diukur, sempadan pemilikan dan ritual semakan berulang supaya pasukan dapat mengukur keyakinan dan bukannya menskalakan kekaburan.
Pelaksanaan Dunia Sebenar
Menjana dan melengkapkan teks merentas berdozen bahasa, termasuk bahasa yang kurang dilayan oleh model komersial
Berkhidmat sebagai garis dasar penyelidikan terbuka untuk mengkaji berat sebelah, pemindahan berbilang bahasa dan tingkah laku penskalaan
Penalaan halus ke dalam varian khusus tugasan atau mengikut arahan seperti BLOOMZ untuk komuniti bukan Inggeris
Menyediakan model yang didokumenkan sepenuhnya untuk ahli akademik yang mengkaji asal data latihan dan pelesenan AI yang bertanggungjawab
Corak Pelaksanaan
BigScience dan Model BLOOM dalam amalan
Menjana dan melengkapkan teks merentas berdozen bahasa, termasuk bahasa yang kurang dilayan oleh model komersial.
Menjana dan melengkapkan teks merentas berpuluh-puluh bahasa, termasuk bahasa yang kurang dilayan oleh model komersial Pasukan biasanya mendapat hasil yang lebih baik apabila mereka mentakrifkan ambang kualiti di hadapan, mengekalkan laluan peningkatan manusia untuk kes tepi dan menjejaki kedua-dua keuntungan produktiviti dan kos ralat dari semasa ke semasa.
BigScience dan Model BLOOM dalam amalan
Berkhidmat sebagai garis dasar penyelidikan terbuka untuk mengkaji berat sebelah, pemindahan berbilang bahasa dan tingkah laku penskalaan.
Berkhidmat sebagai garis dasar penyelidikan terbuka untuk mengkaji berat sebelah, pemindahan berbilang bahasa dan tingkah laku penskalaan Pasukan biasanya mendapat hasil yang lebih baik apabila mereka menentukan ambang kualiti di hadapan, mengekalkan laluan peningkatan manusia untuk kes kelebihan dan menjejaki kedua-dua keuntungan produktiviti dan kos ralat dari semasa ke semasa.
BigScience dan Model BLOOM dalam amalan
Penalaan halus kepada varian khusus tugasan atau mengikut arahan seperti BLOOMZ untuk komuniti bukan Inggeris.
Penalaan halus ke dalam varian khusus tugasan atau mengikut arahan seperti BLOOMZ untuk komuniti bukan Inggeris Pasukan biasanya mendapat hasil yang lebih baik apabila mereka menentukan ambang kualiti di hadapan, mengekalkan laluan peningkatan manusia untuk kes tepi dan menjejaki kedua-dua keuntungan produktiviti dan kos ralat dari semasa ke semasa.
BigScience dan Model BLOOM dalam amalan
Menyediakan model yang didokumenkan sepenuhnya untuk ahli akademik yang mengkaji asal data latihan dan pelesenan AI yang bertanggungjawab.
Menyediakan model yang didokumentasikan sepenuhnya untuk ahli akademik yang mengkaji asal data latihan dan pelesenan AI yang bertanggungjawab Pasukan biasanya mendapat hasil yang lebih baik apabila mereka menentukan ambang kualiti di hadapan, mengekalkan laluan peningkatan manusia untuk kes-kes tepi dan menjejaki kedua-dua keuntungan produktiviti dan kos ralat dari semasa ke semasa.
Risiko & Pengawal
Pengumuman pelancaran mungkin melebihi kestabilan dalam aliran kerja pengeluaran sebenar.
Harga API atau anjakan dasar boleh memecahkan andaian semalaman.
Kebergantungan vendor tunggal meningkatkan kos kunci masuk dan penghijrahan.
Hala Tuju Pelaksanaan
Nilai penyedia menggunakan tugasan dan set data anda sendiri.
Nilai penyedia menggunakan tugasan dan set data anda sendiri. Anggap setiap langkah sebagai gerbang bukti: jika kriteria tidak dipenuhi, jeda pelancaran, tutup jurang, dan kemudian kembangkan penggunaan.
Semak privasi, keselamatan dan syarat undang-undang sebelum penyepaduan.
Semak privasi, keselamatan dan syarat undang-undang sebelum penyepaduan. Anggap setiap langkah sebagai gerbang bukti: jika kriteria tidak dipenuhi, jeda pelancaran, tutup jurang, dan kemudian kembangkan penggunaan.
Kekalkan pelan sandaran merentas model atau vendor.
Kekalkan pelan sandaran merentas model atau vendor. Anggap setiap langkah sebagai gerbang bukti: jika kriteria tidak dipenuhi, jeda pelancaran, tutup jurang, dan kemudian kembangkan penggunaan.
Pantau nota keluaran supaya perubahan peta jalan tidak mengejutkan pasukan.
Pantau nota keluaran supaya perubahan peta jalan tidak mengejutkan pasukan. Anggap setiap langkah sebagai gerbang bukti: jika kriteria tidak dipenuhi, jeda pelancaran, tutup jurang, dan kemudian kembangkan penggunaan.