Gambaran keseluruhan
Undang-undang penskalaan Chinchilla, daripada DeepMind pada tahun 2022, menunjukkan bahawa kebanyakan model bahasa besar kurang terlatih: untuk belanjawan pengiraan tetap, anda harus menskalakan saiz model dan data latihan secara kasar dalam perkadaran yang sama. Ia penting kerana ia mentakrifkan semula maksud saiz model 'optimum' dan membentuk semula cara makmal membelanjakan pengiraan.
Undang-undang Penskalaan Chinchilla ialah sebahagian daripada timbunan AI-bahasa yang digunakan untuk membaca, menjana, mengelas dan mengubah teks dan pertuturan pada skala.
Menyelam dalam
Sebelum Chinchilla, trendnya ialah membina model yang lebih besar (seperti GPT-3 parameter 175B) sambil melatih jumlah data yang agak sederhana. DeepMind melatih lebih 400 model merentas pelbagai saiz dan belanjawan data, kemudian lengkung muat meramalkan kerugian sebagai fungsi parameter dan token di bawah belanjawan pengiraan tetap (FLOP). Penemuan mereka: parameter dan token latihan harus berskala bersama, kira-kira nisbah 1-dengan-1, membayangkan kira-kira 20 token data latihan bagi setiap parameter. Untuk membuktikannya, mereka melatih Chinchilla, model parameter 70B pada 1.4 trilion token, yang mengatasi prestasi Gopher 280B parameter yang lebih besar walaupun menggunakan pengiraan yang sama, kerana ia dilatih pada lebih banyak data.
Wawasan Teknikal
Undang-undang datang daripada memasangkan fungsi kehilangan parametrik L(N, D) dengan N ialah parameter dan D ialah token, termasuk istilah kehilangan tidak boleh dikurangkan, saiz model dan saiz data. Meminimumkan kerugian tertakluk kepada kekangan pengiraan (pengiraan adalah berkadar secara kasar dengan N kali D) menghasilkan keputusan bahawa N dan D optimum kedua-duanya berkembang sebagai kuasa pengiraan dengan eksponen yang serupa, jadi nisbah pengiraan optimum kekal berhampiran 20 token setiap parameter.
Menguasai Undang-undang Penskalaan Chinchilla
Undang-undang penskalaan Chinchilla, daripada DeepMind pada tahun 2022, menunjukkan bahawa kebanyakan model bahasa besar kurang terlatih: untuk belanjawan pengiraan tetap, anda harus menskalakan saiz model dan data latihan secara kasar dalam perkadaran yang sama. Ia penting kerana ia mentakrifkan semula maksud saiz model 'optimum' dan membentuk semula cara makmal membelanjakan pengiraan. Undang-undang Penskalaan Chinchilla ialah sebahagian daripada timbunan AI-bahasa yang digunakan untuk membaca, menjana, mengelas dan mengubah teks dan pertuturan pada skala. Untuk membina pemahaman yang mendalam, layan Undang-undang Penskalaan Chinchilla sebagai model pengendalian, bukan satu ciri: tentukan hasil yang diingini, jelaskan andaian dan pisahkan perkara yang boleh dilakukan oleh sistem dengan pasti daripada perkara yang masih memerlukan pertimbangan pakar.
Dalam praktiknya, pasukan kuat yang menggunakan Undang-undang Penskalaan Chinchilla menggesa, mendapatkan semula dan menyemak gelung sebagai satu sistem komunikasi bersepadu. Mereka mendokumentasikan kriteria kejayaan yang jelas, menguji terhadap data dan aliran kerja yang realistik, dan mengulang berdasarkan corak kegagalan yang diperhatikan dan bukannya kemenangan penanda aras sekali. Di sinilah pemahaman teori bertukar menjadi keupayaan tahan lama merentas produk, dasar dan operasi.
Aliran kerja bahasa boleh bergerak lebih pantas tanpa mengorbankan konsistensi. Pada masa yang sama, fakta Halusinasi boleh memasukkan laporan, aliran sokongan atau hasil penyelidikan secara senyap-senyap. Pendekatan yang paling berdaya tahan adalah untuk menggabungkan kelajuan percubaan dengan disiplin tadbir urus: menjalankan juruterbang, menangkap bukti, menerbitkan log keputusan dan sentiasa mengemas kini perlindungan apabila tingkah laku model, jangkaan pengguna dan keperluan kawal selia berkembang.
Kesan Strategik
Aliran kerja bahasa boleh bergerak lebih pantas tanpa mengorbankan konsistensi.
Aliran kerja bahasa boleh bergerak lebih pantas tanpa mengorbankan konsistensi. Dalam penempatan berkualiti tinggi, ini diterjemahkan kepada peraturan operasi yang boleh diukur, sempadan pemilikan dan ritual semakan berulang supaya pasukan dapat mengukur keyakinan dan bukannya menskalakan kekaburan.
Ia meluaskan akses merentas bahasa dan gaya komunikasi.
Ia meluaskan akses merentas bahasa dan gaya komunikasi. Dalam penempatan berkualiti tinggi, ini diterjemahkan kepada peraturan operasi yang boleh diukur, sempadan pemilikan dan ritual semakan berulang supaya pasukan dapat mengukur keyakinan dan bukannya menskalakan kekaburan.
Pasukan boleh menghabiskan lebih banyak masa untuk membuat pertimbangan manakala automasi mengendalikan pengulangan.
Pasukan boleh menghabiskan lebih banyak masa untuk membuat pertimbangan manakala automasi mengendalikan pengulangan. Dalam penempatan berkualiti tinggi, ini diterjemahkan kepada peraturan operasi yang boleh diukur, sempadan pemilikan dan ritual semakan berulang supaya pasukan dapat mengukur keyakinan dan bukannya menskalakan kekaburan.
Pelaksanaan Dunia Sebenar
Chinchilla 70B-parameter DeepMind mengalahkan 280B Gopher pada penanda aras menggunakan pengiraan yang sama, dengan melatih lebih banyak data
Membimbing pasukan untuk membelanjakan kira-kira 20 token latihan bagi setiap parameter apabila merancang model dari awal
Mewajarkan model yang lebih kecil dan kaya data seperti LLaMA yang lebih murah untuk dijalankan pada masa inferens
Menganggarkan sama ada model yang dirancang 'kurang terlatih' dan akan mendapat lebih banyak manfaat daripada data tambahan daripada parameter tambahan
Corak Pelaksanaan
Undang-undang Penskalaan Chinchilla dalam amalan
Chinchilla 70B-parameter DeepMind mengalahkan 280B Gopher pada penanda aras menggunakan pengiraan yang sama, dengan melatih lebih banyak data.
Chinchilla 70B-parameter DeepMind mengalahkan 280B Gopher pada penanda aras menggunakan pengiraan yang sama, dengan melatih lebih banyak data Pasukan biasanya mendapat hasil yang lebih baik apabila mereka menentukan ambang kualiti di hadapan, mengekalkan laluan peningkatan manusia untuk kes tepi dan menjejaki kedua-dua keuntungan produktiviti dan kos ralat dari semasa ke semasa.
Undang-undang Penskalaan Chinchilla dalam amalan
Membimbing pasukan untuk membelanjakan kira-kira 20 token latihan bagi setiap parameter apabila merancang model dari awal.
Membimbing pasukan untuk membelanjakan kira-kira 20 token latihan bagi setiap parameter apabila merancang model dari awal.
Undang-undang Penskalaan Chinchilla dalam amalan
Mewajarkan model yang lebih kecil dan kaya data seperti LLaMA yang lebih murah untuk dijalankan pada masa inferens.
Mewajarkan model yang lebih kecil dan kaya data seperti LLaMA yang lebih murah untuk dijalankan pada masa inferens Pasukan biasanya mendapat hasil yang lebih baik apabila mereka menentukan ambang kualiti di hadapan, mengekalkan laluan peningkatan manusia untuk kes tepi dan menjejaki kedua-dua keuntungan produktiviti dan kos ralat dari semasa ke semasa.
Undang-undang Penskalaan Chinchilla dalam amalan
Menganggarkan sama ada model yang dirancang 'kurang terlatih' dan akan mendapat lebih banyak manfaat daripada data tambahan daripada parameter tambahan.
Menganggarkan sama ada model yang dirancang 'kurang terlatih' dan akan mendapat lebih banyak manfaat daripada data tambahan daripada parameter tambahan Pasukan biasanya mendapat hasil yang lebih baik apabila mereka menentukan ambang kualiti di hadapan, mengekalkan laluan peningkatan manusia untuk kes tepi dan menjejaki kedua-dua keuntungan produktiviti dan kos ralat dari semasa ke semasa.
Risiko & Pengawal
Fakta halusinasi boleh memasukkan laporan, aliran sokongan atau hasil penyelidikan secara senyap-senyap.
Sensitiviti segera boleh mencipta hasil yang tidak konsisten merentas permintaan yang serupa.
Data teks sensitif mungkin terdedah jika kawalan akses lemah.
Hala Tuju Pelaksanaan
Tentukan format output, nada dan standard kualiti sebelum pelancaran.
Tentukan format output, nada dan standard kualiti sebelum pelancaran. Anggap setiap langkah sebagai gerbang bukti: jika kriteria tidak dipenuhi, jeda pelancaran, tutup jurang, dan kemudian kembangkan penggunaan.
Respons asas dengan sumber yang dipercayai apabila ketepatan penting.
Respons asas dengan sumber yang dipercayai apabila ketepatan penting. Anggap setiap langkah sebagai gerbang bukti: jika kriteria tidak dipenuhi, jeda pelancaran, tutup jurang, dan kemudian kembangkan penggunaan.
Simpan pusat pemeriksaan semakan manusia untuk output berkepentingan tinggi.
Simpan pusat pemeriksaan semakan manusia untuk output berkepentingan tinggi. Anggap setiap langkah sebagai gerbang bukti: jika kriteria tidak dipenuhi, jeda pelancaran, tutup jurang, dan kemudian kembangkan penggunaan.
Jejaki corak kegagalan dan latih semula gesaan atau aliran kerja dengan kerap.
Jejaki corak kegagalan dan latih semula gesaan atau aliran kerja dengan kerap. Anggap setiap langkah sebagai gerbang bukti: jika kriteria tidak dipenuhi, jeda pelancaran, tutup jurang, dan kemudian kembangkan penggunaan.