Hukum Penskalaan Chinchilla
Undang-undang penskalaan Chinchilla, dari DeepMind pada tahun 2022, menunjukkan bahwa sebagian besar model bahasa besar kurang terlatih: untuk anggaran komputasi tetap, Anda harus menskalakan ukuran model dan data pelatihan dalam proporsi yang kira-kira sama.
Ikhtisar
It matters because it redefined what 'optimal' model size means and reshaped how labs spend compute.
Menyelam Lebih Dalam
Sebelum Chinchilla, trennya adalah membuat model yang lebih besar (seperti GPT-3 dengan parameter 175B) sambil melatih jumlah data yang relatif sedikit. DeepMind melatih lebih dari 400 model dalam berbagai ukuran dan anggaran data, lalu menyesuaikan kurva yang memprediksi kerugian sebagai fungsi parameter dan token berdasarkan anggaran komputasi tetap (FLOP). Temuan mereka: parameter dan token pelatihan harus berskala bersama, kira-kira dengan rasio 1 banding 1, yang berarti sekitar 20 token data pelatihan per parameter. Untuk membuktikannya, mereka melatih Chinchilla, model dengan parameter 70B pada 1,4 triliun token, yang mengungguli Gopher dengan parameter 280B yang jauh lebih besar meskipun menggunakan komputasi yang sama, karena model tersebut dilatih pada data yang jauh lebih banyak.
Wawasan Teknis
Hukum tersebut berasal dari penyesuaian fungsi kerugian parametrik L(N, D) dengan N adalah parameter dan D adalah token, termasuk istilah kerugian yang tidak dapat direduksi, ukuran model, dan ukuran data. Meminimalkan kerugian yang tunduk pada batasan komputasi (komputasi kira-kira sebanding dengan N kali D) menghasilkan hasil bahwa N dan D optimal tumbuh sebagai pangkat komputasi dengan eksponen serupa, sehingga rasio optimal komputasi tetap mendekati 20 token per parameter.
Dampak Strategis
Kecepatan dan skala
Alur kerja bahasa dapat berjalan lebih cepat tanpa mengorbankan konsistensi.
Access and reach
Ini memperluas akses lintas bahasa dan gaya komunikasi.
Clearer decisions
Tim dapat menghabiskan lebih banyak waktu untuk melakukan penilaian sementara otomatisasi menangani pengulangan.
Masa Depan Hukum Penskalaan Chinchilla
Chinchilla mengubah bidangnya dari mengejar jumlah parameter menjadi memberikan model data yang jauh lebih berkualitas tinggi, dan model modern sering kali dilatih jauh melampaui titik 'komputasi optimal' untuk membuat inferensi lebih murah. Ketika teks web berkualitas tinggi menjadi langka, perhatian beralih ke kurasi data, data sintetis, beberapa zaman, dan data multimodal untuk terus melakukan penskalaan. Pembelajaran inti tetap ada: data dan parameter harus seimbang, dan ukuran mentah saja tidak lagi menjadi tujuan.
Implementasi Dunia Nyata
Chinchilla parameter 70B DeepMind mengalahkan Gopher 280B pada benchmark menggunakan komputasi yang setara, dengan melatih lebih banyak data
Memandu tim untuk menganggarkan sekitar 20 token pelatihan per parameter saat merencanakan model dari awal
Membenarkan model yang lebih kecil dan kaya data seperti LLaMA yang lebih murah untuk dijalankan pada waktu inferensi
Memperkirakan apakah model yang direncanakan 'kurang terlatih' dan akan mendapatkan lebih banyak manfaat dari data tambahan dibandingkan parameter tambahan
Risiko & Pagar Pembatas
Fakta-fakta yang dihalusinasi dapat secara diam-diam masuk ke dalam laporan, aliran dukungan, atau keluaran penelitian.
Sensitivitas yang cepat dapat menimbulkan hasil yang tidak konsisten pada permintaan serupa.
Data teks sensitif mungkin terekspos jika kontrol akses lemah.
Peta Jalan Implementasi
Tentukan format output, nada, dan standar kualitas sebelum peluncuran.
Dasarkan respons dengan sumber tepercaya kapan pun akurasi penting.
Pertahankan pos pemeriksaan tinjauan manusia untuk keluaran berisiko tinggi.
Lacak pola kegagalan dan latih kembali perintah atau alur kerja secara teratur.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Chinchilla Scaling Laws quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Hukum Penskalaan untuk Jaringan Neural
Pertanyaan yang sering diajukan
What is Chinchilla Scaling Laws?
Undang-undang penskalaan Chinchilla, dari DeepMind pada tahun 2022, menunjukkan bahwa sebagian besar model bahasa besar kurang terlatih: untuk anggaran komputasi tetap, Anda harus menskalakan ukuran model dan data pelatihan dalam proporsi yang kira-kira sama. Hal ini penting karena hal ini mendefinisikan ulang arti ukuran model yang 'optimal' dan mengubah cara laboratorium menggunakan komputasi.
Apa temuan utama dari hukum penskalaan Chinchilla?
Chinchilla menunjukkan bahwa untuk anggaran komputasi tetap, parameter dan token pelatihan harus tumbuh bersama, kira-kira 1 banding 1.
Kira-kira berapa banyak token pelatihan per parameter yang disarankan Chinchilla agar komputasinya optimal?
Rasio komputasi optimal menghasilkan sekitar 20 token pelatihan untuk setiap parameter model.
Model manakah yang lebih unggul dari Chinchilla meskipun ukurannya jauh lebih kecil?
Chinchilla dengan parameter 70B mengalahkan Gopher dengan parameter 280B milik DeepMind menggunakan komputasi yang sama, karena ia melatih data yang jauh lebih banyak.
Apa maksud Chinchilla tentang model seperti GPT-3 pada saat itu?
Banyak model besar pada masa itu yang belum dilatih, yang berarti model tersebut akan berperforma lebih baik dengan lebih banyak data untuk jumlah parameternya.
Kira-kira bagaimana perkiraan komputasi dalam analisis Chinchilla?
Komputasi pelatihan (FLOP) kira-kira sebanding dengan jumlah parameter dikalikan dengan jumlah token pelatihan.