Apa itu Pemangkasan?

Pola perhatian di mana setiap token hanya memperhatikan jendela berukuran tetap dari token terdekat untuk mengurangi komputasi.

Hubungan empiris yang menunjukkan bagaimana performa meningkat seiring dengan ukuran model, data, atau komputasi.

Model yang lebih kecil dilatih untuk meniru perilaku model yang lebih besar sambil menggunakan lebih sedikit komputasi pada inferensi.

Algoritme pelatihan inti yang memperbarui bobot model dengan menyebarkan kesalahan prediksi ke belakang melalui jaringan.

Sumber daya pemrosesan yang diperlukan untuk melatih dan menjalankan model, sering kali diukur dalam jam FLOPS atau GPU.

Vektor yang menunjukkan seberapa banyak setiap parameter harus diubah untuk mengurangi kerugian.