Istilah Glosarium AI

Apa itu Pemangkasan?

Definisi

Menghapus bobot model atau neuron yang kurang penting untuk mengurangi ukuran dan komputasi.

Jelajahi Glosarium AI selengkapnyaJelajahi semua panduan AI gratis

Istilah terkait

Perhatian Jendela GeserPola perhatian di mana setiap token hanya memperhatikan jendela berukuran tetap dari token terdekat untuk mengurangi komputasi.Hukum PenskalaanHubungan empiris yang menunjukkan bagaimana performa meningkat seiring dengan ukuran model, data, atau komputasi.Model SulingModel yang lebih kecil dilatih untuk meniru perilaku model yang lebih besar sambil menggunakan lebih sedikit komputasi pada inferensi.Propagasi mundurAlgoritme pelatihan inti yang memperbarui bobot model dengan menyebarkan kesalahan prediksi ke belakang melalui jaringan.HitungSumber daya pemrosesan yang diperlukan untuk melatih dan menjalankan model, sering kali diukur dalam jam FLOPS atau GPU.GradienVektor yang menunjukkan seberapa banyak setiap parameter harus diubah untuk mengurangi kerugian.

Pelajari lebih lanjut di panduan gratis kami

Attention Rollout and Head PruningStructured Pruning and Layer DroppingModel Pruning

Lihat juga

Prompt InjectionQuantizationPrompt EngineeringRAG (Retrieval-Augmented Generation)PromptRecallPretrainingRecommendation System