What is Pruning? Definition | AI Understanding

Definisi

Mengalih keluar pemberat model atau neuron yang kurang penting untuk mengurangkan saiz dan mengira.

Istilah berkaitan

Perhatian Tingkap Gelongsor

Corak perhatian di mana setiap token hadir hanya pada tetingkap saiz tetap token berdekatan untuk mengurangkan pengiraan.

Undang-undang Skala

Hubungan empirikal yang menunjukkan cara prestasi bertambah baik dengan saiz model, data atau pengiraan.

Model yang lebih kecil dilatih untuk meniru tingkah laku model yang lebih besar sambil menggunakan kurang pengiraan pada inferens.

Penyebaran balik

Algoritma latihan teras yang mengemas kini berat model dengan menyebarkan ralat ramalan ke belakang melalui rangkaian.

Sumber pemprosesan yang diperlukan untuk melatih dan menjalankan model, selalunya diukur dalam jam FLOPS atau GPU.

Vektor yang menunjukkan berapa banyak setiap parameter harus berubah untuk mengurangkan kerugian.

Ketahui lebih lanjut dalam panduan percuma kami

Attention Rollout and Head Pruning Structured Pruning and Layer Dropping Model Pruning

See also

Prompt Injection Quantization Prompt Engineering RAG (Retrieval-Augmented Generation)Prompt Recall Pretraining Recommendation System

Semak imbas Glosari AI penuh Terokai semua panduan AI percuma