What is Pruning? Definition | AI Understanding

Definiție

Eliminarea greutăților modelului sau a neuronilor mai puțin importanți pentru a reduce dimensiunea și a calcula.

Termeni înrudiți

Atenție fereastră glisantă

Un model de atenție în care fiecare jeton se ocupă doar de o fereastră de dimensiune fixă a jetonelor din apropiere pentru a reduce calculul.

O relație empirică care arată cum se îmbunătățește performanța cu dimensiunea modelului, datele sau calculul.

Un model mai mic antrenat să imite comportamentul unui model mai mare, folosind mai puține calcule la inferență.

Propagarea inversă

Algoritmul de antrenament de bază care actualizează ponderile modelului prin propagarea erorilor de predicție înapoi prin rețea.

Resursele de procesare necesare pentru antrenarea și rularea modelelor, adesea măsurate în ore FLOPS sau GPU.

Un vector care arată cât de mult ar trebui să se schimbe fiecare parametru pentru a reduce pierderea.

Aflați mai multe în ghidurile noastre gratuite

Attention Rollout and Head Pruning Structured Pruning and Layer Dropping Model Pruning

Vezi și

Prompt Injection Quantization Prompt Engineering RAG (Retrieval-Augmented Generation)Prompt Recall Pretraining Recommendation System

Răsfoiți întregul glosar AI Explorați toate ghidurile AI gratuite