Învață Știri Unelte Joburi Misiune

Termen de glosar AI

Ce este Tunderea?

Definiție

Eliminarea greutăților modelului sau a neuronilor mai puțin importanți pentru a reduce dimensiunea și a calcula.

Răsfoiți întregul glosar AI Explorați toate ghidurile AI gratuite

Atenție fereastră glisantăUn model de atenție în care fiecare jeton se ocupă doar de o fereastră de dimensiune fixă a jetonelor din apropiere pentru a reduce calculul.Legea scalariiO relație empirică care arată cum se îmbunătățește performanța cu dimensiunea modelului, datele sau calculul.Model distilatUn model mai mic antrenat să imite comportamentul unui model mai mare, folosind mai puține calcule la inferență.Propagarea inversăAlgoritmul de antrenament de bază care actualizează ponderile modelului prin propagarea erorilor de predicție înapoi prin rețea.CalculaResursele de procesare necesare pentru antrenarea și rularea modelelor, adesea măsurate în ore FLOPS sau GPU.GradientUn vector care arată cât de mult ar trebui să se schimbe fiecare parametru pentru a reduce pierderea.

Aflați mai multe în ghidurile noastre gratuite

Attention Rollout and Head Pruning Structured Pruning and Layer Dropping Model Pruning

Vezi și

Prompt Injection Quantization Prompt Engineering RAG (Retrieval-Augmented Generation)Prompt Recall Pretraining Recommendation System