Învață Știri Unelte Joburi Misiune

Termen de glosar AI

Ce este Atenție fereastră glisantă?

Definiție

Un model de atenție în care fiecare jeton se ocupă doar de o fereastră de dimensiune fixă a jetonelor din apropiere pentru a reduce calculul.

Răsfoiți întregul glosar AI Explorați toate ghidurile AI gratuite

TundereaEliminarea greutăților modelului sau a neuronilor mai puțin importanți pentru a reduce dimensiunea și a calcula.Facturare bazată pe utilizarePrețuri la care costurile cresc cu apeluri API, token-uri, timp de inferență sau calcul consumat.Legea scalariiO relație empirică care arată cum se îmbunătățește performanța cu dimensiunea modelului, datele sau calculul.Model rarUn model în care mulți parametri sunt zero sau inactivi pentru a reduce calculul.Decodare speculativăO metodă de accelerare a inferenței în care un model nefinalizat propune simboluri pe care un model mai mare le verifică în paralel.Fereastra de contextCantitatea maximă de jetoane de intrare pe care un model de limbă poate procesa simultan.

Aflați mai multe în ghidurile noastre gratuite

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

Vezi și

ALiBi BPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiece Positional Encoding ANN (Approximate Nearest Neighbor)Multi-Head Attention HNSW