Termen de glosar AI

Ce este Mecanismul de atenție?

Definiție

O componentă de model care se concentrează dinamic asupra părților relevante ale unei intrări atunci când produce o ieșire.

Răsfoiți întregul glosar AIExplorați toate ghidurile AI gratuite

Termeni înrudiți

CodificatorComponenta unui model care transformă intrarea în reprezentări latente.Atenție cu mai multe capeteUn mecanism transformator care rulează mai multe operațiuni de atenție în paralel pentru a capta diferite tipuri de relații.ALiBiO metodă de părtinire pozițională care penalizează scorurile de atenție pe baza distanței simbol, ajutând modelele să extrapoleze în contexte mai lungi.ClasificareO sarcină în care un model atribuie o intrare uneia sau mai multor categorii predefinite.Fereastra de contextCantitatea maximă de jetoane de intrare pe care un model de limbă poate procesa simultan.Deriva datelorO schimbare a datelor de intrare din lumea reală în timp, care poate degrada performanța modelului.

Aflați mai multe în ghidurile noastre gratuite

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Vezi și

Artificial Intelligence (AI)Autonomous SystemAPI (Application Programming Interface)BackpropagationAnnotationBaseline ModelAlgorithmic TransparencyBenchmark