Termen de glosar AI

Ce este Mecanismul de atenție?

Definiție

O componentă de model care se concentrează dinamic asupra părților relevante ale unei intrări atunci când produce o ieșire.

Termeni înrudiți

Codificator
Componenta unui model care transformă intrarea în reprezentări latente.
Atenție cu mai multe capete
Un mecanism transformator care rulează mai multe operațiuni de atenție în paralel pentru a capta diferite tipuri de relații.
ALiBi
O metodă de părtinire pozițională care penalizează scorurile de atenție pe baza distanței simbol, ajutând modelele să extrapoleze în contexte mai lungi.
Clasificare
O sarcină în care un model atribuie o intrare uneia sau mai multor categorii predefinite.
Fereastra de context
Cantitatea maximă de jetoane de intrare pe care un model de limbă poate procesa simultan.
Deriva datelor
O schimbare a datelor de intrare din lumea reală în timp, care poate degrada performanța modelului.

Aflați mai multe în ghidurile noastre gratuite

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Vezi și

Artificial Intelligence (AI)Autonomous SystemAPI (Application Programming Interface)BackpropagationAnnotationBaseline ModelAlgorithmic TransparencyBenchmark
Răsfoiți întregul glosar AIExplorați toate ghidurile AI gratuite