Termen de glosar AI

Ce este Atenție cu mai multe capete?

Definiție

Un mecanism transformator care rulează mai multe operațiuni de atenție în paralel pentru a capta diferite tipuri de relații.

Termeni înrudiți

Transformator
O arhitectură neuronală care folosește atenția pentru a modela relațiile între secvențe în paralel.
Recuperare multi-interogare
O tehnică de recuperare care rescrie interogarea utilizatorului în mai multe variante pentru a îmbunătăți rememorarea.
Mecanismul de atenție
O componentă de model care se concentrează dinamic asupra părților relevante ale unei intrări atunci când produce o ieșire.
Flash Atenție
Un algoritm de atenție optimizat care reduce utilizarea memoriei și accelerează antrenamentul și inferența transformatorului.
Model multimodal
Un model care poate procesa sau genera mai multe tipuri de date, cum ar fi text, imagine și audio.
Graficul de cunoștințe
O structură grafică a entităților și relațiilor utilizate pentru raționament sau regăsire.

Aflați mai multe în ghidurile noastre gratuite

Multilingual LLMsMultimodal SearchHard Parameter Sharing in Multi-Task NetworksAttention Rollout and Head Pruning

Vezi și

Positional EncodingQLoRARoPE (Rotary Positional Embeddings)DPO (Direct Preference Optimization)ALiBiTree of ThoughtsSliding Window AttentionReAct
Răsfoiți întregul glosar AIExplorați toate ghidurile AI gratuite