Termen de glosar AI

Ce este Atenție cu mai multe capete?

Definiție

Un mecanism transformator care rulează mai multe operațiuni de atenție în paralel pentru a capta diferite tipuri de relații.

Răsfoiți întregul glosar AIExplorați toate ghidurile AI gratuite

Termeni înrudiți

TransformatorO arhitectură neuronală care folosește atenția pentru a modela relațiile între secvențe în paralel.Recuperare multi-interogareO tehnică de recuperare care rescrie interogarea utilizatorului în mai multe variante pentru a îmbunătăți rememorarea.Mecanismul de atențieO componentă de model care se concentrează dinamic asupra părților relevante ale unei intrări atunci când produce o ieșire.Flash AtențieUn algoritm de atenție optimizat care reduce utilizarea memoriei și accelerează antrenamentul și inferența transformatorului.Model multimodalUn model care poate procesa sau genera mai multe tipuri de date, cum ar fi text, imagine și audio.Graficul de cunoștințeO structură grafică a entităților și relațiilor utilizate pentru raționament sau regăsire.

Aflați mai multe în ghidurile noastre gratuite

Multilingual LLMsMultimodal SearchHard Parameter Sharing in Multi-Task NetworksAttention Rollout and Head Pruning

Vezi și

Positional EncodingQLoRARoPE (Rotary Positional Embeddings)DPO (Direct Preference Optimization)ALiBiTree of ThoughtsSliding Window AttentionReAct