Τι είναι Προσοχή πολλαπλών κεφαλών?
Ορισμός
Ένας μηχανισμός μετασχηματιστή που εκτελεί πολλές λειτουργίες προσοχής παράλληλα για να καταγράψει διαφορετικούς τύπους σχέσεων.
Σχετικοί όροι
Μάθετε περισσότερα στους δωρεάν οδηγούς μας
Multilingual LLMsMultimodal SearchHard Parameter Sharing in Multi-Task NetworksAttention Rollout and Head Pruning