AI Ordlista Term

Vad är Multi-Head Attention?

Definition

En transformatormekanism som kör flera uppmärksamhetsoperationer parallellt för att fånga olika typer av relationer.

Relaterade termer

Transformator
En neural arkitektur som använder uppmärksamhet för att modellera relationer över sekvenser parallellt.
Hämtning av flera frågor
En hämtningsteknik som skriver om användarfrågan till flera varianter för att förbättra återkallelsen.
Uppmärksamhetsmekanism
En modellkomponent som dynamiskt fokuserar på relevanta delar av en ingång när en utdata produceras.
Blixtuppmärksamhet
En optimerad uppmärksamhetsalgoritm som minskar minnesanvändningen och påskyndar transformatorträning och slutledning.
Multimodal modell
En modell som kan bearbeta eller generera flera datatyper som text, bild och ljud.
Kunskapsdiagram
En grafstruktur av enheter och relationer som används för resonemang eller hämtning.

Läs mer i våra kostnadsfria guider

Multilingual LLMsMultimodal SearchHard Parameter Sharing in Multi-Task NetworksAttention Rollout and Head Pruning

See also

Positional EncodingQLoRARoPE (Rotary Positional Embeddings)DPO (Direct Preference Optimization)ALiBiTree of ThoughtsSliding Window AttentionReAct
Bläddra i hela AI-ordlistanUtforska alla gratis AI-guider