AI Ordliste Term

Hva er Multi-hode oppmerksomhet?

Definisjon

En transformatormekanisme som kjører flere oppmerksomhetsoperasjoner parallelt for å fange opp ulike typer relasjoner.

Relaterte vilkår

Transformator
En nevral arkitektur som bruker oppmerksomhet til å modellere forhold på tvers av sekvenser parallelt.
Henting av flere spørringer
En gjenfinningsteknikk som omskriver brukersøket til flere varianter for å forbedre tilbakekallingen.
Oppmerksomhetsmekanisme
En modellkomponent som dynamisk fokuserer på relevante deler av en input når den produserer en output.
Flash oppmerksomhet
En optimalisert oppmerksomhetsalgoritme som reduserer minnebruk og øker hastigheten på transformatortrening og slutninger.
Multimodal modell
En modell som kan behandle eller generere flere datatyper som tekst, bilde og lyd.
Kunnskapsgraf
En grafstruktur av enheter og relasjoner som brukes til resonnement eller gjenfinning.

Lær mer i våre gratis guider

Multilingual LLMsMultimodal SearchHard Parameter Sharing in Multi-Task NetworksAttention Rollout and Head Pruning

Se også

Positional EncodingQLoRARoPE (Rotary Positional Embeddings)DPO (Direct Preference Optimization)ALiBiTree of ThoughtsSliding Window AttentionReAct
Bla gjennom hele AI-ordlistenUtforsk alle gratis AI-guider