VolgendeVolgende gids
Prompt-to-prompt bewerken met kruisaandacht
Visuele AI
Taal AI-GIDS
Cross-attention lets queries from one representation attend to keys and values from another representation.
Luister naar deze gidsAI-verteld · ~2 min
It is used to connect source and target sequences or different modalities.
Cross-attention lets queries from one representation attend to keys and values from another. The Transformer uses this in encoder-decoder layers; latent diffusion uses it for text-conditioned generation. Flamingo uses gated cross-attention layers to connect visual features to a language model and is designed to ingest arbitrarily interleaved visual and textual inputs, including images or video. These are architecture-specific examples, not a universal multimodal design. In Flamingo, cross-attention blocks are gated by a tanh-transformed learned scalar initialized to zero; this is an architecture-specific control and not a claim about how often cross-attention is used across multimodal systems.
In an encoder-decoder Transformer, decoder queries attend to encoder outputs.
Latent diffusion models use cross-attention to condition image latents on text embeddings.
Flamingo inserts cross-attention layers so a language model can use visual features.
Different sequence lengths are possible because queries and key-value context need not have matching lengths.
When inspecting a multimodal model, identify which stream supplies queries and which supplies keys and values. Evaluate alignment and failure cases across the relevant modalities. The cited papers do not establish one universal cross-attention design.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Cross-attention lets queries from one representation attend to keys and values from another representation. It is used to connect source and target sequences or different modalities.
Kruisaandacht trekt vragen uit de ene reeks (bijvoorbeeld de decoder) en sleutels en waarden uit een andere (bijvoorbeeld de encoder), waardoor de twee kunnen interageren.
De decoder vormt query's op basis van de gedeeltelijk gegenereerde uitvoer en gebruikt vervolgens de uitvoer van de encoder als sleutels en waarden om relevante invoerinformatie binnen te halen.
Omdat zoekopdrachten afkomstig zijn uit de ene bron en sleutels/waarden uit een andere bron, zijn de reeksen onafhankelijk en kunnen ze verschillen in lengte, taal of modaliteit.
Cross-attention zorgt ervoor dat elk deel van de gegenereerde afbeelding aandacht besteedt aan de tekstprompt, waardoor de beelden in de woorden worden gefundeerd.
Beide gebruiken dezelfde geschaalde puntproductaandacht: gelijkenisscores tussen query's en sleutels, een softmax en vervolgens een gewogen som van waarden.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Prompt-to-prompt bewerken met kruisaandacht
Visuele AI