DalšíDalší průvodce
Výzva k výzvě Cross-Attention editace
Vizuální AI
Jazyk AI GUIDE
Cross-attention lets queries from one representation attend to keys and values from another representation.
Poslechněte si tento návodAI-vyprávěný · ~2 min
It is used to connect source and target sequences or different modalities.
Cross-attention lets queries from one representation attend to keys and values from another. The Transformer uses this in encoder-decoder layers; latent diffusion uses it for text-conditioned generation. Flamingo uses gated cross-attention layers to connect visual features to a language model and is designed to ingest arbitrarily interleaved visual and textual inputs, including images or video. These are architecture-specific examples, not a universal multimodal design. In Flamingo, cross-attention blocks are gated by a tanh-transformed learned scalar initialized to zero; this is an architecture-specific control and not a claim about how often cross-attention is used across multimodal systems.
In an encoder-decoder Transformer, decoder queries attend to encoder outputs.
Latent diffusion models use cross-attention to condition image latents on text embeddings.
Flamingo inserts cross-attention layers so a language model can use visual features.
Different sequence lengths are possible because queries and key-value context need not have matching lengths.
When inspecting a multimodal model, identify which stream supplies queries and which supplies keys and values. Evaluate alignment and failure cases across the relevant modalities. The cited papers do not establish one universal cross-attention design.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Cross-attention lets queries from one representation attend to keys and values from another representation. It is used to connect source and target sequences or different modalities.
Cross-attention čerpá dotazy z jedné sekvence (např. dekodér) a klíče a hodnoty z jiné (např. kodéru), přičemž umožňuje interakci obou.
Dekodér vytváří dotazy ze svého částečně vygenerovaného výstupu a poté používá výstupy kodéru jako klíče a hodnoty k získání relevantních vstupních informací.
Protože dotazy pocházejí z jednoho zdroje a klíče/hodnoty z jiného, jsou sekvence nezávislé a mohou se lišit délkou, jazykem nebo modalitou.
Křížová pozornost umožňuje každé části generovaného obrázku věnovat se textové výzvě a uzemňovat vizuály ve slovech.
Oba používají stejnou škálovanou pozornost na bodový produkt: skóre podobnosti mezi dotazy a klíči, softmax a poté vážený součet hodnot.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Výzva k výzvě Cross-Attention editace
Vizuální AI