LegközelebbKövetkező útmutató
Figyelemfelhívások közötti szerkesztés
Vizuális AI
Nyelvi AI ÚTMUTATÓ
Cross-attention lets queries from one representation attend to keys and values from another representation.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
It is used to connect source and target sequences or different modalities.
Cross-attention lets queries from one representation attend to keys and values from another. The Transformer uses this in encoder-decoder layers; latent diffusion uses it for text-conditioned generation. Flamingo uses gated cross-attention layers to connect visual features to a language model and is designed to ingest arbitrarily interleaved visual and textual inputs, including images or video. These are architecture-specific examples, not a universal multimodal design. In Flamingo, cross-attention blocks are gated by a tanh-transformed learned scalar initialized to zero; this is an architecture-specific control and not a claim about how often cross-attention is used across multimodal systems.
In an encoder-decoder Transformer, decoder queries attend to encoder outputs.
Latent diffusion models use cross-attention to condition image latents on text embeddings.
Flamingo inserts cross-attention layers so a language model can use visual features.
Different sequence lengths are possible because queries and key-value context need not have matching lengths.
When inspecting a multimodal model, identify which stream supplies queries and which supplies keys and values. Evaluate alignment and failure cases across the relevant modalities. The cited papers do not establish one universal cross-attention design.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Cross-attention lets queries from one representation attend to keys and values from another representation. It is used to connect source and target sequences or different modalities.
A Cross-attention lekérdezéseket egy sorozatból (például a dekódolóból), a kulcsokat és értékeket pedig egy másikból (például a kódolóból) hívja le, így hagyja, hogy a kettő kölcsönhatásba lépjen.
A dekóder lekérdezéseket hoz létre a részben generált kimenetből, majd a kódoló kimeneteit használja kulcsként és értékként a releváns bemeneti információk beolvasásához.
Mivel a lekérdezések egyik forrásból, a kulcsok/értékek pedig egy másikból származnak, a sorozatok függetlenek, és eltérhetnek hosszukban, nyelvükben vagy modalitásukban.
A keresztfigyelés lehetővé teszi, hogy a generált kép minden része a szöveges felszólításra figyeljen, és a szavakban alapozza meg a látványt.
Mindkettő ugyanazt a skálázott ponttermék-figyelmet használja: hasonlósági pontszámok a lekérdezések és kulcsok között, egy softmax, majd az értékek súlyozott összege.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Figyelemfelhívások közötti szerkesztés
Vizuális AI