Kvíz spojený s průvodcem · Střední úroveň
Kvíz zaměřený na křížovou pozornost
Pochopte, jak křížová pozornost umožňuje jedné sekvenci nebo modalitě dotazovat se na reprezentace jiné sekvence nebo modality v modelech transformátorů.
Otázka 1 z 8
Jaký je klíčový rozdíl mezi sebepozorností a křížovou pozorností?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaký je klíčový rozdíl mezi sebepozorností a křížovou pozorností?
- V křížové pozornosti, dotazy pocházejí z jedné sekvence a klíče/hodnoty z jiné
- Cross-attention nepoužívá softmax
- Vlastní pozornost funguje pouze na obrázcích
- Křížovou pozornost nelze trénovat gradientovým klesáním
- Odkud v kodéru-dekodéru Transformer pocházejí dotazy na křížovou pozornost?
- Výstupy kodéru
- Aktuální stav dekodéru
- Pouze vložení nezpracovaného vstupu
- Samostatná náhodná matice
- Proč mohou mít dvě sekvence v křížové pozornosti různé délky nebo modality?
- Protože pozornost vyžaduje stejně dlouhé vstupy
- Protože zcela ignoruje jednu ze sekvencí
- Protože dotazy a klíče pocházejí z různých nezávislých zdrojů
- Protože nejprve vše podloží na pevnou velikost
- Jak stabilní difúze využívá křížovou pozornost?
- Pro kompresi obrázků do menších souborů
- K překladu textu mezi jazyky
- Pro odstranění šumu ze zvuku
- Chcete-li upravit oblasti generovaného obrazu v textové výzvě
- Jakou matematickou operaci sdílí křížová pozornost s vlastní pozorností?
- Škálované dot-product pozornost s softmax
- Konvoluce přes pixely
- Opakované aktualizace stavu
- Pevně kódované vyhledávací tabulky
- What gate does Flamingo use to control information flow through its cross-attention layers?
- A hard threshold initialized to one
- A tanh gate initialized to zero
- A fixed residual weight of 0.5
- A learned vocabulary lookup table
- What input sequence structure does Flamingo’s paper say its visual-language model can handle?
- Only one image followed by a fixed-length label
- Only text tokens with no visual inputs
- Visual and textual data interleaved in arbitrary sequences
- Only video frames with no text
- What is one purpose of cross-attention in Flamingo’s visual-language architecture?
- It replaces all text tokens with pixels
- It prevents any information from passing between modalities
- It performs only image resizing
- It lets language-model layers incorporate visual features from image/video inputs