Kvíz spojený s průvodcem · Střední úroveň

Kvíz zaměřený na křížovou pozornost

Pochopte, jak křížová pozornost umožňuje jedné sekvenci nebo modalitě dotazovat se na reprezentace jiné sekvence nebo modality v modelech transformátorů.

Související vodicí cestyKřížová pozornost
Otázka 1 z 8

Jaký je klíčový rozdíl mezi sebepozorností a křížovou pozorností?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaký je klíčový rozdíl mezi sebepozorností a křížovou pozorností?
    • V křížové pozornosti, dotazy pocházejí z jedné sekvence a klíče/hodnoty z jiné
    • Cross-attention nepoužívá softmax
    • Vlastní pozornost funguje pouze na obrázcích
    • Křížovou pozornost nelze trénovat gradientovým klesáním
  2. Odkud v kodéru-dekodéru Transformer pocházejí dotazy na křížovou pozornost?
    • Výstupy kodéru
    • Aktuální stav dekodéru
    • Pouze vložení nezpracovaného vstupu
    • Samostatná náhodná matice
  3. Proč mohou mít dvě sekvence v křížové pozornosti různé délky nebo modality?
    • Protože pozornost vyžaduje stejně dlouhé vstupy
    • Protože zcela ignoruje jednu ze sekvencí
    • Protože dotazy a klíče pocházejí z různých nezávislých zdrojů
    • Protože nejprve vše podloží na pevnou velikost
  4. Jak stabilní difúze využívá křížovou pozornost?
    • Pro kompresi obrázků do menších souborů
    • K překladu textu mezi jazyky
    • Pro odstranění šumu ze zvuku
    • Chcete-li upravit oblasti generovaného obrazu v textové výzvě
  5. Jakou matematickou operaci sdílí křížová pozornost s vlastní pozorností?
    • Škálované dot-product pozornost s softmax
    • Konvoluce přes pixely
    • Opakované aktualizace stavu
    • Pevně kódované vyhledávací tabulky
  6. What gate does Flamingo use to control information flow through its cross-attention layers?
    • A hard threshold initialized to one
    • A tanh gate initialized to zero
    • A fixed residual weight of 0.5
    • A learned vocabulary lookup table
  7. What input sequence structure does Flamingo’s paper say its visual-language model can handle?
    • Only one image followed by a fixed-length label
    • Only text tokens with no visual inputs
    • Visual and textual data interleaved in arbitrary sequences
    • Only video frames with no text
  8. What is one purpose of cross-attention in Flamingo’s visual-language architecture?
    • It replaces all text tokens with pixels
    • It prevents any information from passing between modalities
    • It performs only image resizing
    • It lets language-model layers incorporate visual features from image/video inputs