Gids-gekoppelde quiz · Middelmatig Niveau
Cross-aandachtsquiz
Begrijp hoe cross-attention ervoor zorgt dat de ene sequentie of modaliteit representaties kan opvragen uit een andere sequentie of modaliteit in transformermodellen.
Vraag 1 van 8
Wat is het belangrijkste verschil tussen zelfaandacht en kruisaandacht?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat is het belangrijkste verschil tussen zelfaandacht en kruisaandacht?
- Bij kruisaandacht komen zoekopdrachten uit de ene reeks en sleutels/waarden uit een andere
- Cross-aandacht gebruikt geen softmax
- Zelfaandacht werkt alleen op beelden
- Kruisaandacht kan niet worden getraind met gradiëntafdaling
- Waar komen de vragen om kruisaandacht vandaan in een encoder-decoder Transformer?
- De uitgangen van de encoder
- De huidige status van de decoder
- Alleen de onbewerkte invoerinsluitingen
- Een aparte willekeurige matrix
- Waarom kunnen de twee reeksen bij kruisaandacht verschillende lengtes of modaliteiten hebben?
- Omdat aandacht inputs van gelijke lengte vereist
- Omdat het een van de reeksen volledig negeert
- Omdat zoekopdrachten en sleutels uit verschillende, onafhankelijke bronnen komen
- Omdat het alles eerst op een vaste maat opvult
- Hoe maakt Stabiele Diffusie gebruik van kruisaandacht?
- Om afbeeldingen in kleinere bestanden te comprimeren
- Om tekst tussen talen te vertalen
- Om ruis uit audio te verwijderen
- Om gegenereerde afbeeldingsgebieden op de tekstprompt te conditioneren
- Welke wiskundige bewerking heeft kruisaandacht gemeen met zelfaandacht?
- Geschaalde puntproductaandacht met een softmax
- Convolutie over pixels
- Terugkerende statusupdates
- Hardgecodeerde opzoektabellen
- What gate does Flamingo use to control information flow through its cross-attention layers?
- A hard threshold initialized to one
- A tanh gate initialized to zero
- A fixed residual weight of 0.5
- A learned vocabulary lookup table
- What input sequence structure does Flamingo’s paper say its visual-language model can handle?
- Only one image followed by a fixed-length label
- Only text tokens with no visual inputs
- Visual and textual data interleaved in arbitrary sequences
- Only video frames with no text
- What is one purpose of cross-attention in Flamingo’s visual-language architecture?
- It replaces all text tokens with pixels
- It prevents any information from passing between modalities
- It performs only image resizing
- It lets language-model layers incorporate visual features from image/video inputs