Gids-gekoppelde quiz · Middelmatig Niveau

Cross-aandachtsquiz

Begrijp hoe cross-attention ervoor zorgt dat de ene sequentie of modaliteit representaties kan opvragen uit een andere sequentie of modaliteit in transformermodellen.

Gerelateerde gidspadenKruis aandacht
Vraag 1 van 8

Wat is het belangrijkste verschil tussen zelfaandacht en kruisaandacht?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat is het belangrijkste verschil tussen zelfaandacht en kruisaandacht?
    • Bij kruisaandacht komen zoekopdrachten uit de ene reeks en sleutels/waarden uit een andere
    • Cross-aandacht gebruikt geen softmax
    • Zelfaandacht werkt alleen op beelden
    • Kruisaandacht kan niet worden getraind met gradiëntafdaling
  2. Waar komen de vragen om kruisaandacht vandaan in een encoder-decoder Transformer?
    • De uitgangen van de encoder
    • De huidige status van de decoder
    • Alleen de onbewerkte invoerinsluitingen
    • Een aparte willekeurige matrix
  3. Waarom kunnen de twee reeksen bij kruisaandacht verschillende lengtes of modaliteiten hebben?
    • Omdat aandacht inputs van gelijke lengte vereist
    • Omdat het een van de reeksen volledig negeert
    • Omdat zoekopdrachten en sleutels uit verschillende, onafhankelijke bronnen komen
    • Omdat het alles eerst op een vaste maat opvult
  4. Hoe maakt Stabiele Diffusie gebruik van kruisaandacht?
    • Om afbeeldingen in kleinere bestanden te comprimeren
    • Om tekst tussen talen te vertalen
    • Om ruis uit audio te verwijderen
    • Om gegenereerde afbeeldingsgebieden op de tekstprompt te conditioneren
  5. Welke wiskundige bewerking heeft kruisaandacht gemeen met zelfaandacht?
    • Geschaalde puntproductaandacht met een softmax
    • Convolutie over pixels
    • Terugkerende statusupdates
    • Hardgecodeerde opzoektabellen
  6. What gate does Flamingo use to control information flow through its cross-attention layers?
    • A hard threshold initialized to one
    • A tanh gate initialized to zero
    • A fixed residual weight of 0.5
    • A learned vocabulary lookup table
  7. What input sequence structure does Flamingo’s paper say its visual-language model can handle?
    • Only one image followed by a fixed-length label
    • Only text tokens with no visual inputs
    • Visual and textual data interleaved in arbitrary sequences
    • Only video frames with no text
  8. What is one purpose of cross-attention in Flamingo’s visual-language architecture?
    • It replaces all text tokens with pixels
    • It prevents any information from passing between modalities
    • It performs only image resizing
    • It lets language-model layers incorporate visual features from image/video inputs