Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Keresztfigyelem kvíz

Understand how cross-attention lets one sequence or modality query representations from another sequence or modality in transformer models.

Kapcsolódó útmutató utakKereszt Figyelem
kérdés 1 -ból 8

Mi a legfontosabb különbség az ön- és a keresztfigyelem között?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mi a legfontosabb különbség az ön- és a keresztfigyelem között?
    • A keresztfigyelemben a lekérdezések az egyik sorozatból, a kulcsok/értékek pedig egy másikból származnak
    • A keresztfigyelés nem használ softmax-ot
    • Az önfigyelés csak a képeken működik
    • A keresztfigyelem nem edzhető gradiens süllyedéssel
  2. A kódoló-dekódoló Transformerben honnan származnak a keresztfigyelem lekérdezései?
    • A kódoló kimenetei
    • A dekóder jelenlegi állapota
    • Csak a nyers beviteli beágyazások
    • Külön véletlen mátrix
  3. Miért lehet a két egymásra figyelő szekvencia eltérő hosszúságú vagy modalitású?
    • Mert a figyelem egyenlő hosszúságú bemeneteket igényel
    • Mert teljesen figyelmen kívül hagyja az egyik szekvenciát
    • Mivel a lekérdezések és kulcsok különböző, független forrásokból származnak
    • Mert először mindent fix méretre párnáz
  4. Hogyan alkalmazza a stabil diffúzió a keresztfigyelést?
    • Képek tömörítése kisebb fájlokba
    • Szöveg nyelvek közötti fordításához
    • Zaj eltávolítása a hangból
    • A generált képterületek kondicionálása a szöveges promptban
  5. Milyen matematikai műveletek osztoznak a keresztfigyelem és az önfigyelem között?
    • Scaled dot-product figyelem softmax-szal
    • Konvolúció a képpontok felett
    • Ismétlődő állapotfrissítések
    • Kódolt keresőtáblák
  6. What gate does Flamingo use to control information flow through its cross-attention layers?
    • A hard threshold initialized to one
    • A tanh gate initialized to zero
    • A fixed residual weight of 0.5
    • A learned vocabulary lookup table
  7. What input sequence structure does Flamingo’s paper say its visual-language model can handle?
    • Only one image followed by a fixed-length label
    • Only text tokens with no visual inputs
    • Visual and textual data interleaved in arbitrary sequences
    • Only video frames with no text
  8. What is one purpose of cross-attention in Flamingo’s visual-language architecture?
    • It replaces all text tokens with pixels
    • It prevents any information from passing between modalities
    • It performs only image resizing
    • It lets language-model layers incorporate visual features from image/video inputs