Test legat de ghid · Mediu Nivel

Test de atenție încrucișată

Understand how cross-attention lets one sequence or modality query representations from another sequence or modality in transformer models.

Căi de ghidare aferenteAtenție încrucișată
Întrebare 1 de 8

Care este diferența cheie dintre atenția personală și atenția încrucișată?

Previzualizează fiecare întrebare8 întrebări

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

  1. Care este diferența cheie dintre atenția personală și atenția încrucișată?
    • În atenție încrucișată, interogările provin dintr-o secvență și cheile/valorile din alta
    • Atenția încrucișată nu folosește softmax
    • Autoatenția funcționează numai pe imagini
    • Atenția încrucișată nu poate fi antrenată cu coborârea în gradient
  2. Într-un transformator codificator-decodor, de unde provin întrebările pentru atenție încrucișată?
    • Ieșirile codificatorului
    • Starea curentă a decodorului
    • Numai înglobările de intrare brute
    • O matrice aleatorie separată
  3. De ce cele două secvențe în atenție încrucișată pot avea lungimi sau modalități diferite?
    • Pentru că atenția necesită intrări de lungime egală
    • Pentru că ignoră în totalitate una dintre secvențe
    • Pentru că interogările și cheile provin din surse diferite, independente
    • Pentru că mai întâi adaugă totul la o dimensiune fixă
  4. Cum folosește Stable Diffusion atenția încrucișată?
    • Pentru a comprima imaginile în fișiere mai mici
    • Pentru a traduce text între limbi
    • Pentru a elimina zgomotul din sunet
    • Pentru a condiționa regiunile de imagine generate pe promptul text
  5. Ce operație matematică împarte atenția încrucișată cu atenția de sine?
    • Atenție sporită a produsului punctual cu un softmax
    • Convoluție peste pixeli
    • Actualizări de stare recurente
    • Tabele de căutare hard-coded
  6. What gate does Flamingo use to control information flow through its cross-attention layers?
    • A hard threshold initialized to one
    • A tanh gate initialized to zero
    • A fixed residual weight of 0.5
    • A learned vocabulary lookup table
  7. What input sequence structure does Flamingo’s paper say its visual-language model can handle?
    • Only one image followed by a fixed-length label
    • Only text tokens with no visual inputs
    • Visual and textual data interleaved in arbitrary sequences
    • Only video frames with no text
  8. What is one purpose of cross-attention in Flamingo’s visual-language architecture?
    • It replaces all text tokens with pixels
    • It prevents any information from passing between modalities
    • It performs only image resizing
    • It lets language-model layers incorporate visual features from image/video inputs